🎬 Video recap tuần — các tin nóng nhất
Tổng quan tuần này. Tuần 40 cho thấy semantic layer và governance đang trở thành hạ tầng bắt buộc để AI làm việc với dữ liệu doanh nghiệp. Microsoft đưa Fabric IQ vào Copilot, AWS hoàn thiện hỗ trợ kiểu dữ liệu Iceberg V3 trong S3 Tables, còn Databricks bắt đầu thực thi ABAC xuyên các query engine bên ngoài. Ở lớp vật lý, NetApp Novus tách metadata khỏi data path để nhắm tới AI factory quy mô hàng chục nghìn GPU. Cùng lúc, Snowflake, Cohere và Dynatrace đều đẩy mạnh khả năng xây, truy xuất và quan sát hệ thống AI dựa trên dữ liệu.
T2 28/093 tinT3 29/093 tinT4 30/094 tinT5 01/104 tinT6 02/105 tinT7 03/100 tinCN 04/100 tin

🗄️ Hạ tầng & Kiến trúc dữ liệu

🔥 TOP 2 TUẦN NÀYAmazon S3 Tables hỗ trợ đủ kiểu dữ liệu Apache Iceberg V3

S3 Tables đã hỗ trợ toàn bộ kiểu dữ liệu Iceberg V3, gồm variant cho dữ liệu bán cấu trúc và geometry/geography cho không gian. Người dùng có thể tạo bảng V3 mới hoặc nâng cấp bảng V2 tại chỗ.

💡 S3 Tables tiến gần hơn tới một lớp lakehouse được quản lý ngay trong object storage.

📅 02/10🔗 Website
  • Hỗ trợ variant, geometry, geography và timestamp nanosecond
  • Nâng cấp bảng Iceberg V2 tại chỗ
  • Khả dụng tại mọi region có S3 Tables
FORMATIceberg V3UPGRADEV2 tại chỗSTORES3 Tables

Variant giúp gom nhiều hình dạng event vào một bảng mà không ép schema quá sớm. Geometry và geography mở đường cho workload không gian trên cùng table format. Điều này giảm số pipeline chuyên biệt phải duy trì. Nhưng chuẩn file mới không tự đảm bảo mọi query engine đều đọc được. Team production nên lập ma trận compatibility trước khi nâng cấp. Đừng biến một cải tiến format thành sự cố đa engine.

Databricks mở kết nối JDBC trong Unity Catalog lên GA

Kết nối JDBC do Unity Catalog quản trị đã GA trên serverless compute, Databricks Runtime 19 trở lên và SQL warehouses 2025.40 trở lên, kèm hỗ trợ chứng thư SSL.

💡 Federation bớt phụ thuộc cấu hình rời rạc theo từng notebook hoặc cluster.

📅 02/10🔗 Website
  • GA trên serverless compute
  • Yêu cầu Runtime 19 trở lên
  • Hỗ trợ chứng thư SSL
  • OAuth M2M vẫn Beta
STATUSGARUNTIME19+AUTHM2M Beta

Kết nối ngoài được đưa vào cùng catalog với bảng và quyền. Đây là bước cần thiết nếu muốn federation có thể kiểm toán. SSL đã sẵn sàng nhưng OAuth machine-to-machine chưa GA, nên kiến trúc xác thực vẫn cần rà kỹ. Đội data nên chuẩn hóa connection object thay cho chuỗi kết nối rải trong code. Lợi ích lớn nhất là governance, không phải chỉ bớt vài dòng cấu hình.

Snowflake giữ incremental refresh cho dynamic table sau failover

Dynamic table ở chế độ INCREMENTAL hoặc ADAPTIVE giờ tiếp tục refresh gia tăng sau khi failover group nâng secondary thành primary.

💡 Disaster recovery bớt tạo cú sốc compute và thời gian hồi phục cho pipeline.

📅 30/09🔗 Website
  • Áp dụng cho INCREMENTAL và ADAPTIVE
  • Giữ trạng thái sau promotion
  • Giảm nguy cơ full refresh
DATE30/09MODE2 chế độSCOPEFailover group

Failover tốt không chỉ là hệ thống mở lại được. Pipeline phải tiếp tục đúng trạng thái và không tạo hóa đơn compute bất ngờ. Giữ incremental refresh xử lý đúng phần hậu sự cố thường bị bỏ quên. Team dùng dynamic table nên diễn tập cả promotion lẫn lần refresh đầu tiên sau promotion. Chỉ kiểm tra endpoint sống là chưa đủ.

🔥 TOP 5 TUẦN NÀYNetApp Novus tách metadata để nhắm 100 Tbps và 50.000 GPU

Novus tách metadata khỏi data path để hiệu năng, dung lượng và concurrency tăng độc lập trong một namespace NFS; NetApp đặt mục tiêu quy mô zettabyte.

💡 Metadata và luồng nạp dữ liệu đang trở thành nút thắt đắt đỏ của AI factory.

📅 29/09🔗 Website
  • Mục tiêu thông lượng 100 Tbps
  • Phục vụ tới 50.000 GPU
  • Metadata tăng độc lập data path
  • Một namespace NFS
THROUGHPUT100 TbpsGPU50.000SCALEZettabyte

GPU càng đắt thì thời gian chờ dữ liệu càng khó chấp nhận. Novus chọn sửa kiến trúc metadata thay vì chỉ tăng tốc ổ đĩa. Đây là hướng hợp lý cho hàng tỷ file và concurrency cao. Tuy nhiên các con số hiện là mục tiêu do vendor công bố. Cần chờ benchmark độc lập về latency đuôi dài, phục hồi và tổng chi phí. Kiến trúc hay chỉ có giá trị khi workload thật giữ được hiệu năng.

🛠️ Công cụ & Nền tảng

🔥 TOP 4 TUẦN NÀYSnowflake Semantic Studio lên GA, quản semantic view bằng Git

Semantic Studio kết hợp tạo semantic view bằng hội thoại, chỉnh YAML trực tiếp, triển khai thành object sống và quản lý phiên bản dựa trên Git.

💡 Semantic layer đang chuyển từ tài liệu phụ thành tài sản kỹ thuật có thể review và deploy như code.

📅 30/09🔗 Website
  • Tạo semantic view bằng hội thoại
  • Chỉnh trực tiếp YAML
  • Version control dựa trên Git
  • Deploy thành Snowflake object
STATUSGAFORMATYAMLVERSIONGit

Metric, dimension và verified query giờ có thể đi qua review như code. Đây là nền tảng tốt hơn cho cả BI lẫn agent. Nhưng tool không giải quyết mâu thuẫn định nghĩa giữa các phòng ban. Phải có owner chốt nghĩa và test bằng câu hỏi thật. Nên bắt đầu nhỏ với nhóm metric quan trọng. Semantic layer toàn doanh nghiệp làm một lần thường thành dự án tài liệu rất đẹp và rất ít người dùng.

Databricks Excel Add-in tự lên lịch làm mới dữ liệu

Người dùng Excel có thể đặt lịch làm mới dữ liệu Databricks, chọn SQL warehouse và xem lịch sử chạy ngay trong add-in.

💡 Excel trở thành client vận hành ổn định hơn cho lakehouse, bớt phụ thuộc tải lại thủ công.

📅 01/10🔗 Website
  • Đặt lịch theo interval hoặc calendar
  • Chọn SQL warehouse chạy refresh
  • Xem lịch sử run trong Excel
STATUSPublic PreviewCLIENTExcelCOMPUTESQL warehouse

Đây là thay đổi nhỏ nhưng trúng workflow thật. Người dùng kinh doanh không cần rời Excel để vận hành refresh. Team data vẫn phải kiểm soát lịch để tránh nhiều workbook cùng đánh thức warehouse. Cần gắn ownership và cảnh báo thất bại. Tự động hóa mà không quan sát được chỉ chuyển lỗi từ con người sang lịch chạy.

Microsoft đưa Database Hub trong Fabric ra Public Preview

Database Hub tạo control plane chung cho SQL Server, Azure SQL, PostgreSQL, Cosmos DB và SQL database trong Fabric; agent chẩn đoán chuyên biệt sẽ theo sau.

💡 Quản trị database đang dịch từ từng sản phẩm rời sang một mặt phẳng chung có agent hỗ trợ.

📅 28/09🔗 Website
  • Một hub quản nhiều database Microsoft
  • SQL và PostgreSQL agents sắp preview
  • Giám sát và governance tập trung
STATUSPublic PreviewPLANEDatabase HubAGENTSComing soon

Một control plane chung giảm việc nhảy qua nhiều portal. Agent chẩn đoán có thể giúp đọc bottleneck nhanh hơn, nhưng không nên được trao quyền sửa production quá sớm. Doanh nghiệp cần tách rõ suggest, approve và execute. Giá trị đầu tiên nên là quan sát và giải thích. Tự động thay đổi cấu hình chỉ nên đến sau khi có log, rollback và policy.

Microsoft SQL bổ sung loạt công cụ mới tại SQLCon Europe

Microsoft gom cập nhật cho SQL Server, Azure SQL, SQL database trong Fabric và công cụ phát triển, xoay quanh governance, developer experience và AI.

💡 SQL truyền thống đang được kéo vào cùng control plane và workflow agent của Fabric.

📅 29/09🔗 Website
  • Phủ SQL Server và Azure SQL
  • Kết nối SQL database trong Fabric
  • Cập nhật công cụ developer
EVENTSQLCon EuropeDATE29/09STACKMicrosoft SQL

Thông điệp quan trọng là SQL không bị thay thế bởi agent. Nó được bọc thêm control plane, ngữ cảnh và công cụ chẩn đoán. Team đang vận hành SQL Server có đường tiến hóa thay vì phải viết lại toàn bộ. Nhưng portfolio rộng cũng dễ gây rối licensing và ownership. Hãy chọn capability theo pain point cụ thể, không triển khai theo danh sách tính năng hội nghị.

🤖 AI × Data

Databricks tăng tốc ai_extract 2,3 lần mà không tăng giá

Chế độ mặc định của ai_extract dùng checkpoint mới, nhanh hơn 2,3 lần, tăng chất lượng trích xuất và không tăng chi phí.

💡 AI-assisted ETL bắt đầu có economics đủ thực dụng để đưa vào pipeline thường ngày.

📅 02/10🔗 Website
  • Checkpoint mới cho chế độ standard
  • Nhanh hơn 2,3 lần
  • Chất lượng tăng, giá không đổi
SPEED2,3×COSTKhông đổiMODEStandard

Trích xuất bằng model thường bị kẹt ở chi phí và latency. Cải tiến cùng lúc ba vế là tín hiệu tốt cho production. Tuy nhiên checkpoint đổi có thể làm output lệch ở edge case. Team nên giữ bộ golden document và chạy regression. Nhanh hơn không có nghĩa là bỏ validation schema và confidence threshold.

🔥 TOP 1 TUẦN NÀYFabric IQ đưa dữ liệu Power BI có quản trị vào Microsoft Copilot

Fabric IQ trong Copilot Chat và Cowork đã GA; Fabric IQ MCP server và data agents trong Copilot Studio cũng đã GA.

💡 Semantic model từ lớp phục vụ dashboard trở thành ngữ cảnh dùng chung cho agent.

📅 28/09🔗 Website
  • Fabric IQ trong Copilot đã GA
  • MCP server đã GA
  • Data agents vào Copilot Studio
  • Fabric vượt 40.000 khách hàng
CUSTOMERS40.000+STATUSGACONTEXTPower BI

Điểm mới không phải chat với dashboard. Fabric IQ tái sử dụng metric, quan hệ và business definition đã được quản trị. Điều đó giảm khả năng agent tự diễn giải sai khái niệm nội bộ. Nhưng semantic model kém thì câu trả lời vẫn kém, chỉ nhanh hơn. Doanh nghiệp nên ưu tiên owner cho metric và quyền theo vai trò. Đừng nối Copilot thẳng vào một kho dữ liệu mà chính con người còn chưa thống nhất nghĩa.

Cohere Embed 5 cho phép index bằng Pro, query bằng Fast

Hai tier Pro và Fast dùng chung embedding space, cho phép đổi chất lượng và latency khi query mà không xây lại chỉ mục.

💡 Hệ RAG có thể điều chỉnh ngân sách linh hoạt hơn mà không di trú vector store.

📅 01/10🔗 Website
  • Pro tối ưu chất lượng retrieval
  • Fast tối ưu latency và chi phí
  • Hai tier chung embedding space
  • Phủ multimodal và multilingual
TIERSPro + FastINDEXDùng chungUSERAG

Chung embedding space là chi tiết có giá trị vận hành lớn. Team có thể index một lần rồi route query theo SLA. Workload quan trọng dùng Pro, tác vụ khối lượng lớn dùng Fast. Cần benchmark trên corpus tiếng Việt và tài liệu thật, không dựa vào bảng điểm chung. Retrieval tốt phải đo bằng câu hỏi của người dùng và lỗi bỏ sót tài liệu.

Snowflake che nội dung orchestrator khi ghi telemetry Cortex Agents

Native Apps redaction nội dung do orchestrator tạo trước khi ghi event table; chia sẻ nội dung cho provider cần consumer phê duyệt.

💡 Cơ chế mới tách rõ metadata vận hành khỏi nội dung và IP nhạy cảm.

📅 02/10🔗 Website
  • Redaction nội dung orchestrator
  • Metadata được chia sẻ mặc định
  • Nội dung cần consumer phê duyệt
DEFAULTAI_METADATAOPT-INAI_CONTENTSCOPENative Apps

Observability cần đủ dữ liệu để debug nhưng không nên hút toàn bộ prompt và logic độc quyền. Snowflake chọn metadata làm mức mặc định, nội dung là opt-in. Đây là nguyên tắc đáng học cho mọi hệ agent. Log nhiều không đồng nghĩa quan sát tốt. Hãy thu đúng tín hiệu, giới hạn retention và kiểm soát ai xem được nội dung.

📈 Hot trend & Thảo luận cộng đồng

Cộng đồng tranh luận: khoảng trống triển khai agent thực ra là khoảng trống metadata

Phân tích cho rằng agent thất bại trên dữ liệu doanh nghiệp vì ý nghĩa, quy ước và điều kiện kiểm tra chưa được viết thành metadata có thể truy vấn.

💡 Câu hỏi đúng không còn là mua model nào, mà là tri thức ngầm của analyst đã thành dữ liệu hay chưa.

📅 30/09🔗 Website
  • Spider 2.0 có 632 workflow
  • Trung bình 812 cột mỗi database
  • Schema linking vẫn là điểm nghẽn
  • Tri thức ngoài database rất quan trọng
WORKFLOWS632COLUMNS812 trung bìnhISSUEMetadata

Agent không có access pattern cố định như dashboard. Nó tự chọn bảng, join và đường điều tra lúc chạy. Nếu metadata không nói cột nào đáng tin, agent phải đoán. Đây là lý do demo với vài bảng thường đẹp hơn production. Hướng xử lý là biến quy ước, metric và test thành artifact truy vấn được. Mua model mạnh hơn chỉ che vấn đề trong một thời gian.

Data Engineering Weekly #289: data architect trở lại tâm điểm

Số 289 tiếp tục gom các bài đọc về kiến trúc, pipeline và vận hành; tín hiệu chung là vai trò kiến trúc quay lại khi agent làm tăng đường truy cập dữ liệu.

💡 Cộng đồng bớt ám ảnh từng tool và quay lại ownership, hợp đồng dữ liệu và thiết kế hệ thống.

📅 28/09🔗 Website
  • Số newsletter 289
  • Xuất bản ngày 28/09
  • Kiến trúc và vận hành nổi bật
ISSUE289DATE28/09FOCUSArchitecture

Càng nhiều agent, số đường truy cập dữ liệu càng khó dự đoán. Vì vậy kiến trúc, contract và ownership quay lại thành câu hỏi chính. Một stack nhiều tool không bù được ranh giới trách nhiệm mơ hồ. Team data nên dùng newsletter như danh sách tín hiệu, không phải backlog phải học hết. Chọn một vấn đề thật trong hệ thống rồi đọc sâu theo vấn đề đó.

Reddit Fabric sôi lên vì đợt phát hành FabCon dày hơn thường lệ

Cộng đồng ghi nhận lượng tính năng dày nhưng cũng đặt câu hỏi về kênh phản hồi và nhịp rollout theo region.

💡 Availability theo tenant và region quan trọng không kém nhãn GA trên slide.

📅 29/09🔗 Website
  • Nhiều tính năng hơn các đợt trước
  • Rollout khác nhau theo region
  • Cộng đồng hỏi về vòng phản hồi
EVENTFabConSIGNALRedditRISKRollout

Community signal hữu ích vì nó lộ khoảng cách giữa công bố và tenant thật. Tính năng GA chưa chắc có ngay ở mọi region. Team triển khai nên kiểm release plan trên tenant của mình trước khi hứa timeline với business. Cũng nên có phương án fallback cho preview. Slide hội nghị không phải SLA.

Apache lakehouse tuần này chờ Iceberg 1.12 và equality delete

Khoảng 380 thông điệp mailing list cho thấy cộng đồng chờ Iceberg 1.12.0, equality delete và thảo luận File/Vector types.

💡 Chi tiết đặc tả quyết định khả năng tương tác thật giữa engine, catalog và format.

📅 02/10🔗 Website
  • Theo dõi khoảng 380 thông điệp
  • Chờ Iceberg 1.12.0
  • Equality delete tiến gần merge
  • File và Vector còn thảo luận
MESSAGES~380ICEBERG1.12.0TOPICEquality delete

Các chuẩn mở tiến chậm vì từng dòng đặc tả phải dùng được qua nhiều implementation. Equality delete ảnh hưởng trực tiếp cách engine biểu diễn thay đổi hàng. File và Vector types còn cần thống nhất để tránh mỗi vendor hiểu một kiểu. Team production nên theo dõi release chính thức, không triển khai theo PR chưa merge. Interoperability cần kiên nhẫn và test chéo.

🏢 Ngành & Doanh nghiệp

🔥 TOP 3 TUẦN NÀYDynatrace hoàn tất thương vụ Arize trị giá 915 triệu USD

Dynatrace hoàn tất mua Arize, nối evaluation lúc phát triển với observability khi ứng dụng AI chạy production.

💡 AI observability đang hợp nhất với observability toàn stack thay vì sống ở dashboard riêng.

📅 01/10🔗 Website
  • Thương vụ trị giá 915 triệu USD
  • Kết hợp tiền mặt và cổ phiếu
  • Phủ development tới production
VALUE915 triệu USDCLOSE01/10FOCUSAI observability

Thương vụ cho thấy AI observability đã thành thị trường chiến lược. Chất lượng model, retrieval và hạ tầng cần cùng một chuỗi trace. Tuy nhiên hoàn tất mua không đồng nghĩa sản phẩm hợp nhất ngay. Khách hàng nên theo dõi roadmap, pricing và data retention. Tránh dồn toàn bộ telemetry vào vendor trước khi rõ đường xuất dữ liệu.

TomTom đưa location intelligence vào Fabric qua IQ Sharing

TomTom mở location intelligence cho agent trên Fabric và Foundry, kết nối với OneLake qua IQ Sharing preview.

💡 IQ Sharing đang thành kênh phân phối knowledge product cho agent doanh nghiệp.

📅 01/10🔗 Website
  • TomTom data kết nối OneLake
  • Dùng qua IQ Sharing preview
  • Phục vụ Fabric và Foundry agents
STATUSPreviewDATALocationPLATFORMFabric

Agent hỏi về logistics hay rủi ro địa điểm cần nhiều hơn tọa độ. Nó cần biết đường, quy định và quan hệ không gian. TomTom đang đóng gói tri thức đó để dùng cùng dữ liệu nội bộ. Doanh nghiệp cần làm rõ licensing và quyền chia sẻ trước khi trộn với dữ liệu riêng. Knowledge product bên ngoài cũng phải có lineage như dữ liệu nội bộ.

NetApp và Supermicro ghép full stack cho AI factory

Hai hãng ghép rack-scale compute, networking, power và liquid cooling với data management, cyber resilience và hybrid cloud.

💡 AI factory đang chuyển từ mua linh kiện sang mua kiến trúc compute và data path đã kiểm chứng chung.

📅 30/09🔗 Website
  • Giải pháp được kiểm chứng chung
  • Compute ghép với data management
  • Nhắm tăng mức sử dụng GPU
  • Phủ enterprise và sovereign AI
PARTNERS2 hãngLAYERFull stackTARGETAI factory

Khách hàng muốn rút ngắn thời gian tích hợp rack, mạng, làm mát và storage. Một kiến trúc được kiểm chứng chung giảm rủi ro tương thích. Đổi lại, team cần soi kỹ ranh giới hỗ trợ khi sự cố đi qua hai vendor. Hiệu suất GPU phải đo trên workload của mình. Full stack tiện hơn nhưng cũng tăng switching cost.