Google phát hành DiffusionGemma — mô hình mở 26B tham số dạng Mixture-of-Experts (chỉ kích hoạt 3,8B khi suy luận, Apache 2.0) dùng kỹ thuật text diffusion: sinh từng khối 256 token song song rồi tinh chỉnh qua nhiều lượt, thay vì sinh tuần tự từng token. Tốc độ vượt 1.000 token/giây trên một GPU H100 và hơn 700 token/giây trên RTX 5090, chạy được trong 18GB VRAM khi nén.
💡 Đây là lần đầu một ông lớn đưa diffusion LM cỡ lớn ra open-source — hướng đi có thể thay đổi cách tối ưu tốc độ inference cho code infilling và chỉnh sửa văn bản cục bộ.
- Google mở mã DiffusionGemma 26B dạng MoE, chỉ kích hoạt 3,8B khi suy luận.
- Sinh từng khối 256 token song song rồi tinh chỉnh, thay vì tuần tự từng token.
- Vượt 1.000 token/giây trên một GPU H100, hơn 700 token/giây trên RTX 5090.
- Chạy được trong 18GB VRAM khi nén, giấy phép Apache 2.0.
Diffusion cho văn bản không phải ý tưởng mới, nhưng đây là lần đầu một ông lớn đưa nó ra open-source ở cỡ này. Con số đáng chú ý nhất là tốc độ: hơn 1.000 token/giây trên một GPU H100, và hơn 700 trên RTX 5090 — tức máy cá nhân cũng chạy được. Kiến trúc MoE 26B nhưng chỉ kích hoạt 3,8B, nén xuống vừa 18GB VRAM. Cách sinh theo khối 256 token rồi tinh chỉnh hợp với code infilling và sửa văn bản tại chỗ hơn là chat dài. Với developer Việt, đây là cơ hội rẻ để thử một hướng inference khác hẳn autoregressive: Apache 2.0, tải về là chạy, không vướng giấy phép. Nếu bài toán của bạn là chỉnh sửa cục bộ tốc độ cao, nên đưa model này vào danh sách benchmark ngay.