SenseTime công bố báo cáo kỹ thuật SenseNova-U1.5, hướng tới gộp hiểu ảnh và sinh ảnh vào một kiến trúc thống nhất thay vì ghép hai mô hình rời. Báo cáo có 65 tác giả và đạt 94 lượt vote trên Hugging Face ngày ra mắt.
💡 Hợp nhất hiểu và sinh trong một mô hình giúp giảm chi phí vận hành và tránh lệch ngữ nghĩa giữa hai giai đoạn, hướng đi mà cả OpenAI lẫn Google đều đang theo đuổi.
- Báo cáo kỹ thuật 65 tác giả, công bố ngày 11/09
- Gộp hiểu ảnh và sinh ảnh vào một kiến trúc duy nhất
- Đạt 94 lượt vote trên Hugging Face ngay ngày đăng
- Hướng native unified thay vì ghép hai model rời
Cách làm phổ biến hiện nay là ghép một model hiểu ảnh với một model sinh ảnh, rồi nối bằng mô tả văn bản ở giữa. Chỗ nối đó chính là nơi mất mát ngữ nghĩa: model hiểu thấy gì đó rất cụ thể nhưng chỉ truyền đi được vài chục từ. Hướng native unified bỏ luôn khâu nối, cho cùng một biểu diễn nội tại phục vụ cả hai chiều. Với doanh nghiệp, khác biệt thực tế nằm ở bài toán sửa ảnh theo chỉ dẫn nhiều vòng, thứ mà kiến trúc ghép nối làm rất tệ vì mỗi vòng lại mất thêm thông tin. Đây vẫn là báo cáo kỹ thuật, chưa phải sản phẩm có SLA, nên hãy đọc nó như tín hiệu về hướng đi chứ đừng vội đưa vào kế hoạch quý.