Thách thức
Khối lượng tài liệu y tế tồn đọng của khách hàng lên đến hàng trăm nghìn trang. Các API thị giác-ngôn ngữ (vision-language) thương mại sẽ đẩy chi phí vượt quá khả năng chi trả ngay trước khi quý đầu tiên khép lại. Bản thân các tài liệu (biểu mẫu scan, chữ viết tay xen lẫn, ảnh chụp trang) cũng vượt quá khả năng đọc sạch của các công cụ OCR thông dụng.
Chúng tôi đã làm gì
Chúng tôi dựng một cụm suy luận GPU (GPU inference fleet). Nomad điều phối toàn bộ cụm; mô hình Qwen2.5-VL 8B đảm nhận việc đọc hiểu tài liệu.
Phần cứng là loại phổ thông (consumer-grade), card Radeon RX 9060 XT giá khoảng 10 triệu VND mỗi node, được chọn theo đúng khối lượng công việc thực tế, không theo định mức của một nhân viên bán hàng. Cùng một lớp điều phối đó còn nhân rộng được sang nhiều địa điểm/chi nhánh khác nhau của khách hàng, năng lực xử lý tăng theo đúng nhu cầu thực tế phát sinh, chứ không phải nhu cầu bị giới hạn bởi năng lực hạ tầng đang có sẵn.
Điều gì đã thay đổi
Cấu trúc chi phí thay đổi trước tiên. Chi phí xử lý mỗi trang giờ chỉ bằng một phần nhỏ so với giá API đám mây, và cụm máy lớn lên bằng cách thêm node, không phải bằng cách đàm phán lại hợp đồng. Chất lượng là phần khó tóm tắt hơn, mỗi nhóm tài liệu cần lời nhắc (prompt) và bước hậu xử lý riêng, nhưng mặt bằng chung đủ cao để hàng đợi rà soát của khách hàng ngắn lại, không dài thêm.