Embedding Speed

[vuminhoang]

Tốc độ embedding hiện tại vẫn đang khá chậm, khiến người dùng phải chờ đợi khá lâu sau khi gửi PDF vào. Nguyên nhân có thể do một số lý do:

• Chưa tải model về: sai lầm đầu tiên của nhóm là vẫn call checkpoint từ huggingface mà chưa tải về, dẫn đến mất thêm thời gian ban đầu. Nhóm đã khắc phục phần này.
• Kích thước model lớn và tạo ra vector nhiều chiều: có thể khắc phục bằng cách tìm các lightweight model.
• Đang dùng CPU.

[vuminhoang]

Có thể khắc phục nhanh bằng cách sử dụng GPU, tuy nhiên do đang deploy trên streamlit cloud free chỉ cho CPU nên mục tiêu là tăng tốc độ embedding trên CPU nhiều nhất có thể. Một cách nhóm đang nghĩ đến và thử nghiệm là convert model về ONNX để giảm thời gian, có thể đánh đổi bằng độ chính xác.