Key9x98 / Chat-with-PDF

1 stars 0 forks source link

Embedding Speed #7

Open vuminhoang opened 2 months ago

vuminhoang commented 2 months ago

Tốc độ embedding hiện tại vẫn đang khá chậm, khiến người dùng phải chờ đợi khá lâu sau khi gửi PDF vào. Nguyên nhân có thể do một số lý do:

vuminhoang commented 2 months ago

Có thể khắc phục nhanh bằng cách sử dụng GPU, tuy nhiên do đang deploy trên streamlit cloud free chỉ cho CPU nên mục tiêu là tăng tốc độ embedding trên CPU nhiều nhất có thể. Một cách nhóm đang nghĩ đến và thử nghiệm là convert model về ONNX để giảm thời gian, có thể đánh đổi bằng độ chính xác.