Report 1#

[vuminhoang]

Các probs anh mentor liệt kê (phần nào đã xử lý sẽ được in nghiêng)

• [ ] 1. Tốc độ upload, embedding và tạo database chậm. Nên nghiên cứu cách để tăng tốc lên.
• [ ] 2. Tạo luồng chat cho từng người (giống chat open ai), cụ thể mục tiêu là vì mọi người có thể muốn đọc lại các đoạn chat cũ đã từng hỏi để tìm kiếm thông tin.
• [x] 3. Mở rộng context cho câu trả lời chính xác hơn (sau khi tìm ra chunk thì mở rộng nó về 2 đầu, để đưa context dài hơn vào LLM.
• [x] 4. Thêm phần phân loại câu truy vấn có phải chat bình thường hay không. Nếu là chat bình thường, chat vẫn cần có đủ chức năng có thể trò chuyện.
• [x] 5. Đối với phần phân loại câu truy vấn thuộc PDF nào, có thể vẫn dùng vector databse tổng, nhưng sau khi tìm ra context, cần xử lý như nào để khi truyền vào LLM không bị lẫn lộn context giữa các PDF khác nhau (hard).
• [x] 6. Hiện tại đang dùng 2 stage LLM: 1 lần đầu tiên để phân loại truy vấn và lần 2 để trả lời. Có thể tăng tốc độ stage lên không?
• [x] 7. Nối câu trả lời. Có thể khi đang trả lời thì bị hết max tokens config cho generation. Vậy làm thế nào để nối lại với câu trước?
• [ ] Thử dùng GPT 4-omini, làm 1 cái swich giúp dev có thể dễ dàng chuyển đổi sang mode khác, model khác.

[vuminhoang]

Prob: tiêu chuẩn của Gemini: khi RAG các tài liệu lịch sử, thường có những cụm như chiến tranh, bắt, bắn, giết, gemini không thể trả lời những văn bản chứa những từ đó vì bị detect là hành vi bạo lực.

{ "category": "HARM_CATEGORY_HARASSMENT", "threshold": "BLOCK_MEDIUM_AND_ABOVE" }, { "category": "HARM_CATEGORY_HATE_SPEECH", "threshold": "BLOCK_MEDIUM_AND_ABOVE" }, { "category": "HARM_CATEGORY_SEXUALLY_EXPLICIT", "threshold": "BLOCK_MEDIUM_AND_ABOVE" }, { "category": "HARM_CATEGORY_DANGEROUS_CONTENT", "threshold": "BLOCK_MEDIUM_AND_ABOVE" },