RAG0018: Build RAG Chatbot for Tibetan Text

[tenzin3]

Description

Make a RAG Chatbot for tibetan text with vectorization.

Important Notes

• prompt can be both in english or tibetan
• answer should be given in tibetan
• vectorization would be used

Expected Output

A Chatbot system able to give answers in tibetan.

Implementation Steps

• [x] data preparation (text with pagination annotation)
• [x] get embeddings
• [x] context retrieving
• [x] tibetan llm

[tenzin3]

Data Prepared on Norbu-Ketaga གཏེར་ཆོས། རྩ་གསུམ་གླིང་པ།

Prepared data with Metadata-> I46409446.json

[tenzin3]

Got embeddings using cohere.

embeddings.json

Cohere embeddings restriction on free trial:>

• Max number of input per call is 96
• 100 calls per minute
• 1000 calls per month
• 100000 tokens per minute

[tenzin3]

cosine similarity has been used for getting the top 3 contexts according to the query.

[tenzin3]

claude has been used as a LLM.

[tenzin3]

New Data (My land and my people Tibetan Version).ངོས་ཀྱི་ཡུལ་དང་ངོས་ཀྱི་མི་མང་།.txt

[tenzin3]

ངོས་ཀྱི་ཡུལ་དང་ངོས་ཀྱི་མི་མང་། with metadata ངོས་ཀྱི་ཡུལ་དང་ངོས་ཀྱི་མི་མང་།.json

[tenzin3]

ངོས་ཀྱི་ཡུལ་དང་ངོས་ཀྱི་མི་མང་། with metadata after removing empty strings ངོས་ཀྱི་ཡུལ་དང་ངོས་ཀྱི་མི་མང་།.json

[tenzin3]

ངོས་ཀྱི་ཡུལ་དང་ངོས་ཀྱི་མི་མང་། with metadata and openai embeddings

ངོས་ཀྱི་ཡུལ་དང་ངོས་ཀྱི་མི་མང་། _embeddings.json