search

maritaca-ai / maritalk-api

Code and documentation for the MariTalk API
https://docs.maritaca.ai
MIT License
249 stars 13 forks source link

Colab + MariTalk Local + LangChain #31

Closed almirb closed 8 months ago

almirb commented 11 months ago

Olá!

Duas perguntas: 1- Seria possível criar uma derivação do exemplo de uso da MariTalk API com LangChain no Google Colab, mas usando a versão local small? 2- Qual a estrutura recomendada para deploy em produção de uma RAG usando MartiTalk Local + LangChain?

Parabéns pelo trabalho e obrigado!

rodrigo-f-nogueira commented 11 months ago

Olá Almir, estamos trabalhando nisso e no começo do ano teremos um exemplo de uso.

Sobre o buscador recomendado, minha sugestão é começar com o BM25, assim como usado no Colab, pois é barato (roda em CPU) e tem uma qualidade "ok". Mas, até onde sei, o Ada-v2 da OpenAI produz os melhores embeddings para Português.

rodrigo-f-nogueira commented 8 months ago

Olá @almirb, agora temos integração nativa com o LangChain: https://github.com/langchain-ai/langchain/blob/master/docs/docs/integrations/chat/maritalk.ipynb

Fechando essa issue, mas por favor nos avise se precisar de algo mais.