search

maritaca-ai / maritalk-api

Code and documentation for the MariTalk API
https://docs.maritaca.ai
MIT License
240 stars 12 forks source link

Funcionalidade de Rastreamento de Tokens #42

Closed arthurcbaia closed 6 months ago

arthurcbaia commented 7 months ago

Oi gente, tudo bem? Gostaria de propor uma melhoria para este repositório que acredito que poderia melhorar significativamente a sua funcionalidade e usabilidade. Especificamente, acho que traria grande valor a adição de um recurso que rastreie a quantidade de tokens utilizados no prompt e os tokens gerados. Essa adição permitiria um detalhamento do uso de tokens, o que seria particularmente útil para entender e otimizar o desempenho do sistema e dos custos. Um bom exemplo de como a saída poderia parecer no formato JSON, que segue o padrão OpenAI, seria:

"usage": {
    "completion_tokens": 17,
    "prompt_tokens": 57,
    "total_tokens": 74
}
rodrigo-f-nogueira commented 7 months ago

Olá Arthur, muito obrigado pela sugestão. Iremos implementar essa funcionalidade. Enquanto não fica pronta, você pode "manualmente" fazer a contagem de tokens consumidos usando o tokenizador da maritalk, disponível na HuggingFace: https://huggingface.co/maritaca-ai/maritalk-tokenizer-large

arthurcbaia commented 7 months ago

Obrigado pela resposta e pela sugestão Rodrigo.

rodrigo-f-nogueira commented 6 months ago

Funcionalidade implementada na v0.1.9. Obrigado novamente pela sugestão!