Closed arthurcbaia closed 6 months ago
Olá Arthur, muito obrigado pela sugestão. Iremos implementar essa funcionalidade. Enquanto não fica pronta, você pode "manualmente" fazer a contagem de tokens consumidos usando o tokenizador da maritalk, disponível na HuggingFace: https://huggingface.co/maritaca-ai/maritalk-tokenizer-large
Obrigado pela resposta e pela sugestão Rodrigo.
Funcionalidade implementada na v0.1.9. Obrigado novamente pela sugestão!
Oi gente, tudo bem? Gostaria de propor uma melhoria para este repositório que acredito que poderia melhorar significativamente a sua funcionalidade e usabilidade. Especificamente, acho que traria grande valor a adição de um recurso que rastreie a quantidade de tokens utilizados no prompt e os tokens gerados. Essa adição permitiria um detalhamento do uso de tokens, o que seria particularmente útil para entender e otimizar o desempenho do sistema e dos custos. Um bom exemplo de como a saída poderia parecer no formato JSON, que segue o padrão OpenAI, seria: