search

moyangzhan / langchain4j-aideepin

基于AI的工作效率提升工具 | Retrieval enhancement generation(RAG) project
http://www.aideepin.com
MIT License
332 stars 85 forks source link

没有OPEN #19

Closed csrecord closed 5 months ago

csrecord commented 5 months ago 

DocumentSplitter documentSplitter = DocumentSplitters.recursive(1000, 0, new OpenAiTokenizer(GPT_3_5_TURBO));

如题，我使用千帆或者通义LLM，没有open api key的情况下，是不是 new OpenAiTokenizer(GPT_3_5_TURBO）就不会生效的，需要换成其他的Tokenizer吗？
moyangzhan commented 5 months ago 
DocumentSplitter documentSplitter = DocumentSplitters.recursive(1000, 0, new OpenAiTokenizer(GPT_3_5_TURBO));

如题，我使用千帆或者通义LLM，没有open api key的情况下，是不是 new OpenAiTokenizer(GPT_3_5_TURBO）就不会生效的，需要换成其他的Tokenizer吗？

不需要openai的api key

不过如果用的模型是千帆或者通义，要求预估的token数量尽可能准确的话，那OpenAiTokenizer就不太适合，可以考虑换成对应的计算工具。

OpenAiTokenizer只是以openai的规则来估算token数量，不需要用到openai的api key的，更多信息可以直接查看OpenAiTokenizer的源码：https://github.com/langchain4j/langchain4j/blob/main/langchain4j-open-ai/src/main/java/dev/langchain4j/model/openai/OpenAiTokenizer.java