search

moyangzhan / langchain4j-aideepin

JAVA版本的检索增强生成(RAG)项目，包括知识库、搜索 | JAVA version of retrieval enhancement generation(RAG) project ,including knowledge base, search
http://www.aideepin.com
MIT License
212 stars 60 forks source link

没有OPEN #19

Closed csrecord closed 4 weeks ago

csrecord commented 1 month ago 

DocumentSplitter documentSplitter = DocumentSplitters.recursive(1000, 0, new OpenAiTokenizer(GPT_3_5_TURBO));

如题，我使用千帆或者通义LLM，没有open api key的情况下，是不是 new OpenAiTokenizer(GPT_3_5_TURBO）就不会生效的，需要换成其他的Tokenizer吗？
moyangzhan commented 1 month ago 
DocumentSplitter documentSplitter = DocumentSplitters.recursive(1000, 0, new OpenAiTokenizer(GPT_3_5_TURBO));

如题，我使用千帆或者通义LLM，没有open api key的情况下，是不是 new OpenAiTokenizer(GPT_3_5_TURBO）就不会生效的，需要换成其他的Tokenizer吗？

不需要openai的api key

不过如果用的模型是千帆或者通义，要求预估的token数量尽可能准确的话，那OpenAiTokenizer就不太适合，可以考虑换成对应的计算工具。

OpenAiTokenizer只是以openai的规则来估算token数量，不需要用到openai的api key的，更多信息可以直接查看OpenAiTokenizer的源码：https://github.com/langchain4j/langchain4j/blob/main/langchain4j-open-ai/src/main/java/dev/langchain4j/model/openai/OpenAiTokenizer.java