search

songquanpeng / one-api

OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.
https://openai.justsong.cn/
MIT License
16.47k stars 3.8k forks source link

failed to get gpt-3.5-turbo token encoder: #609

Closed jsubnew closed 9 months ago

jsubnew commented 9 months ago

例行检查

问题描述 main.go会调用controller.InitTokenEncoders()方法，该方法会发起互联网访问获取TokenEncoders，获取异常直接退出启动了，这样的设计会导致整个项目能不能启动完全交给了网络，断网了情况服务无法启动，这样设计是否有问题？ 是否可以考虑内置呢，或者可配置。

复现步骤 断网，启动项目 预期结果 能启动成功

jsubnew commented 9 months ago
  1. 缓存设置：
    • TIKTOKEN_CACHE_DIR：默认程序启动时会联网下载一些通用的词元的编码，如：gpt-3.5-turbo,在一些网络环境不稳定，或者离线情况，可能会导致启动有问题，可以配置此目录缓存数据，可迁移到离线环境。
    • DATA_GYM_CACHE_DIR：目前该配置作用与TIKTOKEN_CACHE_DIR一致，但是优先级没有它高。
wenzhou123 commented 5 months ago

  1. 缓存设置：

    • TIKTOKEN_CACHE_DIR：默认程序启动时会联网下载一些通用的词元的编码，如：gpt-3.5-turbo,在一些网络环境不稳定，或者离线情况，可能会导致启动有问题，可以配置此目录缓存数据，可迁移到离线环境。
    • DATA_GYM_CACHE_DIR：目前该配置作用与TIKTOKEN_CACHE_DIR一致，但是优先级没有它高。

具体怎么设置

jinghai commented 4 months ago

遇到了同样的问题，请问TIKTOKEN_CACHE_DIR具体怎么设置？

shikeqiang commented 3 months ago

同问咋解决

password36 commented 3 months ago

这个怎么配置，离线环境过不去了。

yixian3500 commented 3 months ago

同问怎么解决

password36 commented 3 months ago

同问怎么解决

看了别的issues解决了，找一个能上网的机器，先run起来，然后从容器里把/tmp/data-gym-cache/9b5ad71b2ce5302211f9c61530b329a4922fc6a4 这个文件copy出来，再复制到内网容器中同样位置，这个是默认下载的分词文件。或者直接把外网的容器export出来也可以。

BBM-Freehub commented 2 months ago

同问怎么解决

看了别的issues解决了，找一个能上网的机器，先run起来，然后从容器里把/tmp/data-gym-cache/9b5ad71b2ce5302211f9c61530b329a4922fc6a4 这个文件copy出来，再复制到内网容器中同样位置，这个是默认下载的分词文件。或者直接把外网的容器export出来也可以。

服务器重启一下，又会被删除，改成只读也没用，一样会被删除。