[BUG] docker 启动 卡在 Loading checkpoint shards

[JiakunXu]

bash: cannot set terminal process group (-1): Inappropriate ioctl for device
bash: no job control in this shell
current llm: chatglm2-6b
Starting Chatchat Service...
2024-02-16 15:27:22,374 - startup.py[line:647] - INFO: 正在启动服务：
2024-02-16 15:27:22,374 - startup.py[line:648] - INFO: 如需查看 llm_api 日志，请前往 /langchain-chatchat/logs

==============================Langchain-Chatchat Configuration==============================
操作系统：Linux-5.15.0-92-generic-x86_64-with-glibc2.35.
python版本：3.10.12 (main, Jun 11 2023, 05:26:28) [GCC 11.4.0]
项目版本：v0.2.7
langchain版本：0.0.334. fastchat版本：0.2.32

当前使用的分词器：ChineseRecursiveTextSplitter
当前启动的LLM模型：['chatglm2-6b', 'zhipu-api', 'openai-api'] @ cuda
{'device': 'cuda',
 'host': '0.0.0.0',
 'infer_turbo': False,
 'model_path': '/chatglm2-6b',
 'port': 20002}
{'api_key': '',
 'device': 'auto',
 'host': '0.0.0.0',
 'infer_turbo': False,
 'online_api': True,
 'port': 21001,
 'provider': 'ChatGLMWorker',
 'version': 'chatglm_turbo',
 'worker_class': <class 'server.model_workers.zhipu.ChatGLMWorker'>}
{'api_base_url': 'https://api.openai.com/v1',
 'api_key': '',
 'device': 'auto',
 'host': '0.0.0.0',
 'infer_turbo': False,
 'model_name': 'gpt-35-turbo',
 'online_api': True,
 'openai_proxy': '',
 'port': 20002}
当前Embbedings模型： text2vec-bge-large-chinese @ cuda
==============================Langchain-Chatchat Configuration==============================

2024-02-16 15:27:28,363 - instantiator.py[line:21] - INFO: Created a temporary directory at /tmp/tmpx2kfurjt
2024-02-16 15:27:28,364 - instantiator.py[line:76] - INFO: Writing /tmp/tmpx2kfurjt/_remote_module_non_scriptable.py
2024-02-16 15:27:28 | ERROR | stderr | INFO:     Started server process [66]
2024-02-16 15:27:28 | ERROR | stderr | INFO:     Waiting for application startup.
2024-02-16 15:27:28 | ERROR | stderr | INFO:     Application startup complete.
2024-02-16 15:27:28 | ERROR | stderr | INFO:     Uvicorn running on http://0.0.0.0:20000 (Press CTRL+C to quit)
2024-02-16 15:27:28 | INFO | model_worker | Register to controller
2024-02-16 15:27:28 | INFO | model_worker | Loading the model ['chatglm2-6b'] on worker c6b071c3 ...
Loading checkpoint shards:   0%|          | 0/7 [00:00<?, ?it/s]
Loading checkpoint shards:  14%|█▍        | 1/7 [00:16<01:37, 16.21s/it]
Loading checkpoint shards:  29%|██▊       | 2/7 [00:33<01:24, 16.93s/it]
Loading checkpoint shards:  43%|████▎     | 3/7 [00:50<01:08, 17.02s/it]
Loading checkpoint shards:  57%|█████▋    | 4/7 [01:06<00:50, 16.67s/it]
Loading checkpoint shards:  71%|███████▏  | 5/7 [01:24<00:33, 16.99s/it]

[dosubot[bot]]

🤖

你好，@JiakunXu！很高兴再次见到你在这里遇到挑战。👾

您的问题可能是由于以下几个原因导致的：

1. 资源限制：您的系统可能没有足够的资源（CPU，内存，磁盘空间）来加载模型。如果您正在使用一个大型的语言模型，这种可能性就更大了。

2. 并发问题：代码使用了多进程和异步操作。如果这些方面存在错误或配置错误，可能会导致加载过程卡住。

3. 模型配置：模型配置或模型文件本身可能存在问题。例如，模型文件可能已损坏，或者配置可能与模型不匹配。

4. 代码错误：代码中可能存在一个错误，导致加载过程卡住。这可能在模型加载代码或其他地方。

要解决这个问题，您可以尝试以下操作：

• 检查系统的资源使用情况，看是否达到了任何限制。
• 尝试加载一个较小的模型，看问题是否与模型的大小有关。
• 检查模型配置和模型文件，确保它们是正确的。
• 在代码中添加更多的日志，帮助确定卡住的位置。

在没有更具体的信息或无法运行和调试代码的情况下，无法提供更具体的答案。

此外，我在Langchain-Chatchat的存储库中找到了一些类似的已解决问题，可能对您有所帮助：

1. [BUG] Docker版镜像执行卡在Starting Chatchat Service... 并且无法打开WEBUI 最后更新时间为2023年11月09日。此问题已关闭，但没有任何评论或解决方案。

2. 【紧急求助帖】Docker部署镜像启动问题 最后更新时间为2023年10月24日。建议的解决方案是：新的Docker已经发布，旧版本不再维护。请更新到新版本的Docker，检查问题是否仍然存在。如果存在，您可以重新打开一个问题。

3. 【求大神指点】第一次拉取镜像后，启动一直卡在Waiting for application startup. 最后更新时间为2023年10月09日。这个问题被引用在：【紧急求助帖】Docker部署镜像启动问题 最后更新时间为2023年10月24日。

希望这些信息对您有所帮助。如果您有更多的信息或问题，请随时提问。

Sources

• [BUG] Docker版镜像执行卡在Starting Chatchat Service... 并且无法打开WEBUI
• 【紧急求助帖】Docker部署镜像启动问题
• 【求大神指点】第一次拉取镜像后，启动一直卡在Waiting for application startup.
• startup.py

#### About Dosu

This response is meant to be useful and save you time. It is **not meant to be a precise solution**, but rather a starting point for your own research. Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant. If you want to continue the conversation, start your reply with @dosu-bot.

[zRzRzRzRzRzRzR]

配置不够