训练完成打印日志的训练时间与实际的训练时间不一致

[jiejie1993]

提交前必须检查以下项目

• [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
• [X] 我已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
• [X] 第三方插件问题：例如llama.cpp、LangChain、text-generation-webui等，同时建议到对应的项目中查找解决方案。

问题类型

模型训练与精调

基础模型

Chinese-LLaMA-2 (7B/13B)

操作系统

Linux

详细描述问题

启动命令：NCCL_IB_DISABLE=1 NCCL_IBEXT_DISABLE=1 NCCL_SOCKET_IFNAME=en,eth,em,bond NCCL_DEBUG=INFO NODE_RANK=0 bash run_pt_ddp_upgrade.sh

run_pt_ddp_upgrade.sh脚本

torchrun --nnodes ${nnodes} --nproc-per-node ${nproc_per_node} --node-rank ${node_rank} --master-addr ${master_address} --master-port ${master_port} \
    --max-restarts ${NUM_ALLOWED_FAILURES} \
    run_clm_pt_with_peft.py \
    --deepspeed ${deepspeed_config_file} \

预训练阶段，使用多机多卡的方式，使用deepspeed-zero2的配置进行训练，硬件是A100，看模型训练完成时的日志是训练了14小时，但实际上消耗了大概约90个小时，请问下，这是因为什么原因？

依赖情况（代码类问题务必提供）

bitsandbytes              0.41.1
peft                      0.3.0.dev0  
sentencepiece             0.1.99
torch                     2.0.1
transformers              4.31.0     

运行日志或截图

{'loss': 2.0443, 'learning_rate': 1.9314285714285718e-05, 'epoch': 0.16}                                                                                                                                   
 16%|█████████████████████████▍                                                                                                                                  | 1142/6990 [8:20:59<121:50:32, 75.01s/it]{'loss': 2.0451, 'learning_rate': 1.9600000000000002e-05, 'epoch': 0.16}                                                                                                                                   
{'loss': 2.0202, 'learning_rate': 1.988571428571429e-05, 'epoch': 0.16}                                                                                                                                    
 16%|█████████████████████████▋                                                                                                                                  | 1151/6990 [8:32:13<122:39:33, 75.62s/it] 16%|█████████████████████████▋                                                                                                                                  | 1153/6990 [8:34:43<122:31:38, 75.57s/i

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions[bot]]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.