多机多卡微调

[qdchenxiaoyan]

提交前必须检查以下项目

• [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
• [X] 我已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
• [X] 第三方插件问题：例如llama.cpp、LangChain、text-generation-webui等，同时建议到对应的项目中查找解决方案。

问题类型

模型训练与精调

基础模型

Chinese-Alpaca-2 (7B/13B)

操作系统

Linux

详细描述问题

作者能否完善下多机多卡微调的说明，谢谢~

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况（请粘贴在本代码块里）

运行日志或截图

# 请在此处粘贴运行日志（请粘贴在本代码块里）

[iMountTai]

指令微调脚本wiki中有说明

[qdchenxiaoyan]

指令微调脚本wiki中有说明

我是按照这个配置的，如下图：

我是两台机器，是两台机器分别启动训练么，配置的区别就是node_rank，其他都一样？那启动顺序有没有什么要求呢

[iMountTai]

master_addr需要指定rank0所在机器的IP，启动顺序不清楚有没有区别，具体可以看一下torchrun的官方文档。

[qdchenxiaoyan]

master_addr需要指定rank0所在机器的IP，启动顺序不清楚有没有区别，具体可以看一下torchrun的官方文档。

试了，在设定的通信时间内，启动顺序没要求

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions[bot]]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.