ghmagazine / llm-book

「大規模言語モデル入門」(技術評論社, 2023)のGitHubリポジトリ
https://gihyo.jp/book/2023/978-4-297-13633-8
Apache License 2.0
272 stars 41 forks source link

5.5.2 勾配累積 で説明内容で参照されているコードにgradient_accumulation_stepsがない #29

Closed BridgesARGUS closed 6 months ago

BridgesARGUS commented 6 months ago

興味深く勉強させていただいております。 p125におきまして「5.2節ではTrainingArgumentsにgradient_accumulation_stepsの値を指定して~」との記述がありますが、参照先と思われる5.2節で掲載されているTrainingArgumentsのパラメータにはgradient_accumulation_stepsが含まれていないと思います。 特に実行などに問題がないものですが、念のためご報告させていただきました。

ryokan0123 commented 6 months ago

@BridgesARGUS さん、

ご連絡ありがとうございます。お返事が遅れましてすみませんでした。

ご指摘の通り、整合性が取れていない記述があること確認いたしました。 今後の改訂の際に修正させていただきます。

改めまして、このたびは本書をお手に取っていただき、また貴重なご指摘をいただきまして、誠にありがとうございました。