search

llm-jp / scripts

Apache License 2.0
1 stars 1 forks source link

Fix Fused Attention Error #15

Open k141303 opened 1 month ago

k141303 commented 1 month ago

Modification of modules to be loaded.

YumaTsuta commented 1 month ago

exampleでの動作確認して問題ありませんでした。（mergeはauthorがお願いします）

k141303 commented 1 month ago

172Bの学習が2/3程度まで落ちることが判明。 一旦マージは見送り。