gpt 0.4.0 的完整支持和验证 - Githubissues

Oneflow-Inc / OneFlow-Benchmark

OneFlow models for benchmarking.

104 stars 31 forks source link

gpt 0.4.0 的完整支持和验证 #210

Open strint opened 2 years ago

strint commented 2 years ago

0.4.0的oneflow和benchmark

在调试验证中。当前反馈：

测试了v0.4.0，是可以的
但是有一点需要注意，就是跑的模型参数，hidden_size和seq_length别相等，(一般都不会相等)，现在benchmark上直接运行bash examples/pretrain_345M.sh有问题，就是这个问题错误样子：
```
raise RuntimeError("can't infer split axis")
RuntimeError: can't infer split axis
```
在处理中。

jackalcooper commented 2 years ago

可以考虑整理个master能跑的gpt，然后我加到CI的 dry run里面