search

Oneflow-Inc / OneFlow-Benchmark

OneFlow models for benchmarking.
104 stars 31 forks source link

Dev add bert automated test #203

Open luqiang-guo opened 3 years ago

luqiang-guo commented 3 years ago

Add docker image multi-machine startup script and bert multi-machine execution script.

jackalcooper commented 3 years ago

能不能把那些bash脚本改成python的，复杂的bash脚本很难维护

jackalcooper commented 3 years ago

这个测试能做到无人值守吗，就是脚本自己能判断精度和性能是否达标

luqiang-guo commented 3 years ago

试能做到无人值守吗，就是脚本自己能判断精度和

可以做到自己判断精度，而且还可以出一个分析报告。

luqiang-guo commented 3 years ago

能不能把那些bash脚本改成python的，复杂的bash脚本很难维护

之前试着改过python的方式，但是尝试失败了。主要问题是我需要非阻塞的在其他机上执行启动脚本的命令。

jackalcooper commented 3 years ago

能不能把那些bash脚本改成python的，复杂的bash脚本很难维护

之前试着改过python的方式，但是尝试失败了。主要问题是我需要非阻塞的在其他机上执行启动脚本的命令。

用 subprocess 模块的poll 或者 async await 都可以做到在python里面的非阻塞

luqiang-guo commented 3 years ago

能不能把那些bash脚本改成python的，复杂的bash脚本很难维护

之前试着改过python的方式，但是尝试失败了。主要问题是我需要非阻塞的在其他机上执行启动脚本的命令。

用 subprocess 模块的poll 或者 async await 都可以做到在python里面的非阻塞

好的，我后面用async await 修改