search

THUDM / CodeGeeX

CodeGeeX: An Open Multilingual Code Generation Model (KDD 2023)
https://codegeex.cn
Apache License 2.0
8.22k stars 603 forks source link

关于Humaneval-x的评测速度 #159

Open dongZheX opened 1 year ago

dongZheX commented 1 year ago

我尝试使用docker来对humaneval-x进行评测， 评测过程中发现几个问题：

  1. java, go语言在execution的过程中极为耗时，需要timeout设置为240才使得代码正常编译，计算metric的时间几乎超过了生成的时间。
  2. docker镜像中现在好像没有rust相关的运行环境。

请问，第一个问题是否是我机器的问题，还是共有问题。 请问，是否可以提供包含rust环境的docker镜像。

wanghanbinpanda commented 1 year ago

我再java中只需要设置为默认的5就可以正常编译所有的，但是我在go语言上目前设置为20还是timed out，请问你解决了吗？我应该吧time设置的再大一点？

dyy401453043 commented 11 months ago

我也遇到了，go语言得分全是timed out。设置time out 30不行。

dongZheX commented 11 months ago

很有可能是因为go的环境有问题，我现在可以在timeout=3的情况下正常运行。你可以排查下 ---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2023年10月22日 00:37 | | 收件人 | THUDM/CodeGeeX @.> | | 抄送人 | dongZheX @.>, Author @.> | | 主题 | Re: [THUDM/CodeGeeX] 关于Humaneval-x的评测速度 (Issue #159) |

我再java中只需要设置为默认的5就可以正常编译所有的，但是我在go语言上目前设置为20还是timed out，请问你解决了吗？我应该吧time设置的再大一点？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>