Tons of <UNK> tokens

[zfj1998]

I am using the latest data-set and source code trying to reproducing experiment results shown in the paper. But I have come into a problem with the '' token. Here are the training output below. ( replaced the angle brackets with Chinese guillemet ) epoch: 29 1118 / 5589 batches have been processed, average cost until now: cost = 16.889560269541732 , cost_c = 1.0 , time: 106.37018322944641 save model... finished 2236 / 5589 batches have been processed, average cost until now: cost = 16.845613719738875 , cost_c = 1.0 , time: 211.76999139785767 save model... finished 3354 / 5589 batches have been processed, average cost until now: cost = 16.870727904722955 , cost_c = 0.9999999999644575 , time: 318.1061964035034 save model... finished 4472 / 5589 batches have been processed, average cost until now: cost = 16.899186118770796 , cost_c = 0.9999999999733432 , time: 424.18153262138367 save model... finished in this epoch, total average cost = 16.894111249134554 , cost_c = 0.999999999978667 , time: 529.5610339641571 golden truth and prediction samples: 1 ---------------------------------------------------------------------------------------------------- 《unk》 do i get 《unk》 a 《unk》 《unk》 class 《unk》 《unk》 《unk》 ajax 《unk》 . 《unk》 《unk》 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 2 ---------------------------------------------------------------------------------------------------- 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 3 ---------------------------------------------------------------------------------------------------- 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 4 ---------------------------------------------------------------------------------------------------- while 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 server 《unk》 《unk》 《unk》 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 5 ---------------------------------------------------------------------------------------------------- 《unk》 《unk》 i 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 6 ---------------------------------------------------------------------------------------------------- 《unk》 《unk》 《unk》 a 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 7 ---------------------------------------------------------------------------------------------------- 《unk》 to 《unk》 the 《unk》 《unk》 《unk》 《unk》 《unk》 in the 《unk》 《unk》 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 8 ---------------------------------------------------------------------------------------------------- 《unk》 《unk》 《unk》 a 《unk》 string 《unk》 , 《unk》 convert 《unk》 《unk》 datetime

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 9 ---------------------------------------------------------------------------------------------------- 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 10 ---------------------------------------------------------------------------------------------------- 《unk》 《unk》 《unk》 《unk》 《unk》 a return 《unk》 《unk》 , 《unk》 《unk》 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 11 ---------------------------------------------------------------------------------------------------- 《unk》 《unk》 《unk》 a 《unk》 guid from a 《unk》 guid 《unk》 c 《unk》 《unk》 t - 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 12 ---------------------------------------------------------------------------------------------------- 《unk》 《unk》 i 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 , 《unk》 a 《unk》 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 13 ---------------------------------------------------------------------------------------------------- 《unk》 《unk》 《unk》 a 《unk》 《unk》 function 《unk》 《unk》 string 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 14 ---------------------------------------------------------------------------------------------------- 《unk》 《unk》 i 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 15 ---------------------------------------------------------------------------------------------------- 《unk》 《unk》 《unk》 filter list by 《unk》 《unk》 《unk》 《unk》 int list 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 16 ---------------------------------------------------------------------------------------------------- 《unk》 c 《unk》 《unk》 《unk》 i 《unk》 《unk》 port 《unk》 《unk》 《unk》 《unk》 . 《unk》 . 《unk》 《unk》

《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 《unk》 remoting 《unk》

save model... finished save final model... finished Finished, time: 17754.64404273033

[zfj1998]

bug fixed!

All because of typo in data_prepare.py line:21 and line:31

---

I have made a working version of forked repo at: https://github.com/zfj1998/Code2Que And I have updated the README file for a easier start.

[zfj1998]

The functionality of the "existing_model_name" argument is to load the existing trained model's parameters. You will not find the file to load if you have never trained the model.

2022-02-12 22:52:31nengnengwu @.***>写道：

bug fixed!

All because of typo in data_prepare.py line:21 and line:31

I have made a working version of forked repo at: https://github.com/zfj1998/Code2Que And I have updated the README file for a easier start.

Thanks for your detailed readme file. It's very helpful!

After running the data_prepare.py file, I follow your steps to run main.py file. However, I do not know how to obtain " existing_model_name = "cnndm.s2s.gpu4.epoch7.1". Could you please help me out? Looking forward your reply.

— Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you authored the thread.Message ID: @.***>