hlp-ai / mt-data

MT Data
Apache License 2.0
1 stars 2 forks source link

实现score_tsv_margin()方法,新建程序score_margin_test.py进行测试 #16

Closed CyberRambler closed 1 year ago

CyberRambler commented 1 year ago

1、对输入输出文件使用流式读写,适用大文件的处理 2、分批对句子进行嵌入和打分,定量汇报进度 3、输出output_file每行格式:边缘分数(保留6位小数),空格,源句子,空格,目标句子 方法在新建程序score_margin_test.py中,已通过本地测试。