Open xunhanliu opened 2 years ago
根据代码生成的model, 对验证集zh_iwslt/valid 进行标点恢复。结果如下:
问别人问题时当,我说到这《涌现现象》本书当说到涌现现象当说到群,体,智慧让人,们听懂的最,好方式就,是用,城市作为,比喻询问他们谁造就了,这些,城市中街区谁让So,ho有这,样的个性让拉丁区,有那样的特点固然其中,有一些高层的战略决,定但答案却是每个人和没有人每,人都,对它们都有一,点贡献却没有人真正是这个街区的终极,塑造者同样的如果问到在911的悲剧之,后是谁,还让我所,居住的社,区和街道充满,了活力对就是,整个,城,市本身整个系统使得,它运转每个人都有一,点点贡献我们把注意力,转移到互联,网上现在可以看到越来越多,有趣的事,情但当《,涌现,现,象》出版之,前后除了,某,些实验性的东西之外这些有趣的事情和现象大多还不具备普遍性所以这是一个令人乐观的年代我只想讲其中的几件事我相信在网络上开始出现了一种新的互动模式旧的模式是这样的这不是未,来英伦之王,虽然看起来像这只是一男,的我在GeoCit,ies的,主页上找到的在下方你会看到他对足球和耶稣,感兴趣以及加思,·布鲁克,斯Clint
效果远远差于: https://github.com/AlvinIsonomia/LSTM-for-Chinese-Punctuation-Restoration
可以这么理解吗?
@xunhanliu 不好意思,很久没有维护了。不过你遇到的这个现象是一种过拟合,你可以认为是模型倾向于所有地方都添加标点,以达到对预测召回率的更强覆盖。
多谢解答~~
根据代码生成的model, 对验证集zh_iwslt/valid 进行标点恢复。结果如下:
问别人问题时当,我说到这《涌现现象》本书当说到涌现现象当说到群,体,智慧让人,们听懂的最,好方式就,是用,城市作为,比喻询问他们谁造就了,这些,城市中街区谁让So,ho有这,样的个性让拉丁区,有那样的特点固然其中,有一些高层的战略决,定但答案却是每个人和没有人每,人都,对它们都有一,点贡献却没有人真正是这个街区的终极,塑造者同样的如果问到在911的悲剧之,后是谁,还让我所,居住的社,区和街道充满,了活力对就是,整个,城,市本身整个系统使得,它运转每个人都有一,点点贡献我们把注意力,转移到互联,网上现在可以看到越来越多,有趣的事,情但当《,涌现,现,象》出版之,前后除了,某,些实验性的东西之外这些有趣的事情和现象大多还不具备普遍性所以这是一个令人乐观的年代我只想讲其中的几件事我相信在网络上开始出现了一种新的互动模式旧的模式是这样的这不是未,来英伦之王,虽然看起来像这只是一男,的我在GeoCit,ies的,主页上找到的在下方你会看到他对足球和耶稣,感兴趣以及加思,·布鲁克,斯Clint