search

thu-coai / cotk

Conversational Toolkit. An Open-Source Toolkit for Fast Development and Fair Evaluation of Text Generation
Apache License 2.0
128 stars 26 forks source link

Add SentenceBERT #420

Closed t1101675 closed 4 years ago

t1101675 commented 4 years ago

Description: 增加了SentenceBERT，类比SentenceGPT实现，相关的test暂时还没有写。

Reference Issues: #419

t1101675 commented 4 years ago

Describe the feature Step1: 增加Field里面SentenceBERT的支持 Step2: 增加SessionBERT、SentenceCandidateBERT

Expected behavior Step1: LanguageGeneration\SingleTurnDialog\SentenceClassification可以指定pretrain=bert Step2: MultiTurnDialog

以上部分完成

t1101675 commented 4 years ago

按照要求修改完成 SentenceClassification 类里面的提示原来是“multi_turn_dialog”，我感觉这里是sentence_classification 更合理一点，所以产生了confilict 然后有个SwitchboardCorpus类，也涉及到了pretrained的选择问题，不知道是否需要修改

hzhwcmhf commented 4 years ago

conflict的问题，需要pull upstream version_up，手动解决conflict

t1101675 commented 4 years ago

改了test_single_turn_dialog和test_sentiment_classification。 修了一下sentiment_classification的bug。上面的那个bug的原因应该是，SST类和SwitchBoardCorpus类在init的时候传了一个field到对应的父类（SentimentClassification和MultiTurnDialog），然后上面那个field的构造是当传进来的field为None的时候才会执行的，所以没有测到。

有一个问题： multi_turn_dialog里面有一个SwitchBoardCorpus类，里面也涉及到了预训练的选择问题，是否要修改？

hzhwcmhf commented 4 years ago

SwitchBoardCorpus也一起改了吧

另外MultiTurnDialog部分的bug还没修