Closed lsz05 closed 4 months ago
現状、 RankingとRetrieval以外の評価にはprefixを設定できない認識なのですが、自分の認識は間違いないでしょうか?
(他のタスクでもprefixを設定できたほうがbetterかなと思ってのご質問です)
現状、 RankingとRetrieval以外の評価にはprefixを設定できない認識なのですが、自分の認識は間違いないでしょうか?
(他のタスクでもprefixを設定できたほうがbetterかなと思ってのご質問です)
重複作業なので,やり方としては問題ないかまず確認したいです。 問題なければ他のタスクも同じように変更します。
OpenAIEmbedder
はpredixの対応がないですが、影響なさそうでしょうか?
(大丈夫そうならLGTMです)
OpenAIEmbedder
はpredixの対応がないですが、影響なさそうでしょうか? (大丈夫そうならLGTMです)
OpenAIEmbedder
にprefix
という引数だけを追加しました。OpenAI embeddingのdocumentのprompt関連の説明がないので実際に使わないようにしています。
自分の理解では,closed modelのため,promptなどの最適化はAPI側に任せてもよく,ユーザ側は素テキストを入れるだけでよいと思いますので。いかがでしょうか?(@akiFQC @masaya-ohagi @ryokan0123 )
自分の理解では,closed modelのため,promptなどの最適化はAPI側に任せてもよく,ユーザ側は素テキストを入れるだけでよいと思いますので。いかがでしょうか?
自分は、違和感ないです。
関連する Issue / PR
29 ついでに#31
PR をマージした後の挙動の変化
SentenceTransformer
初期化時tokenizer_kwargs
対応挙動の変更を達成するために行ったこと
max_seq_length
,add_eos
,tokenizer_padding_side
)SentenceTransformer
初期化時tokenizer_kwargs
追加動作確認