[Feature] prefixの対応

[lsz05]

関連する Issue / PR

29 ついでに#31

PR をマージした後の挙動の変化

• 各タスクにおいてprefixを設定できるようにしました。
• SentenceTransformer初期化時tokenizer_kwargs対応

挙動の変更を達成するために行ったこと

• LLMを対応するようにembedderの設定追加 (max_seq_length, add_eos, tokenizer_padding_side)
• SentenceTransformer初期化時tokenizer_kwargs追加
• encode時prefix設定の対応
• 各タスクにprefixを設定できるようにし，encode時prefix情報を加えた
• ClusteringEvaluatorにおいて, 再現性向上のためrandom_seed追加（テストを通すため）
• テストケース追加

動作確認

• [x] テストが通ることを確認した

[akiFQC]

現状、 RankingとRetrieval以外の評価にはprefixを設定できない認識なのですが、自分の認識は間違いないでしょうか？

(他のタスクでもprefixを設定できたほうがbetterかなと思ってのご質問です)

[lsz05]

現状、 RankingとRetrieval以外の評価にはprefixを設定できない認識なのですが、自分の認識は間違いないでしょうか？

(他のタスクでもprefixを設定できたほうがbetterかなと思ってのご質問です)

重複作業なので，やり方としては問題ないかまず確認したいです。 問題なければ他のタスクも同じように変更します。

[akiFQC]

OpenAIEmbedderはpredixの対応がないですが、影響なさそうでしょうか？ （大丈夫そうならLGTMです）

[lsz05]

OpenAIEmbedderはpredixの対応がないですが、影響なさそうでしょうか？ （大丈夫そうならLGTMです）

OpenAIEmbedderにprefixという引数だけを追加しました。OpenAI embeddingのdocumentのprompt関連の説明がないので実際に使わないようにしています。 自分の理解では，closed modelのため，promptなどの最適化はAPI側に任せてもよく，ユーザ側は素テキストを入れるだけでよいと思いますので。いかがでしょうか？(@akiFQC @masaya-ohagi @ryokan0123 )

[akiFQC]

自分の理解では，closed modelのため，promptなどの最適化はAPI側に任せてもよく，ユーザ側は素テキストを入れるだけでよいと思いますので。いかがでしょうか？

自分は、違和感ないです。