search

sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)
Creative Commons Attribution Share Alike 4.0 International
24 stars 4 forks source link

[Fix] OpenAIEmbedderにおける長さ超過のインプットテキストの処理 #17

Closed lsz05 closed 4 months ago

lsz05 commented 4 months ago

関連する Issue / PR

15

PR をマージした後の挙動の変化

モデルの長さ制限を超えないため，長すぎるテキストは事前にtruncateします。

挙動の変更を達成するために行ったこと

truncate_textを実装し，テキストをトークンのリストに変換し，truncateする。

動作確認