search

sbintuitions / JMTEB

The evaluation scripts of JMTEB (Japanese Massive Text Embedding Benchmark)
Creative Commons Attribution Share Alike 4.0 International
24 stars 4 forks source link

[Fix] OpenAI Embedderにdimensions設定不可の場合の対応 #14

Closed lsz05 closed 5 months ago

lsz05 commented 5 months ago

関連する Issue / PR

N/A

PR をマージした後の挙動の変化

修正後，text-embedding-ada-002 も正常に動くようにできました。 text-embedding-ada-002 ではdimensionsの設定が不可とされているため，今のままだと下記のエラーが出ています。

openai.BadRequestError: Error code: 400 - {'error': {'message': 'This model does not support specifying dimensions.', 'type': 'invalid_request_error', 'param': None, 'code': None}}

dimensions=Noneもできないようです。

挙動の変更を達成するために行ったこと

本PRではdimensions引数をmodel=text-embedding-ada-002の場合には送らないようにし，OpenAIEmbedder内のdimも設定と関わらず1536とします。 これで解消しました。

動作確認

lsz05 commented 5 months ago

@ryokan0123 これです https://github.com/openai/openai-python/blob/1a83130d7aff056d83c6760e20246a26a400c0d4/src/openai/resources/embeddings.py#L68-L69 多分サーバー側が対応（新バージョンまで更新）していないと思います