Open utterances-bot opened 1 month ago
日本語の埋め込みモデルを比較するベンチマークを作成し、OpenAIの精度が最も高く、他のモデルに比べて各指標で10%高いことが分かりました。また、他の埋め込みモデルの中で最も精度が高いのはTensorFlowのUniversal Sentence Encoderでした。
https://www.jiang.jp/posts/20230601_embedding_benchmark/
調査結果の共有ありがとうございます! 一点だけ質問したいです、今回はQAタスクのデータセットで各embeddingモデルを調査したと思います。 QAタスクだから decoder系で訓練されたGPT embeddingの質が良いではないでしょうか
blog - 日本語Embeddingモデルのベンチマーク比較: OpenAIが圧倒的な精度でリード
日本語の埋め込みモデルを比較するベンチマークを作成し、OpenAIの精度が最も高く、他のモデルに比べて各指標で10%高いことが分かりました。また、他の埋め込みモデルの中で最も精度が高いのはTensorFlowのUniversal Sentence Encoderでした。
https://www.jiang.jp/posts/20230601_embedding_benchmark/