AlbertRapp / blogComments

0 stars 0 forks source link

posts/20230601_embedding_benchmark/ #36

Open utterances-bot opened 1 month ago

utterances-bot commented 1 month ago

blog - 日本語Embeddingモデルのベンチマーク比較: OpenAIが圧倒的な精度でリード

日本語の埋め込みモデルを比較するベンチマークを作成し、OpenAIの精度が最も高く、他のモデルに比べて各指標で10%高いことが分かりました。また、他の埋め込みモデルの中で最も精度が高いのはTensorFlowのUniversal Sentence Encoderでした。

https://www.jiang.jp/posts/20230601_embedding_benchmark/

yang-jincheng commented 1 month ago

調査結果の共有ありがとうございます! 一点だけ質問したいです、今回はQAタスクのデータセットで各embeddingモデルを調査したと思います。 QAタスクだから decoder系で訓練されたGPT embeddingの質が良いではないでしょうか