AkihikoWatanabe
commented
1 year ago We present the Word Mover’s Distance (WMD), a novel distance function between text documents. Our work is based on recent results in word embeddings that learn semantically meaningful representations for words from local co-occurrences in sentences. The WMD distance measures the dissimilarity between two text documents as the minimum amount of distance that the embedded words of one document need to "travel" to reach the embedded words of another document. We show that this distance metric can be cast as an instance of the Earth Mover’s Distance, a well studied transportation problem for which several highly efficient solvers have been developed. Our metric has no hyperparameters and is straight-forward to implement. Further, we demonstrate on eight real world document classification data sets, in comparison with seven state-of-the-art baselines, that the WMD metric leads to unprecedented low k-nearest neighbor document classification error rates.
Translation (by gpt-3.5-turbo)
- 私たちは、テキストドキュメント間の新しい距離関数であるWord Mover's Distance（WMD）を提案します。私たちの研究は、文の中での局所的な共起から単語の意味的に有意義な表現を学習する単語埋め込みの最近の結果に基づいています。WMD距離は、埋め込まれた単語が別のドキュメントの埋め込まれた単語に到達するために必要な最小距離として、2つのテキストドキュメント間の非類似性を測定します。この距離メトリックは、Earth Mover's Distanceの一例としてキャストできることを示し、高度に効率的なソルバーがいくつか開発されているよく研究された輸送問題として扱うことができます。私たちのメトリックにはハイパーパラメータはなく、実装も簡単です。さらに、私たちは8つの実世界のドキュメント分類データセットで、7つの最先端のベースラインと比較して、WMDメトリックが前例のない低いk最近傍ドキュメント分類エラーレートをもたらすことを示しています。
Summary (by gpt-3.5-turbo)
- 私たちは、新しい距離関数であるWord Mover's Distance（WMD）を提案しました。WMDは、テキストドキュメント間の非類似性を測定するために使用されます。私たちの研究では、単語埋め込みの最新の結果に基づいてWMDを開発しました。WMDは、単語が別のドキュメントの単語に到達するために必要な最小距離を計算します。私たちのメトリックは、実装が簡単であり、ハイパーパラメータも必要ありません。さらに、私たちは8つの実世界のドキュメント分類データセットでWMDメトリックを評価し、低いエラーレートを示しました。
https://proceedings.mlr.press/v37/kusnerb15.html