GENZITSU
commented
2 years ago Deep Metric Learningによる、ホテルや飲食店などの拠点検索改善
Yahoo!検索において、クエリから正しい拠点情報を抽出する検索モデルを、Deep Metric Learningにより改善した事例の紹介
改善前のモデルであった課題
Deep Metric Leaningによる手法
encoderにはtransformerを用いており、以下のようなコードで情報抽出を行う 最終出力をtoken方向で平均をとっているのが特徴的か
# from https://techblog.yahoo.co.jp/entry/2021120330233760/
import tensorflow as tf
# Token ID列化とTensorflowの公式チュートリアルで定義されている関数やクラスは省略しています
class TransformerEncoder(tf.keras.models.Model):
def __init__(self, num_vocab, dim_embedding, dim_hidden, num_heads, num_layers, maximum_position_encoding):
super().__init__()
self.dim_embedding = dim_embedding
self.num_layers = num_layers
self.embedding = tf.keras.layers.Embedding(num_vocab, dim_embedding)
self.pos_encoding = positional_encoding(maximum_position_encoding, self.dim_embedding)
self.enc_layers = [EncoderLayer(dim_embedding, dim_hidden, num_heads) for _ in range(num_layers)]
self.aggregate = tf.keras.layers.GlobalAveragePooling1D()
self.ffn = point_wise_feed_forward_network(dim_embedding, dim_hidden)
def call(self, x):
seq_len = tf.shape(x)[1]
mask_for_attention = create_padding_mask(x)
x = self.embedding(x)
x *= tf.math.sqrt(tf.cast(self.dim_embedding, tf.float32))
x += self.pos_encoding[:, :seq_len, :]
for i in range(self.num_layers):
x = self.enc_layers[i](x, mask_for_attention)
x = self.aggregate(x)
x = self.ffn(x)
return tf.nn.l2_normalize(x, -1)学習にはcontrastive learningを用いてるが、以下のような工夫がされている
- クエリ 拠点のペアに加えて、クエリ クエリのペア, 拠点 * 拠点のペアを用いて損失を学習
- ランダムサンプリングした負例も損失に加える
画像検索だとクエリと検索対象どちらも画像なので、ベクトル化するモデルをそれぞれ用意せず共有するのが一般的だと思います。今回のケースでは検索クエリと拠点側の情報は同じではないため、クエリ×拠点のペアの組み合わせだけではなく、クエリ×クエリ、拠点×拠点の組み合わせに対しても損失を計算し最適化するように工夫しています。
クエリ×ランダムサンプリングした拠点、ランダムサンプリングした拠点同士の組み合わせに対しても損失を計算しています。ミニバッチ数とランダムサンプリングする拠点の数はGPUのメモリが許す限り大きくしたほうが精度がでました（ミニバッチ数は4096、ランダムサンプリングする拠点の数は28672に設定しています）。
# from https://techblog.yahoo.co.jp/entry/2021120330233760/
def contrastive_loss(
query_vectors, query_labels, spot_vectors, spot_labels, margin
):
"""
query_vectors, spot_vectors: それぞれクエリと拠点のベクトルでshapeは[ミニバッチ数, ベクトルの次元数]です
query_labels, spot_labels: それぞれクエリの正解拠点のラベル、拠点のラベルでshapeは[ミニバッチ数] です
margin: マージン(ハイパーパラメータ)です (例えば 0.7)
"""
similarity_matrix = tf.linalg.matmul(query_vectors, spot_vectors, transpose_b=True)
query_labels_expand = tf.transpose(tf.repeat([query_labels], repeats=tf.shape(spot_labels)[0], axis=0))
positive_mask = tf.equal(query_labels_expand, spot_labels)
negative_mask = tf.logical_and(tf.logical_not(positive_mask), tf.greater(similarity_matrix, margin))
return (
tf.reduce_sum(1 - tf.boolean_mask(similarity_matrix, positive_mask))
+ tf.reduce_sum(tf.boolean_mask(similarity_matrix, negative_mask))
) / tf.cast(tf.shape(query_labels)[0], tf.float32)モデルのデプロイにはTensorflow Servingを用いており、sentencepienceによる前処理も内包できるのが利点なんだとか
最後にうまくいったことといかなかったことの
Transformerのpositonal encodingの代わりに双方向LSTM [文献6] を入れる 多少ではありますが、精度が上がりました。
損失関数を Proxy Anchor Loss [文献7] のようなものにする Contrastive Loss から Proxy Anchor Loss にすると精度が多少上がりました。Proxyといっていますが実際はProxyを使っておらず、Proxyを拠点側のベクトルに置き換えたものを使っています。
Hard Negativeを入れて学習する ミニバッチを構成するクエリと正解拠点のペアはランダムにサンプリングしています。一度そのようにして学習したあと、そのモデルを使って検索結果上位数件（Hard Negative）を取得しミニバッチに加えてさらに学習すると精度が上がりました。その際、クエリ側のモデルと拠点側のモデルのパラメータを同時に更新してしまうと逆に精度が下がってしまったのですが、拠点側のパラメータは固定しクエリ側だけ学習するとことでうまくいきました。
TransformerのLayer数を増やす 最終的にはクエリ側は2層、拠点側は1層になりました。単純に同じミニバッチ数でLayerを増やしてみても精度は上がりませんでした。学習データがもっと膨大にあれば違う結果になるのではないかと思っています。
拠点の情報の使い方を工夫する 拠点側の情報は、拠点名と住所を結合してモデルの入力にしていますが、拠点名用のモデルと住所用のモデルを別々にしそれぞれのモデルの出力をconcatして全結合層を通すものを試してみたのですが、精度は上がりませんでした。
コメント
DeepMetric Learningによる事例 * 実装例の紹介がありがたい。
encoderのモデルサイズよりもバッチサイズが大きい方がよいというのは、当然ではあるが、ありがたい知見である。
業務で時系列データを可視化する時の話
時系列データをpythonで綺麗に可視化するためのコーディング方法が紹介されている。
コメント
メモ
出典
元記事