Open kacky24 opened 5 years ago
カスタマーサポートを効率化するフレームワークCOTA v1(feature engineering base)とCOTA v2(deep learning base)の提案。
Uberにおけるカスタマーサポートのワークフローは、
の２つから成る。
contact typeやreply tenmplateを決定する際に参照する特徴量
ticket messageの処理には、tf-idfとLSAを用いる。 しかし、これらのベクトルをそのまま使うと、次元の高さに起因する問題がある。 → cosine類似度によるfeature engineering
各contact type, reply templateに対して、過去のticketからbag of words表現を獲得する（pi）。 そして、新しいticketのベクトル表現（tj）との間でcosine類似度を計算することで、クラスiとticket jの適合度を算出する。 ベクトル表現の計算方法としては、tf-idf, LSA両方を用いる。 この手順により、次元を大きく削減できる。
また、学習方法としては、多クラス分類を行うのではなく、各ticket-class pairに対して、cosine類似度による特徴量とその他の特徴量を組み合わせて0/1の２クラス分類を行い、その後そのスコアを並び替えることで、上位を候補として推薦する。（pointwise-ranking）
テキスト情報に加え、metadataなどを考慮するので、wide-and-deep的なアプローチをとる。 各特徴量をencoderで処理し、combinerで繋げてdecoderで出力する。 また、contact typeとreply template selection用にそれぞれ別のdecoderを用意してマルチタスク学習を行う。
contact typeは階層的に定義されている。 よって、RNNを用いて、木の中のパスとして予測を行うことで、精度の向上と、間違える場合よりそれっぽいものと間違えるようになることを目指す。（contact typeの木の中で、遠いものと間違えるのと近いものと間違えるのではオペレータの工数が違う）
また、今回の設定として、reply template selectionは、contact typeに大きく依存するので、あるdecoderの出力を別のdecoderの入力に加えることで依存関係を表現する。
COTA v1において、feature engineering + rankingを導入することで精度が大きく上昇。 COTA v2において、sequence decoder(contact typeの木の中のパスを予測する)の導入により、精度向上。また、正解ノードの親ノードは正解であるという設定だと、普通のsoftmaxによる多クラス分類よりさらに差が広がることから、より理にかなった間違いをするようになっている。 また、contact typeとreply selectionのdecoderの間に依存関係をおくことで精度向上。
v1よりv2の方が精度が高い。
Piero Molino Uber AI Labs San Francisco, California piero@uber.com Huaixiu Zheng Uber Technologies San Francisco, California huaixiu.zheng@uber.com Yi-Chia Wang Uber Technologies San Francisco, California yichia.wang@uber.com
https://arxiv.org/pdf/1807.01337.pdf https://eng.uber.com/cota-v2/ ブログでは実運用についても述べられている。
KDD2018
short summary
カスタマーサポートを効率化するフレームワークCOTA v1(feature engineering base)とCOTA v2(deep learning base)の提案。
Uberにおけるカスタマーサポートのワークフローは、
の２つから成る。
contact typeやreply tenmplateを決定する際に参照する特徴量
COTA v1
ticket messageの処理には、tf-idfとLSAを用いる。 しかし、これらのベクトルをそのまま使うと、次元の高さに起因する問題がある。 → cosine類似度によるfeature engineering
各contact type, reply templateに対して、過去のticketからbag of words表現を獲得する（pi）。 そして、新しいticketのベクトル表現（tj）との間でcosine類似度を計算することで、クラスiとticket jの適合度を算出する。 ベクトル表現の計算方法としては、tf-idf, LSA両方を用いる。 この手順により、次元を大きく削減できる。
また、学習方法としては、多クラス分類を行うのではなく、各ticket-class pairに対して、cosine類似度による特徴量とその他の特徴量を組み合わせて0/1の２クラス分類を行い、その後そのスコアを並び替えることで、上位を候補として推薦する。（pointwise-ranking）
COTA v2
テキスト情報に加え、metadataなどを考慮するので、wide-and-deep的なアプローチをとる。 各特徴量をencoderで処理し、combinerで繋げてdecoderで出力する。 また、contact typeとreply template selection用にそれぞれ別のdecoderを用意してマルチタスク学習を行う。
事前知識のモデルへの埋め込み
contact typeは階層的に定義されている。 よって、RNNを用いて、木の中のパスとして予測を行うことで、精度の向上と、間違える場合よりそれっぽいものと間違えるようになることを目指す。（contact typeの木の中で、遠いものと間違えるのと近いものと間違えるのではオペレータの工数が違う）
また、今回の設定として、reply template selectionは、contact typeに大きく依存するので、あるdecoderの出力を別のdecoderの入力に加えることで依存関係を表現する。
結果
COTA v1において、feature engineering + rankingを導入することで精度が大きく上昇。 COTA v2において、sequence decoder(contact typeの木の中のパスを予測する)の導入により、精度向上。また、正解ノードの親ノードは正解であるという設定だと、普通のsoftmaxによる多クラス分類よりさらに差が広がることから、より理にかなった間違いをするようになっている。 また、contact typeとreply selectionのdecoderの間に依存関係をおくことで精度向上。
v1よりv2の方が精度が高い。
author
Piero Molino Uber AI Labs San Francisco, California piero@uber.com Huaixiu Zheng Uber Technologies San Francisco, California huaixiu.zheng@uber.com Yi-Chia Wang Uber Technologies San Francisco, California yichia.wang@uber.com
URL
https://arxiv.org/pdf/1807.01337.pdf https://eng.uber.com/cota-v2/ ブログでは実運用についても述べられている。
year
KDD2018