[WIP]Investigating serendipity in recommender systems based on real user feedback

src: https://dl.acm.org/doi/10.1145/3167132.3167276 SAC(Symposium on Applied Computing) 2018の論文。

5行でまとめ

推薦システムではSerendipityを優先すべきという流れがあるが、その定義は不明瞭
本論文では400人に2000本の映画にSerendipityがあるかアノテーションしたデータセットを作成
Serendipityを8つの具体的な要素に分解
Serendipityな映画は全体の8.5%
Serendipityな映画を発見するのに必要な特徴量は回帰モデルの予測値(Accuracy)と非人気度、フィルターバブル効果は確認されなかった

導入

推薦システムにおける"Serendipity"について過去の複数の先行研究をもとに再定義した。更にSerendipityを適切に測るために、実際に多数のユーザーにアノテーションしてもらい映画のレビューデータセットを作成。そのデータセットをもとに、再定義したSerendipityを測る。

Introduction

推薦システムとは、ユーザーに大量にあるアイテム群から興味のあるアイテムを探すのを助けることを目的に作成されている。過去の殆どの推薦システムは、推薦したアイテムが実際にユーザーが実際に欲しいものだったかという"Accuracy"を最適化することで学習がなされていた。

しかし近年、推薦システムは単にユーザーの興味を当てるという目的を超えて、ユーザー自身も存在を知らないアイテムを探してユーザーの興味や知識を広げる役割を担うべきであるとされている。この考えをもとに新しくAccuracyの代わりに導入された指標がSerendipityである。

過去の論文を複数調べると、Serendipityは以下の3つの要素で構成されていることが多い。

relevance(関連性)
novelty(目新しさ)
unexpectedness(意外性)

Serendipityのあるアイテムをユーザーに表示することで、

ユーザーの満足度を向上させる
ユーザーの好みを広げることができるとされている。

しかし基本的に、Serenipityがなくユーザーが興味あるコンテンツ(既知の関連コンテンツ)よりもユーザーにとって有用なSerendipityのあるアイテムは非常に少ない。このようなアイテムが少なすぎると、Serendipityを評価指標として推薦システムを構築することに価値は生まれない。

そこで本論文では以下のようなリサーチクエスチョンを作成し、複数のSerendipityの定義により深い洞察を得ようと試みる。

Q1. 各Serendipityの要素はユーザーの嗜好の広がりや満足度にどのような影響を与えるのか Q2. 各Serendipityの定義はユーザーの嗜好や満足度の向上どのような影響を与えるのか Q3. Serendipityなitemを検出するために有用な特徴量はなにか Q4. 典型的な協調フィルタリングベースのレコメンデーションシステムにおいて、ユーザーが評価した映画の中で、Serendipityな映画はどのくらい珍しいのか？この種のシステムは、ユーザーがこれらの映画を見つけるのに、どの程度役立つのでしょうか？

先行研究におけるのSerendipityの定義の例

先行研究からSerendipityの構成要素の定義として以下のようなものがあった。

Novelty

ユーザーが聞いたことないアイテム
ユーザーが聞いたことあるが、利用したことないアイテム
ユーザーが利用したことあるが、そのことを忘れてしまったアイテム

Unexpectedness

ユーザーが自分の興味あるアイテムと思っていなかったアイテム
ユーザーが推薦されると思っていなかったアイテム
ユーザーが自分では見つけられなかったアイテム
ユーザーが普段利用しているアイテム群と似てないアイテム
ユーザーが他の種類のアイテムを探していたため、見つかることを予期していなかったアイテム

本論文ではこれらをもとにSerendipityを細かい要素に再定義し、どの要素が、ユーザーの体験向上、見聞を広げるのに寄与するかを調べる。

データセットの作成

MovieLensを1ヶ月以上利用して過去３ヶ月以内に星3.5以上のレビューを5件以上書いているユーザーに過去3ヶ月以内に3.5以上とレビューした5件の映画についてそれぞれ8問の質問を1(strongly diagree)~5(strongly agree)の5段階回答してもらった。8問の質問にはそれぞれ、Serendipityの要素が複数紐付いている。

8つの質問