shyaginuma
commented
3 years ago Meta
- Link: https://research.google/pubs/pub36299/
- Author: Kerry Rodden
- Date: 2010
- Journal: Proceedings of CHI
どんなもの？（著者は何をやりたかったの？）
Webサービスで測定するべきメトリクスを作成するフレームワークの提供（HEART）
先行研究と比べてどこがすごい？
従来からよく見られていた指標としてPALSE metricsがあった。これらはシステムやビジネス面のみカバーしたものだったが、新たにHEART metricsというユーザー行動に焦点を当てたフレームワークを提供しているところ。
技術、手法のキモはどこ？
HEART metricsの分解そのもの。その前に従来からあるPULSE metricsについての説明から
PULSE Metrics
- Page views
- Uptime: 稼働時間
- Latency
- Seven-day active users (WAU)
- Earnings
プロダクトの全体的な健康状態のチェックに使用される。とても重要なメトリクス群だが、解釈が難しい場面もある。例えば下記引用。
A change that brings in more revenue in the short term may result in a poorer user experience that drives away users in the longer term.
HEART Metrics
- Happiness
- Engagement
- Adoption
- Retention
- Task success
It is not always appropriate to employ metrics from every category, but referring to the framework helps to make an explicit decision about including or excluding a particular category
常に全種類網羅しなければならないわけではない。以下で一つ一つについてメモ
Happiness
- satisfaction
- visual appeal
- likelihood to recommend
- perceived ease of use
に相当するもの。定期的なsurveyでとるケースが多いみたい。（NPSとか）
Engagement
- frequency of interaction
- intensity of interaction
- depth of interaction
に相当するもの。
例としてGmailでは元々WAUをengagementのメトリクスとしておいていたが、一週間で5日以上Gmailを使った人の割合をEngagement metricsにおいた。long-termなリテンションへの説明性も証明されたとのこと。
With the reasoning that engaged users should check their email account regularly, as part of their daily routine, our chosen metric was the percentage of active users who visited the product on five or more days during the last week. We also found that this was strongly predictive of longer-term retention, and therefore could be used as a bellwether for that metric.
Adoption and Retention
新規 / 既存 のこと。Adoptionはプロダクトや機能の新規利用者数、Retentionは既存の継続率。何を持って継続と見なすのかはプロダクトや機能による。
Task success
- efficiency: time to complete a task
- effectiveness: percent of tasks completed
- error rate
taskが成功したかどうかはログベースで定義しても良いし、UERでも良いとのこと。
Goals - Signals - Metrics
No matter how user-centered a metric is, it is unlikely to be useful in practice unless it explicitly relates to a goal, and can be used to track progress towards that goal.
ただメトリクスを決めるだけでなく、きちんとゴールに沿ったものにするためにはどうすれば良いのか？
- Goals: まずゴールを定義する。
- Signals: どのような状態になったら成功/失敗か考える。
- user behavior
- attitudes
- actions
- feeling, perception
- 失敗の方が簡単に定義できることもある
- Metrics: どのように上記のsignalを定量化できるのか考える
感想
- Google社内での例にも豊富に触れられていてとても参考になった。
- ちゃんと仕事に活かすぞ
次に読むべき論文はなに？
- Query Logs Alone are not Enough.
- Implicit Measures of Lostness and Success in Web Navigation.
個々人の知識を縦横に広げてレベルアップをするのが目的です。
Main contents
TBD
Others