Measuring the Quality of Explanations: The System Causability Scale (SCS)

[subinium]

• https://arxiv.org/pdf/1912.09024.pdf
• SCS

[subinium]

Definition

• https://arxiv.org/pdf/1912.09024.pdf
• Andreas Holzinger, Andr´e Carrington, Heimo M¨uller
• 의료 도메인에서 나온 논문 (FRT라는 의료 시스템에 적용했다고 함)
• XAI 시스템에서 사용성 평가를 할 수 있는 요소를 고민해볼 수 있는 논문

statement $s$는 사람이냐 기계이냐에 따라 $s_h$, $s_m$로 나뉠 수 있다. 그리고 상황을 해석하고자 하는 모델도 $m_h$, $m_m$으로 표현할 수 있다.

$s = f(r, k, c)$로 표현할 수 있으며 각 파라미터는 다음과 같다.

• $r$ : representations of an unknown fact $u_e$ related to an entity (데이터의 gt를 나타내는 표현)
  • u_e represents a ground truth $gt$
• $k$ : pre-existing knowledge (사전지식)
  • embedded in machine
  • explicit, implicit, tacit knowledge
• $c$ : context (문맥)
  • technical runtime enviroment
  • physical enviroment the decision was made

Explainability & Causability

가장 이상적인 시나리오는 ground truth가 적합한 환경에서 $s_h = s_m, m_h = m_m$이다. 하지만 현실은 2가지 문제가 존재한다.

• ground truth는 언제나 well-defined가 아니다.
• 사람 및 과학적 방법론은 인과 메커니즘(causal mechanism)에 대한 충분한 이해가 바탕이지만, machine model은 상관관계/유사도/거리를 바탕으로 한다.

ML은 확률적인 방법론으로 인과모델을 만들기 위한 기초만 제공해줄 수 있고, 따라서 기계의 explainability를 논의하기 위해서는 다음 두 용어를 구별할 것을 제안한다.

• Explainability : 기술적인 의미에서 machine representation $r_m$과 machine model $m_m$이 결정(decision)과 관련된 부분을 강조합니다. 즉, 모델 정확도 및 특정 예측에 기여한 부분을 강조합니다.
• Causability : (사용자에게) 상태에 대한 설명이 특정 상황에서 효율성, 효과성, 만족도(effectiveness, efficiency, satisfaction)와 함께 특정 수준의 인과에 대한 이해를 달성하는 정도를 의미합니다.

SUS & SCS

SUS(System Usability Scale)는 동의 수준을 평가하는 10개의 문항으로 긍정과 부정을 점수로 매겨 사용성을 평가하는 방법입니다. 이것에 대한 확장으로 10가지 질문(SCS, System Causability Scale)을 만들었습니다.

1. I found that the data included all relevant known causal factors with sufficient precision and granularity.
2. I understood the explanations within the context of my work.
3. I could change the level of detail on demand.
4. I did not need support to understand the explanations.
5. I found the explanations helped me to understand causality.
6. I was able to use the explanations with my knowledge base.
7. I did not find inconsistencies between explanations.
8. I think that most people would learn to understand the explanations very quickly.
9. I did not need more references in the explanations: e.g., medical guidelines, regulations.
10. I received the explanations in a timely and efficient manner.