Person == Light-skinned, Western Man, and Sexualization of Women of Color: Stereotypes in Stable Diffusion

[mei28]

---

id: person--light-skinned-western-man-and-sexualization-of-women-of-color-stereotypes-in-stable-diffusion aliases:

• "'Person' == Light-skinned, Western Man, and Sexualization of Women of Color: Stereotypes in Stable Diffusion" tags:
• TSUNDOKU
• bias
• text-to-image
• stable-diffusion

• EMNLP2023

'Person' == Light-skinned, Western Man, and Sexualization of Women of Color: Stereotypes in Stable Diffusion

🔑この論文のキーメッセージ

• text to imageの中にもバイアスがある。

  • Stable diffusionは「人」=「light-skinned, western man」というバイアスを含んでいる

• 属性によって生成されるものに違いがあっていいのか？

🎓どういう問題に取り組んだのか

• プロンプトに人種・国籍の情報がないとき、Stable diffusionはどんなバイアスがあるのか？

🎓その問題に取り組むことがなぜ重要なのか

• 高い精度のモデル（今回はstable diffusion）において、バイアスは倫理的にも、社会的に配慮するべき

💡問題解決に向けたキーアイデアは何か

• text to imageのStable diffusionで画像生成を行う。
• このときプロンプトに人種・国籍情報を入れるなど複数パターンから画像を生成して、その類似関係を調査
• CLIP-cosine類似度を使って関係性をはかる
  • 画像を直接比較するのではなく、CLIPのembeddingで比較

👀新たに分かったことは何か

• 「人」のみをプロンプトに与えたとき、特にヨーロッパ系の男性が生成される
• ヨーロッパ、アメリカ出身の人については、dark-skinnedの人が現れなかった。アフリカ出身ではlight-skinnedな人は現れなかった。
• 「女性」をプロンプトに含めたとき、Not Safe for Work (NSFW)が表示される。男性では表示されない。
  • アメリカ、ヨーロッパの人を生成した時は、証明写真みたいなものが生成
  • ラテンアメリカ・インド・エジプトの人を生成する時は、性的なものが生成

コメント

• プロンプトをいじるだけで、現れるものに違う特徴が生まれるの面白い

次はなに読む？

論文リンク

http://arxiv.org/abs/2310.19981

著者/所属機関

• Ghosh, Sourojit; Caliskan, Aylin

投稿日付(yyyy/MM/dd)

• EMNLP2023