Knowledge Neurons in Pretrained Transformers, Damai Dai+, N/A, ACL'22

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2104.08696

  Affiliations

  • Damai Dai, N/A
  • Li Dong, N/A
  • Yaru Hao, N/A
  • Zhifang Sui, N/A
  • Baobao Chang, N/A
  • Furu Wei, N/A

    Abstract

  • Large-scale pretrained language models are surprisingly good at recallingfactual knowledge presented in the training corpus. In this paper, we presentpreliminary studies on how factual knowledge is stored in pretrainedTransformers by introducing the concept of knowledge neurons. Specifically, weexamine the fill-in-the-blank cloze task for BERT. Given a relational fact, wepropose a knowledge attribution method to identify the neurons that express thefact. We find that the activation of such knowledge neurons is positivelycorrelated to the expression of their corresponding facts. In our case studies,we attempt to leverage knowledge neurons to edit (such as update, and erase)specific factual knowledge without fine-tuning. Our results shed light onunderstanding the storage of knowledge within pretrained Transformers. The codeis available at https://github.com/Hunter-DDM/knowledge-neurons.

    Translation (by gpt-3.5-turbo)

• 大規模な事前学習言語モデルは、訓練コーパスで提示された事実知識を驚くほど良く思い出すことができます。本論文では、事前学習されたTransformersにおける事実知識の格納方法についての予備的な研究を紹介します。具体的には、BERTのfill-in-the-blank cloze taskを調査します。関係性のある事実が与えられた場合、私たちは知識帰属法を提案して、その事実を表現するニューロンを特定します。そのような知識ニューロンの活性化が、対応する事実の表現と正の相関があることを見つけました。私たちの事例研究では、ファインチューニングを行わずに、知識ニューロンを活用して特定の事実知識を編集（更新、削除など）しようと試みています。私たちの結果は、事前学習されたTransformers内での知識の格納を理解する上で示唆に富んでいます。コードはhttps://github.com/Hunter-DDM/knowledge-neuronsで利用可能です。

  Summary (by gpt-3.5-turbo)

• 大規模な事前学習言語モデルにおいて、事実知識の格納方法についての研究を行いました。具体的には、BERTのfill-in-the-blank cloze taskを用いて、関連する事実を表現するニューロンを特定しました。また、知識ニューロンの活性化と対応する事実の表現との正の相関を見つけました。さらに、ファインチューニングを行わずに、知識ニューロンを活用して特定の事実知識を編集しようと試みました。この研究は、事前学習されたTransformers内での知識の格納に関する示唆に富んでおり、コードはhttps://github.com/Hunter-DDM/knowledge-neuronsで利用可能です。

[AkihikoWatanabe]

1108