Unifying Large Language Models and Knowledge Graphs: A Roadmap, Shirui Pan+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2306.08302

  Affiliations

  • Shirui Pan, N/A
  • Linhao Luo, N/A
  • Yufei Wang, N/A
  • Chen Chen, N/A
  • Jiapu Wang, N/A
  • Xindong Wu, N/A

    Abstract

  • Large language models (LLMs), such as ChatGPT and GPT4, are making new wavesin the field of natural language processing and artificial intelligence, due totheir emergent ability and generalizability. However, LLMs are black-boxmodels, which often fall short of capturing and accessing factual knowledge. Incontrast, Knowledge Graphs (KGs), Wikipedia and Huapu for example, arestructured knowledge models that explicitly store rich factual knowledge. KGscan enhance LLMs by providing external knowledge for inference andinterpretability. Meanwhile, KGs are difficult to construct and evolving bynature, which challenges the existing methods in KGs to generate new facts andrepresent unseen knowledge. Therefore, it is complementary to unify LLMs andKGs together and simultaneously leverage their advantages. In this article, wepresent a forward-looking roadmap for the unification of LLMs and KGs. Ourroadmap consists of three general frameworks, namely, 1) KG-enhanced LLMs,which incorporate KGs during the pre-training and inference phases of LLMs, orfor the purpose of enhancing understanding of the knowledge learned by LLMs; 2)LLM-augmented KGs, that leverage LLMs for different KG tasks such as embedding,completion, construction, graph-to-text generation, and question answering; and3) Synergized LLMs + KGs, in which LLMs and KGs play equal roles and work in amutually beneficial way to enhance both LLMs and KGs for bidirectionalreasoning driven by both data and knowledge. We review and summarize existingefforts within these three frameworks in our roadmap and pinpoint their futureresearch directions.

    Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は、ChatGPTやGPT4などのモデルが、新しい自然言語処理や人工知能の分野で注目を集めている。しかし、LLMsはブラックボックスモデルであり、しばしば事実知識を捉えたりアクセスしたりすることができない。一方、知識グラフ（KGs）は、WikipediaやHuapuなどの構造化された知識モデルであり、豊富な事実知識を明示的に格納している。KGsは、推論や解釈のための外部知識を提供することで、LLMsを強化することができる。一方、KGsは構築が困難であり、進化する性質を持っているため、既存の方法では新しい事実を生成したり、未知の知識を表現したりすることが難しい。そのため、LLMsとKGsを統合し、両方の利点を同時に活用することが補完的である。本記事では、LLMsとKGsの統合のための展望を示す。私たちの展望は、以下の3つの一般的なフレームワークで構成されており、1）KG-enhanced LLMs、2）LLM-augmented KGs、3）Synergized LLMs + KGsである。これらのフレームワークにおける既存の取り組みをレビューし、今後の研究方向を指摘する。

  Summary (by gpt-3.5-turbo)

• LLMsとKGsを統合することで、自然言語処理や人工知能の分野で注目を集めている。KGsは豊富な事実知識を明示的に格納しているが、構築が困難であり、進化する性質を持っている。一方、LLMsはブラックボックスモデルであり、事実知識を捉えたりアクセスしたりすることができない。本記事では、LLMsとKGsを統合するための展望を示し、KG-enhanced LLMs、LLM-augmented KGs、Synergized LLMs + KGsの3つのフレームワークを提案する。既存の取り組みをレビューし、今後の研究方向を指摘する。

[AkihikoWatanabe]

LLMsとKGの統合に関するロードマップを提示。KGをLLMの事前学習や推論に組み込む方法、KGタスクにLLMを利用する方法、LLMとKGの双方向のreasonieg能力を高める方法などをカバーしている。