Implicit Chain of Thought Reasoning via Knowledge Distillation, Yuntian Deng+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2311.01460

  Affiliations

  • Yuntian Deng, N/A
  • Kiran Prasad, N/A
  • Roland Fernandez, N/A
  • Paul Smolensky, N/A
  • Vishrav Chaudhary, N/A
  • Stuart Shieber, N/A

    Abstract

  • To augment language models with the ability to reason, researchers usuallyprompt or finetune them to produce chain of thought reasoning steps beforeproducing the final answer. However, although people use natural language toreason effectively, it may be that LMs could reason more effectively with someintermediate computation that is not in natural language. In this work, weexplore an alternative reasoning approach: instead of explicitly producing thechain of thought reasoning steps, we use the language model's internal hiddenstates to perform implicit reasoning. The implicit reasoning steps aredistilled from a teacher model trained on explicit chain-of-thought reasoning,and instead of doing reasoning "horizontally" by producing intermediate wordsone-by-one, we distill it such that the reasoning happens "vertically" amongthe hidden states in different layers. We conduct experiments on a multi-digitmultiplication task and a grade school math problem dataset and find that thisapproach enables solving tasks previously not solvable without explicitchain-of-thought, at a speed comparable to no chain-of-thought.

    Translation (by gpt-3.5-turbo)

• 言語モデルに推論能力を付加するために、研究者は通常、最終的な答えを出す前に、チェーン・オブ・ソートの推論ステップを生成するようにプロンプトやファインチューニングを行います。 しかし、人々は自然言語を使って効果的に推論する一方で、言語モデルは自然言語にはない中間計算を使ってより効果的に推論することができるかもしれません。 本研究では、明示的なチェーン・オブ・ソートの推論ステップを生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙的な推論を行う代替の推論手法を探求します。 暗黙的な推論ステップは、明示的なチェーン・オブ・ソートの推論をトレーニングした教師モデルから抽出されます。 また、中間の単語を一つずつ生成することによる「水平方向」の推論ではなく、異なるレイヤーの隠れ状態間で「垂直方向」に推論が行われるように抽出します。 マルチデジットの乗算タスクと小学校の数学の問題データセットで実験を行い、この手法によって以前は明示的なチェーン・オブ・ソートなしでは解決できなかったタスクを解決できるようになり、チェーン・オブ・ソートなしと同等の速度で解決できることを確認しました。

  Summary (by gpt-3.5-turbo)

• 本研究では、言語モデルの内部の隠れ状態を使用して暗黙的な推論を行う手法を提案します。明示的なチェーン・オブ・ソートの推論ステップを生成する代わりに、教師モデルから抽出した暗黙的な推論ステップを使用します。実験により、この手法が以前は解決できなかったタスクを解決できることが示されました。

[AkihikoWatanabe]

これは非常に興味深い話