Socratic Questioning of Novice Debuggers: A Benchmark Dataset and Preliminary Evaluations, ACL-BEA'23

[AkihikoWatanabe]

https://virtual2023.aclweb.org/paper_BEA_106.html

[AkihikoWatanabe]

Socratic questioning is a teaching strategy where the student is guided towards solving a problem on their own, instead of being given the solution directly. In this paper, we introduce a dataset of Socratic conversations where an instructor helps a novice programmer fix buggy solutions to simple computational problems. The dataset is then used for benchmarking the Socratic debugging abilities of GPT-based language models. While GPT-4 is observed to perform much better than GPT-3.5, its precision, and recall still fall short of human expert abilities, motivating further work in this area.

Translation (by gpt-3.5-turbo)

• ソクラテス的な質問法は、学生が問題を自力で解決するように導かれる教育戦略であり、解決策を直接与えるのではなく、問題解決の過程を導くものです。 本論文では、初心者プログラマがバグのある単純な計算問題の解決策を修正する際に、インストラクターがソクラテス的な対話を行うデータセットを紹介します。 その後、このデータセットを使用して、GPTベースの言語モデルのソクラテス的なデバッグ能力をベンチマークとして評価します。 GPT-4はGPT-3.5よりも優れたパフォーマンスを示しましたが、その精度と再現率はまだ人間の専門家の能力には及ばず、この領域でのさらなる研究が必要とされています。

  Summary (by gpt-3.5-turbo)

• 本研究では、初心者プログラマがバグのある計算問題を解決する際に、ソクラテス的な対話を行うデータセットを紹介し、GPTベースの言語モデルのデバッグ能力を評価しました。GPT-4はGPT-3.5よりも優れたパフォーマンスを示しましたが、まだ人間の専門家には及ばず、さらなる研究が必要です。