LLMs as Intelligent Agents

[zchen0420]

Reasoning with Language Model is Planning with World Model

2023 EMNLP | Shibo Hao et al. | UCSD UFlorida Mohamed bin Zayed UofAI

LLM因为内部缺少严格的World Model，所以在多个状态的推理上不好。CoT会脱离真实的状态。 Reasoning via Planning (RAP)：Frozen LLMs作为agent和world model，构建MCST并rolling out future scenarios Self-evaluation来提供reward，但是BP到各个Q上，却和模型的参数没多大关系（不太喜欢）。n-Step solvable。 任务：Plan generation in Blocksworld, math reasoning in GSM8K, and logical reasoning in PrOntoQA.

[zchen0420]

使用工具

ToolkenGPT: Augmenting Frozen Language Models with Massive Tools via Tool Embeddings

2023 NIPS | Shibo Hao et al. | UCSD UFlorida Mohamed bin Zayed UofAI

扩展token embedding：word + toolken，当toolken被选中的时候，会像函数调用一样进入一个tool model：生成argument并将返回值填回调用的toolken，回到原先的生成/reasoning模式。 Tool mode是一个ICL环境，有生成argument对应的例子（与predicate解耦后能使用KB等工具）。 Embodied agent：遵守一个环境中的规则、语法。grounding/executable/success 模型不需要训练，而是把已有的知识放进toolken embedding中。 使用工具：REALM [18], RAG[35] RETRO[3], WebGPT[46], TALM[50], Toolformer[56]

[zchen0420]

Social Impact

王桑介绍

The Colorful Future of LLMs: Evaluating and Improving LLMs as Emotional Supporters for Queer Youth

LLM没有合情合理的进行判断和推荐。