search

opendilab / LMDrive

[CVPR 2024] LMDrive: Closed-Loop End-to-End Driving with Large Language Models
Apache License 2.0
526 stars 48 forks source link

LLM生成的控制信号 #50

Open a1wj1 opened 1 month ago

a1wj1 commented 1 month ago

论文4.2中提到，LLM生成必要的控制信号，并预测给定指令是否完成。但是我在代码中的leaderboard/team_code/lmdriver_agent.py里面，看到好像只有使用预测的waypoints进行导航，而并没有用到LLM预测的控制信号。 请问可以帮忙解释一下论文中LLM和控制信号的关系和起到的作用吗？我一开始以为是LLM和其他模态输入之后直接生成控制信号控制车辆运动。

deepcs233 commented 1 month ago

你好！

  1. 目前release的lmdriver_agent.py在一个阶段内只会有一个instruction出现，所以预测给定指令是否完成这个feature没有使用。在同时给多条连续指令时，这个预测会被采用
  2. 除了默认输入的instruction，之后每一帧输入的sensor data都会生成这一帧对应的控制信号，然后控制信号会控制车辆运动。下一帧同理。你的理解应该没问题
a1wj1 commented 1 month ago

我理解的是，模型输出预测轨迹点，然后用pid进行控制，我看lmdriver_agent.py里面是不是没有同时给多条连续指令的情况？

PhilWallace commented 1 month ago

+1, 论文里是这么写的：“To get the final control signal, which includes braking, throttling, and steering, following LBC [4], we use two PID controllers for latitudinal and longitudinal control to track the heading and velocity of predicted waypoints respectively”

请问LLM的作用主要还是生成future waypoints，然后控制还是由PID做吗？

a1wj1 commented 3 weeks ago

请问什么时候可以开源，LLM生成控制信号的lmdriver_agent.py，现在只看到是由pid控制的