search

opendilab / LMDrive

[CVPR 2024] LMDrive: Closed-Loop End-to-End Driving with Large Language Models
Apache License 2.0
657 stars 53 forks source link

Traffic Light query和Waypoint queries作为query #92

Open CoderXuans opened 4 hours ago

CoderXuans commented 4 hours ago

@deepcs233 我在memfuser.py文件中发现Memfuser类最终返回经过预测头的traffic、经过预测头的waypoints、经过预测头的traffic_light_state、经过预测头的stop_sign、BEV特征图，请问将Traffic Light query和Waypoint queries作为query输入给BEV Decoder在哪里体现出来的呢？

CoderXuans commented 4 hours ago

我的理解是在训练视觉编码器的时候将下一个航点作为输入给decoder，从而成为query，对吗？