自动驾驶项目开发建议

[soulandheart]

V2EX 的各位大牛大神大佬好，这里是一名大二的菜鸡，我们小组在学校专业的实践实验课中抽到了自动驾驶相关的主题，我们的构想是在 CARLA 仿真平台上尝试编写一下城市 NOA 的一些场景，

像这个视频里的实例。
但是老师说这样做项目不满足要求，他需要我们的项目（ UI ）右边是地图/摄像头等图像数据，然后左半边要有一些类似控制面板（各种开关）的东西，“能让用户交互”……小组讨论了一下，觉得自动驾驶让用户 interact 的话是不是有点太离谱（ 还有一个想法是控制面板面向开发人员，可以通过 GUI 生成 npc 车，更改天气啥的 不知道后期容易做不……希望大佬们能给点启发和建议！阿里嘎多

感谢各位领域大佬的关注和回复 我可能表达不是很准确（
这个项目的定位其实就是一门专业课的期末大作业，用户是老师“设想的”，可以理解为*如果*项目投入实际使用后（肯定不可能了，但是还是要这样遐想 qwq ）所面对的最终用户；
对于平台开发相关，因为小队的大家相关经验都是 0 ，所以整体的构建也并非从零开始：CARLA 仿真平台有很多内置的算法和方法调用，比如采用 A⭐的路径规划，还有传感器的添加（ world.get_blueprint_library().find('sensor.other.gnss')、find('sensor.other.imu')、find('sensor.lidar.ray_cast')）这种，获取速度和距离也是 getSpeed getLength 这些……

[1daydayde]

openpilot 了解一下？

[stinkytofux]

现在大学一开始就搞这么复杂的项目了?

[darkengine]

建议花时间跟老师沟通一下项目需求

[rocmax]

你们的项目过不过是老师说了算还是用户说了算。
难肯定是难，前端就是个 Android app ，想显示 3d 效果最好用 unity 或者虚幻搞，界面弄好一点。后端你们自己训练也不现实，找找有没有现成的 yolo 模型，获取输出写 if else 就行了。

[SssaltedFish]

你想做的是智能驾驶,老师想做的是智能座舱,这可是两种东西,先搞清楚到底要做啥吧

[wnpllrzodiac]

一个人干翻马斯克一个公司，太厉害了

[jimrok]

现在自动驾驶都已经上了视觉大模型了，最近 Nvida 的一个交流上，展示的场景是可以实时与智驾模型交互，你可以问，前面哪里白色轿车是什么牌的？模型会告诉你是新款的奥迪 A4 。你可以再问，为什么老是刹车，他会回答前面的那辆黑车老别它车。

[isSamle]

你们老师是不是接外包了，是的话改动可能性不大吧，还得听客户的

[soulandheart]

@isSamle 谢谢大佬 其实就是课程的大作业，用户可以理解为是“假想”的；老师的要求确实有点模糊，我之后再去他沟通一下，谢谢！

[soulandheart]

@jimrok 谢谢巨佬，我之后了解一下英伟达的这个技术，还有评论区别人提到的 openpilot😄

[soulandheart]

@rocmax 用户是老师设想的，就是“如果这个项目投入使用的话它所面对的最终用户”，这个项目只是一个大作业（ 要用的摄像头雷达都是模拟器自带的调用，python 编程，要加大模型和安卓开发 unreal 这些可能精力确实不够 qwq

[paopjian]

你想的东西和老师要的东西都不是一个, 大学生别做梦做自动驾驶了, 老师要的和大屏程序没区别, 别动不动什么算法, 壳子最重要, 优先界面, 移动逻辑写死都没问题, 就是要漂亮
画面就是人坐车里, 前面是模拟画面, 右边是加上滤镜的地图 导航 移动策略
实在不知道怎么整去玩玩欧卡, 看王老菊视频看看, 加一个 AI 的噱头壳子就可以了

[soulandheart]

@paopjian 好吧好吧 谢谢大佬指导了 可能确实我们老师也不是很懂技术层面，他只是想要一个优雅的前端（

[xmt328]

@soulandheart #13 不知道你们学校的等级，以我双非大学的经验来看，这种项目就不需要真的能在技术上有啥亮点，能够使用相关技术（甚至都不需要是先进的）就够了。然后有一个好看的皮囊确实能加分很多

[horizon]

第一个你说的是 HMI ？
第二个是不是给算法人员用的仿真、3D 可视化调试工具？

[horizon]

第二个可以看看 foxglove

[soulandheart]

@xmt328 谢谢指教 看来外观才是王道 XD

[soulandheart]

@horizon 谢谢大佬！我觉得这也是一个不错的参考！

[zhzy]

做过类似的东西

1. 右边是地图/摄像头等图像数据: 这个很简单, 有 API
2. 左半边要有一些类似控制面板（各种开关）的东西, 能让用户交互: 官方提供了一个 manual_control.py 文件, 很类似, 但是左侧是只显示数据. 不过好处在于这个脚本是用 pygame 写的, 如果你想加上一些交互其实很简单, 学习一下 pygame 就行. 但问题的关键是, 要求的交互是什么? 如果只是加速/减速等等控制速度, Carla 提供了 API. 如果想要控制轨迹, 可能会比你预期的难度大一些. 会涉及到寻路等等一些细节. 但是也是可以做到的 (就是简单的方法效果可能不太自然)
3. 控制面板面向开发人员，可以通过 GUI 生成 npc 车: 这个 Vibe 可以很快搞出来一个, 不是很复杂, 修改天气什么的都很简单