- 转发 @i陆三金: 关于LLM和自动驾驶的理想数据，Andrej Karpathy和Dhaval Shroff有话说。
Andrej Karpathy ：「LLM的理想训练数据不是你所写的内容。而是你内心思绪的完整序列以及你在写作过程中所做的每个编辑。
不过，有什么就用什么。」
他后来又补充说道：「打住，这与neuralink（注：评论区有人提到了马斯克的Neuralink）没有任何关系，哈哈。
无论如何，那只是启迪的第一阶段。
启迪的第二阶段是，对于LLM来说，理想的训练数据根本不是训练数据，而是你从阅读者那里得到的赞许。
现在我们只是有什么用什么。」
最早在特斯拉做端到端神经网络探索的Dhaval Shroff表示，「我认为，自动驾驶汽车的驾驶数据也是如此。如果我们能从人脑中获取最终决定踏板和转向位置的中间决策状态就好了。」
via 42号车库的微博