- 轉發 @i陸三金: 關於LLM和自動駕駛的理想數據，Andrej Karpathy和Dhaval Shroff有話説。
Andrej Karpathy ：「LLM的理想訓練數據不是你所寫的內容。而是你內心思緒的完整序列以及你在寫作過程中所做的每個編輯。
不過，有什麼就用什麼。」
他後來又補充説道：「打住，這與neuralink（注：評論區有人提到了馬斯克的Neuralink）沒有任何關係，哈哈。
無論如何，那只是啓迪的第一階段。
啓迪的第二階段是，對於LLM來説，理想的訓練數據根本不是訓練數據，而是你從閲讀者那裏得到的讚許。
現在我們只是有什麼用什麼。」
最早在特斯拉做端到端神經網絡探索的Dhaval Shroff表示，「我認為，自動駕駛汽車的駕駛數據也是如此。如果我們能從人腦中獲取最終決定踏板和轉向位置的中間決策狀態就好了。」
via 42號車庫的微博