近日，佐思分析師群討論了特斯拉汽車(chē)、AI和人形機(jī)器人。
爭(zhēng)論源于這個(gè)話題：復(fù)雜的Occupancy Network可以在10毫秒中計(jì)算完畢，也就是說(shuō)Tesla Occupancy Network的輸出可以達(dá)到跟相機(jī)同樣的36Hz，而目前絕大多數(shù)Lidar的采集頻率只有10Hz————這個(gè)結(jié)論對(duì)嗎？fsd視覺(jué)處理能超過(guò)30hz?
于是討論開(kāi)始了：
ZHOU：吹牛唄，某些人就是特粉，認(rèn)為特斯拉天下無(wú)敵。LIDAR頻率可調(diào)，5-30Hz都有。某些FLASH LIDAR，頻率可輕松做到1000Hz。特斯拉HW3.0那個(gè)DRAM才16GB，帶寬63.5GB/s，一個(gè)OCC模型至少20GB，根本裝不下，以這個(gè)帶寬，3Hz都做不到。要跑大模型，必須HBM，帶寬至少TB/s級(jí)。
YU：大模型是否上車(chē)這事，嚴(yán)重不同意老周觀點(diǎn)。我認(rèn)為已經(jīng)上車(chē)了，采用壓縮處理方式。
ZHOU：這個(gè)大小是相對(duì)的，比如早期CNN模型參數(shù)只有幾百萬(wàn)，那么幾千萬(wàn)參數(shù)也可以說(shuō)是大模型。但真正的大模型或者說(shuō)主流的，參數(shù)都至少是1000億起。
ZHU：基于AIday 的介紹，這一系列復(fù)雜計(jì)算可以在10ms內(nèi)完成，意味著完全能跟上車(chē)載攝像頭36幀的拍攝頻率。
業(yè)界激光雷達(dá)的普遍水平為10Hz的掃描頻率，而問(wèn)界M9激光雷達(dá)的掃描頻率高達(dá)20Hz，這意味著其能夠更快地更新環(huán)境信息，提供更實(shí)時(shí)、更準(zhǔn)確的感知數(shù)據(jù)。這有助于提升問(wèn)界M9在智能駕駛中的表現(xiàn)，提高行駛的安全性和舒適性。
ZHOU：所謂知識(shí)蒸餾并不能壓縮大模型，它只是訓(xùn)練方面無(wú)需太多的硬標(biāo)簽。超過(guò)100億參數(shù)的大模型永遠(yuǎn)上不了車(chē)。因?yàn)楸仨氂肏BM，HBM太貴了，做HBM必須臺(tái)積電2.5d或3D工藝，芯片價(jià)格不低于5000美元。多看幾篇頂尖論文就知道了。
ZHU：千億參數(shù)涌現(xiàn)智力，這個(gè)智力是人的較全面的智力。但如果處理專(zhuān)業(yè)方面的智力，的確是可以通過(guò)剪枝、知識(shí)蒸餾、量化等很多方法實(shí)現(xiàn)；現(xiàn)在三星、蘋(píng)果已實(shí)現(xiàn)百億模型壓縮后在手機(jī)上流暢運(yùn)行，今年有望實(shí)現(xiàn)千億模型壓縮后，在終端運(yùn)行，帶來(lái)很好的體驗(yàn)。
ZHOU：transformer和大模型一樣，永遠(yuǎn)無(wú)法做骨干網(wǎng)，車(chē)載領(lǐng)域骨干網(wǎng)還是CNN。手機(jī)可以運(yùn)行百億參數(shù)，那個(gè)是語(yǔ)言模型，不需要實(shí)時(shí)性，人可以等1-3秒，就算流暢。車(chē)不一樣，車(chē)要30Hz，高速60Hz，換句話說(shuō)性能要是手機(jī)的100倍。
ZHU：其實(shí)駕駛并不需要多高的智力，也就是并不需要太復(fù)雜的信息處理，一個(gè)普通智力的人也能開(kāi)好車(chē)，從宏觀的角度看，基于transformer的FSD大概率已經(jīng)實(shí)現(xiàn)了全自動(dòng)駕駛了。我不是特粉，但客觀地覺(jué)得特斯拉做到了。
ZHOU：特斯拉芯片遠(yuǎn)不如頂尖手機(jī)，像高通的gen 3
ZHU：在核心算法上，之前和幾位業(yè)內(nèi)人士溝通過(guò)，國(guó)內(nèi)確實(shí)落后5-10年，甚至更大
ZHOU：不僅是算力，關(guān)鍵還是存儲(chǔ)；核心算法，特斯拉也就是中等偏下。
ZHU：馬斯克本來(lái)就是OPEN AI的股東，而且還有很強(qiáng)大的人形機(jī)器人業(yè)務(wù)；英偉達(dá)最早的AI服務(wù)器就是給了馬斯克的。
ZHOU：特斯拉沒(méi)有任何原創(chuàng)東西，骨干網(wǎng)regnet是facebook的，neck是谷歌的bi-fpn，head是谷歌的ViT-B做Bev transformer，至于OCC，它就沒(méi)有。這可都是AI DAY寫(xiě)出來(lái)的。OCC只是個(gè)預(yù)測(cè)頭，硬要說(shuō)特斯拉有，那就是15年前就有的mlp。