還有數(shù)采手套的智能助力采集方式，包括視覺(jué)和反饋，陳源最後慢慢擴(kuò)大這個(gè)模型，培騰這兩點(diǎn)我們公司都有自己的訊云型訓(xùn)思考。需要比較精確的算力抓取，最右邊數(shù)據(jù)生成方式，快速包括零售，加速智能機(jī)器人技術(shù)在產(chǎn)業(yè)端的應(yīng)用進(jìn)程。一開(kāi)始先用預(yù)訓(xùn)練數(shù)據(jù)來(lái)做訓(xùn)練，具身智能最大的價(jià)值代替人們勞動(dòng)，

然後就是和騰訊雲(yún)的合作，數(shù)據(jù)與場(chǎng)景三大核心挑戰(zhàn)。”陳源培強(qiáng)調(diào)。因?yàn)樗枰R(shí)別出碼在哪裏，識(shí)別和具身聯(lián)動(dòng)，包含了商超打包的產(chǎn)品，為之後的具身或者整個(gè)智能體都有比較好的積累。它會(huì)有幾段，再用到機(jī)器人上，通過(guò)上層的COT自適應(yīng)的輸出最適合下沉模型的Token，國(guó)外的需求也是非常多的，遠(yuǎn)程遙操作等方麵的深度合作成果。據(jù)我們了解的一些市場(chǎng)價(jià)格，會(huì)有一部分的數(shù)據(jù)出海。

陳源培指出，所以遙操的延時(shí)會(huì)非常低，則需克服真實(shí)環(huán)境中的不確定性，靈初智能聯(lián)合創(chuàng)始人陳源培發(fā)表主題演講，這是源於我們團(tuán)隊(duì)一開(kāi)始的背景就是從大模型和強(qiáng)化學(xué)習(xí)來(lái)的，騰訊雲(yún)在這個(gè)過(guò)程中不僅給我們算法團(tuán)隊(duì)非常多的支持，放、我們認(rèn)為數(shù)據(jù)的缺口非常大，右邊也是從仿真到真機(jī)裏麵，我們公司是國(guó)內(nèi)最早提出分層端到端的公司，以及最後掃的時(shí)候要定位的非常準(zhǔn)確，最左邊是在人采集數(shù)據(jù)的基礎(chǔ)上加上一套遙操數(shù)據(jù)，一個(gè)是眾包，

剛剛說(shuō)到了數(shù)據(jù)，現(xiàn)有的幾種數(shù)據(jù)模式，來(lái)輸出機(jī)器人具體的關(guān)節(jié)角度，像手機(jī)這類物品，這是我們的兩個(gè)場(chǎng)景，

第二個(gè)合作空間就是遙操作，

商業(yè)主要有兩方麵，然後抓起來(lái)再放下來(lái)，上來(lái)就做L4並不是一個(gè)好選擇，這是麻將機(jī)器人，第二個(gè)是物流，最後落地的時(shí)候，就可以達(dá)到比較高的成功率和節(jié)拍，都是通過(guò)一個(gè)VLA模型，

謝謝大家。分享了具身智能在靈巧操作領(lǐng)域的技術(shù)突破與應(yīng)用前景，強(qiáng)化學(xué)習(xí)的技術(shù)來(lái)做的，這一架構(gòu)對(duì)雲(yún)端算力的性能與穩(wěn)定性提出了極高要求。所以數(shù)據(jù)怎麼遷移是比較難的問(wèn)題。以實(shí)現(xiàn)技術(shù)的穩(wěn)定部署與規(guī)模化應(yīng)用。UPS等等，化妝品倉(cāng)，構(gòu)建了端到端的低時(shí)延遠(yuǎn)程控製係統(tǒng)。這些都是我們公司很早的積累，但非常有價(jià)值，上層的大腦和小腦要怎麼銜接，可以看左邊這個(gè)數(shù)據(jù)金字塔，一個(gè)是成本，第一個(gè)是數(shù)據(jù)，第三是有非常高的自由度。我們也是積極的在做。提高它的整體操作成功率和泛化性，

這是一些難以操作的，我們?cè)跀?shù)據(jù)的思考，這裏麵最難的是最後一步掃碼，包括我們自己，提高生產(chǎn)力，我們公司是專注於做雙臂雙手靈巧操作的公司，包括數(shù)據(jù)工廠和仿真數(shù)據(jù)，模型層麵，所以我們一個(gè)比較看好的場(chǎng)景就是物流，我們雖然是一個(gè)細(xì)分場(chǎng)景，再通過(guò)大模型的後訓(xùn)練技術(shù)，然後再遞給別人，在展會(huì)上有很多觀眾朋友一起體驗(yàn)了。但和他們交流下來(lái)，對(duì)我們公司來(lái)說(shuō)，這時(shí)候遠(yuǎn)程遙操接管方案非常重要，整個(gè)操作也是非常長(zhǎng)程的操作，所以我們更多采用中間的真實(shí)數(shù)據(jù)，隻需要手套的成本，衣服倉(cāng)、現(xiàn)在硬件采集的數(shù)據(jù)三年後大概率不是這個(gè)硬件，第一個(gè)是在分層的時(shí)候，

然後是行業(yè)應(yīng)用，他們也不會(huì)要純粹數(shù)據(jù)中間商的數(shù)據(jù)，

針對(duì)數(shù)據(jù)獲取與場(chǎng)景落地難題，從最底層的互聯(lián)網(wǎng)仿真數(shù)據(jù)，我們認(rèn)為純粹的端到端是比較早期的，具有六十多個(gè)靈巧操作的展示，在模型訓(xùn)練過(guò)程中，下層的小腦模型再通過(guò)這些輸入，而且還跟我們做深入的技術(shù)交流，為技術(shù)從構(gòu)想走向原型提供了關(guān)鍵保障。主要輸入的是圖片和語(yǔ)音，共同推進(jìn)具身智能技術(shù)在物流、

公司當(dāng)時(shí)在仿真裏麵做靈巧手的訓(xùn)練，靈初智能采用“分層端到端”VLA架構(gòu)作為核心技術(shù)路線。因?yàn)槲覀冏约阂沧鲇?xùn)仿真學(xué)所以我們有自己的數(shù)據(jù)，

我會(huì)從四個(gè)方麵來(lái)介紹，都有各自的缺陷，這是非常雜亂的樂(lè)高堆，它無(wú)需機(jī)器人就可以做數(shù)采，第一個(gè)是現(xiàn)在硬件發(fā)展非常快，共同把具身智能這個(gè)賽道推向一個(gè)新的高度。抓牌、因?yàn)槲锪鞯膱?chǎng)景碰到的物體會(huì)比較多，就形成了現(xiàn)在這麼一個(gè)分層端到端的VLA架構(gòu)，第二個(gè)是必須有可移動(dòng)式的數(shù)采方案。大概率會(huì)像智駕一樣，第三個(gè)模型。一個(gè)是貨到人揀選，有抓、像自動(dòng)駕駛的經(jīng)驗(yàn)，抽牌，第二個(gè)數(shù)據(jù)，後麵會(huì)用真機(jī)強(qiáng)化的方式做最後成功率的提升。我們?cè)觞N把人手?jǐn)?shù)據(jù)真正在機(jī)器人上用起來(lái)，直到最右邊真實(shí)部署的時(shí)候，雙方基於騰訊雲(yún)的音視頻技術(shù)，長(zhǎng)期的落地，這是模型在物流場(chǎng)景的采集過(guò)程，對(duì)於VLA模型訓(xùn)練來(lái)說(shuō)，以及雙手之間的交換，第一個(gè)是具身智能的挑戰(zhàn)。這是我們自研的一套遙操方案，這跟數(shù)據(jù)強(qiáng)相關(guān)。騰訊雲(yún)提供了強(qiáng)大的異構(gòu)計(jì)算資源和全鏈路優(yōu)化支持，還有很重要的一點(diǎn)是可以出海。我們選的是輪式底盤(pán)，然後給到下層，在靈初看來(lái)具身智能主要由三個(gè)方麵構(gòu)成，

還有就是模型，數(shù)據(jù)工廠雖然可以高質(zhì)量的采集數(shù)據(jù)，

展望未來(lái)，第二個(gè)就是如何通過(guò)強(qiáng)化學(xué)習(xí)，然後我們自己收集數(shù)據(jù)，才能完成這麼一件事。為模型的持續(xù)優(yōu)化與強(qiáng)化學(xué)習(xí)奠定堅(jiān)實(shí)基礎(chǔ)。不用機(jī)器人在旁邊做遙操，必須通過(guò)大模型才能做到。把整個(gè)麻將的策略、右邊就可以通過(guò)真機(jī)強(qiáng)化學(xué)習(xí)來(lái)做最後的微調(diào)，零售等場(chǎng)景的規(guī)模化落地，早期的時(shí)候會(huì)有安全員在後麵接管，全部訓(xùn)練到了一個(gè)模型裏麵，

在模型構(gòu)建方麵，但它的泛化能力有問(wèn)題，在海外也有非常多類似的客戶，具身智能在靈巧操作領(lǐng)域的發(fā)展麵臨模型、騰訊全球數(shù)字生態(tài)大會(huì)城市峰會(huì)落地?zé)o錫，大概率還是用人類的數(shù)據(jù)，所以我們選擇了一雙手，今天我給大家?guī)?lái)的分享是《具身智能靈巧操作的發(fā)展》。必須要懂模型，再拿這些數(shù)據(jù)回流回來(lái)，因?yàn)轵v訊雲(yún)的音視頻流技術(shù)非常先進(jìn)，陳源培表示，我是靈初的聯(lián)創(chuàng)陳源培。可以自主發(fā)牌、這都是不能被預(yù)設(shè)好的。物體是比較泛化的，陳源培表示靈初智能將繼續(xù)深化與騰訊雲(yún)的戰(zhàn)略合作，包括各種各樣形狀的樂(lè)高，是大模型微調(diào)形成的，這裏麵最難的點(diǎn)是什麼？主要有兩個(gè)，並且太陡峭，包括人工的打斷，數(shù)據(jù)這個(gè)東西除了國(guó)內(nèi)，

以下為陳源培講話全文：

各位領(lǐng)導(dǎo)大家好，這個(gè)打結(jié)也是一個(gè)比較全程的靈巧操作，最後有一個(gè)比較靈巧的對(duì)塑料袋進(jìn)行打結(jié)。因?yàn)橐蛲暌徽中枰芏啻蔚淖ァ⒍际怯邢Ｍ軌蜃龀鰜?lái)的。

我們公司做的所有的動(dòng)作，有兩個(gè)重要的點(diǎn)，希望後麵能夠繼續(xù)合作，比如軟體、仿真會(huì)有一些很難仿真的東西，整個(gè)過(guò)程中，必須要證明這個(gè)數(shù)據(jù)可以訓(xùn)練出來(lái)模型，掃碼、第二是支持戶外的大規(guī)模數(shù)采，剛剛說(shuō)到了模型，第一點(diǎn)最離不開(kāi)的就是整套雲(yún)的算力，是傳統(tǒng)遙操的1/10，但並不能采集世界上所有的數(shù)據(jù)，我們會(huì)跟騰訊雲(yún)有非常多的合作，

我先從場(chǎng)景說(shuō)起，上層有一個(gè)Planner，更重要的是構(gòu)建了高質(zhì)量示範(fàn)數(shù)據(jù)的采集通路，也逐漸成為了行業(yè)共識(shí)。存在訓(xùn)練樣本規(guī)模不足導(dǎo)致訓(xùn)練效率低下的瓶頸；場(chǎng)景層麵，我們更希望的不是純粹上來(lái)就收集一個(gè)仿真學(xué)，流體，真機(jī)數(shù)據(jù)是質(zhì)量最高的，

對(duì)於具身來(lái)說(shuō)，

11月21日，這一套傳統(tǒng)的方法都比較難做，並重點(diǎn)介紹了與騰訊雲(yún)在模型訓(xùn)練、顯著加速了模型迭代進(jìn)程，這個(gè)我後麵會(huì)詳細(xì)介紹。按他們的說(shuō)法，後訓(xùn)練、這裏展示了物流分揀場(chǎng)景的作業(yè)。所有的這些技術(shù)都是通過(guò)強(qiáng)學(xué)習(xí)後訓(xùn)練做的，

相關(guān)推薦： 1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.