王耀南：AI大模型驅動的具身智能人形機器人與展望

　　我們正處于智能化時代，從機械化時代的工業1.0，到電氣化時代的工業2.0，再到信息化的工業3.0，現在我們正邁向工業4.0智能化的時代。在這個時代背景下，工業機器人、服務機器人和特種機器人發揮著越來越重要的作用。智能機器人已廣泛應用于工業制造、國防安全、智能服務和智慧農業等各個行業，呈現出同步發展的趨勢，并具有廣闊的應用前景。

　　在過去的幾十年里，工業機器人發揮了重要作用。而為了解決服務機器人的問題，人類與我們共同走向了人形機器人的研發之路。

　　那么，為什么要發展人形機器人?人形機器人主要模仿人的形態、運動和功能，可以與人進行交流。它不僅模仿了人的外形、外觀和行為，還是一種通用的智能機器人，是國際公認的人工智能、高端制造新材料等尖端技術的集成者，也是科技競爭的制高點和未來的新賽道。

　　我們預判人形機器人將成為繼個人計算機、手機和智能汽車之后新一代智能終端，可能形成萬億級市場。因此，我們關注產業化路徑，提出了人形機器人發展的主要動力來自于需求牽引和整機帶動。應用場景，如智慧農業、醫療、家庭服務等，是推動人形機器人發展的關鍵。整機研發是主攻方向，軟件和硬件必須協同，以培育一個完整的生態，進而帶動產業鏈、創新鏈和人才鏈的發展轉型升級。

　　在關鍵技術突破方面，我們將人形機器人的發展劃分為大腦、小腦和肢體三個方面。大腦主要解決復雜環境感知決策、人機交互以及提升機器人的學習適應能力。小腦，即過去的控制系統，主要負責運動建模、復雜控制以及各種形態的控制。而肢體方面則是整機和部件的共同發展。

　　未來，人形機器人開發工具要形成大產業，必須具備大模型訓練數據標注軟件和應用軟件。這樣我們可以將機電一體化考慮在內，形成人形機器人的發展路線。

　　我們2020年提出的人形機器人架構是一個云網端架構的系統，大腦負責多模態模型建模、強化學習、地圖創建和數據訓練。數據訓練端作為云端大腦，訓練完成后，通過網絡高速互聯互通進入人形機器人機構本體。機構本體的小腦則重點管理表情計算、視覺控制、感知信息等各種驅動手和關節的控制，形成一體的小腦控制。

　　目前，人形機器人國內外研發重點主要包括：

　　環境感知：人形機器人的環境感知部分主要涉及各種傳感器的研發，包括內部傳感器、慣導傳感器、立位傳感器、皮膚傳感器、外部傳感器、視覺傳感器、激光雷達傳感器以及聲學傳感器等。

　　執行器：執行器部分涉及驅動電機和靈巧手等執行機構。研發動力部件、驅動減速器等關鍵零部件對于人形機器人的發展至關重要。

　　小腦開發：小腦負責機器人的運動控制，從傳統的模型驅動轉向數據驅動。通過強化學習，機器人小腦變得更加靈活，加速了控制器的開發。

　　大腦開發：大腦負責感知、控制、傳感和控制一體，涉及高級決策核心。通過多模態模型建模、強化學習、地圖創建和數據訓練，大腦能夠管理和協調機器人的各種功能。

　　近年來，人形機器人發展迅速。通過感知、傳動、算一體的端到端大模型學習和訓練大腦，人形機器人得到了更多的活力。大模型使人形機器人可以解決復雜規劃問題，具備情感、精準執行能力和理解人的意圖等優勢。此外，具身智能的發展也加速了人形機器人的多模態交互和學習能力。

　　經過研判，今年人形機器人規模發展非常迅速，但仍處于艱苦的爬坡過坎階段。從市值分析，目前中國在人形機器人產值尚未達到預期。從分布角度來看，國內人形機器人的地域分布相對集中，主要集中在沿海發達地區，包括重慶中部地區和南部地區。我們更多地需要通過形成產業生態鏈、創新鏈和上下游聯動，以推動人形機器人的大發展，形成真正的新三板。

　　回顧過去，我們團隊在1985年就開始研發機器人，主要采用模型驅動，如神經網絡模型驅動的機器人智能控制。然而，開發周期緩慢，需要完成多個程序。為了改善控制能力，我們設計了模糊神經網絡控制系統作為輔助修正學習。現在，我們需要融入新技術，如深度強化學習和大模型驅動，以加速人形機器人的開發周期。

　　那么，AI大模型如何賦能人形機器人開發?將AI大模型賦能到人形機器人，需要注意幾個方面。首先，通過這個模型提升人形機器人的自然語言交互，使機器人能夠與人進行自然語言的交互理解。其次，需要識別復雜場景視覺感知。第三，需要對動作和規劃進行精準把控。最后，需要進行自主學習提升來完成任務。

　　人形機器人與其他機器人的最大不同，在于它需要具備情感計算和表達能力。大模型為機器人注入了新的活力，使人形機器人具備了情感表達和分析能力。

　　未來，人形機器人行業還有很多工作需要完成。我們應該聯合企業、政府、高校和研究所，共同梳理和發力，讓人形機器人真正走向生活、智能制造和國防等領域。

　　首先，我們需要打破訓練數據大模型之下的壁壘，充分利用他人的優勢進行開發。其次，我們可以采用小模型進行分布式開發。最后，我們需要探討如何高效地應對大模型的多模態企業特征、提升端到端控制的通用性和訓練效率、保障模型的泛化能力和可解釋性等問題。

　　為了實現這些目標，我們需要研究人工智能大模型，推動人形機械一體化發展。我們需要設立一個開源數字底座，涵蓋計算智能、感知智能、認知智能、決策智能、行為智能以及真正的具身智能。這個底座應該具備感知、認知、思考、分析、判斷、推理和交互功能，以推動人形機器人具備智能自主操控性。

　　此外，未來的人形機器人還需要具備情商和智商兼備的特點。數字人與機器人的有機結合將是未來的發展趨勢。數字人已經在各個領域廣泛應用并形成產業化，我相信實體人形機器人也將與數字人一樣在數字空間和實際中發揮作用。為了實現這一目標，我們需要取得突破，在數字人具備群智兼備的基礎上，還需要解決腦認知驅動的情感激勵、多模態前置大模型融合的解釋建議以及個性化情感的表征與動態等科學問題。

　　總之，通用人形機器人的發展需要多學科交叉協同創新，突破運動、操作、智能三大專業技術。我們應該攜手共進，無論是企業、高校還是科研院所，都應該共同努力推進人形機器人的發展。讓我們攜手艱苦攻關，實現通用人形機器人的夢想!

　　文章為中國工程院院士王耀南在2024機器人和智能制造技術與標準創新發展(杭州)大會上的報告實錄

　　來源：國家智能制造專家委員會公眾號