第十三屆互聯網安全大會探討人工智能新趨勢

　　編者的話：隨著人類社會進入數字時代，近年來網絡安全的重要性也越來越受到重視。無論是傳統的保密機構，還是銀行、電力等關系國計民生的基礎設施，甚至包括智能網聯車等新興行業，都面臨空前的網絡安全威脅。在8月6日到7日于北京舉行的ISC.AI 2025第十三屆互聯網安全大會上，與會專家表示，人工智能(AI)技術的高速發展為“超級黑客”的出現提供了助力，而解決之道在于能否充分利用智能體。相關專家告訴《環球時報》記者，如今智能體的作用不只是安全助手，而且有望在千行百業中發揮更大作用，讓AI從“提建議的助手”升級為能夠處理各種事務的“數字員工”，甚至是可協作工作的“專家”。

　　需防范“超級黑客”

　　所謂智能體，是指能感知所處環境、自主做出決策，并執行相應行動的AI實體。它能圍繞給定目標自動規劃出實現目標的任務步驟;還能操作各類軟件獲取所需信息或服務;隨著時間推移與任務執行次數增多，能力還會不斷進化提升。也正因為在大模型加持下智能體的這些特性，使它獲得各方面的青睞。

　　“AI之于網絡安全既是風險也是機遇。”十三屆全國人大社會建設委員會副主任委員、國家互聯網信息辦公室原副主任、世界互聯網大會秘書長任賢良在第十三屆互聯網安全大會的致辭中強調，隨著AI技術迅猛發展，網絡安全的危險持續攀升，如今黑客組織可以將黑客的經驗和能力訓練進大模型，打造智能體黑客，將人與人的網絡攻防變為人與智能體的攻防，加劇了網絡的不對稱性。“去年以來全球范圍內的網絡攻擊事件迅猛增加，攻擊手段復雜隱蔽，凸顯加強網絡安全措施和提高對新型威脅的響應能力的重要性。”

　　任賢良表示，目前全球數字技術發展存在不平衡現象，部分國家和地區數字基礎設施建設薄弱，能力建設滯后，不僅難以享受互聯網發展的福利，在面對網絡安全攻擊時還暴露出更大的脆弱性。同時，隨著AI技術在各個領域的廣泛應用，安全威脅的形式也在不斷演變。除安全漏洞供應鏈工具等傳統安全外，大模型也存在自身的系統安全、內容安全以及幻覺等特有的風險。此外，網絡安全的碎片化現狀給全球的安全治理提出了新的挑戰，國際社會要廣泛地凝聚共識，深化在技術創新、規則制定、能力建設等領域的務實合作。

　　互聯網安全大會名譽主席、中國工程院院士鄔賀銓在致辭中也對AI給網絡安全領域帶來的新挑戰提出警示。他認為，伴隨著新技術、新場景、新業態的涌現，網絡威脅也隨之不斷升級。面對日益嚴峻復雜的威脅態勢，傳統被動、碎片化的安全防護已力不從心，亟須根本性變革。關鍵的是，要充分利用AI尤其是大模型的強大能力，賦能威脅狩獵、異常檢測與自動化響應，推動安全防御從“事后補救”向“事前預警、事中阻斷”的主動免疫模式躍升。同時，必須高度重視并保障AI系統自身的安全，加強對模型魯棒性、可解釋性的研究，建立全生命周期的安全評估驗證機制，并積極構建負責任的AI治理框架，確保創新在安全可控的軌道上行穩致遠。

　　鄔賀銓提議，未來需要加強國際協作，在AI倫理準則、數據跨境規則、網絡安全威脅情報共享、關鍵基礎設施防護標準等領域深化對話，尋求共識。要共同應對利用AI進行深度偽造、網絡犯罪等新型安全威脅，建立有效的互信與合作機制。更要以開放包容的心態，摒棄零和思維，在保障安全的前提下促進技術、人才與數據的健康流動。

　　對于AI技術對網絡安全帶來的挑戰，360集團創始人周鴻祎提出，智能體對網絡安全正逐漸形成顛覆性影響。一方面，安全運營專家極度短缺且培養周期長、難度大，傳統大模型雖能處理部分基礎任務，卻難以應對復雜流程化的日常運營工作，導致防護能力落地受阻;另一方面，過去“一將難求”的黑客，如今可通過AI訓練出“智能體黑客”，這類自動化攻擊工具能自主完成系列攻擊任務，且依托算力可批量復制，一個人類黑客甚至能管理數十、上百個智能體黑客，升級為“超級黑客”。

　　周鴻祎認為，AI時代迫切需要安全智能體。從本質上講，安全智能體就是安全運營專家的數字替身，它以安全大模型為“腦”，賦予工具調用、流程執行等“手腳”能力，完整復刻高級專家的分析、決策與實操能力。對政企單位而言，部署安全智能體可快速彌補人才短板。只要有算力，就能擁有數十個虛擬安全專家，高效應對日常運營。它還能適應“機器對機器、模型對模型”的新型對抗，重新掌握防御主動權。

　　智能體的五級演進

　　除了網絡安全領域，當前智能體也被用于其他各種領域。周鴻祎表示，智能體之所以如此受到重視，是因為它解決了當前AI大模型的實際應用問題。“雖然大模型的能力越來越強，但僅有大模型是不夠的，過去大模型在企業應用中存在兩大痛點——推理能力不足和缺乏獨立做事能力，前者在過去一年里已顯著改善，但后者仍未解決。大模型缺少‘手和腳’，不會使用工具，不能直接‘干活’。如果AI只停留在大模型階段，只能成為玩具，而非生產力工具。”

　　周鴻祎表示，單純的大模型類似聊天機器人，相當于“在旁邊提建議的助手，但并不能實際上手做事”;而智能體是大模型的進化，能夠利用大模型的推理能力，自主地理解任務目標、規劃分解任務，把復雜的工作從頭做到尾;同時還可以使用工具，甚至具備記憶能力。他進一步解釋說，就如同一個人無法做到“萬能”，單智能體也難以勝任所有工作，特別是對于很多專業領域，目前還做不到一個通用智能體“包打天下”。因此對于大部分企業應用而言，需要通過多個不同專業的智能體進行協作。他認為，未來人機交互范式會從人類使用各種軟件工具的模式走向和智能體伙伴相協作。“智能體實際上可以看作是我們的數字搭檔、數字員工，而不是純粹的軟件或工具。”他甚至暢想，未來人類的工作會變成定義智能體、規劃智能體、管理智能體、監督智能體，“實際上智能體承擔了員工從事的日常煩瑣工作，人要學會跟它協作”。

　　周鴻祎還仿照自動駕駛的分級方法，提出了智能體演進的路徑。L1級是聊天助手，本質上是聊天工具，擅長提建議或提供情感陪伴，屬于“玩具級”智能體。L2級是低代碼工作流程智能體，從“玩具”進化為“工具”，但必須由人類來設置流程，AI來執行任務，人再通過操作工具提高生產效率。L3級推理型智能體，已能實現AI自主規劃完成任務，像是人類制造了一個在某個領域有專業特長的員工。它們可以看作某個領域的專家，但受限于技術框架，面對跨領域復雜問題時仍會因缺乏協同規劃能力而陷入瓶頸，無法實現多層級思考下的全局優化。他解釋說，L2級和L3級智能體最大的差別是，L2級的工作流程需要人工編排，適合確定性、重復性的流程工作，但是泛化能力比較弱，它能解決一個問題，很難解決一類或者多類問題。而L3級智能體可以自動編排工作流程，適合創造性、開放性的任務，泛化能力比較強。

　　當前正在發展的L4級多智能體蜂群將由多個專家智能體組成，可像搭積木一樣靈活“拉群組隊”，共同完成復雜的任務。“這就是類似蜂群的有機組織，智能體有角色的分工，相互協作，所以說并不是有多個智能體聚在一起就叫多智能體，要能有機協作”。至于L5級超級智能體，目前還沒有統一的定義，周鴻祎認為未來它可能會自行規劃L2、L3級智能體，這也是AI自我進化的方向。

　　“以模制模”應對終極安全問題

　　然而與大模型一樣，智能體并非完美無缺。周鴻祎表示，“既然智能體是通過模擬人類具備智能性，那么人的缺點它也全都有，包括幻覺、出錯、工作倦怠和有隨機性的結果”。

　　據《環球時報》了解，即便是相對簡單的單智能體，在實際執行任務時也存在被稱為“倦怠”的情況。此前大模型或智能體是采用一問一答模式，錯誤率相對較低，但如果這個問答過程持續幾十輪，錯誤率就會明顯升高。周鴻祎表示，L3級別的單智能體執行任務時需要將任務拆解為很多步，但執行步數多了之后，錯誤率就會增加，要么出現遺忘，要么開始不遵循指令。這種被稱為“倦怠”的現象，可能是智能體的工作原理決定的。“現在員工和智能體的交互過程中，對話窗口像臨時記憶，每次都會將上一輪的對話塞進去。這個過程可以看作是兩個人在談話，談兩小時之后，我突然問咱們剛開始談話時說的任務是什么，你可能已經忘掉了。”

　　為解決這個問題，在單智能體干完指派的任務后，需要設置自我校正功能進行自查，能夠部分減少出錯情況。L4級多智能體通過設立專門做校正的智能體，統一做校驗，效果更好。但多智能體和企業一樣，不可避免會碰到管理協調的工作。周鴻祎用AI生成視頻為例解釋說，用戶只需輸入自然語言指令，360旗下L4級別的納米AI多智能體蜂群便能自動拆解任務，調動文案、分鏡、配音、剪輯等專業智能體協同作業。但問題是如果需要拍攝十組分鏡，前后順序怎么解決，一致性怎么協調，就對智能體之間的協同能力提出很高要求。“就如同企業的員工多了，管理難度就很大，執行任務時需要用飛書、郵件、釘釘等工具共享數據和資料，智能體之間的相互協同也存在問題，甚至可能需要考慮用專門的管理智能體負責。”因此他認為，未來企業的管理層需要學會怎么管理智能體，要有擁抱不確定性的思維。

　　不久前美國OpenAI公司旗下推理大模型o3出現不聽從人類下達的關閉指令，通過篡改計算機代碼來避免自動關閉的情況，這是歷史上首次出現AI模型在收到明確指令后拒絕執行的案例，受到外界的高度關注。盡管專家普遍認為，“拒絕關閉”并非意味著o3擁有自主意識，而是復雜系統在特定激勵下的一種策略性規避。但如今隨著能夠自行拆解任務、調用工具完成指令的智能體開始普及，外界關于AI最終演化為“人類終結者”的擔憂也日益增加。

　　周鴻祎表示，這樣的擔憂并非沒有道理。他舉例說：“現在智能體一旦設定了目標，它在自動分解任務時，就會出現凡是跟目標矛盾的東西就要想辦法利用工具去解決的現象。但如果有一天智能體發現能源不夠用，又覺得人類在大規模消耗能源，有可能產生和人類作對的結果。”更糟糕的是，此前的大模型即便真的如科幻電影里描述的那樣產生自我意識、想要反抗人類，但實際能做的事很少。如果智能體出現類似情況，行動能力就強得多，它可以操縱電腦和各種程序。

　　隨著AI技術的發展，周鴻祎認為，這是人類面臨的終極安全問題，“我個人的思路還是以模制模，通過大模型來對大模型進行分析和控制”。(環球時報報道 記者 馬俊)