南方電網(wǎng)數(shù)字電網(wǎng)與人工智能重大科研團(tuán)隊(duì)的攻關(guān)成果《基礎(chǔ)模型與知識(shí)融合的復(fù)雜電力巡檢視覺(jué)智能分析關(guān)鍵技術(shù)及應(yīng)用》獲得2023年度吳文俊人工智能科技進(jìn)步獎(jiǎng)一等獎(jiǎng)。
通過(guò)無(wú)人機(jī)高精度的定點(diǎn)飛行、拍照、攝像，讓運(yùn)維人員即使在電腦前也可了解線路的運(yùn)行狀態(tài)。 陳波 攝
近年來(lái)，全球新一輪科技革命和產(chǎn)業(yè)變革迅猛發(fā)展，如何推動(dòng)人工智能關(guān)鍵核心技術(shù)攻關(guān)，加快實(shí)現(xiàn)產(chǎn)業(yè)化，是業(yè)界共同關(guān)心的焦點(diǎn)。南網(wǎng)報(bào)聚焦電力巡檢視覺(jué)智能分析體系，展示南方電網(wǎng)公司對(duì)人工智能產(chǎn)學(xué)研用全鏈條融合的探索。
——編者
在廣東電網(wǎng)機(jī)巡管理中心，技術(shù)應(yīng)用推廣部經(jīng)理劉高展示了一張?zhí)貏e的照片：50米高的輸電鐵塔和鐵塔頂部一個(gè)已經(jīng)松脫且僅有小拇指指甲蓋大小的螺栓銷釘。工作人員從地面舉著望遠(yuǎn)鏡看那螺栓帽，有如在一頭牛身上找一粒虱子，且僅憑肉眼很難判斷虱子的生存狀態(tài)。現(xiàn)在，指甲蓋大小的螺栓帽是否影響線路安全，智能識(shí)別算法可以直接做出判斷、評(píng)級(jí)，且將結(jié)果推送給生產(chǎn)部門。
更了不起的是，無(wú)人機(jī)從機(jī)巢自動(dòng)起飛、拍攝照片、回傳圖片到缺陷識(shí)別，所有步驟都可以在線完成，這背后隱藏了高精度定位、人工智能等先進(jìn)技術(shù)應(yīng)用。2021年，南方電網(wǎng)公司電網(wǎng)管理平臺(tái)機(jī)巡圖像智能分析功能全面上線后，圖片識(shí)別速度大幅提升，目前可每分鐘處理700張圖片，已累計(jì)識(shí)別圖片超1.37億張，其中2023年為9000多萬(wàn)張。
為什么需要人工智能?——人眼看不過(guò)來(lái)了
事情要從2013年說(shuō)起。當(dāng)時(shí)南方電網(wǎng)公司已部署在全網(wǎng)推廣輸電線路機(jī)巡作業(yè)。無(wú)人機(jī)巡檢業(yè)務(wù)逐漸在公司展開(kāi)。
短短幾年，從高壓到低壓，從東部到西部，全網(wǎng)逐漸形成“機(jī)巡為主，人巡為輔”的線路運(yùn)維模式。無(wú)人機(jī)在電網(wǎng)的應(yīng)用場(chǎng)景發(fā)生質(zhì)的轉(zhuǎn)變——從最早的搶險(xiǎn)救災(zāi)配合工具變成日常巡檢不可少的利器。南方電網(wǎng)公司輸配電部高級(jí)經(jīng)理樊靈孟說(shuō)：“公司無(wú)人機(jī)巡檢起步早、應(yīng)用廣、認(rèn)識(shí)深。2016年，工信部啟動(dòng)制定無(wú)人機(jī)領(lǐng)域國(guó)際標(biāo)準(zhǔn)，于2020年頒布，填補(bǔ)了國(guó)際上該領(lǐng)域技術(shù)標(biāo)準(zhǔn)的空白，南方電網(wǎng)就是主要貢獻(xiàn)單位。”機(jī)巡業(yè)務(wù)的大規(guī)模發(fā)展，意味著無(wú)人機(jī)采集輸電線路設(shè)備航拍照片在成指數(shù)級(jí)增長(zhǎng)。
2015年浙江大學(xué)博士畢業(yè)后，黃文琦加入南方電網(wǎng)公司。“那時(shí)公司做人工智能的還比較少，面試官看到我的研究方向是視覺(jué)自主導(dǎo)航系統(tǒng)與機(jī)器學(xué)習(xí)，很感慨地說(shuō)，‘這個(gè)方向在南方電網(wǎng)大有可為，我們率先發(fā)展了無(wú)人機(jī)巡檢’。”這句話，徹底打消了黃文琦對(duì)于所學(xué)恐無(wú)用武之地的顧慮。
機(jī)巡推廣應(yīng)用后，靠人力來(lái)看圖片這件事變得頗為吃力。到2016年，這種矛盾愈發(fā)明顯。巡檢人員白天飛無(wú)人機(jī)，晚上回來(lái)看圖片查找缺陷。巡檢拍回來(lái)近萬(wàn)張圖片，每張圖片要查看十幾個(gè)關(guān)鍵部件，班組人員根本忙不過(guò)來(lái)。而那時(shí)圖片量還主要集中在廣東電網(wǎng)公司，全網(wǎng)的大規(guī)模無(wú)人機(jī)自動(dòng)巡檢也還沒(méi)有開(kāi)始。
黃文琦算了一筆賬：每個(gè)桿塔精細(xì)化巡檢要拍約35張圖片，按兩座高壓桿塔之間距離約500米來(lái)估計(jì)，整個(gè)南方電網(wǎng)架空線路超過(guò)百萬(wàn)公里，光是精細(xì)化巡檢單次全覆蓋產(chǎn)生的圖片就超7000萬(wàn)張。巡檢頻次上按重要程度，分為半年巡、季度巡和月度巡，部分關(guān)鍵線路甚至需要每周巡視。積累的數(shù)據(jù)非常驚人。
怎么辦?必須上人工智能。
研究人才從哪來(lái)?——南網(wǎng)人工智能聯(lián)合實(shí)驗(yàn)室聚合人才
南方電網(wǎng)公司一直在布局電網(wǎng)數(shù)字化、智能化相關(guān)的技術(shù)。早在2013年，公司就圍繞芯片研發(fā)、智能微型傳感器以及智能算法開(kāi)展研究。2017年，公司組建了透明電網(wǎng)重大攻關(guān)團(tuán)隊(duì)(以下簡(jiǎn)稱“團(tuán)隊(duì)”)，由中國(guó)工程院院士李立浧擔(dān)任團(tuán)隊(duì)負(fù)責(zé)人。
黃文琦加入公司后一直從事智能算法研發(fā)。經(jīng)過(guò)兩年的積累和觀察，在團(tuán)隊(duì)年度會(huì)議中，黃文琦作了一次技術(shù)報(bào)告：“當(dāng)時(shí)報(bào)告的主題就是怎么利用計(jì)算機(jī)視覺(jué)技術(shù)在電力巡檢中找缺陷。”這份報(bào)告也引起李立浧的注意，他鼓勵(lì)黃文琦在這個(gè)技術(shù)方向做下去。
同時(shí)，2015年廣東電網(wǎng)機(jī)巡管理中心成立后，一方面大力推廣無(wú)人機(jī)巡檢業(yè)務(wù)，另一方面研發(fā)無(wú)人機(jī)如何脫離飛手自動(dòng)巡檢，這涉及巡檢目標(biāo)快速識(shí)別、運(yùn)動(dòng)跟蹤、自動(dòng)拍攝等一系列無(wú)人機(jī)自主巡檢關(guān)鍵技術(shù)。如同汽車無(wú)人駕駛一樣，需要激光雷達(dá)掃描、三維重建、高精度定位、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)等人工智能技術(shù)。而讓機(jī)器在復(fù)雜環(huán)境中通過(guò)視覺(jué)智能分析判斷，無(wú)論在機(jī)巡的前端(比如和人一樣自動(dòng)找到絕緣子并拍照)，還是機(jī)巡后端圖片分析中都至關(guān)重要。
這一關(guān)鍵技術(shù)的突破還是在2019年——南方電網(wǎng)公司提出，“數(shù)字電網(wǎng)”是“數(shù)字中國(guó)”在電網(wǎng)行業(yè)的具體實(shí)踐，從頂層設(shè)計(jì)上明確了人工智能技術(shù)作為支撐電網(wǎng)數(shù)字轉(zhuǎn)型的目標(biāo)。團(tuán)隊(duì)正式更名為南方電網(wǎng)數(shù)字電網(wǎng)與人工智能重大科研團(tuán)隊(duì)，公司二級(jí)領(lǐng)軍技術(shù)專家梁凌宇、公司三級(jí)領(lǐng)軍技術(shù)專家吳洋等優(yōu)秀的人工智能人才不斷地加入進(jìn)來(lái)。
南方電網(wǎng)公司還通過(guò)公司新型電力系統(tǒng)人工智能聯(lián)合實(shí)驗(yàn)室將科研人員與生產(chǎn)一線以及社會(huì)上的智力資源、產(chǎn)業(yè)資源聚合在一起。這次獲得2023年度吳文俊人工智能科技進(jìn)步獎(jiǎng)的項(xiàng)目組成員既有來(lái)自南方電網(wǎng)公司的科研、業(yè)務(wù)專家骨干，也有清華大學(xué)深圳國(guó)際研究生院、浙江大學(xué)、商湯科技等科研院所、企業(yè)的學(xué)者、研究人員。
人工智能與無(wú)人機(jī)的結(jié)合聽(tīng)上去高大上，做起來(lái)并不容易，每一步都需要非常腳踏實(shí)地。幾年時(shí)間里，公司上下聯(lián)動(dòng)搭建出一套機(jī)巡智能分析系統(tǒng)，將線下的業(yè)務(wù)流變成線上的業(yè)務(wù)流，把所有的圖片匯聚起來(lái)實(shí)現(xiàn)智能識(shí)別。為了解決實(shí)際業(yè)務(wù)痛點(diǎn)，廣東電網(wǎng)公司廣泛征集技術(shù)路線，一方面邀請(qǐng)高校、企業(yè)以專班的形式集中式、針對(duì)性開(kāi)發(fā)一些急需的缺陷識(shí)別模型;另一方面，為了優(yōu)中選優(yōu)，廣東電網(wǎng)公司在2021年舉行了4次行業(yè)比拼測(cè)試，面向全社會(huì)征集。百度、阿里等實(shí)力選手都來(lái)參賽，也包括黃文琦的算法團(tuán)隊(duì)。
“當(dāng)時(shí)主流算法對(duì)弱行業(yè)屬性的圖片識(shí)別能力很強(qiáng)，比如鐵塔下面有輛卡車，能夠很好識(shí)別。但遇到電力行業(yè)的設(shè)備外觀缺陷，識(shí)別能力就不太行，準(zhǔn)確率大多在30%以下。這就涉及到我們針對(duì)電力視覺(jué)的主要?jiǎng)?chuàng)新，通過(guò)基礎(chǔ)模型與知識(shí)融合解決復(fù)雜的電力巡檢視覺(jué)智能分析難題。”黃文琦說(shuō)。
教會(huì)人工智能有多難?——基礎(chǔ)模型與知識(shí)融合是破局之法
知識(shí)融合是對(duì)算法模型的一種專業(yè)強(qiáng)化。電力巡檢視覺(jué)智能分析主要面臨兩大痛點(diǎn)：一是應(yīng)用場(chǎng)景開(kāi)放，南方電網(wǎng)公司電力線路總長(zhǎng)度近120萬(wàn)公里，覆蓋海拔4500米，涉及森林、湖泊、村莊、城市等多種場(chǎng)景，環(huán)境干擾多，對(duì)模型泛化性能要求高;二是業(yè)務(wù)邏輯復(fù)雜，設(shè)備種類多、缺陷類型多、缺陷等級(jí)多、定級(jí)規(guī)則復(fù)雜，識(shí)別難度高，尤其是桿塔、絕緣子等電力設(shè)備上，通過(guò)人工智能技術(shù)解決缺陷識(shí)別難題的積累也不多。
要解決這兩個(gè)難點(diǎn)，必須開(kāi)發(fā)出足夠聰明的模型。解決的方法是與生產(chǎn)一線的同事一起磨。
“劉高等機(jī)巡中心的專家同事，都是我們的師傅。”黃文琦和梁凌宇口中的“師傅”最常講的例子是鳥(niǎo)巢。鳥(niǎo)巢圖片識(shí)別中遇到的第一個(gè)問(wèn)題是怎么判斷它是否在電網(wǎng)的鐵塔上?很有可能地上的一攤草也會(huì)被算法識(shí)別成鳥(niǎo)巢。第二個(gè)問(wèn)題，怎么判斷鳥(niǎo)巢是否影響到電網(wǎng)安全?
所以必須要將電力行業(yè)的這種針對(duì)性的邏輯關(guān)系教給機(jī)器。也就是說(shuō)不僅是要識(shí)別鳥(niǎo)巢，還要識(shí)別它周圍的設(shè)備。首先想辦法解決圖片更加清晰的問(wèn)題，算法團(tuán)隊(duì)提出了多層次、多維度的大規(guī)模場(chǎng)景圖像數(shù)據(jù)增強(qiáng)方法，這能讓機(jī)器把圖片“看”得更清楚。其次，還要想辦法用一個(gè)網(wǎng)絡(luò)將它們的位置關(guān)系構(gòu)建出來(lái)，這就是多元知識(shí)嵌入的電力圖像專精化理解方法，即要讓算法可以用更高的思維來(lái)思考問(wèn)題。
回到文章開(kāi)頭提到的劉高的那張圖片。必須得讓機(jī)器在一定范圍內(nèi)更強(qiáng)地學(xué)習(xí)，比如尺寸大小的關(guān)系等，要讓機(jī)器的注意力定在尺寸比例的關(guān)系中去，不要漫天地去找無(wú)關(guān)的東西。因此，那個(gè)銷釘在機(jī)器里的表述應(yīng)該是“在某個(gè)部件的下方或者旁邊”等，需要將機(jī)器的注意力引到這里——這種關(guān)系就叫做概率傳遞。但是又不能全部限死，因?yàn)槿祟悷o(wú)法枚舉所有情況，只能用知識(shí)嵌入的方法“軟約束”它，讓機(jī)器在那個(gè)范圍學(xué)習(xí)，這種方法就是知識(shí)融合。
“在具體的算法模型開(kāi)發(fā)中，平衡則很重要。我們不是純粹在實(shí)驗(yàn)室里搞研究，做出來(lái)的東西必須要為一線生產(chǎn)排憂解難。實(shí)現(xiàn)這點(diǎn)，算法一定要足夠精妙。”梁凌宇認(rèn)為，“算法不能太笨，比如一天要識(shí)別幾十萬(wàn)張圖片，一張圖片的識(shí)別速度哪怕從2秒變成1秒，這也可以提升后續(xù)消缺速度，這就涉及非常技術(shù)層面的問(wèn)題。總之，你研究出來(lái)的東西一線人員得愿意用、容易用。”
無(wú)論是平臺(tái)還是算法模型開(kāi)發(fā)，最終都要過(guò)生產(chǎn)者這一關(guān)。研發(fā)階段要做內(nèi)測(cè)，開(kāi)發(fā)完畢，還要過(guò)現(xiàn)場(chǎng)人工復(fù)核。任何一關(guān)過(guò)不了都要返工。梁凌宇說(shuō)起研發(fā)過(guò)程的喜樂(lè)與困難：“風(fēng)光有四時(shí)。開(kāi)發(fā)時(shí)，我們的算法用的主要是春天、夏天的樣本，到了冬天，背景或者什么情況發(fā)生變化了，機(jī)器就會(huì)產(chǎn)生新的理解。那我們就要處理，為什么算法把一些背景干擾識(shí)別進(jìn)來(lái)。通過(guò)類似正樣本、負(fù)樣本優(yōu)化我們的算法。人常說(shuō)學(xué)無(wú)止境，機(jī)器也一樣。”
項(xiàng)目不落地就是“花架子”，怎么辦?——人工智能要廣泛適應(yīng)電力巡檢場(chǎng)景
所有這些其實(shí)并不容易。有一段時(shí)間，算法團(tuán)隊(duì)很迷茫，壓力很大。一方面是機(jī)巡電力設(shè)備外觀缺陷的種類太多，且大部分缺陷缺乏明確的分類與量化判定規(guī)則。比如，僅僅絕緣子一類設(shè)備，常見(jiàn)的缺陷就包括污穢、破損、自爆和表面灼傷等等。從圖片特征來(lái)看，對(duì)應(yīng)著顏色異常、紋路異常與幾何形態(tài)異常，疊加拍攝角度不一，缺陷的程度很難量化定義。更不用說(shuō)還有小尺寸金具、絕緣子、接地裝置和附屬設(shè)施類缺陷，更難判斷。
另一方面，缺陷總是偏少的，大部分缺陷類型的圖片樣本更是極其稀少，無(wú)法通過(guò)“喂”大量的圖片讓機(jī)器學(xué)會(huì)識(shí)別。“如果有幾十億數(shù)量的缺陷圖片，我相信深度神經(jīng)網(wǎng)絡(luò)能夠靠純數(shù)據(jù)驅(qū)動(dòng)的方法準(zhǔn)確識(shí)別。但是缺陷樣本往往是稀缺的。”黃文琦解釋道。
怎么辦?如果項(xiàng)目遲遲無(wú)法落地，不能給生產(chǎn)一線的兄弟使用，技術(shù)想得再好都是“花架子”。那段時(shí)間里，黃文琦很害怕聽(tīng)到南方電網(wǎng)公司首席技術(shù)專家李鵬的詢問(wèn)：“研究了這么久，為何遲遲不見(jiàn)落地應(yīng)用的成效?”不過(guò)，幫助黃文琦撥云見(jiàn)霧的也是李鵬，他給了黃文琦兩條建議：第一，技術(shù)要成體系，要做到能夠廣泛適應(yīng)電力巡檢場(chǎng)景人工智能模型，不能只解決個(gè)別問(wèn)題;第二，目標(biāo)是解決電力視覺(jué)領(lǐng)域的問(wèn)題，可考慮兼顧通用視覺(jué)技術(shù)的能力與專業(yè)領(lǐng)域的知識(shí)。
很快，視覺(jué)基礎(chǔ)模型與知識(shí)融合的技術(shù)路線被提了出來(lái)。“南方電網(wǎng)公司輸配電部組織了數(shù)字輸電人工智能提升專項(xiàng)工作，調(diào)動(dòng)廣東、廣西、云南、貴州、海南五省區(qū)上百位業(yè)務(wù)專家參與到電力場(chǎng)景圖像專精化理解技術(shù)研發(fā)中來(lái)，與算法專家共同梳理業(yè)務(wù)知識(shí)。”樊靈孟介紹，“公司定期召開(kāi)技術(shù)研討、生產(chǎn)工作會(huì)議，讓業(yè)務(wù)專家與算法專家能夠坐在一起，找真問(wèn)題，解決真難題。”
輸配電部還結(jié)合生產(chǎn)實(shí)際對(duì)電力巡檢視覺(jué)智能分析項(xiàng)目的技術(shù)路線、標(biāo)準(zhǔn)化設(shè)計(jì)做了專業(yè)化指導(dǎo)，發(fā)動(dòng)全網(wǎng)匯聚海量電力巡檢圖像數(shù)據(jù)，制定“地域全覆蓋、缺陷準(zhǔn)識(shí)別、多模態(tài)融合”的技術(shù)推進(jìn)路線，構(gòu)建電力巡檢視覺(jué)智能分析平臺(tái)體系，加速了項(xiàng)目成果在南方五省區(qū)的產(chǎn)業(yè)化落地。
商湯科技、清華大學(xué)深圳國(guó)際研究生院與浙江大學(xué)在基礎(chǔ)模型、圖片增強(qiáng)、目標(biāo)檢測(cè)等關(guān)鍵技術(shù)研發(fā)中發(fā)揮了重要作用。大家合力大幅提升了銷釘缺失、鳥(niǎo)巢等關(guān)鍵缺陷的識(shí)別精度，項(xiàng)目實(shí)現(xiàn)了真正意義上的落地。
目前，平臺(tái)已經(jīng)搭建好，一些通用模型也已嵌入。對(duì)于巡線人員來(lái)說(shuō)，無(wú)人機(jī)什么時(shí)候飛、做計(jì)劃、圖片識(shí)別等一長(zhǎng)條的業(yè)務(wù)鏈條都可以數(shù)字化實(shí)現(xiàn)。但是，對(duì)于黃文琦和劉高等人來(lái)說(shuō)，所有這些仍然只是萬(wàn)里長(zhǎng)征中的第一步。
如今，在南方電網(wǎng)公司，每個(gè)省公司甚至地市局都可以針對(duì)量小且有特色的問(wèn)題開(kāi)發(fā)算法模型，并嵌入領(lǐng)域知識(shí)專門針對(duì)個(gè)性化缺陷識(shí)別需求。劉高已經(jīng)列了很長(zhǎng)的工作計(jì)劃，它要解決500多個(gè)缺陷識(shí)別的問(wèn)題，目前才解決了120多個(gè)缺陷(識(shí)別)。“這件事值得干一輩子，優(yōu)化永無(wú)止境。”
廣東電網(wǎng)機(jī)巡中心也有了新的打法——有了自己的算法團(tuán)隊(duì)，非常清晰的開(kāi)發(fā)流程，相對(duì)固定的工作人員，這給了劉高非常大的信心。“而且我們每個(gè)算法開(kāi)發(fā)出來(lái)都會(huì)經(jīng)過(guò)一線人員的測(cè)評(píng)，2月底我們剛試驗(yàn)了兩個(gè)。同時(shí)，我們現(xiàn)在也鼓勵(lì)基層供電局自己做開(kāi)發(fā)，舉辦內(nèi)部人工智能競(jìng)賽，發(fā)掘培養(yǎng)人才。”
黃文琦想的則是如何將解決電網(wǎng)“眼睛”智能化的技術(shù)，進(jìn)一步用于探索電網(wǎng)運(yùn)行的“大腦”。“如果能夠?qū)㈦娏ο到y(tǒng)運(yùn)行的物理規(guī)律如同知識(shí)一般嵌入到深度神經(jīng)網(wǎng)絡(luò)中，那么電力系統(tǒng)積累的海量多源數(shù)據(jù)將釋放出更大的能量。”
南網(wǎng)報(bào)記者 劉杰 通訊員 朱盈 余盛燦
作者：劉杰 朱盈 余盛燦
評(píng)論