AI造假怎么防？全國政協(xié)委員吳世忠：安全技術(shù)手段要跟上?。ㄔ瓨?biāo)題）

今年是吳世忠擔(dān)任全國政協(xié)委員的第6年。他是網(wǎng)絡(luò)與信息安全領(lǐng)域的專家。履職政協(xié)委員之初，吳世忠給自己提了一個要求，“把復(fù)雜的信息安全問題說得更準確些”。多年后再談及此，已是新當(dāng)選的中國工程院院士吳世忠坦言：“這幾年的努力還遠遠不夠”。

一個現(xiàn)實挑戰(zhàn)是，隨著技術(shù)的迅猛發(fā)展和網(wǎng)絡(luò)空間的不斷演進，信息安全問題變得越來越復(fù)雜。以人工智能為例，一年多前，聊天機器人ChatGPT橫空出世，迅速在全球掀起一場AI風(fēng)暴。今年開春，文生視頻模型Sora重磅來襲，用一段足夠以假亂真的AI生成動畫，再次給行業(yè)帶來了顛覆性的沖擊。

與此同時，技術(shù)發(fā)展軌跡的不可掌控性和潛在風(fēng)險的不確定性，也讓全球警惕AI風(fēng)險的呼聲比以往更強烈?！安荒苡行Ч芸仫L(fēng)險，發(fā)展就難以持續(xù)；沒有足夠的安全保障，后果將不堪設(shè)想?！苯谠谝黄接?024年網(wǎng)絡(luò)與信息安全風(fēng)險前瞻的署名文章中，吳世忠敏銳地指出，2024 年人工智能安全治理會成為大國角力的主要方向，人工智能熱門應(yīng)用領(lǐng)域或?qū)⒊霈F(xiàn)“灰犀牛”安全事件，潛在風(fēng)險不容忽視。

今年全國兩會，吳世忠將圍繞人工智能安全和數(shù)據(jù)安全治理問題建言發(fā)聲。為準備提案，吳世忠先后赴北京、上海、深圳等地調(diào)研了解國內(nèi)AI技術(shù)與產(chǎn)業(yè)發(fā)展情況，還持續(xù)跟蹤國際科技前沿和網(wǎng)絡(luò)空間治理戰(zhàn)略和政策，并積極與相關(guān)專家和學(xué)者們交流研討，“力求將問題研究透徹，確保提案能說準、說對”。

近日，圍繞委員履職、大模型安全、AI換臉等信息安全領(lǐng)域的熱點話題，全國政協(xié)委員、中國工程院院士吳世忠接受了記者專訪。

呼吁加強AI倫理研究、辯證看待發(fā)展與安全關(guān)系

談履職

Q    您是連任兩屆的全國政協(xié)委員，哪些問題是您尤其關(guān)注并持續(xù)推動的？

吳世忠：我長期關(guān)注的是新技術(shù)的發(fā)展、安全與治理問題，這是信息化時代各國面臨的共性問題。在兩屆政協(xié)的履職中，我分別就加強網(wǎng)絡(luò)與安全信息安全保障，科學(xué)利用三年疫情產(chǎn)生的大數(shù)據(jù)，加強信息共享和聯(lián)防聯(lián)控有效打擊網(wǎng)絡(luò)詐騙，在國際競爭環(huán)境下加強人工智能標(biāo)準和倫理研究等建言發(fā)聲，持續(xù)推動相關(guān)部門在科技發(fā)展和信息化的建設(shè)中更好地處理發(fā)展與安全的辯證關(guān)系，應(yīng)該說起到了一定建言資政作用。今后，我還會一直關(guān)注并持續(xù)推動與此相關(guān)的問題，以更好地盡到一位政協(xié)委員的職責(zé)。

Q    2018年全國兩會期間，您在接受專訪時提到，希望“把復(fù)雜的信息安全問題說得更準確些”。這個履職要求，做到了嗎？

吳世忠：這個問題提得既直接又尖銳，真不太好回答。隨著信息通信技術(shù)的迅猛發(fā)展和網(wǎng)絡(luò)空間的不斷演進，信息安全問題變得越來越復(fù)雜。從個人隱私到商業(yè)利益，從社會問題到國家安全，從軍事沖突到國際關(guān)系，從社會輿情到全球治理，信息安全問題幾乎無處不在，而且千事千面、見仁見智，再結(jié)合不同場景、對象和上下文，相關(guān)信息安全問題的內(nèi)涵和外延也相去甚遠，因此要說清楚、講準確，也越來越難。從這個意義上講，我這幾年的努力還遠遠不夠。

Q     如何應(yīng)對日益復(fù)雜的信息安全難題？您長期從事網(wǎng)絡(luò)與信息安全領(lǐng)域的技術(shù)研究工作，有何經(jīng)驗和心得分享？

吳世忠：首先，我認為發(fā)展是重要的安全考慮。

信息安全問題與技術(shù)發(fā)展相伴而行，沒有發(fā)展之需，也就難有安全之慮。我國幾十年來網(wǎng)信事業(yè)的蓬勃發(fā)展，以及近年來中美競合的科技角力，也生動具體地說明了一點——那就是不發(fā)展是最大的不安全。

其次，韌性是關(guān)鍵的安全能力。現(xiàn)在我們已經(jīng)走過信息化的孩提時代，安全保障體系已經(jīng)從保姆式的全面看護發(fā)展到自主式的自然應(yīng)對。我們不再為一個技術(shù)漏洞而產(chǎn)生像“千年蟲”那樣的安全焦慮，也不會因一兩次常規(guī)攻擊導(dǎo)致大規(guī)模斷網(wǎng)災(zāi)難。隨著網(wǎng)絡(luò)空間法規(guī)、管理、技術(shù)手段和倫理等不斷增強，信息安全的整體生態(tài)在日益豐富，韌性或彈性日益成為網(wǎng)絡(luò)信息安全保障體系的關(guān)鍵要素。

第三點，成本和效益是務(wù)實的安全指標(biāo)。要準確地認識信息安全問題，需要做到對安全風(fēng)險既不高估，也不低估。近年來，我國在網(wǎng)絡(luò)信息安全上的投入逐年增加，在管控、應(yīng)對網(wǎng)絡(luò)信息安全風(fēng)險上更加務(wù)實。這種風(fēng)險管理思想和成本效益考慮，是我們應(yīng)對網(wǎng)絡(luò)信息安全問題的主流方向。我認為，加強成本與效益分析，采取激勵機制與政策，增強風(fēng)險管理的意識，并且將最佳實踐、攻防演練、外部性因素等納入網(wǎng)絡(luò)安全治理的策略考慮中，應(yīng)當(dāng)是我們在提升信息安全治理能力的重大進步。

要防止大模型淪為作惡工具

談AI安全焦慮

Q自ChatGPT問世的一年多以來，眾多大模型相繼推出，并在多個行業(yè)落地應(yīng)用。大模型落地應(yīng)用主要面臨哪些安全風(fēng)險？

吳世忠：幾個月前，圖靈獎得主杰弗里·辛頓從谷歌辭職，OpenAI公司出現(xiàn)“宮斗”，眾多有識之士公開表示安全擔(dān)憂，國際社會密集研討AI治理……ChatGPT問世一年就引發(fā)如此大的安全焦慮，這在科技發(fā)展史上是空前的。對人工智能的快速發(fā)展，人們既有近憂也有遠慮。就近憂看，大模型落地應(yīng)用主要面臨這些安全風(fēng)險，包括生成不當(dāng)內(nèi)容、產(chǎn)生隱私問題、產(chǎn)生歧義或偏見、引發(fā)技術(shù)攻擊、難免知識滯后等。以技術(shù)攻擊為例，一些惡意用戶可能通過技術(shù)手段對大模型進行網(wǎng)絡(luò)攻擊。比如污染訓(xùn)練數(shù)據(jù)（數(shù)據(jù)投毒），輸入精心設(shè)計的樣本，使大模型產(chǎn)生錯誤的輸出等，破壞大模型的可靠性。

在知識層面上，因為大語言模型的訓(xùn)練是對已有知識的學(xué)習(xí)，對截止時間之后的新知識、新發(fā)展還不具備與時俱進的推導(dǎo)能力，這可能導(dǎo)致對新情況的了解不足，對新問題表現(xiàn)出力不從心。

Q還有報道顯示，惡意大語言模型已成為暗網(wǎng)最暢銷的黑客工具，被一些網(wǎng)絡(luò)犯罪分子濫用進行大規(guī)模攻擊。怎么看待這類現(xiàn)象？

吳世忠：對此類情況，我還真不太了解。不過單從技術(shù)上分析，網(wǎng)絡(luò)犯罪與惡意使用或濫用大模型的可能性是客觀存在的。人工智能可以看成是信息化進程的新階段，傳統(tǒng)的網(wǎng)絡(luò)安全攻擊方法大多數(shù)都會在AI中實現(xiàn)。就大語言模型而言，攻擊方式就可能有：數(shù)據(jù)投毒、提示注入、誤導(dǎo)輸出、模型阻塞等新興方法，還可能有供應(yīng)鏈漏洞，不安全組件，逆向分析，后門攻擊等常規(guī)方式。

人是安全問題中最為復(fù)雜的因素，如何防止大模型淪為犯罪分子的作惡工具，是AI安全的重大課題。

Q    從已有的研究看，人們對AI的安全遠慮是什么？

吳世忠：一是技術(shù)發(fā)展失速。回望歷史我們知道，AI走過了近60年的孩提時期，直到互聯(lián)網(wǎng)興起，大數(shù)據(jù)出現(xiàn)和神經(jīng)網(wǎng)絡(luò)、機器學(xué)習(xí)的突破才步入目前的弱AI時期。雖尚值年少，但聰慧驚人，大有向通用AI邁進之勢。國際社會相繼發(fā)出“暫停訓(xùn)練”加強約束之呼吁，表達的就是對AI技術(shù)發(fā)展太快、監(jiān)管力所不及的深度憂慮。

二是軍備競賽失控。AI技術(shù)備受軍事青睞，從認知戰(zhàn)到情報戰(zhàn)，從無人機到衛(wèi)星網(wǎng)，AI技術(shù)已經(jīng)打開智能時代新軍備競賽的“潘多拉盒子”，大國角力日趨激烈，軍控談判需求緊迫，AI向善或是向惡成為國際治理重大議題。

三是倫理道德失范。AI成長期短，還是懵懂少年，不像人類有數(shù)千年的歷史積淀，倫理規(guī)范和道德約束的缺乏是AI帶給人類的普遍擔(dān)憂。技術(shù)邏輯與人文素養(yǎng)相差很遠，AI倫理目前仍處密集交流和商討階段，要在技術(shù)上實現(xiàn)、應(yīng)用上落實，還有很長的路要走。

此外，AI技術(shù)和應(yīng)用都高度依賴大數(shù)據(jù)，無論是AI使用大數(shù)據(jù)訓(xùn)練，還是利用AI分析大數(shù)據(jù)都難以避免地產(chǎn)生數(shù)據(jù)泄露和信息保密問題。同時，AI應(yīng)用可能對社會生活造成深遠的影響，包括就業(yè)市場、新聞宣傳、政治決策等，因此有必要負責(zé)任地使用和監(jiān)督AI技術(shù)。

在人工智能技術(shù)發(fā)展高歌猛進的當(dāng)下，這些安全憂慮更多的是潛在隱患。相對于近十年來人工智能技術(shù)的蓬勃發(fā)展，安全方面的研究略顯滯后——這也符合科技發(fā)展的既有規(guī)律，創(chuàng)新發(fā)展在前，安全治理在后。

所以我們一定要全面、辯證地看待AI的安全問題。有人曾就AI與人類關(guān)系問題提問過ChatGPT，它的回答是“AI不會讓人類變得多余，只會使人類變得更有價值”。我想這對我們從發(fā)展的觀點理解和認識安全問題，應(yīng)該有借鑒意義。

透明度、公平正義是全球AI治理高頻詞

談AI治理

Q    從AI冒充拜登給選民打電話，到AI生成知名歌手泰勒·斯威夫特的“不雅照”，再到香港警方披露一起涉案2億的AI“多人換臉”詐騙……近期AI造假事件屢次出現(xiàn)，引發(fā)了諸多擔(dān)憂。從技術(shù)的角度分析，AI換臉或擬聲詐騙技術(shù)含量高嗎？

吳世忠：從技術(shù)上看，AI換臉、擬聲詐騙這類騙術(shù)的水平還是較高的，主要是因為它可能惡意使用了多種新興人工智能技術(shù)。

一是大數(shù)據(jù)技術(shù)，大規(guī)模的高質(zhì)量數(shù)據(jù)集是這些騙術(shù)成功的關(guān)鍵，數(shù)據(jù)越多，越真實，模型學(xué)到的特征和細節(jié)就越豐富，生成的結(jié)果就越生動、逼真。

二是深度學(xué)習(xí)和生成模型技術(shù)，這可以讓生成的換臉和擬聲內(nèi)容更加逼真和自然。

三是遷移學(xué)習(xí)技術(shù)，它允許模型將一個領(lǐng)域?qū)W到的知識遷移到另一個領(lǐng)域，這也有助于提高換臉和擬聲模型的性能，使其運用更多的場景和人物，更具欺騙性。

最后，AI造假還可能涉及語言和圖像處理技術(shù)，借此可以對包括面部表情、語言音調(diào)、發(fā)音特征，特別是方言等多方面進行細微處理，生成更加真實的效果，達到以假亂真的目的。

Q     以前我們說“無圖無真相”，但現(xiàn)在借助AI技術(shù)，甚至能生成以假亂真的視頻，讓“眼見不再為實”。如何應(yīng)對AI深度造假問題？

吳世忠：我建議從技術(shù)、法規(guī)和倫理約束以及安全意識培養(yǎng)等方面，采取綜合防范措施。其中尤為重要的是技術(shù)——人工智能技術(shù)十年來發(fā)展迅猛，但相應(yīng)的安全技術(shù)研發(fā)相對滯后，在風(fēng)險隱患日益凸顯的今天，發(fā)展安全技術(shù)手段是當(dāng)務(wù)之急。

為防范AI深度造假，可采取的技術(shù)手段包括使用圖像和音頻分析工具，檢測深度造假，識別圖像或者音頻的偽造痕跡，也可在數(shù)字內(nèi)容中嵌入水印或隱寫記號，以便追溯圖像或音頻來源并作真實性比對，還可運用區(qū)塊鏈技術(shù)等確保信息的不可篡改和透明性，從而提高圖像或音頻的可信度等。

法規(guī)、倫理方面，則可制定相關(guān)法律法規(guī)和監(jiān)管措施，對違規(guī)或惡意使用AI造假的行為進行處罰和打擊。要求AI開發(fā)者提高模型的透明度和可解釋性，確保用戶能夠理解模型的決策過程，減少潛在的濫用風(fēng)險。同時，制定和倡導(dǎo)AI倫理規(guī)范，引導(dǎo)AI技術(shù)的開發(fā)應(yīng)用，明確禁止濫用和偽造信息等。

具體到安全意識的培養(yǎng)，建議加強民眾對AI造假可能性的認知，提高對虛假信息的辨別能力，促進官產(chǎn)學(xué)研多方合作，加強持續(xù)監(jiān)測研究，適應(yīng)不斷進步的技術(shù)和不斷演進的威脅，共同應(yīng)對AI深度造假的挑戰(zhàn)。

Q    當(dāng)前主要國家均在探索人工智能治理方案，中國也將制定“人工智能法”列入國務(wù)院的立法計劃。您認為，構(gòu)筑人工智能安全護欄的應(yīng)有之義是什么？

吳世忠：世界主要國家確實都在積極探索AI治理方案。截至去年底，至少已有60多個國家制定或發(fā)布了與AI有關(guān)的政策文件，我國也先后提出了多項與AI相關(guān)的國家政策和倡議。

我們對全球活躍的50項AI倡議作了初步分析，發(fā)現(xiàn)前十個高頻詞匯是，“透明度、公平正義、非惡意、責(zé)任與問責(zé)、隱私、向善、信任、尊嚴、團結(jié)和可持續(xù)”，這一定意義上反映出了人類對AI治理目標(biāo)的共識。

我認為在構(gòu)筑AI護欄時，同樣要反映這些共同訴求——從專業(yè)的角度講，其應(yīng)有之義和重點可能包括：保護個人隱私和信息保密、維護社會秩序和公平正義、有利文化傳承和道德倫理、維護國家主權(quán)和安全利益。

網(wǎng)絡(luò)與信息安全是業(yè)務(wù)創(chuàng)新發(fā)展的重要支撐

談新質(zhì)生產(chǎn)力

Q    去年12月舉行的中央經(jīng)濟工作會議提出，加快發(fā)展新質(zhì)生產(chǎn)力。結(jié)合你的專業(yè)背景，如何理解“新質(zhì)生產(chǎn)力”？

吳世忠：新質(zhì)生產(chǎn)力是創(chuàng)新起主導(dǎo)作用，擺脫傳統(tǒng)經(jīng)濟增長方式、生產(chǎn)力發(fā)展路徑，具有高科技、高效能、高質(zhì)量特征，符合新發(fā)展理念的先進優(yōu)質(zhì)生產(chǎn)力。

就網(wǎng)絡(luò)信息安全領(lǐng)域而言，數(shù)字化轉(zhuǎn)型、創(chuàng)新驅(qū)動和智能化生產(chǎn)是其最主要的三大特點。顯而易見，這三大特點都與網(wǎng)絡(luò)與信息安全息息相關(guān)且緊密相連，所以我理解新質(zhì)生產(chǎn)力，應(yīng)該是高質(zhì)量發(fā)展和高水平安全高度融合的新型生產(chǎn)力。

Q面對全新的生產(chǎn)力變革，網(wǎng)絡(luò)與信息安全行業(yè)可以發(fā)揮怎樣的作用？

吳世忠：在全新的新質(zhì)生產(chǎn)力變革中，我認為網(wǎng)絡(luò)與信息安全理應(yīng)發(fā)揮至關(guān)重要的作用，主要體現(xiàn)為以下四點：

一是為數(shù)據(jù)和隱私提供安全保護。隨著生產(chǎn)過程數(shù)字化和設(shè)備互聯(lián)，大量敏感信息通過網(wǎng)絡(luò)傳輸，網(wǎng)絡(luò)與信息安全確保數(shù)據(jù)在傳輸、存儲和處理應(yīng)用過程中，得到充分保護。

二是為智能生產(chǎn)提供安全保障。在新質(zhì)生產(chǎn)力變革中，智能制造得到廣泛應(yīng)用，網(wǎng)絡(luò)與信息安全在工業(yè)互聯(lián)網(wǎng)、工業(yè)云領(lǐng)域發(fā)揮重要作用。能防范網(wǎng)絡(luò)攻擊，確保重要設(shè)備的安全運行。

三是為業(yè)務(wù)創(chuàng)新提供安全保證。新質(zhì)生產(chǎn)力的大量創(chuàng)新必依賴網(wǎng)絡(luò)業(yè)務(wù)和網(wǎng)絡(luò)應(yīng)用。網(wǎng)絡(luò)與信息安全措施有助于防范網(wǎng)絡(luò)攻擊、惡意軟件和其他威脅，從而確保企業(yè)的業(yè)務(wù)持續(xù)性，為業(yè)務(wù)創(chuàng)新提供穩(wěn)定的環(huán)境和條件

四是為人工智能提供安全服務(wù)。新質(zhì)生產(chǎn)力變革涉及到人工智能和大數(shù)據(jù)的廣泛應(yīng)用。網(wǎng)絡(luò)與信息安全在防范惡意使用人工智能，防止算法攻擊，確保數(shù)據(jù)安全等方面扮演著重要角色?？梢哉f，在新質(zhì)生產(chǎn)力變革中，網(wǎng)絡(luò)與信息安全不僅僅是一項技術(shù)，它更是保障整體業(yè)務(wù)創(chuàng)新發(fā)展的重要支撐。

（來源：南方都市報）