AI造假怎么防？全國(guó)政協(xié)委員吳世忠：安全技術(shù)手段要跟上！（原標(biāo)題）

今年是吳世忠擔(dān)任全國(guó)政協(xié)委員的第6年。他是網(wǎng)絡(luò)與信息安全領(lǐng)域的專(zhuān)家。履職政協(xié)委員之初，吳世忠給自己提了一個(gè)要求，“把復(fù)雜的信息安全問(wèn)題說(shuō)得更準(zhǔn)確些”。多年后再談及此，已是新當(dāng)選的中國(guó)工程院院士吳世忠坦言：“這幾年的努力還遠(yuǎn)遠(yuǎn)不夠”。

一個(gè)現(xiàn)實(shí)挑戰(zhàn)是，隨著技術(shù)的迅猛發(fā)展和網(wǎng)絡(luò)空間的不斷演進(jìn)，信息安全問(wèn)題變得越來(lái)越復(fù)雜。以人工智能為例，一年多前，聊天機(jī)器人ChatGPT橫空出世，迅速在全球掀起一場(chǎng)AI風(fēng)暴。今年開(kāi)春，文生視頻模型Sora重磅來(lái)襲，用一段足夠以假亂真的AI生成動(dòng)畫(huà)，再次給行業(yè)帶來(lái)了顛覆性的沖擊。

與此同時(shí)，技術(shù)發(fā)展軌跡的不可掌控性和潛在風(fēng)險(xiǎn)的不確定性，也讓全球警惕AI風(fēng)險(xiǎn)的呼聲比以往更強(qiáng)烈。“不能有效管控風(fēng)險(xiǎn)，發(fā)展就難以持續(xù)；沒(méi)有足夠的安全保障，后果將不堪設(shè)想?！苯谠谝黄接?024年網(wǎng)絡(luò)與信息安全風(fēng)險(xiǎn)前瞻的署名文章中，吳世忠敏銳地指出，2024 年人工智能安全治理會(huì)成為大國(guó)角力的主要方向，人工智能熱門(mén)應(yīng)用領(lǐng)域或?qū)⒊霈F(xiàn)“灰犀?！卑踩录?，潛在風(fēng)險(xiǎn)不容忽視。

今年全國(guó)兩會(huì)，吳世忠將圍繞人工智能安全和數(shù)據(jù)安全治理問(wèn)題建言發(fā)聲。為準(zhǔn)備提案，吳世忠先后赴北京、上海、深圳等地調(diào)研了解國(guó)內(nèi)AI技術(shù)與產(chǎn)業(yè)發(fā)展情況，還持續(xù)跟蹤國(guó)際科技前沿和網(wǎng)絡(luò)空間治理戰(zhàn)略和政策，并積極與相關(guān)專(zhuān)家和學(xué)者們交流研討，“力求將問(wèn)題研究透徹，確保提案能說(shuō)準(zhǔn)、說(shuō)對(duì)”。

近日，圍繞委員履職、大模型安全、AI換臉等信息安全領(lǐng)域的熱點(diǎn)話(huà)題，全國(guó)政協(xié)委員、中國(guó)工程院院士吳世忠接受了記者專(zhuān)訪(fǎng)。

呼吁加強(qiáng)AI倫理研究、辯證看待發(fā)展與安全關(guān)系

談履職

Q    您是連任兩屆的全國(guó)政協(xié)委員，哪些問(wèn)題是您尤其關(guān)注并持續(xù)推動(dòng)的？

吳世忠：我長(zhǎng)期關(guān)注的是新技術(shù)的發(fā)展、安全與治理問(wèn)題，這是信息化時(shí)代各國(guó)面臨的共性問(wèn)題。在兩屆政協(xié)的履職中，我分別就加強(qiáng)網(wǎng)絡(luò)與安全信息安全保障，科學(xué)利用三年疫情產(chǎn)生的大數(shù)據(jù)，加強(qiáng)信息共享和聯(lián)防聯(lián)控有效打擊網(wǎng)絡(luò)詐騙，在國(guó)際競(jìng)爭(zhēng)環(huán)境下加強(qiáng)人工智能標(biāo)準(zhǔn)和倫理研究等建言發(fā)聲，持續(xù)推動(dòng)相關(guān)部門(mén)在科技發(fā)展和信息化的建設(shè)中更好地處理發(fā)展與安全的辯證關(guān)系，應(yīng)該說(shuō)起到了一定建言資政作用。今后，我還會(huì)一直關(guān)注并持續(xù)推動(dòng)與此相關(guān)的問(wèn)題，以更好地盡到一位政協(xié)委員的職責(zé)。

Q    2018年全國(guó)兩會(huì)期間，您在接受專(zhuān)訪(fǎng)時(shí)提到，希望“把復(fù)雜的信息安全問(wèn)題說(shuō)得更準(zhǔn)確些”。這個(gè)履職要求，做到了嗎？

吳世忠：這個(gè)問(wèn)題提得既直接又尖銳，真不太好回答。隨著信息通信技術(shù)的迅猛發(fā)展和網(wǎng)絡(luò)空間的不斷演進(jìn)，信息安全問(wèn)題變得越來(lái)越復(fù)雜。從個(gè)人隱私到商業(yè)利益，從社會(huì)問(wèn)題到國(guó)家安全，從軍事沖突到國(guó)際關(guān)系，從社會(huì)輿情到全球治理，信息安全問(wèn)題幾乎無(wú)處不在，而且千事千面、見(jiàn)仁見(jiàn)智，再結(jié)合不同場(chǎng)景、對(duì)象和上下文，相關(guān)信息安全問(wèn)題的內(nèi)涵和外延也相去甚遠(yuǎn)，因此要說(shuō)清楚、講準(zhǔn)確，也越來(lái)越難。從這個(gè)意義上講，我這幾年的努力還遠(yuǎn)遠(yuǎn)不夠。

Q     如何應(yīng)對(duì)日益復(fù)雜的信息安全難題？您長(zhǎng)期從事網(wǎng)絡(luò)與信息安全領(lǐng)域的技術(shù)研究工作，有何經(jīng)驗(yàn)和心得分享？

吳世忠：首先，我認(rèn)為發(fā)展是重要的安全考慮。

信息安全問(wèn)題與技術(shù)發(fā)展相伴而行，沒(méi)有發(fā)展之需，也就難有安全之慮。我國(guó)幾十年來(lái)網(wǎng)信事業(yè)的蓬勃發(fā)展，以及近年來(lái)中美競(jìng)合的科技角力，也生動(dòng)具體地說(shuō)明了一點(diǎn)——那就是不發(fā)展是最大的不安全。

其次，韌性是關(guān)鍵的安全能力。現(xiàn)在我們已經(jīng)走過(guò)信息化的孩提時(shí)代，安全保障體系已經(jīng)從保姆式的全面看護(hù)發(fā)展到自主式的自然應(yīng)對(duì)。我們不再為一個(gè)技術(shù)漏洞而產(chǎn)生像“千年蟲(chóng)”那樣的安全焦慮，也不會(huì)因一兩次常規(guī)攻擊導(dǎo)致大規(guī)模斷網(wǎng)災(zāi)難。隨著網(wǎng)絡(luò)空間法規(guī)、管理、技術(shù)手段和倫理等不斷增強(qiáng)，信息安全的整體生態(tài)在日益豐富，韌性或彈性日益成為網(wǎng)絡(luò)信息安全保障體系的關(guān)鍵要素。

第三點(diǎn)，成本和效益是務(wù)實(shí)的安全指標(biāo)。要準(zhǔn)確地認(rèn)識(shí)信息安全問(wèn)題，需要做到對(duì)安全風(fēng)險(xiǎn)既不高估，也不低估。近年來(lái)，我國(guó)在網(wǎng)絡(luò)信息安全上的投入逐年增加，在管控、應(yīng)對(duì)網(wǎng)絡(luò)信息安全風(fēng)險(xiǎn)上更加務(wù)實(shí)。這種風(fēng)險(xiǎn)管理思想和成本效益考慮，是我們應(yīng)對(duì)網(wǎng)絡(luò)信息安全問(wèn)題的主流方向。我認(rèn)為，加強(qiáng)成本與效益分析，采取激勵(lì)機(jī)制與政策，增強(qiáng)風(fēng)險(xiǎn)管理的意識(shí)，并且將最佳實(shí)踐、攻防演練、外部性因素等納入網(wǎng)絡(luò)安全治理的策略考慮中，應(yīng)當(dāng)是我們?cè)谔嵘畔踩卫砟芰Φ闹卮筮M(jìn)步。

要防止大模型淪為作惡工具

談AI安全焦慮

Q自ChatGPT問(wèn)世的一年多以來(lái)，眾多大模型相繼推出，并在多個(gè)行業(yè)落地應(yīng)用。大模型落地應(yīng)用主要面臨哪些安全風(fēng)險(xiǎn)？

吳世忠：幾個(gè)月前，圖靈獎(jiǎng)得主杰弗里·辛頓從谷歌辭職，OpenAI公司出現(xiàn)“宮斗”，眾多有識(shí)之士公開(kāi)表示安全擔(dān)憂(yōu)，國(guó)際社會(huì)密集研討AI治理……ChatGPT問(wèn)世一年就引發(fā)如此大的安全焦慮，這在科技發(fā)展史上是空前的。對(duì)人工智能的快速發(fā)展，人們既有近憂(yōu)也有遠(yuǎn)慮。就近憂(yōu)看，大模型落地應(yīng)用主要面臨這些安全風(fēng)險(xiǎn)，包括生成不當(dāng)內(nèi)容、產(chǎn)生隱私問(wèn)題、產(chǎn)生歧義或偏見(jiàn)、引發(fā)技術(shù)攻擊、難免知識(shí)滯后等。以技術(shù)攻擊為例，一些惡意用戶(hù)可能通過(guò)技術(shù)手段對(duì)大模型進(jìn)行網(wǎng)絡(luò)攻擊。比如污染訓(xùn)練數(shù)據(jù)（數(shù)據(jù)投毒），輸入精心設(shè)計(jì)的樣本，使大模型產(chǎn)生錯(cuò)誤的輸出等，破壞大模型的可靠性。

在知識(shí)層面上，因?yàn)榇笳Z(yǔ)言模型的訓(xùn)練是對(duì)已有知識(shí)的學(xué)習(xí)，對(duì)截止時(shí)間之后的新知識(shí)、新發(fā)展還不具備與時(shí)俱進(jìn)的推導(dǎo)能力，這可能導(dǎo)致對(duì)新情況的了解不足，對(duì)新問(wèn)題表現(xiàn)出力不從心。

Q還有報(bào)道顯示，惡意大語(yǔ)言模型已成為暗網(wǎng)最暢銷(xiāo)的黑客工具，被一些網(wǎng)絡(luò)犯罪分子濫用進(jìn)行大規(guī)模攻擊。怎么看待這類(lèi)現(xiàn)象？

吳世忠：對(duì)此類(lèi)情況，我還真不太了解。不過(guò)單從技術(shù)上分析，網(wǎng)絡(luò)犯罪與惡意使用或?yàn)E用大模型的可能性是客觀(guān)存在的。人工智能可以看成是信息化進(jìn)程的新階段，傳統(tǒng)的網(wǎng)絡(luò)安全攻擊方法大多數(shù)都會(huì)在AI中實(shí)現(xiàn)。就大語(yǔ)言模型而言，攻擊方式就可能有：數(shù)據(jù)投毒、提示注入、誤導(dǎo)輸出、模型阻塞等新興方法，還可能有供應(yīng)鏈漏洞，不安全組件，逆向分析，后門(mén)攻擊等常規(guī)方式。

人是安全問(wèn)題中最為復(fù)雜的因素，如何防止大模型淪為犯罪分子的作惡工具，是AI安全的重大課題。

Q    從已有的研究看，人們對(duì)AI的安全遠(yuǎn)慮是什么？

吳世忠：一是技術(shù)發(fā)展失速。回望歷史我們知道，AI走過(guò)了近60年的孩提時(shí)期，直到互聯(lián)網(wǎng)興起，大數(shù)據(jù)出現(xiàn)和神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)的突破才步入目前的弱AI時(shí)期。雖尚值年少，但聰慧驚人，大有向通用AI邁進(jìn)之勢(shì)。國(guó)際社會(huì)相繼發(fā)出“暫停訓(xùn)練”加強(qiáng)約束之呼吁，表達(dá)的就是對(duì)AI技術(shù)發(fā)展太快、監(jiān)管力所不及的深度憂(yōu)慮。

二是軍備競(jìng)賽失控。AI技術(shù)備受軍事青睞，從認(rèn)知戰(zhàn)到情報(bào)戰(zhàn)，從無(wú)人機(jī)到衛(wèi)星網(wǎng)，AI技術(shù)已經(jīng)打開(kāi)智能時(shí)代新軍備競(jìng)賽的“潘多拉盒子”，大國(guó)角力日趨激烈，軍控談判需求緊迫，AI向善或是向惡成為國(guó)際治理重大議題。

三是倫理道德失范。AI成長(zhǎng)期短，還是懵懂少年，不像人類(lèi)有數(shù)千年的歷史積淀，倫理規(guī)范和道德約束的缺乏是AI帶給人類(lèi)的普遍擔(dān)憂(yōu)。技術(shù)邏輯與人文素養(yǎng)相差很遠(yuǎn)，AI倫理目前仍處密集交流和商討階段，要在技術(shù)上實(shí)現(xiàn)、應(yīng)用上落實(shí)，還有很長(zhǎng)的路要走。

此外，AI技術(shù)和應(yīng)用都高度依賴(lài)大數(shù)據(jù)，無(wú)論是AI使用大數(shù)據(jù)訓(xùn)練，還是利用AI分析大數(shù)據(jù)都難以避免地產(chǎn)生數(shù)據(jù)泄露和信息保密問(wèn)題。同時(shí)，AI應(yīng)用可能對(duì)社會(huì)生活造成深遠(yuǎn)的影響，包括就業(yè)市場(chǎng)、新聞宣傳、政治決策等，因此有必要負(fù)責(zé)任地使用和監(jiān)督AI技術(shù)。

在人工智能技術(shù)發(fā)展高歌猛進(jìn)的當(dāng)下，這些安全憂(yōu)慮更多的是潛在隱患。相對(duì)于近十年來(lái)人工智能技術(shù)的蓬勃發(fā)展，安全方面的研究略顯滯后——這也符合科技發(fā)展的既有規(guī)律，創(chuàng)新發(fā)展在前，安全治理在后。

所以我們一定要全面、辯證地看待AI的安全問(wèn)題。有人曾就AI與人類(lèi)關(guān)系問(wèn)題提問(wèn)過(guò)ChatGPT，它的回答是“AI不會(huì)讓人類(lèi)變得多余，只會(huì)使人類(lèi)變得更有價(jià)值”。我想這對(duì)我們從發(fā)展的觀(guān)點(diǎn)理解和認(rèn)識(shí)安全問(wèn)題，應(yīng)該有借鑒意義。

透明度、公平正義是全球AI治理高頻詞

談AI治理

Q    從AI冒充拜登給選民打電話(huà)，到AI生成知名歌手泰勒·斯威夫特的“不雅照”，再到香港警方披露一起涉案2億的AI“多人換臉”詐騙……近期AI造假事件屢次出現(xiàn)，引發(fā)了諸多擔(dān)憂(yōu)。從技術(shù)的角度分析，AI換臉或擬聲詐騙技術(shù)含量高嗎？

吳世忠：從技術(shù)上看，AI換臉、擬聲詐騙這類(lèi)騙術(shù)的水平還是較高的，主要是因?yàn)樗赡軔阂馐褂昧硕喾N新興人工智能技術(shù)。

一是大數(shù)據(jù)技術(shù)，大規(guī)模的高質(zhì)量數(shù)據(jù)集是這些騙術(shù)成功的關(guān)鍵，數(shù)據(jù)越多，越真實(shí)，模型學(xué)到的特征和細(xì)節(jié)就越豐富，生成的結(jié)果就越生動(dòng)、逼真。

二是深度學(xué)習(xí)和生成模型技術(shù)，這可以讓生成的換臉和擬聲內(nèi)容更加逼真和自然。

三是遷移學(xué)習(xí)技術(shù)，它允許模型將一個(gè)領(lǐng)域?qū)W到的知識(shí)遷移到另一個(gè)領(lǐng)域，這也有助于提高換臉和擬聲模型的性能，使其運(yùn)用更多的場(chǎng)景和人物，更具欺騙性。

最后，AI造假還可能涉及語(yǔ)言和圖像處理技術(shù)，借此可以對(duì)包括面部表情、語(yǔ)言音調(diào)、發(fā)音特征，特別是方言等多方面進(jìn)行細(xì)微處理，生成更加真實(shí)的效果，達(dá)到以假亂真的目的。

Q     以前我們說(shuō)“無(wú)圖無(wú)真相”，但現(xiàn)在借助AI技術(shù)，甚至能生成以假亂真的視頻，讓“眼見(jiàn)不再為實(shí)”。如何應(yīng)對(duì)AI深度造假問(wèn)題？

吳世忠：我建議從技術(shù)、法規(guī)和倫理約束以及安全意識(shí)培養(yǎng)等方面，采取綜合防范措施。其中尤為重要的是技術(shù)——人工智能技術(shù)十年來(lái)發(fā)展迅猛，但相應(yīng)的安全技術(shù)研發(fā)相對(duì)滯后，在風(fēng)險(xiǎn)隱患日益凸顯的今天，發(fā)展安全技術(shù)手段是當(dāng)務(wù)之急。

為防范AI深度造假，可采取的技術(shù)手段包括使用圖像和音頻分析工具，檢測(cè)深度造假，識(shí)別圖像或者音頻的偽造痕跡，也可在數(shù)字內(nèi)容中嵌入水印或隱寫(xiě)記號(hào)，以便追溯圖像或音頻來(lái)源并作真實(shí)性比對(duì)，還可運(yùn)用區(qū)塊鏈技術(shù)等確保信息的不可篡改和透明性，從而提高圖像或音頻的可信度等。

法規(guī)、倫理方面，則可制定相關(guān)法律法規(guī)和監(jiān)管措施，對(duì)違規(guī)或惡意使用AI造假的行為進(jìn)行處罰和打擊。要求AI開(kāi)發(fā)者提高模型的透明度和可解釋性，確保用戶(hù)能夠理解模型的決策過(guò)程，減少潛在的濫用風(fēng)險(xiǎn)。同時(shí)，制定和倡導(dǎo)AI倫理規(guī)范，引導(dǎo)AI技術(shù)的開(kāi)發(fā)應(yīng)用，明確禁止濫用和偽造信息等。

具體到安全意識(shí)的培養(yǎng)，建議加強(qiáng)民眾對(duì)AI造假可能性的認(rèn)知，提高對(duì)虛假信息的辨別能力，促進(jìn)官產(chǎn)學(xué)研多方合作，加強(qiáng)持續(xù)監(jiān)測(cè)研究，適應(yīng)不斷進(jìn)步的技術(shù)和不斷演進(jìn)的威脅，共同應(yīng)對(duì)AI深度造假的挑戰(zhàn)。

Q    當(dāng)前主要國(guó)家均在探索人工智能治理方案，中國(guó)也將制定“人工智能法”列入國(guó)務(wù)院的立法計(jì)劃。您認(rèn)為，構(gòu)筑人工智能安全護(hù)欄的應(yīng)有之義是什么？

吳世忠：世界主要國(guó)家確實(shí)都在積極探索AI治理方案。截至去年底，至少已有60多個(gè)國(guó)家制定或發(fā)布了與AI有關(guān)的政策文件，我國(guó)也先后提出了多項(xiàng)與AI相關(guān)的國(guó)家政策和倡議。

我們對(duì)全球活躍的50項(xiàng)AI倡議作了初步分析，發(fā)現(xiàn)前十個(gè)高頻詞匯是，“透明度、公平正義、非惡意、責(zé)任與問(wèn)責(zé)、隱私、向善、信任、尊嚴(yán)、團(tuán)結(jié)和可持續(xù)”，這一定意義上反映出了人類(lèi)對(duì)AI治理目標(biāo)的共識(shí)。

我認(rèn)為在構(gòu)筑AI護(hù)欄時(shí)，同樣要反映這些共同訴求——從專(zhuān)業(yè)的角度講，其應(yīng)有之義和重點(diǎn)可能包括：保護(hù)個(gè)人隱私和信息保密、維護(hù)社會(huì)秩序和公平正義、有利文化傳承和道德倫理、維護(hù)國(guó)家主權(quán)和安全利益。

網(wǎng)絡(luò)與信息安全是業(yè)務(wù)創(chuàng)新發(fā)展的重要支撐

談新質(zhì)生產(chǎn)力

Q    去年12月舉行的中央經(jīng)濟(jì)工作會(huì)議提出，加快發(fā)展新質(zhì)生產(chǎn)力。結(jié)合你的專(zhuān)業(yè)背景，如何理解“新質(zhì)生產(chǎn)力”？

吳世忠：新質(zhì)生產(chǎn)力是創(chuàng)新起主導(dǎo)作用，擺脫傳統(tǒng)經(jīng)濟(jì)增長(zhǎng)方式、生產(chǎn)力發(fā)展路徑，具有高科技、高效能、高質(zhì)量特征，符合新發(fā)展理念的先進(jìn)優(yōu)質(zhì)生產(chǎn)力。

就網(wǎng)絡(luò)信息安全領(lǐng)域而言，數(shù)字化轉(zhuǎn)型、創(chuàng)新驅(qū)動(dòng)和智能化生產(chǎn)是其最主要的三大特點(diǎn)。顯而易見(jiàn)，這三大特點(diǎn)都與網(wǎng)絡(luò)與信息安全息息相關(guān)且緊密相連，所以我理解新質(zhì)生產(chǎn)力，應(yīng)該是高質(zhì)量發(fā)展和高水平安全高度融合的新型生產(chǎn)力。

Q面對(duì)全新的生產(chǎn)力變革，網(wǎng)絡(luò)與信息安全行業(yè)可以發(fā)揮怎樣的作用？

吳世忠：在全新的新質(zhì)生產(chǎn)力變革中，我認(rèn)為網(wǎng)絡(luò)與信息安全理應(yīng)發(fā)揮至關(guān)重要的作用，主要體現(xiàn)為以下四點(diǎn)：

一是為數(shù)據(jù)和隱私提供安全保護(hù)。隨著生產(chǎn)過(guò)程數(shù)字化和設(shè)備互聯(lián)，大量敏感信息通過(guò)網(wǎng)絡(luò)傳輸，網(wǎng)絡(luò)與信息安全確保數(shù)據(jù)在傳輸、存儲(chǔ)和處理應(yīng)用過(guò)程中，得到充分保護(hù)。

二是為智能生產(chǎn)提供安全保障。在新質(zhì)生產(chǎn)力變革中，智能制造得到廣泛應(yīng)用，網(wǎng)絡(luò)與信息安全在工業(yè)互聯(lián)網(wǎng)、工業(yè)云領(lǐng)域發(fā)揮重要作用。能防范網(wǎng)絡(luò)攻擊，確保重要設(shè)備的安全運(yùn)行。

三是為業(yè)務(wù)創(chuàng)新提供安全保證。新質(zhì)生產(chǎn)力的大量創(chuàng)新必依賴(lài)網(wǎng)絡(luò)業(yè)務(wù)和網(wǎng)絡(luò)應(yīng)用。網(wǎng)絡(luò)與信息安全措施有助于防范網(wǎng)絡(luò)攻擊、惡意軟件和其他威脅，從而確保企業(yè)的業(yè)務(wù)持續(xù)性，為業(yè)務(wù)創(chuàng)新提供穩(wěn)定的環(huán)境和條件

四是為人工智能提供安全服務(wù)。新質(zhì)生產(chǎn)力變革涉及到人工智能和大數(shù)據(jù)的廣泛應(yīng)用。網(wǎng)絡(luò)與信息安全在防范惡意使用人工智能，防止算法攻擊，確保數(shù)據(jù)安全等方面扮演著重要角色?？梢哉f(shuō)，在新質(zhì)生產(chǎn)力變革中，網(wǎng)絡(luò)與信息安全不僅僅是一項(xiàng)技術(shù)，它更是保障整體業(yè)務(wù)創(chuàng)新發(fā)展的重要支撐。

（來(lái)源：南方都市報(bào)）