將一張“神奇貼紙”貼在臉上，就能讓人臉識(shí)別門禁系統(tǒng)出現(xiàn)誤判，毫無(wú)防備地為陌生人打開大門；把這張“貼紙”放在眼鏡上對(duì)準(zhǔn)手機(jī)，就能解鎖其人臉識(shí)別系統(tǒng)，獲取用戶信息如入無(wú)人之境……這曾經(jīng)只出現(xiàn)在科幻電影中的場(chǎng)景，如今已經(jīng)在現(xiàn)實(shí)生活中發(fā)生。日前，首屆人工智能安全大賽在北京舉辦，上述攻防場(chǎng)景在大賽中令不少觀眾直呼驚訝。

　　近年來(lái)，我國(guó)人工智能產(chǎn)業(yè)規(guī)�？焖僭鲩L(zhǎng)。據(jù)工信部發(fā)布數(shù)據(jù)顯示，人工智能核心產(chǎn)業(yè)規(guī)模超過(guò)4000億元，比2019年同期增長(zhǎng)6倍多，企業(yè)數(shù)量超過(guò)3000家，比2019年同期增加15%，在制造、交通、醫(yī)療、金融等重點(diǎn)行業(yè)形成一批典型應(yīng)用場(chǎng)景�！鞍殡S應(yīng)用場(chǎng)景日益廣泛以及使用頻次快速增長(zhǎng)，人工智能安全風(fēng)險(xiǎn)發(fā)生的范圍和可能性持續(xù)提高�！敝袊�(guó)科學(xué)院院士、清華大學(xué)人工智能研究院名譽(yù)院長(zhǎng)張鈸認(rèn)為，以深度學(xué)習(xí)為代表的算法爆發(fā)拉開了人工智能浪潮序幕，在計(jì)算機(jī)視覺、智能語(yǔ)音、自然語(yǔ)言處理等眾多領(lǐng)域取得長(zhǎng)足發(fā)展。但以數(shù)據(jù)驅(qū)動(dòng)的第二代人工智能在可解釋性、穩(wěn)健性方面的缺陷也逐漸暴露出來(lái)，導(dǎo)致安全事件頻發(fā)。如何實(shí)現(xiàn)高質(zhì)量發(fā)展和高水平安全良性互動(dòng)，是當(dāng)前人工智能產(chǎn)業(yè)面臨的最為重要命題。

　　中國(guó)信息通信研究院發(fā)布的《人工智能白皮書（2022年）》同樣指出，隨著人工智能應(yīng)用暴露出各種風(fēng)險(xiǎn)和挑戰(zhàn)，以及人們對(duì)人工智能認(rèn)識(shí)的不斷深入，人工智能治理已經(jīng)成為全球各界高度關(guān)注的議題，對(duì)可信安全的呼聲不斷增多。

　　“人工智能安全風(fēng)險(xiǎn)主要從‘人’與‘系統(tǒng)’兩個(gè)角度剖析。從人的視角看，人工智能安全風(fēng)險(xiǎn)存在技術(shù)濫用甚至‘武器化’問(wèn)題�！北本┤鹑R智慧科技有限公司CEO田天以深度合成技術(shù)為例解釋，該技術(shù)能夠大幅提升內(nèi)容制作效率與質(zhì)量，但其負(fù)向應(yīng)用——深度偽造的風(fēng)險(xiǎn)正持續(xù)加劇且已產(chǎn)生實(shí)質(zhì)危害。比如，通過(guò)“AI換臉”捏造虛假講話視頻等引導(dǎo)公眾輿論。對(duì)此，清華大學(xué)人工智能研究院基礎(chǔ)理論研究中心主任朱軍認(rèn)為，技術(shù)是中性的，應(yīng)加強(qiáng)對(duì)應(yīng)用場(chǎng)景、使用者的監(jiān)管，防止技術(shù)濫用等衍生風(fēng)險(xiǎn)發(fā)生，保障其應(yīng)用可控。

　　大賽現(xiàn)場(chǎng)演示的人臉識(shí)別破解則展示了人工智能系統(tǒng)層面風(fēng)險(xiǎn)，它來(lái)自深度學(xué)習(xí)模型本身存在脆弱和易受攻擊的缺陷，通過(guò)輸入數(shù)據(jù)添加擾動(dòng)，使系統(tǒng)作出錯(cuò)誤判斷，導(dǎo)致其可靠性難以得到信任。這一漏洞在自動(dòng)駕駛感知系統(tǒng)同樣存在：正常情況下，自動(dòng)駕駛系統(tǒng)識(shí)別到路障、指示牌、行人等目標(biāo)后，會(huì)立即制動(dòng)車輛，但對(duì)目標(biāo)物體添加干擾圖案后，車輛感知系統(tǒng)就會(huì)出錯(cuò)，引發(fā)碰撞危險(xiǎn)�！芭c傳統(tǒng)信息系統(tǒng)不同，人工智能系統(tǒng)存在高度不確定性，技術(shù)漏洞更為復(fù)雜�！敝燔娊ㄗh，在算法模型外部署安全防護(hù)組件，利用算法安全檢測(cè)與防御加固等措施，抵御模型竊取、對(duì)抗樣本等新型攻擊，提高攻擊門檻與防御成本，讓攻擊者無(wú)利可圖，從而在源頭上實(shí)現(xiàn)安全。

　　北京航空航天大學(xué)軟件開發(fā)環(huán)境國(guó)家重點(diǎn)實(shí)驗(yàn)室副主任劉祥龍則認(rèn)為，構(gòu)建科學(xué)評(píng)測(cè)手段是提高人工智能系統(tǒng)防御能力的另一項(xiàng)有效解決方案。人工智能算法不僅種類眾多，還包含數(shù)據(jù)集、模型等眾多要素，涉及訓(xùn)練、測(cè)試、驗(yàn)證等多個(gè)環(huán)節(jié)，這使得人工智能算法安全性評(píng)測(cè)成為一項(xiàng)復(fù)雜命題。因此，應(yīng)配備從測(cè)試、分析到加固的完整技術(shù)手段，形成標(biāo)準(zhǔn)化測(cè)試流程。人工智能安全評(píng)估不僅局限于算法，未來(lái)還應(yīng)拓展至數(shù)據(jù)、應(yīng)用等多個(gè)層面，形成全面測(cè)評(píng)，保障人工智能全周期安全。

　　從長(zhǎng)遠(yuǎn)看，人工智能安全問(wèn)題需要從算法模型原理上尋找突破口。張鈸提出構(gòu)建第三代人工智能，即在第二代人工智能具有的數(shù)據(jù)、算法、算力3個(gè)要素基礎(chǔ)上，再融合知識(shí)要素，建立新的可解釋、穩(wěn)健的人工智能方法。

　　筑牢人工智能安全屏障需要不斷在攻防演練中升級(jí)對(duì)抗能力。大賽聚焦人臉識(shí)別、自動(dòng)駕駛等場(chǎng)景中的典型漏洞及風(fēng)險(xiǎn)，通過(guò)考核漏洞發(fā)現(xiàn)、挖掘等能力，尋找新型安全需求場(chǎng)景，推動(dòng)人工智能安全攻防技術(shù)創(chuàng)新，為強(qiáng)化人工智能治理體系與安全評(píng)估能力建設(shè)提供支撐。

　　作為人工智能產(chǎn)業(yè)發(fā)展重要基石，算力基礎(chǔ)設(shè)施的加快建設(shè)將滿足人工智能爆發(fā)式增長(zhǎng)的算力需求。國(guó)家工業(yè)信息安全發(fā)展研究中心日前發(fā)布的《人工智能算力基礎(chǔ)設(shè)施安全發(fā)展白皮書》指出，安全的算力基礎(chǔ)設(shè)施應(yīng)保護(hù)數(shù)據(jù)模型不被竊取，有效防范惡意攻擊，提供可信任的運(yùn)行環(huán)境，保障人工智能系統(tǒng)安全穩(wěn)定。

　　但人工智能算力基礎(chǔ)設(shè)施發(fā)展仍處于初期階段，專門的安全標(biāo)準(zhǔn)、技術(shù)體系、評(píng)估規(guī)范、監(jiān)測(cè)和檢查手段仍在建設(shè)中。為進(jìn)一步推動(dòng)人工智能算力基礎(chǔ)設(shè)施安全發(fā)展，國(guó)家工業(yè)信息安全發(fā)展研究中心副主任何小龍認(rèn)為，算力基礎(chǔ)設(shè)施與人工智能的安全問(wèn)題相互交織，應(yīng)構(gòu)筑具有針對(duì)性的一體化、全鏈路標(biāo)準(zhǔn)體系，實(shí)現(xiàn)協(xié)同聯(lián)防。同時(shí)，鼓勵(lì)算力基礎(chǔ)設(shè)施企業(yè)和算法企業(yè)加強(qiáng)合作，推動(dòng)安全技術(shù)工具集成到人工智能算力基礎(chǔ)設(shè)施中，降低企業(yè)應(yīng)用人工智能成本，形成安全發(fā)展良好氛圍。