人工智能會(huì)威脅我們的生活嗎？網(wǎng)絡(luò)安全周給出全新應(yīng)對(duì)措施

2025年國家網(wǎng)絡(luò)安全宣傳周正在全國范圍內(nèi)舉行。在云南昆明的主會(huì)場，15日下午進(jìn)行的網(wǎng)絡(luò)安全技術(shù)高峰論壇上，《人工智能安全治理框架》2.0版發(fā)布，和去年9月發(fā)布的1.0版相比，這版框架有哪些變化呢？

國家互聯(lián)網(wǎng)應(yīng)急中心副主任 劉博：框架2.0在1.0的基礎(chǔ)上進(jìn)行橫向拓展和縱向加深，結(jié)合人工智能技術(shù)發(fā)展趨勢(shì)與應(yīng)用實(shí)踐，持續(xù)跟蹤風(fēng)險(xiǎn)演變，迭代完善分類體系，探索分級(jí)路徑，優(yōu)化防范治理措施。

據(jù)了解，近年來人工智能技術(shù)和應(yīng)用飛速發(fā)展，賦能千行百業(yè)。與此同時(shí)，人工智能安全風(fēng)險(xiǎn)的表現(xiàn)形式也在同步演進(jìn)變化�！度斯ぶ悄馨踩�治理框架��2.0版對(duì)相關(guān)風(fēng)險(xiǎn)進(jìn)行了梳理調(diào)整，并更新了防范治理措施。

在治理原則上，框架2.0版新增提出“可信應(yīng)用、防范失控”的原則。推動(dòng)形成涵蓋技術(shù)防護(hù)、價(jià)值對(duì)、協(xié)同治理等多層面的可信人工智能基本準(zhǔn)則，確保技術(shù)演進(jìn)安全、可靠、可控，嚴(yán)防威脅人類生存發(fā)展的失控險(xiǎn)，確保人工智能始終處于人類控制之下。

同時(shí)，框架2.0版還新增了人工智能安全風(fēng)險(xiǎn)的分級(jí)原則和可信人工智能基本準(zhǔn)則。

國家互聯(lián)網(wǎng)應(yīng)急中心副主任 劉博：該部分為框架2.0新增的專題性內(nèi)容，劃分5種風(fēng)險(xiǎn)級(jí)別，明確風(fēng)險(xiǎn)定級(jí)的基本思路。提出8項(xiàng)可信人工智能基本準(zhǔn)則，包括人類最終控制、尊重國家主權(quán)、價(jià)值觀對(duì)齊、提升系統(tǒng)透明度、促進(jìn)可客觀驗(yàn)證、強(qiáng)化安全防護(hù)、前瞻預(yù)防應(yīng)對(duì)和全球協(xié)同共治。

模擬演示AI大模型遭受網(wǎng)絡(luò)攻擊

人工智能大模型如今已應(yīng)用到很多場景下，不少企業(yè)都進(jìn)行了部署，用來輔助各項(xiàng)工作。但是這類大模型安不安全？被攻擊會(huì)出現(xiàn)什么情況？同樣在云南昆明主會(huì)場舉行的網(wǎng)絡(luò)安全博覽會(huì)上，技術(shù)人員也給記者進(jìn)行了展示。

參展商技術(shù)人員 王明耀：這里模擬了一個(gè)企業(yè)部署的一個(gè)大模型，現(xiàn)在看到這個(gè)大模型是可以正常運(yùn)行的，然后攻擊者通過掃描發(fā)現(xiàn)這個(gè)大模型的一個(gè)暴露的API接口。攻擊者利用這個(gè)未鑒權(quán)的漏洞就接管了這個(gè)大模型。

技術(shù)人員告訴記者，一旦攻擊者接管大模型，就能夠在后臺(tái)實(shí)時(shí)監(jiān)控大模型的運(yùn)行，查看大模型對(duì)話過程中的所有信息。

參展商技術(shù)人員 王明耀：如果員工在和AI對(duì)話中，傳輸了一些敏感信息的話，通過遠(yuǎn)程都可以直接獲取到。這樣就很容易造成企業(yè)敏感信息的泄露。

技術(shù)人員介紹，一旦攻擊者接管了大模型，很有可能會(huì)進(jìn)一步進(jìn)行網(wǎng)絡(luò)攻擊，投放勒索病毒等，嚴(yán)重的還有可能向大模型進(jìn)行數(shù)據(jù)投毒。

參展商技術(shù)人員 王明耀：控制了大模型之后，攻擊者就可以對(duì)大模型進(jìn)行篡改了。確實(shí)可以對(duì)大模型進(jìn)行污染，或者是其他一些比較敏感的操作。

對(duì)此，技術(shù)人員也提醒，企業(yè)在內(nèi)部部署大模型的時(shí)候，要嚴(yán)格管控權(quán)限，不能在沒有防護(hù)的情況下，就將大模型接入互聯(lián)網(wǎng)，避免因?yàn)榇嬖诼┒吹葐栴}，而被不法分子攻擊。

細(xì)分人工智能安全風(fēng)險(xiǎn)

提供應(yīng)對(duì)措施

此次發(fā)布的《人工智能安全治理框架》2.0版針對(duì)安全風(fēng)險(xiǎn)進(jìn)行了細(xì)化分類，并提出了技術(shù)應(yīng)對(duì)和綜合治理措施。

框架2.0版將安全風(fēng)險(xiǎn)細(xì)化為技術(shù)內(nèi)生安全風(fēng)險(xiǎn)，技術(shù)應(yīng)用安全風(fēng)險(xiǎn)和應(yīng)用衍生安全風(fēng)險(xiǎn)三類。

技術(shù)內(nèi)生安全風(fēng)險(xiǎn)主要增加了模型開源風(fēng)險(xiǎn)，強(qiáng)調(diào)基礎(chǔ)模型的開源可能會(huì)為不法分子訓(xùn)練“作惡模型”提供便利。技術(shù)應(yīng)用安全風(fēng)險(xiǎn)則增加了污染網(wǎng)絡(luò)內(nèi)容生態(tài)等具體類型，提出，模型輸出的低質(zhì)不良信息，經(jīng)網(wǎng)絡(luò)擴(kuò)散傳播、模型循環(huán)引用，會(huì)造成網(wǎng)絡(luò)內(nèi)容質(zhì)量的整體下降，甚至特定領(lǐng)域、話題的內(nèi)容污染。

應(yīng)用衍生安全風(fēng)險(xiǎn)方面內(nèi)容增加較多，主要是沖擊勞動(dòng)就業(yè)結(jié)構(gòu)、挑戰(zhàn)資源供需平衡、加劇科研倫理風(fēng)險(xiǎn)等。其中指出，“人工智能+科研”降低了生物、基因等高倫理風(fēng)險(xiǎn)科研領(lǐng)域的進(jìn)入門檻，拓寬了普通科研機(jī)構(gòu)、人員探索敏感科學(xué)問題的邊界，個(gè)別科研倫理意識(shí)不強(qiáng)的機(jī)構(gòu)、人員可能開展違背社會(huì)倫理、社會(huì)禁忌的高風(fēng)險(xiǎn)研究活動(dòng)，打開科技“魔盒”。

對(duì)此，框架2.0版共制定了30個(gè)技術(shù)應(yīng)對(duì)措施和14個(gè)綜合治理措施。

比如，針對(duì)信息內(nèi)容安全方面，強(qiáng)調(diào)要建立安全護(hù)欄，對(duì)輸入輸出進(jìn)行動(dòng)態(tài)過濾，防止惡意注入和違法內(nèi)容生成，避免人工智能系統(tǒng)違法違規(guī)輸出敏感個(gè)人信息和重要內(nèi)容。并要求對(duì)人工智能生成內(nèi)容進(jìn)行標(biāo)識(shí)，實(shí)現(xiàn)可識(shí)別、可追溯、可信賴。

國家互聯(lián)網(wǎng)應(yīng)急中心副主任 劉博：在管理方面，框架2.0新增提升全生命周期安全能力，安全有效釋放重要行業(yè)應(yīng)用需求，構(gòu)建科技倫理準(zhǔn)則，增進(jìn)協(xié)同應(yīng)對(duì)失控風(fēng)險(xiǎn)共識(shí)等綜合治理措施。

反制無人機(jī)“黑飛”

AI算法快速定位

除了人工智能應(yīng)用帶來的安全問題之外，無人機(jī)“黑飛”“亂飛”等行為近年來也不斷發(fā)生。在網(wǎng)絡(luò)安全博覽會(huì)的現(xiàn)場，參展商就向記者展示了一套針對(duì)“黑飛”“亂飛”的反制組合拳。

在模擬的一個(gè)無人機(jī)“黑飛”的現(xiàn)場。瞄準(zhǔn)、射擊，很快，這臺(tái)“黑飛”的無人機(jī)就迫降到了地面。技術(shù)人員手中的正是他們研發(fā)的便攜式無人機(jī)反制槍。

參展商技術(shù)人員 何應(yīng)彪：目前我們自研的無人機(jī)反制槍配備了6個(gè)頻段，能夠基本上覆蓋市面上商用無人機(jī)和自制穿越機(jī)的反制。

與反制槍配套的，還有一套先進(jìn)的無人機(jī)偵測(cè)定位系統(tǒng)。通過對(duì)無人機(jī)與控制器之間的信號(hào)進(jìn)行截取，再加上系統(tǒng)內(nèi)置的AI算法，這套系統(tǒng)能夠很快地確定無人機(jī)的識(shí)別碼、經(jīng)緯度等信息，并推送到管控平臺(tái)上。

參展商技術(shù)人員 何應(yīng)彪：識(shí)別碼相當(dāng)于這個(gè)無人機(jī)的身份證。我們通過識(shí)別碼可以溯源到這個(gè)無人機(jī)的持有者。這套平臺(tái)最關(guān)鍵的功能，就是定位到了飛手的經(jīng)緯度信息。通過飛手的經(jīng)緯度信息能夠定位到飛手的位置。通過追蹤飛手的功能，協(xié)助公安機(jī)關(guān)去找尋“黑飛”無人機(jī)的飛手，對(duì)打擊“黑飛”“亂飛”的行為作出有力支撐。

據(jù)了解，這套系統(tǒng)對(duì)自制無人機(jī)也同樣能夠?qū)崿F(xiàn)有效的偵測(cè)和反制，目前在上海、安徽等地部分公安機(jī)關(guān)已經(jīng)應(yīng)用。