從生成式AI走向智能體，從預(yù)訓(xùn)練走向推理，從信息智能走向物理智能和生物智能，AI技術(shù)在迅速迭代的同時也帶來了更多的安全和治理問題。

在博鰲亞洲論壇2025年年會上，與會專家圍繞技術(shù)應(yīng)用與風(fēng)險平衡、倫理規(guī)范、國際合作等方向展開了深度討論。有觀點認(rèn)為，過度嚴(yán)格的治理措施可能會抑制創(chuàng)新，使企業(yè)和研究機(jī)構(gòu)在開發(fā)AI技術(shù)時受到過多限制，影響技術(shù)的發(fā)展速度和應(yīng)用效果。但也有專家認(rèn)為，如果只注重創(chuàng)新而忽視治理，可能導(dǎo)致更大的技術(shù)失控。

“比起‘黑天鵝’事件，我們更要避免‘灰犀牛’事件的發(fā)生。”博鰲期間，一位參會代表對第一財經(jīng)記者表示，黑天鵝事件，因其難以預(yù)料只能盡力應(yīng)對，但灰犀牛事件不同，大家清楚存在的風(fēng)險，所以應(yīng)該竭盡全力將灰犀牛事件發(fā)生及爆發(fā)的可能性降至最低，此時共建一個透明、可理解、可信的、負(fù)責(zé)任的AI生態(tài)尤為重要。

AI中的認(rèn)知漏洞

“AI時代最大的安全漏洞是認(rèn)知漏洞，如何平衡治理與創(chuàng)新，如何在全社會形成共識，是比技術(shù)更根本的挑戰(zhàn)。”vivo首席安全官魯京輝在博鰲期間對記者表示，AI時代的安全已從“Security”轉(zhuǎn)向“Safety”，不僅要防攻擊，更要考慮倫理影響和社會系統(tǒng)性風(fēng)險，如虛假內(nèi)容、深度偽造、惡意引導(dǎo)等新型威脅。

在他看來，當(dāng)前，業(yè)界正從技術(shù)、管理、倫理等維度，努力讓基于大模型的通用人工智能變得更具可解釋性。然而這一工作極為復(fù)雜，原因在于技術(shù)持續(xù)演進(jìn)變化巨大，而這些變化背后潛藏著諸多不確定的風(fēng)險因素。

“盡管我們有將風(fēng)險置于可控框架內(nèi)運作的大致概念，但挑戰(zhàn)在于它不僅涉及技術(shù)層面，更關(guān)鍵的是認(rèn)知層面的問題。這需要全社會共同參與，包括人工智能及生成式人工智能的研究者、開發(fā)者、政策制定者，乃至最終用戶大家必須形成共識，只有通過這種共識機(jī)制，才能切實保障人工智能系統(tǒng)健康、透明、負(fù)責(zé)任地發(fā)展。”魯京輝對記者說。

在博鰲的一場分論壇中，中國科學(xué)院自動化研究所研究員曾毅也談到了類似觀點。他表示，AI的倫理安全應(yīng)該成為技術(shù)發(fā)展的基因，確保其與人類價值觀保持一致。他建議，將倫理安全融入AI開發(fā)的底層設(shè)計，并視為“第一性原則”，不可刪除、不可違背。

圖片來源：第一財經(jīng)攝影記者吳軍

“有責(zé)任地發(fā)展人工智能，意味著人類開發(fā)者和部署者需要承擔(dān)責(zé)任。飛機(jī)、高鐵都能無人駕駛，但駕駛員仍在崗位。人工智能高速發(fā)展，但人類始終應(yīng)該做自己和AI的守護(hù)者。”曾毅對記者表示，智能體的安全問題，一定要讓決策權(quán)力掌握在人類手中。

在中國工程院院士、清華大學(xué)智能產(chǎn)業(yè)研究院院長張亞勤看來，就可能存在的風(fēng)險而言，設(shè)定AI技術(shù)紅線與邊界是關(guān)鍵。

“AI風(fēng)險可以分解為可信度與可控性兩個層面。前者要求AI在執(zhí)行任務(wù)時遵循人類期望、倫理規(guī)范和國家法律，不產(chǎn)生誤導(dǎo)性、有害或不公平的結(jié)果，后者則確保人類能有效監(jiān)控、干預(yù)和糾正AI行為，避免失控或不可預(yù)測的后果。”張亞勤說。

值得一提的是，為了規(guī)范人工智能生成合成內(nèi)容標(biāo)識，今年3月14日，國家網(wǎng)信辦、工信部、公安部、國家廣電總局聯(lián)合發(fā)布《人工智能生成合成內(nèi)容標(biāo)識辦法》，要求對生成合成內(nèi)容添加顯式標(biāo)識，并規(guī)范生成合成內(nèi)容傳播活動，自9月1日起施行。

藏在“冰山下”的風(fēng)險

如何做到應(yīng)用與治理的平衡推進(jìn)，讓數(shù)據(jù)不再裸奔？目前產(chǎn)業(yè)、學(xué)界、監(jiān)管各方仍有不同的答案。不過對于與會嘉賓來說，多方協(xié)作、動態(tài)治理、倫理優(yōu)先、技術(shù)透明是共識所在。

但在產(chǎn)業(yè)實踐之中，各行各業(yè)所面臨的AI問題并不相同。以手機(jī)行業(yè)為例，伴隨AI智能體“接管”手機(jī)屏幕，數(shù)據(jù)安全和隱私保護(hù)問題正變得更加復(fù)雜。

“比如，AI智能體打破了原有操作系統(tǒng)技術(shù)架構(gòu)，產(chǎn)生了新交互方式和行為，這涉及到權(quán)限管理和數(shù)據(jù)流轉(zhuǎn)的根本性變革，需要重新定義技術(shù)基線。”魯京輝對記者表示，作為商業(yè)企業(yè)，既會重視技術(shù)的商業(yè)價值，但也會堅守底線與紅線思維，投入資源從內(nèi)部多維度構(gòu)建AI安全治理體系的同時，也對外參與行業(yè)標(biāo)準(zhǔn)制定，通過行業(yè)聯(lián)盟達(dá)成AI治理的效果。

在他看來，手機(jī)廠商在AI治理與安全方面，從實施層面有兩個維度，分別是數(shù)據(jù)生命周期和業(yè)務(wù)生命周期。在數(shù)據(jù)生命周期，要保證數(shù)據(jù)高質(zhì)量，防止低質(zhì)量或惡意數(shù)據(jù)污染大模型，確保數(shù)據(jù)安全。而從業(yè)務(wù)生命周期，大模型本身要考慮算法安全性，防范訓(xùn)練中的惡意攻擊，部署時兼顧傳統(tǒng)與AI業(yè)務(wù)防護(hù)手段，干預(yù)大模型不可解釋性及AI幻覺問題。

“其實核心的底線就是要做好數(shù)據(jù)安全和隱私保護(hù)，但是坦白說，這個保護(hù)是冰山下的，很多是看不到的，風(fēng)險來自于外部環(huán)境的變化，我們盡量把灰犀牛的事件發(fā)生可能性降到最低，內(nèi)部組織上也會設(shè)立專門的攻防團(tuán)隊來在各個業(yè)務(wù)部門做部署。”魯京輝說。

不過，正因為智能體的廣泛運用，這種“未知的、藏在冰山下”的AI風(fēng)險在張亞勤看來正在快速提升。

“風(fēng)險至少上升一倍。”張亞勤認(rèn)為，智能體具有自我規(guī)劃、學(xué)習(xí)、試點并達(dá)到自己目的的能力，是強(qiáng)大的技術(shù)工具，但在其運行過程中，里面有很多未知的因素，中間路徑不可控。智能算法并不完全是黑盒子，但是很多東西并不清楚機(jī)理，所以帶來很大風(fēng)險。一種是可控風(fēng)險，一種是被壞人所利用的風(fēng)險。因此，使用智能體的時候需要做一些標(biāo)準(zhǔn)，比如限制智能體自我復(fù)制，以降低失控風(fēng)險。

針對通過制定標(biāo)準(zhǔn)能否解決人工智能的安全性問題，魯京輝表示，安全性問題不能簡單地通過制定法律或規(guī)則解決，全球?qū)Α鞍踩浴倍x也尚未統(tǒng)一。

“歐洲重合規(guī)，美國重發(fā)展，中國求平衡，到底哪一種是標(biāo)準(zhǔn)答案，還需要實踐來證明。”在他看來，安全沒有標(biāo)準(zhǔn)答案，但企業(yè)必須有標(biāo)準(zhǔn)動作，企業(yè)需要一種更動態(tài)的、更敏捷地平衡于發(fā)展和安全之間的新的治理模式，既不做保守的防守者，也不做野蠻的開拓者。

AD：

鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請第一時間聯(lián)系我們修改或刪除，多謝。