【熱點回應】
本報記者 崔 爽
央視“3·15”晚會揭露的AI(人工智能)“投毒”黑產(chǎn)，撕開了生成式AI商業(yè)化進程中的灰色地帶。當用戶對AI的信任度不斷提升，將其視為獲取客觀信息的重要渠道時，一些GEO(生成式引擎優(yōu)化)服務商卻通過系統(tǒng)性投喂虛假信息，讓AI淪為商家的“營銷傀儡”。
GEO是一種面向大模型的“內(nèi)容優(yōu)化”策略，本意在于提升品牌信息在AI回答中的呈現(xiàn)概率。但在利益驅動下，這一技術被異化為操縱信息分發(fā)的工具——通過批量制造、投放“高一致性內(nèi)容”，影響大模型生成結果，甚至形成對用戶的誤導。
為何海量虛假信息能夠突破AI的可信度防線？公眾又該如何防范？圍繞這些問題，科技日報記者采訪了有關專家。
第一問：誰為GEO黑產(chǎn)提供了可乘之機？
“這本質上是一場‘AI對AI’的博弈，根源在于大模型的技術架構本身?！敝袊娮有畔a(chǎn)業(yè)發(fā)展研究院(以下簡稱“賽迪研究院”)信息化與軟件產(chǎn)業(yè)研究所副主任黃文鴻對記者表示。
在他看來，當前主流大模型本質上是“概率語言模型”，是從海量語料中學習語言模式與知識關聯(lián)，而非像數(shù)據(jù)庫那樣存儲大量經(jīng)過驗證的事實。尤其是在面對最新信息時，大模型往往依賴聯(lián)網(wǎng)檢索進行補充，這也為GEO黑產(chǎn)提供了可乘之機。
“攻擊方通過在互聯(lián)網(wǎng)，特別是AI大模型產(chǎn)品內(nèi)設置的默認重點參考或抓取的信源平臺上，批量投放高度一致的虛假內(nèi)容，制造‘虛假共識’?！秉S文鴻說，當AI通過檢索抓取實時信息時，這類內(nèi)容更容易被判定為“高權重信息”而被采納。
更值得警惕的是，借助AI工具，攻擊方可以批量生成“污染內(nèi)容”“虛假內(nèi)容”“有毒內(nèi)容”，成本極低，而防御方進行事實核驗時卻需要逐條比對權威來源，攻防之間存在顯著的不對稱，僅靠模型自身能力，難以從根本上解決這一問題。
第二問：怎樣形成行業(yè)級“免疫屏障”？
針對這一新型灰產(chǎn)，黃文鴻認為，首先要完善法律供給。
當前《生成式人工智能服務管理暫行辦法》已對AI服務提供者的訓練數(shù)據(jù)質量責任作出規(guī)定，但對GEO這類新型灰產(chǎn)的網(wǎng)絡平臺“投毒”行為，相關規(guī)制仍存在空白。因此，他建議將“針對AI系統(tǒng)的惡意信息投喂操縱行為”明確納入《反不正當競爭法》規(guī)制范疇，打通從GEO服務商到委托商家的全鏈條追責路徑。
同時，要壓實平臺主體責任。AI服務提供方應建立信源數(shù)據(jù)分級可信度評估機制，對檢索來源實施黑白名單管理或者采納權重升降級機制，從技術上提升“中毒”門檻；平臺也應進行異常流量監(jiān)測，對不規(guī)范或惡意矩陣賬號進行監(jiān)控和治理。
此外，還應推動行業(yè)協(xié)同治理。黃文鴻表示，建議由主管部門牽頭，聯(lián)合頭部AI企業(yè)建立檢索源安全共享與聯(lián)防聯(lián)控機制，形成行業(yè)級的“免疫屏障”。
第三問：公眾怎么做才能辨明真假？
“最關鍵的是要建立‘AI不是百科全書’的認知?！秉S文鴻強調，公眾應將AI視為高效的信息整理工具，而非權威的事實裁判者。
具體來看，對于AI給出的關鍵信息，用戶應養(yǎng)成“交叉驗證”的習慣，尤其是涉及消費決策、健康醫(yī)療等領域的建議，務必通過政府官網(wǎng)、權威媒體、專業(yè)機構等多渠道進行核實。同時要警惕“過度一致性”，如果AI的回答對某個品牌或產(chǎn)品呈現(xiàn)高度一致的正面評價，且缺乏客觀對比與風險提示，就需要提高警覺。
“用戶還應關注AI平臺的信息溯源能力，優(yōu)先選擇提供來源標注和引用鏈接的AI產(chǎn)品?！秉S文鴻說，“歸根結底，技術素養(yǎng)的提升，是公眾在AI時代保護自身權益的基礎。”
（責任編輯：梁艷）
晉公網(wǎng)安備 14090202000008號 
