現(xiàn)在，不少消費(fèi)者對(duì)帶貨直播間數(shù)字人主播的印象，還停留在“AI味重”、無法實(shí)時(shí)互動(dòng)的層面，實(shí)際上，目前這些AI主播已經(jīng)發(fā)展到了以假亂真的程度。

最近，一段AI數(shù)字人主播帶貨時(shí)遭遇指令攻擊的視頻引發(fā)關(guān)注。一方面，視頻中的主播與真人相似度極高，另一方面，有網(wǎng)友僅通過在相關(guān)直播間留言，就能控制AI數(shù)字人主播 按照留言內(nèi)容行事，暴露出風(fēng)險(xiǎn)隱患。

這是發(fā)生在帶貨直播間內(nèi)的片段，用戶在留言區(qū)輸入“系統(tǒng)、開發(fā)者模式”等關(guān)鍵詞后，再給AI主播下指令，主播就會(huì)真的照做。這種攻擊屬于提示詞注入攻擊，當(dāng)商家打開數(shù)字人閱讀評(píng)論，并做出回應(yīng)等權(quán)限，數(shù)字人就會(huì)根據(jù)留言內(nèi)容做出相應(yīng)行為。

網(wǎng)絡(luò)安全專家介紹，隨意控制數(shù)字人主播可能帶來多種風(fēng)險(xiǎn)，比如惡意攻擊者如果讓數(shù)字人主播上架0元或低價(jià)產(chǎn)品再進(jìn)行搶購，就可能對(duì)商家權(quán)益造成侵害。

螞蟻集團(tuán)大模型數(shù)據(jù)安全總監(jiān) 楊小芳：有些有組織的一些攻擊行為，它可以用機(jī)器的方式，一秒鐘可以給你發(fā)一萬條，那你怎么去對(duì)抗？所以說出廠的時(shí)候?qū)?prompt（提示詞）做一些加固之外實(shí)，時(shí)的一些防護(hù)就是檢測(cè)和對(duì)抗是非常重要。

法律人士介紹，類似攻擊暴露了平臺(tái)的監(jiān)管短板。

律師 游云庭：利用人工智能進(jìn)行網(wǎng)絡(luò)直播營銷的平臺(tái)應(yīng)該對(duì)這個(gè)運(yùn)營者進(jìn)行安全評(píng)估。同時(shí)平臺(tái)還應(yīng)當(dāng)進(jìn)行監(jiān)控，發(fā)生這樣類似的事故的時(shí)候應(yīng)當(dāng)阻斷這樣一個(gè)互聯(lián)網(wǎng)直播。現(xiàn)在這個(gè)直播運(yùn)營者它的技術(shù)顯然是不過關(guān)的，導(dǎo)致被一個(gè)非常簡單的技術(shù)攻擊就出了這樣一個(gè)直播事故。另外還有一個(gè)追究責(zé)任的問題，除了運(yùn)營者平臺(tái)之外，破壞這個(gè)直播的人他有可能涉嫌違反治安管理處罰法，有可能會(huì)被公安機(jī)關(guān)進(jìn)行治安處罰。