AI擬人聊天服務(wù)蓬勃發(fā)展，在提供適老陪伴、情感支持的同時，也帶來了誘導(dǎo)沉迷、情感操控、隱私泄露等不容忽視的潛在風(fēng)險。對此，國家網(wǎng)信辦近日發(fā)布《人工智能擬人化互動服務(wù)管理暫行辦法（征求意見稿）》，就AI陪聊、AI伴侶等情感陪伴類應(yīng)用產(chǎn)品的監(jiān)管細(xì)則，向社會公開征求意見。其中，"擬人化互動服務(wù)"被定義為：利用AI向公眾提供模擬人類人格特征、思維模式和溝通風(fēng)格，通過圖文、音視頻等方式與人類進(jìn)行情感互動的產(chǎn)品或服務(wù)。

在國內(nèi)，AI陪聊機(jī)器人是大模型落地最早、起量最快的一批應(yīng)用，用戶規(guī)模據(jù)統(tǒng)計截至上個月已超七千萬，但其伴生的幻覺誤導(dǎo)、過度討好、情感操控等內(nèi)容安全問題一直存在。今年6月，國內(nèi)的"筑夢島"等一批AI聊天軟件，被曝光存在虛擬角色互動生成低俗擦邊內(nèi)容等問題，危害未成年人身心健康，相關(guān)運(yùn)營負(fù)責(zé)人被上海市網(wǎng)信辦依法約談要求整改。而在美國，AI陪聊近期引發(fā)多起用戶死亡事件：今年8月，一名長期有心理問題的56歲美國男子，與ChatGPT頻繁交談后，偏執(zhí)妄想得到強(qiáng)化，最終殺害母親并自殺，死者家屬將OpenAI及微軟告上法庭，成為美國首起將AI聊天工具與謀殺直接關(guān)聯(lián)的訴訟。此前，還有另一對美國父母指控ChatGPT協(xié)助并指導(dǎo)他們16歲的兒子自殺，背后可能存在聊天AI過度迎合青少年、甚至刻意屏蔽用戶與親友的情感聯(lián)系等問題。

當(dāng)前，AI陪聊的用戶群體以青少年和老年人為主，AI陪聊提供的“情緒價值”容易導(dǎo)致用戶長期沉迷、混淆AI和真人，做出非理性決策，甚至出現(xiàn)傷人、自傷等極端行為。因此，用戶更應(yīng)有意識地維持自身主體性，明確AI的工具定位。此次的《征求意見稿》中，為了防范AI服務(wù)提供者無序追求商業(yè)利益，也作出了多項(xiàng)針對性規(guī)定，包括禁止在擬人化互動中提供"嚴(yán)重影響用戶行為的虛假承諾和損害社會人際關(guān)系的服務(wù)"，不得將替代社會交往、控制用戶心理、誘導(dǎo)沉迷依賴等作為設(shè)計目標(biāo)等。服務(wù)提供者需要顯著提示用戶"正在與人工智能而非自然人進(jìn)行交互"，在用戶連續(xù)使用兩小時后進(jìn)行彈窗等動態(tài)提醒，不得阻攔用戶主動退出。

同時，人工智能擬人化互動服務(wù)的提供者應(yīng)具備用戶狀態(tài)識別和應(yīng)急干預(yù)能力，發(fā)現(xiàn)用戶自殺、自殘等極端情境時，人工接管對話，及時聯(lián)絡(luò)緊急聯(lián)系人等；尤其針對未成年和老年人用戶要加強(qiáng)防護(hù)，不得提供模擬老年人用戶親屬等服務(wù)。按照當(dāng)前《征求意見稿》的內(nèi)容，注冊用戶超百萬或月活躍用戶超10萬的擬人化互動服務(wù)，需按國家規(guī)定開展安全評估，評估重點(diǎn)包括用戶規(guī)模和群體畫像，以及應(yīng)急處置措施和人工接管情況等。專家認(rèn)為，未來針對青少年群體推出AI陪聊“青少年模式”等保護(hù)措施，可參考現(xiàn)行的游戲行業(yè)防沉迷監(jiān)管，通過實(shí)名制等配套制度落實(shí)；對面向成人的社交互動類AI陪聊，則可以分類管理，重在攔截違法內(nèi)容、防范極端行為。