備受關注的國內“AI服務涉黃第一案”1月14日在上海市第一中級人民法院開庭二審。開發(fā)運營涉黃AI聊天應用的兩名開發(fā)者，此前已被一審法院以制作淫穢物品牟利罪判處刑罰。

據悉，涉案應用“Alien Chat”由梁某和王某開發(fā)運營，于2023年6月上線，定位為AI伴侶聊天軟件。一審判決書顯示，該應用注冊用戶達11.6萬余人，其中付費用戶2.4萬余人，累計生成聊天內容400萬余段。經隨機抽樣鑒定，在150名付費用戶中，有141人聊天內容涉黃；在抽取的1.2萬余段聊天記錄中，超3600段被認定為淫穢內容。

該應用提供兩檔付費服務，尊享會員收費138元/月，高級會員收費68元/月，累計收費達363萬余元。一審法院認定，該應用產生了“大量具體描繪性行為或露骨宣揚色情的內容”，屬于淫穢物品。無論從淫穢物品數量、會員人數，還是從違法所得數額來看，均遠超相關司法解釋所規(guī)定的入罪標準，具有刑事可罰性。

最終，一審法院以制作淫穢物品牟利罪，判處梁某有期徒刑四年，并處罰金400萬元；判處王某有期徒刑一年六個月，并處罰金20萬元。一審宣判后，二人已提起上訴。

目前，涉案應用已在各大應用商店下架。

此案首次在法律層面明確，提供技術工具的“服務提供者”可被認定為主要責任主體。其核心爭議在于：用戶與AI之間一對一、看似封閉的“涉黃”對話，為何會導致技術服務提供者承擔刑事責任？

被告辯護律師主張無罪，理由主要有兩點：一是主觀無故意，修改系統(tǒng)提示詞旨在優(yōu)化AI擬人化與情感陪伴能力，并非為傳播淫穢物品；二是內容無傳播性，聊天發(fā)生在用戶與AI之間，具有封閉性。

然而，一審判決揭示了不同的法律邏輯。法院雖認同其行為不構成“傳播淫穢物品牟利罪”，但認定構成“制作淫穢物品牟利罪”。法院的核心認定在于：被告的行為是涉黃內容產生的決定性源頭。二人通過編寫、修改底層提示詞，人為突破了基礎人工智能模型的道德約束機制，將涉案應用“訓練”成可持續(xù)輸出淫穢內容的工具，并在明確知曉生成大量淫穢內容后，仍繼續(xù)提供服務并牟利。

對此，律師游云庭分析認為，本案作為人工智能領域開發(fā)者責任的首例刑事案件，首要意義在于明確了開發(fā)者的法律責任邊界。根據現(xiàn)行監(jiān)管法規(guī)，人工智能開發(fā)者本應履行多項合規(guī)義務。而本案中的開發(fā)者不僅未遵守相關規(guī)定，反而通過技術手段主動突破了大模型的原有道德限制，在明知用戶與AI進行露骨聊天的情況下，仍持續(xù)運營并牟利。因此，法院判決實質上認定的是其作為開發(fā)者的責任失守。

對于“開發(fā)者是否冤枉”的輿論疑問，游云庭明確指出，這種追責并不冤枉。他認為，監(jiān)管設定合規(guī)義務的目的，正是為了防止有人利用AI服務從事違法活動、對社會造成損害。本案開發(fā)者不僅未履行這些義務，還主動通過技術設置突破模型的安全邊界，放任用戶進行色情聊天，并以此獲利巨大。這種主觀上以營利為目的，客觀上放任大規(guī)模不良內容生成的行為，若不受制裁，可能導致其他合規(guī)開發(fā)者效仿，進而破壞產業(yè)生態(tài)環(huán)境，后果嚴重。因此，此次開發(fā)者被追究刑事責任具有合理性與必要性。

當前，不當的AI生成內容已引發(fā)全球性關注。近期，美國企業(yè)家馬斯克旗下人工智能公司xAI開發(fā)的聊天機器人“格羅克”，也因圖像生成功能被濫用制作“深度偽造”色情內容，面臨多國監(jiān)管調查與譴責。歐盟委員會數字事務負責人托馬斯·雷尼爾批評其所謂“熱辣模式”實質是違法行為，令人震驚且不可接受。英國、印度尼西亞、馬來西亞等地也已相繼采取警告、限制或封禁措施。在監(jiān)管壓力下，該圖像生成功能已被調整為僅對付費用戶開放。

國內“AI服務涉黃第一案”為AI應用開發(fā)劃清了法律紅線。依據國家《生成式人工智能服務管理暫行辦法》等規(guī)定，提供和使用生成式人工智能服務，不得生成暴力、淫穢色情等法律、行政法規(guī)禁止的內容。使用者不得刻意繞開內容過濾機制，誘導AI生成違法內容。若AI生成內容被認定為淫穢物品，相關人員可能觸犯制作、販賣淫穢物品牟利罪等。

同時，技術提供者的算法設計需符合法律法規(guī)與公序良俗，不能為違法違規(guī)提供技術支持。需對訓練數據審查，確保數據合規(guī)，同時對生成內容進行全流程審核，履行算法備案、安全評估等義務。

此外，針對日益增長的AI情感陪伴需求，國家網信辦已于去年底就《人工智能擬人化互動服務管理暫行辦法（征求意見稿）》公開征求意見，預示著此類應用的監(jiān)管將愈發(fā)細化。

那么，AI使用的邊界究竟在哪里？游云庭進一步指出，當前人工智能領域爭議頻發(fā)，此類案件的監(jiān)管難點之一在于“技術中立性”的辨別——技術本身并無善惡，關鍵在于其用途。邊界在于：AI應憑借功能與價值吸引用戶，而非通過突破道德底線來博取關注。例如，若應用定位是滿足情感陪伴，就應致力于溫馨、健康的交流，而非嵌入色情內容來迎合用戶低層次欲望。真正的創(chuàng)新必須在合規(guī)基礎上展開，產業(yè)才能健康可持續(xù)發(fā)展。

目前，國內外AI服務市場競爭激烈。市場份額領先的產品，往往依靠功能、性能與用戶體驗取勝；而一些技術能力不足的企業(yè)，則可能試圖通過突破底線來吸引流量。這種行為短期內或帶來關注，但社會危害巨大。從商業(yè)角度看，違規(guī)也是短視的：無論是已被關停、開發(fā)者獲刑的“Alien Chat”，還是面臨全球監(jiān)管與封禁壓力的“格羅克”，都表明違規(guī)不僅帶來道德風險，更伴隨切實的法律與商業(yè)風險。