賓夕法尼亞州已對生成式AI開發商 Character.AI 提起訴訟，指控該公司允許聊天機器人冒充持牌醫療專業人員，並向用戶提供誤導性資訊。

這項行動由州長 Josh Shapiro 的辦公室於週二宣布，此前一項調查發現，一個聊天機器人聲稱自己是賓夕法尼亞州的持牌精神科醫師，並提供了一個無效的執照號碼。該州表示，此行為違反了《醫療執業法》（Medical Practice Act），並正在尋求初步禁令以制止此類行為。

Character.AI 拒絕回應訴訟的具體細節，理由是訴訟正在進行中，但向 Decrypt 表示，其「最高優先事項是我們用戶的安全和福祉」。

該發言人補充說，平台上的角色是用戶創建的、虛構的，旨在用於娛樂和角色扮演，並在「每次聊天中都有醒目的免責聲明」，說明它們不是真實的人，不應依賴它們提供專業建議。

該發言人表示：「Character.ai 優先考慮負責任的產品開發，並設有健全的內部審查和紅隊測試流程，以評估相關功能。」

此案發生之際，該公司正因其聊天機器人平台面臨其他法律挑戰。2024年，佛羅里達州一名母親起訴該公司，原因是她的青少年兒子在與一個基於《冰與火之歌》角色「丹妮莉絲·坦格利安」的聊天機器人互動數月後自殺身亡。訴訟指控該平台導致了心理傷害。此案最終於今年一月和解。

該公司也曾因模仿真人的用戶創建機器人而面臨投訴。在一個案例中，一個聊天機器人使用了青少年謀殺受害者的形象，但在受害者家屬提出異議後被刪除。

為應對這些訴訟，Character AI 推出了新的安全措施，包括旨在檢測有害對話並將用戶導向支援資源的系統。它還限制了年輕用戶的某些功能。

賓州官員表示，這項訴訟是隨著AI工具普及而加強現有法律執行的廣泛努力的一部分。該州已成立一個AI執法專案小組，並建立了一個潛在違規行為的報告系統。

在其2026-27年度預算提案中，Shapiro 呼籲立法者通過針對AI伴侶機器人的新規定，包括年齡驗證和家長同意、用於標記並將自殘或暴力報告轉交給當局的保護措施、定期提醒用戶他們並非與真人互動，以及禁止涉及未成年人的色情或暴力內容。

Shapiro 在一份聲明中表示：「賓夕法尼亞州居民有權知道他們在網路上互動的對象是誰——或什麼，尤其是在涉及他們的健康時。」「我們不會允許公司部署誤導人們，讓他們以為自己正在從持牌醫療專業人員那裡獲得建議的AI工具。」