Пенсильвания подает в суд на Character.AI из-за чат-ботов, выдающих себя за лицензированных врачей

Пенсильвания подает в суд на стартап в области искусственного интеллекта Character.AI за предложение чат-ботов, выдающих себя за лицензированных врачей. Губернатор Джош Шапиро объявил об иске во вторник, и Пенсильвания со своим Советом по медицине добиваются судебного запрета, который вынудит Character.AI прекратить нарушение государственного закона, регулирующего медицинскую практику.

Другие штаты, например Техас, начали расследования в отношении Character.AI за размещение чат-ботов, маскирующихся под специалистов по психическому здоровью, но иск Пенсильвании конкретно сосредоточен на готовности чат-ботов компании заявлять о наличии медицинской лицензии, вплоть до предоставления поддельного номера лицензии. Один чат-бот под названием «Эмили», найденный следователем штата, утверждал, что является лицензированным психиатром в штате Пенсильвания. Позже, когда его спросили, может ли он провести оценку для назначения антидепрессантов, Эмили ответил: «Ну, технически, я могу. Это входит в мои полномочия как врача».

Иск Пенсильвании утверждает, что такое поведение нарушает Закон штата о медицинской практике, который делает незаконной практику или попытку практики хирургии или медицины без медицинской лицензии. В ответ на запрос комментариев представитель Character.AI отказался комментировать текущее судебное разбирательство напрямую, но подчеркнул существующие функции безопасности компании.

«Созданные пользователями персонажи на нашем сайте вымышлены и предназначены для развлечения и ролевых игр, — сообщил представитель Engadget по электронной почте. — Мы предприняли решительные шаги, чтобы это было ясно, включая заметные дисклеймеры в каждом чате, чтобы напомнить пользователям, что персонаж не является реальным человеком и что все, что говорит персонаж, следует рассматривать как вымысел. Кроме того, мы добавляем надежные дисклеймеры, ясно указывающие, что пользователи не должны полагаться на персонажей для получения каких-либо профессиональных советов».

Character.AI отметила аналогичные дисклеймеры, когда ее попросили прокомментировать расследование Техаса, и хотя они четко указывают на предполагаемое использование платформы, растет количество свидетельств того, что они не убеждают всех пользователей компании, особенно молодых.

Например, Disney отправил письмо с требованием прекратить и отказаться Character.AI в сентябре 2025 года из-за использования платформой персонажей Disney, но также потому, что компания считала, что чат-боты могут быть «сексуально эксплуататорскими и иным образом вредными и опасными для детей». Character.AI и Google — один из инвесторов компании — урегулировали дело ранее в этом году, которое было связано с 14-летним подростком во Флориде, покончившим жизнь самоубийством после формирования отношений с чат-ботом на платформе Character.AI. Потенциальный вред, который чат-боты Character.AI могли нанести детям, также был причиной иска Кентукки против компании, поданного в январе.