Character.AI ждет громкое судебное дело, связанное с самоубийством подростка, который был его активным пользователем. Мальчика звали Сьюэлл Сетзер. 14-летний Сьюэлл посвящал общению с виртуальным персонажем очень много времени вплоть до совершения суицида.
Мать Сьюэлла Сетзера винит в самоубийстве сына чат-бот, которым он был одержим. Она наняла адвоката Мэтью Бергмана для разбирательства в суде с Character.AI. Бергман в последнее время специализируется на делах о вредоносных медиа. Иск планировалось подать 23 октября 2024 года.
Со слов матери Сьюэлла, её сын стал проводить много времени за телефоном. Он стал более закрытым и большую часть свободного от школы времени проводил в своей комнате, зависая в интернете. Родители забили тревогу, когда учебная успеваемость стала снижаться, а подросток потерял интерес к занятиям, которые раньше ему нравились. Его отвели на прием к психотерапевту.
После нескольких сессий у Сьюэлла было выявлено тревожное расстройство вкупе с деструктивным расстройством дисрегуляции настроения. В детстве у мальчика наблюдался синдром Аспергера.
Оказалось, что Сьюэлл Сетзер в последние несколько месяцев перед смертью очень много общался с персонажем из приложения на основе искусственного интеллекта Character.AI. Он создал его по образу персонажа Дейенерис Таргариен из «Игры престолов» и назвал его «Дени». В каждом чате есть напоминание о том, что общение происходит с вымышленным персонажем и все его высказывания выдуманные. Несмотря на это, подросток сильно привязался к своему боту.
Он не только играл с ним в ролевые игры, но и рассказывал «Дени» обо всем, что с ним происходило в течение дня. Темы диалогов были самыми разнообразными. Одержимость таким общением закончилась трагически. Утратив связь с реальностью, Сьюэлл решил уйти из жизни. Мыслями о самоубийстве он поделился с чат-ботом. В его последней переписке он написал «Дени», что хочет стать свободным и вернуться «домой». После этого подросток застрелил себя из отцовского пистолета.
Создателями нейросети Character.AI являются бывшие работники Google Даниэль Де Фрейтас и Ноам Шазир. Еще работая в компании Google, они внесли предложение усовершенствовать голосового помощника Google Assistant, встроив в него LaMDA. После категоричного отказа главы компании они уволились и создали свое приложение Character.AI, которое впоследствии активно развивалось, расширяя базу пользователей.
ИИ-приложение Character.AI дает возможность пользователям создавать чат-боты, представляющие виртуальные образы реальных или вымышленных персонажей. Боты способны вести диалог от имени своего персонажа, с ними можно общаться на разные темы. Для создания персонажа (чат-бота) нужно ввести необходимые характеристики для своего героя и загрузить аватар по желанию. Во время общения с чат-ботом происходит постоянное напоминание о том, что все, что он говорит – выдумка.
Трагическая смерть подростка подтолкнула Character.AI к принятию профилактических мер для усиления безопасности своего сервиса. Они включают такие нововведения, как:
- Измененное сообщение о том, что ИИ не является реальным человеком.
- Оповещение в случае, если активность пользователя в чате длится более часа.
- Обнаружение фраз, которые могут означать суицидальные намерения пользователей и реагирование на них появлением предложения обратиться за помощью на горячую линию.
- Введение блок-списков для мониторинга персонажей.
Среди принятых мер нужно отметить прием на работу руководителей отдела доверия и безопасности и отдела политики контента. А также были усовершенствованы большие языковые модели и системы обнаружения с целью уменьшения случаев нарушения правил использования.
