Стартап, работающий с OpenAI и Anthropic, разрабатывает систему против экстремизма

Новая система будет отслеживать признаки экстремистского поведения и направлять таких пользователей к помощи — через сочетание чат-ботов и реальных специалистов. Проект разрабатывается в Новой Зеландии и станет расширением уже существующей модели, где людей с признаками психологического кризиса перенаправляют в службы поддержки по всему миру.

Инициатива создаётся совместно с организацией Christchurch Call, возникшей после теракта 2019 года, и направлена на снижение рисков использования ИИ для насилия и радикализации.

Разработка происходит на фоне растущего давления на ИИ-компании — их всё чаще обвиняют в том, что они недостаточно предотвращают опасное поведение пользователей. В одном из недавних случаев власти Канады вмешались после того, как заблокированный пользователь, связанный с ChatGPT, совершил массовое убийство.

Эксперты отмечают, что эффективность такой системы будет зависеть от реальной поддержки за пределами цифровой среды. Также важно соблюсти баланс между безопасностью и риском отпугнуть пользователей, которые могут бояться слежки или санкций.