Anthropic предотвращает попытки злоупотребления ИИ Claude в киберпреступлениях

Злоумышленники пытались с её помощью составлять фишинговые письма, создавать вредоносный код и обходить встроенные механизмы безопасности, а также запускать кампании по влиянию и оказывать помощь начинающим хакерам, предоставляя пошаговые инструкции.

Компания ограничила доступ компрометированных аккаунтов и усилила защитные фильтры. Подчёркивается растущая тревога экспертов: возможности ИИ в сфере мошенничества и взломов стремительно растут, требуя жёстких мер со стороны технологических компаний и регуляторов. В ответ на эти угрозы вводятся такие инициативы, как европейский закон об ИИ и добровольные меры по безопасности в США. Anthropic заявила о своей приверженности безопасности через внутренний контроль, внешние проверки и регулярную публичную отчётность о выявленных угрозах.