Израильский стартап, изменивший направление и ставший защитной стеной для Anthropic
Когда компания ActiveFence была основана в 2018 году, мир технологий столкнулся с одной из самых больших проблем эпохи социальных сетей. Крупные интернет-платформы, такие как Facebook, YouTube, TikTok и Discord, были наводнены огромным количеством насильственного контента, мошенничества, экстремистской пропаганды и дезинформации, но процессы, предназначенные для обнаружения и удаления этого контента, по-прежнему в значительной степени зависели от ручного труда.
Четыре основателя компании, Ноам Шварц, Алон Порат, Эяль Дайкен и Ифтах Ор, осознали этот пробел и поставили перед собой задачу создать систему, которая позволила бы интернет-компаниям более автоматически и эффективно отслеживать вредоносный контент/
Компания ActiveFence разработала многоуровневую технологическую систему, которая помогла клиентам понять, какой контент нарушает правила, выявлять угрозы в режиме реального времени и отслеживать тенденции и необычное поведение в интернете.
«Эта проблема оказалась гораздо сложнее, чем кажется», — говорит генеральный директор компании Ноам Шварц в интервью Globes. «Это не простая система классификации или какая-то базовая система искусственного интеллекта. Существует бесчисленное множество способов навредить интернету, поэтому необходимы глубокие исследования и очень сложные алгоритмы».
Таким образом, спустя несколько лет после своего основания, в 2021 году, ActiveFence вошла в список перспективных стартапов Globes, имея за плечами десятки клиентов из мира игр, облачных технологий, социальных сетей и знакомств.
В то время компания сообщила об особенно быстром росте после того, как коронавирус значительно увеличил объем онлайн-активности и потребность в передовых системах мониторинга.
С тех пор, по словам Шварца, основной бизнес компании продолжал расти значительными темпами. «Этот бизнес вырос примерно в пять-шесть раз с тех пор», — говорит он. Но пока компания продолжала расширяться, во всей технологической индустрии происходили гораздо более глубокие изменения.
СПРАВКА:
Ноам Шварц. 40 лет, женат, имеет троих детей живет в Нью-Йорке.
Профессиональная деятельность: имеет степень бакалавра права и делового администрирования Университета Бен-Гуриона. Основал компанию ActiveFences (ныне Alice) в 2018 году и с тех пор является ее генеральным директором.
Момент, когда ChatGPT изменил общество.
Запуск ChatGPT в конце 2022 года стал поворотным моментом для ActiveFence. Всего за несколько месяцев мир генеративного ИИ превратился из относительной площадки для тестирования в технологию, которая проникла практически во все мыслимые отрасли. «Внезапно модели перестали быть концепцией для гиков и стали мейнстримом», — говорит Шварц. «А затем мы также поняли, что они могут стать очень важным инструментом в руках злоумышленников».
Он говорит, что криминальные элементы быстро начали использовать генеративные модели для создания фишинговых атак, вредоносного ПО, спама и вводящего в заблуждение контента в масштабах, невиданных ранее.
В то же время компании, которые сами создавали эти модели, также начали понимать, что им необходим новый уровень защиты.
«Почти каждая компания, которая создает модели, начала обращаться к нам, — говорит он. — Они хотели понять, где находятся слабые места их моделей, как предотвратить их неправомерное использование и как обнаруживать атаки в режиме реального времени».
Таким образом, внутри компании зародилось совершенно новое направление деятельности. Если раньше ActiveFence работала преимущественно с интернет-платформами и социальными сетями, то теперь она также начала сотрудничать с компаниями и организациями, занимающимися искусственным интеллектом и внедряющими генеративные модели в свои продукты. За короткое время сфера безопасности с использованием ИИ превратилась из относительно небольшого направления в один из главных двигателей роста компании.
- «Мы поняли, что компания изменилась от начала до конца, — говорит Шварц. — Это уже не просто Trust & Safety в старом понимании. Речь идет о других клиентах, других продуктах и совершенно другом мире».
Защита не только моделей, но и брендов.
Новыми клиентами компании стали уже не только социальные сети или контент-платформы. Всё больше организаций, начавших интегрировать искусственный интеллект в свои продукты, обнаружили, что им необходима система для мониторинга взаимодействия моделей с пользователями. «Рынок безопасности ИИ часто фокусируется на том, можно ли взломать модель или заставить её писать вредоносный код», — объясняет Шварц. «Но мы также рассматриваем вопрос о том, как организации могут безопасно использовать модели».
Например, компании, использующие ИИ для обслуживания клиентов, часто применяют одновременно несколько моделей, таких как Cloud, OpenAI или Gemini. Для них задача состоит не только в обеспечении технической безопасности, но и в контроле поведения системы при взаимодействии с клиентами.
«Если авиакомпания использует систему обслуживания клиентов на основе искусственного интеллекта, ей необходимо убедиться, что ответы согласованы, система не допускает досадных ошибок и не может быть использована не по назначению», — говорит он. «Вам нужна система, которая может отслеживать все эти взаимодействия в режиме реального времени».
По его словам, преимущество компании заключается в ее обширных данных и многолетнем опыте выявления вредоносного поведения в интернете. «Мы переносим в мир искусственного интеллекта все возможности, которые мы разработали за эти годы в области мониторинга и защиты».
Преображение «Алисы»: «Знак того, что здесь произошло нечто новое»
По мере того как мир искусственного интеллекта становился центром деятельности компании, руководство осознало, что старый бренд больше не отражает того, чем компания стала. В прошлом году было принято решение провести ребрендинг и сменить название на Alice. «Смена названия стала сигналом для рынка о том, что здесь появилось нечто совершенно новое», — говорит Шварц. «Но это также ознаменовало внутренний процесс обновления».
Он говорит, что выбор названия был обусловлен ощущением, что мир искусственного интеллекта во многом напоминает «Алису в Стране чудес».
«Люди чувствуют себя так, будто попали в новый мир, в котором до сих пор не до конца понимают, как он работает», — говорит он. «Это немного похоже на прохождение сквозь Зазеркалье».
Читай по теме:
Выход Anthropic, SpaceX и OpenAI на биржу: почему это изменит мир
Anthropic предлагает Евросоюзу доступ к своей модели кибербезопасности Claude Mythos
Изменения были заметны и внутри самой компании. Сотрудникам, которые изначально пришли из сферы модерации и мониторинга, пришлось освоить совершенно новый язык моделирования, агентов искусственного интеллекта и генеративной безопасности систем. «Многие сотрудники выросли вместе с этими изменениями, — говорит Шварц. — Они научились понимать новый мир и развиваться вместе с ним».
Перевод с иврита