В этой статье мы поговорим о том, какие решения для модерации контента существуют на сегодняшний день. В ходе нашего исследования рынка мы нашли немалое количество компаний, предлагающих свои услуги. Мы попытались их классифицировать, описать их преимущества и недостатки. Весь рынок можно поделить на 3 условные группы:

• Предоставление персонала;
• Интегрируемые в ваш проект SaaS
• Модерации с помощью алгоритмов (роботы)

Давайте рассмотрим чуть более подробно все 3 группы.

Тип1: Предоставление персонала

Большую часть рынка составляют именно такие компании. Часть из них специализируются только на модерации контента, но чаще всего это и услуги call-центра, и техподдержки, и много чего ещё.

Вот лишь некоторые из них:

• ICUC (http://www.icucmoderation.com)
• MicroSourcing (http://microsourcing.com)
• Moravia (http://moravia.com)

Полагаем, количество таких компаний обуславливается наличием дешевой рабочей силы в том же Таиланде, Филиппинах, Индии и так далее. Отсюда и невысокий уровень квалификации сотрудников, и завышенная цена на модерацию контента на языках, отличных от английского.

И чтобы пользоваться услугами таких компаний, Вам потребуется сразу несколько вещей:

• Наличие собственного ПО. Для того, чтобы нанятый Вами персонал осуществлял непосредственную модерацию, Вам нужно будет написать среду/программу/web interface, где, судя по всему, будет список непроверенного контента, а модераторы будут нажимать какие-то кнопки.
• Обучение персонала. Да, именно так: сами компании заявляют, что перед началом работы Вы должны провести семинар и раздать профессиональные инструкции. И всё это за Ваш счет!
• Большинство компаний подобного рода требуют, чтобы Вы сами составили график работы модераторов, особенно с учетом временных зон и соответствующих языков.

Если говорить простым языком, такие компании это большой ангар на окраине индийского города, набитый старыми компами и бедными индусами, менеджеры которых готовы пристроить персонал куда угодно, лишь бы там платили деньги. О качестве говорить не приходится.

Тип2: Интегрируемые в ваш проект SaaS

Вторая категория компаний продвинулись дальше в изучении проблемы модерации контента и предоставляет собственные техническое решения, включающее в себя:

• API и SDK для интеграции
• Собственная панель модерации, в которой работает их собственный персонал
• Средства автоматической проверки контента
• Личный кабинет для клиентов, в котором можно посмотреть отчеты, графики, аналитику, etc.

Пожалуй, самый яркий представитель данного класса это Crisp Thinking (http://crispthinking.com).

Данная категория представляется куда более притягательной: персонал уже специально обучен и знаком с общей проблемой модерации; работают они с собственным ПО, а следовательно хорошо знакомы с ним; API и SDK документированы и предполагается, что клиент должен сам справиться с интеграцией.

Однако, не всё так хорошо. Начальная интеграция подразумевает создание правил модерации. И вот тут то начинаются проблемы.

У большинства компаний процесс интеграции API столь сложный, что может занять несколько недель!

Конечно, после всех сложностей и завершения интеграции проект полностью забывает о модерации — контент автоматически уходит в систему модерирования, результаты так же автоматически приходят и обрабатываются приложением клиента… останется лишь каждый месяц пополнять баланс кругленькой суммой…

Тип3: Роботы

В ходе исследования рынка мы находили компании, которые полностью автоматизируют процесс модерации контента, то есть без участия людей. Одним из типичных представителей является Keepcon (http://keepcon.com/).

Автоматическая модерация безусловно дешевле ручной, но имеет большое количество проблем. Модерация без "ручного" контроля — без проверок реальными людьми — является низкоэффективной.

Во-первых, крайне сложно алгоритмически вычислить текст, не содержащий нецензурные слова, но имеющий неприемлемый характер. К примеру "Обаятельная фея встретит доброго джентльмена в своих апартаментах на метро Щукинская" или сотни изощренных фраз про продажу наркотиков, типа "Ёж. Енот. Скорость. Соль. СМС 8 901 *** ***** ", за которые можно довольно быстро познакомится с представителями правопорядка. А теперь добавьте к этому поддержку хотя бы пяти языков. А десять!?..

Ситуация с изображениями ещё более плачевная: алгоритмы распознавания лиц и распознавания фото эротического характера на сегодняшний день несовершенны. Даже в "лабораторных" условиях они дают нестабильный результат, а в "полевых" условиях имеют слишком высокий процент ошибок и погрешностей.

Во-вторых, в большинстве случаев нам нужно учитывать бизнес-логику конкретного проекта: например, где-то должны быть только персональные фотографии конкретного пользователя, с четко различимым лицом. Автоматический режим модерации терпит здесь фиаско — учитывать субъективный фактор машины не научились, на это способны лишь реальные люди.

И наш опыт, и опыт других проектов говорит о том, что автоматическая модерация годится только в качестве предварительного фильтра, способного отсеять явно некачественный контент.

Цены

С техническим описанием существующих решений мы закончили. Теперь давайте перейдем к самому интересному: сравним цены!

Цены шокировали. За толпу индусов, которых надо обучать за свой счет, просили до 111 600$ в месяц!

Нам очень хотелось предоставить Вам не просто сухие цифры, а показать цены на примере конкретного проекта. В результате, мы связались с большинством лидирующих компаний, которые представлены на рынке, и всем задавали одну и ту же задачу: надо проверить за месяц 200 000 едениц контента (фото, статусы, имена) на 4-х языках.

Давайте смотреть, что получилось:

• HTC
  • Цена: 10 000$ в месяц
• ICUC
  • Цена: 111 600$ в месяц
  • One of Setup fee: 7 500$
• Source Fit
  • 9600$ ~ 15 600$ в месяц в зависимости от квалификации модераторов
• MicroSourcing
  • 15 000$ ~ 20 000$ в месяц в зависимости от квалификации модераторов
• Moravia
  • Цена: 54 000$ в месяц
• Crisp Thinking
  • Цена: 25 000$ в месяц
  • One of Setup fee: 10 000$

При этом у всех компаний вполне четкий подход к добавлению еще одного языка: "плати за каждый отдельно". Таким образом, если вместо 4-х языков надо 8, то ценник за месяц увеличится в 2 раза. В итоге, 32 языка у ICUC обойдутся за месяц в 0,9 миллиона долларов. Awesome!

Заключение

В ходе исследования мы пытались не просто классифицировать существующие компании. Мы пытались исходить именно из роли типового проекта, генерирующего UGC, — социального мобильного приложения. И нашей задачей стояло нахождение легкого, недорогого способа модерации контента, который не потребует много времени на интеграцию с существующим кодом.

Итак, у Вас набирающий аудиторию проект, Вы хотите готовое решение, которое можно подключить в течение нескольких дней, и забыть о проблеме с проверкой контента, персонале, разработке админки? Из всего перечисленного Вам подходит, видимо, только Crisp Thinking, но приготовьте 25 000$ в месяц.

Естественно, данная статья написана не просто так, а чтобы привлечь внимание к проблеме модерации и нашему сервису модерации контента2Hive.org.

2Hive.org может справиться с озвученной проблемой за 4000$ в месяц, на 32х языках.

Когда-то у нас возникла собственная потребность в модерации контента, и 2Hive.org возник как способ её решения. В первую очередь нам хотелось сделать сервис очень простым в использовании, а во-вторых очень бюджетным. И оба требования мы полностью выполнили. А как, читайте в наших будущих статьях.

P.S. Для местного модератора. Если вы хотите чтобы люди постили номральные статьи на вашем ресурсе, прикрутите НОРМАЛЬНЫЙ редактор, а не то убожество которое не позволяет таблицы вставлять, и делать нормальные списки и превращает статью в кусок дерьма. А как сделате, потом уже начинайте отклонять тексты. Спасибо за внимание.