MWS Cloud запустила самое быстрое S3-хранилище на рынке для ML-задач

Новый класс ориентирован на высоконагруженные веб-приложения, проекты в области искусственного интеллекта и машинного обучения, аналитические платформы и системы потоковой обработки данных. По результатам внутреннего тестирования новый класс является самым быстрым решением среди крупнейших российских провайдеров на данный момент. С методологией и результатами исследования можно ознакомиться на сайте MWS.

Рост бизнеса требует инфраструктуры, способной не только надёжно хранить большие объёмы данных, но и обеспечивать быстрый доступ к ним. Это особенно важно для проектов в области искусственного интеллекта, аналитики больших данных, медиасервисов и других ресурсоёмких приложений, где скорость чтения и записи напрямую влияет на производительность. Для таких сценариев MWS Cloud разработала новый «тёплый» класс хранения на базе высокопроизводительных NVMe-накопителей, который обеспечивает минимальные задержки и высокую скорость работы с данными.

По результатам внутренних тестов новый класс хранения демонстрирует скорость передачи данных до 1,8 ГиБ/с при загрузке объектов объёмом 64 МБ и время до получения первого байта (TTFB) около 20 мс. Такие показатели позволяют использовать сервис для задач, требующих быстрого доступа к большим объёмам данных и высокой интенсивности операций чтения и записи.

Решение подходит для обучения и эксплуатации моделей машинного обучения, обработки больших массивов данных, работы с медиаконтентом, высоконагруженных веб-сервисов и корпоративных приложений, в которых данные постоянно используются в рабочих процессах и должны быть доступны практически мгновенно.

Новый класс хранения совместим с AWS S3 API и поддерживает масштабирование без ограничений по объёму данных и количеству объектов. Пользователям доступны шифрование данных, версионирование объектов и управление их жизненным циклом, а также гибкая настройка прав доступа с помощью IAM-ролей и Bucket Policy. Для повышения отказоустойчивости данные реплицируются между двумя дата-центрами. Оплата сервиса осуществляется по модели pay-as-you-go — только за фактически использованные ресурсы.