Внедрение и эксплуатация высокодоступной платформы для обработки данных в Kubernetes
Команда MiOps реализовала для дата-офиса М.Видеовысокопроизводительную платформу для аналитических пайплайнов на базе Kubernetes и успешно вывела её в продакшен. В ходе проекта мы внедрили механизмы автоскейлинга и выстроили сквозные CI/CD-процессы, что обеспечило полную автоматизацию доставки изменений и стабильную работу сервисов.
О клиенте
М.Видео — крупнейшая российская торговая сеть по продаже бытовой техники и электроники. Дата-офис компании управляет огромными массивами данных, генерируемыми ритейл-платформой. Для эффективной работы подразделения требуются отказоустойчивые системы, способные обрабатывать данные в режиме реального времени для задач BI, прогнозирования спроса и персонализации клиентского опыта.
Описание задачи
Перед нами стояла задача создать современную и гибкую среду для работы сложных дата-пайплайнов. Платформа должна была поддерживать распределённую обработку данных, обеспечивать изоляцию различных инструментов аналитики и гарантировать быстрый вывод новых моделей и отчётов в эксплуатацию.
Основные задачи проекта:
– Развёртывание и настройка продуктивного контура на базе Kubernetes для нужд Датаофиса;
– Организация среды для запуска тяжёлых вычислительных задач (Spark, Trino);
– Настройка оркестрации сложных цепочек обработки данных (Airflow);
– Реализация механизмов автоматического расширения ресурсов под изменяющуюся нагрузку;
– Построение стандартизированных процессов CI/CD для изоляции сред разработки, тестирования и продакшена;
– Обеспечение безопасного управления секретами и автоматизированного управления инфраструктурой.
Наше решение
Команда MiOps выполнила комплекс работ по созданию и поддержке инфраструктурной платформы, ориентированной на работу с Big Data:
– Инфраструктурный фундамент: Проектирование и внедрение Kubernetes-кластера, оптимизированного под высокие нагрузки Spark-джобов и запросов Trino.
– Оркестрация и обработка: Развёртывание и поддержка Apache Airflow для управления сложными зависимостями в пайплайнах, а также интеграция Spark и Trino для распределённых вычислений.
– Хранение данных: Настройка и администрирование Greenplum в качестве аналитического хранилища, использование Iceberg для создания современных архитектур данных (Data Lakehouse) и Kafka для обработки потоков в реальном времени.
– Автоматизация и IaC: Внедрение подхода Infrastructure as Code с использованием Terraform и Ansible. Разработка CI/CD пайплайнов в GitLab для автоматизированного деплоя во все окружения.
– Безопасность и мониторинг: Динамическое управление секретами через Hashicorp Vault. Настройка полной наблюдаемости (Observability) через Prometheus и Loki для оперативного реагирования на инциденты в дата-сервисах.
– Экспертная поддержка: Обеспечение круглосуточной поддержки 24/7 и инцидент-менеджмента для гарантии непрерывности бизнес-процессов Датаофиса.
Результат
Для Датаофиса М.Видео была создана масштабируемая и надёжная экосистема для глубокого анализа данных. Благодаря внедрению Trino, Iceberg и Spark внутри Kubernetes, аналитики получили возможность работать с данными на качественно новом уровне скорости и объёмов. Автоматизация CI/CD существенно сократила Time-to-Market для новых аналитических продуктов, а использование современных инструментов хранения и оркестрации позволило минимизировать риск простоев и оптимизировать затраты на ресурсы.