Как разработать DWH для повышения эффективности аналитики

О проекте

Розничная сеть специализируется на продаже компьютерной, цифровой и бытовой техники. Компания насчитывает 1500+ магазинов, а также активно развивает онлайн-продажи — сайт и мобильное приложение используют 113+ млн клиентов. 

С ростом числа торговых точек, объемов продаж и каналов взаимодействия клиент столкнулся с проблемами в обработке и анализе данных. Информация поступала из множества разрозненных источников — интернет-магазина, CRM, ERP и маркетинговых инструментов. Отчеты занимали недели, прогнозы были неточными, а операционные системы испытывали перегрузки. Ритейл-компания нуждалась в централизации данных и real-time аналитике.

С целью повышения скорости и качества принятия решений было необходимо разработать и внедрить корпоративное хранилище данных (DWH). Оно позволило бы объединить информацию из всех систем, упростить доступ к сведениям и предоставить аналитикам инструменты для быстрого построения отчетов.

Разработчикам RedLab требовалось интегрировать данные о:

• заказах, продажах, возвратах и поведении пользователей, которые передаются через REST API на платформе интернет-магазина;
• клиентах, их покупательском поведении, истории взаимодействий и программе лояльности из CRM-системы;
• движении товаров, остатках на складах и финансовых операциях, выгружаемые в формате XML из ERP-системы (1С: Управление торговлей);
• рекламных кампаниях и эффективности продвижения, получаемые через API сервисов, таких как Яндекс.Директ и VK Ads;
• справочниках, маппинге баркодов и цен, подготовленные специалистами компании и передаваемые в формате CSV.

Реализация

Технологический стек: 

• Python
• ClickHouse
• Apache Airflow
• Talend

Команда RedLab детально обследовала информационные системы компании, чтобы выявить форматы, структуры и объемы данных. Далее ИТ-специалисты выполнили ряд задач:

• Спроектировали звездообразную схему с основными фактами (продажи, возвраты, доходность) и измерениями (товары, магазины, клиенты).
• Внедрили аналитическую СУБД ClickHouse в качестве хранилища и системы контроля доступа, что позволило быстро выполнять сложные запросы
• Настроили процессы извлечения, очистки, трансформации и загрузки данных с использованием Apache Airflow и Talend. Для ускорения обработки использовали параллельные загрузки.
• Установили коннекторы для автоматического сбора данных из e-commerce платформы, CRM, ERP и др.
• Развернули DWH в отечественном облаке Yandex Cloud. Такое решение обеспечило надежность и безопасность.
• Интегрировали хранилище с BI-инструментами. Теперь бизнес оперативно строит интерактивные дашборды и отчеты без необходимости глубокого технического погружения.
• Оформили политики доступа и защиты данных с использованием ролевой модели и инструментов шифрования ClickHouse.
• Провели функциональное и нагрузочное тестирование ETL-процессов и хранилища, после чего выполнили оптимизацию запросов для повышения их производительности.