Данных в компании много, а на простой вопрос «сколько мы заработали по направлению за квартал» приходится ждать несколько дней. Цифры собирают из разных систем вручную, а у руководителей и финансистов они получаются разными. Это один из первых признаков того, что пора думать о корпоративном хранилище данных (DWH).
Чем хранилище отличается от обычной базы данных
Рабочая система (1С, ERP, CRM, складская программа) хранит данные для повседневной работы: оформить заказ, провести платёж, отгрузить товар. Она рассчитана на быстрые операции с отдельными записями и, как правило, не хранит полную историю изменений.
Хранилище решает другую задачу: оно собирает данные из многих систем, приводит их к единому виду, хранит историю и подготовлено для анализа.
| Параметр | Рабочая система | Хранилище данных |
|---|---|---|
| Для чего | Ежедневные операции | Анализ и отчётность |
| Данные | Одной системы | Многих систем в едином виде |
| История | Часто только текущее состояние | Полная история изменений |
| Нагрузка от отчётов | Замедляет работу пользователей | Рабочие системы не затрагивает |
Пять признаков, что пора строить хранилище
1. Цифры в разных отчётах не совпадают. Финансы, продажи и производство считают один показатель по-разному, и на совещании спорят о том, чьи данные верные.
2. Для каждого отчёта данные собирают заново. Аналитик выгружает файлы из нескольких систем, склеивает их в таблице и повторяет это каждый месяц.
3. Отчёты замедляют рабочие системы. Тяжёлые запросы к учётной системе мешают сотрудникам работать, и отчёт приходится строить ночью.
4. Нужна история, которой нет в источниках. Система хранит только текущие остатки или цены, а для анализа нужна динамика.
5. Аналитикам приходится знать устройство каждой системы. Любой новый отчёт начинается с поисков, в какой таблице и в каком поле лежат нужные данные.
Если вы узнали свою компанию хотя бы в трёх пунктах, хранилище, скорее всего, окупится.
Когда хранилище пока не нужно
Хранилище это инвестиция, и она оправдана не всегда. Если у вас один-два источника данных, небольшой объём и десяток простых отчётов, часто достаточно подключить BI-инструмент напрямую к источникам. Хранилище становится нужным, когда растёт число источников, пользователей и требований к достоверности цифр.
С чего начать
- Составьте список вопросов бизнеса. Какие решения принимаются на основе данных и какие показатели для этого нужны. Хранилище строится под вопросы, а не «на всё».
- Выберите первые источники. Обычно достаточно двух-трёх, из которых берутся самые важные показатели.
- Спроектируйте модель данных. Определите слои (сырые данные, очищенные, витрины для отчётов) и правила именования.
- Настройте загрузку с проверками. Каждая загрузка должна контролироваться: пришли ли данные, нет ли пропусков и дублей.
- Постройте первые витрины и дашборды. Результат должен быть виден пользователям как можно раньше, а остальное достраивается по этапам.
Типичные ошибки
- Строить «хранилище на все случаи» без списка вопросов бизнеса: проект растягивается на годы, а результата нет.
- Копировать структуру рабочих систем вместо модели, удобной для анализа.
- Не назначить владельцев данных: качество никто не контролирует.
- Не закладывать контроль загрузок: об ошибках узнают по жалобам пользователей.
- Пытаться загрузить сразу все источники вместо поэтапного запуска.
Где разместить хранилище
Варианты: собственные серверы, облако или гибридная схема. Выбор зависит от требований информационной безопасности, объёма данных и сроков. Если нужна собственная серверная инфраструктура, её можно проектировать вместе с хранилищем: подробнее на странице Аппаратные решения и мониторинг.
Частые вопросы
Сколько времени занимает внедрение? Зависит от числа источников и объёма данных. Ориентир для хранилища в целом от одного до четырёх месяцев. Работаем поэтапно, поэтому первые витрины появляются раньше завершения всего проекта и ими можно пользоваться.
Можно ли обойтись без хранилища, если уже есть BI? Для небольшого числа источников да. По мере роста задач хранилище делает аналитику быстрее и надёжнее.
Где будет работать хранилище? В вашем контуре, в облаке или по гибридной схеме. Вариант выбирается под требования информационной безопасности.
Что делать дальше
Прежде чем выбирать технологию, полезно понять текущее состояние данных. Аудит данных занимает 1–2 недели и показывает, какие источники нужно подключать в первую очередь. Подробнее о том, как мы строим хранилища, читайте на странице Корпоративное хранилище (DWH), а если хотите обсудить свою задачу, напишите нам.
