Что такое НСИ (нормативно-справочная информация) и как управлять мастер-данными

Как работает НСИ

Рассмотрим пример торговой компании, которая использует несколько информационных систем: 1С для учета продаж и финансов, WMS для управления складом, CRM для работы с клиентами и отдельную систему закупок.

Операционные данные о продажах в компании постоянно меняются: сегодня продали 1000 единиц товара, завтра — 1500. Они отражают конкретные хозяйственные операции и накапливаются с каждой новой продажей. А справочник товаров, где указано, что товар 125 — это «Молоко 3,2%, 1 л», относится к нормативно-справочной информации.

При этом один и тот же товар в информационных системах может быть обозначен по-разному:

Для сотрудника компании понятно, что речь может идти об одном и том же товаре, но для информационных систем 125 и SKU-7842 — разные объекты, пока между ними не установлено соответствие. Без единой системы НСИ компания не сможет корректно сопоставить продажи, остатки и закупки одного товара.

Для решения этой задачи создается эталонная карточка товара:

• Единый ID — 10 542
• Наименование — Молоко 3,2%, 1 л
• Категория — Молочная продукция
• Подкатегория — Молоко
• Жирность — 3,2%
• Объем — 1 л
• Единица измерения — шт.
• Бренд — «Буренка»
• Штрихкод — 4 601 234 567 890

Для нее задаются соответствия между кодами разных информационных систем:

125 = SKU-7842 = PRD-156 = MLK-032−1 = FMLK321000 → единый товар ID 10 542

Теперь данные из разных источников можно корректно объединить в DWH или BI и получить достоверную информацию о товаре. Например:

• в 1С за день зафиксирована продажа 100 упаковок;
• в WMS находится 250 упаковок на складе;
• в системе закупок оформлена поставка еще 500 упаковок;
• в CRM этот товар связан с предложениями клиентам «Ромашка» и «Кафетерий».

Изучая BI-дашборд на основе структурированных данных, руководитель видит единую картину: сколько молока продано, сколько осталось, сколько заказано у поставщиков и каким клиентам оно предлагается.

По такому же принципу компания может вести НСИ по клиентам, поставщикам, магазинам и складам, регионам, товарным категориям, единицам измерения, каналам продаж или организационной структуре.

Что входит в нормативно-справочную информацию

Состав НСИ зависит от специфики бизнеса, но чаще всего объектами данных в НСИ могут быть:

В НСИ также могут входить иерархии и связи. Например:

SKU → подкатегория → категория → товарное направление

или

магазин → город → регион → федеральный округ.

Это особенно важно для BI, потому что именно по таким иерархиям пользователь в дальнейшем анализирует показатели.

Инструменты работы с НСИ

Для создания, ведения и использования нормативно-справочной информации применяются разные инструменты:

• Справочники — структурированные перечни объектов и их характеристик: товаров, клиентов, поставщиков, подразделений, единиц измерения и т. д.
• Классификаторы — системы распределения объектов по группам, категориям и классам. Например, товары могут классифицироваться по категории, подкатегории, бренду и типу продукции.
• Регламенты ведения НСИ — правила создания, изменения, согласования и удаления записей, а также распределение ответственности между сотрудниками.
• Модели и шаблоны описания — определяют обязательные атрибуты объектов и единый формат их заполнения. Например, для товара это могут быть наименование, артикул, бренд, категория, единица измерения и штрихкод.
• Таблицы и правила соответствий (мэппинг) — связывают разные обозначения одного объекта в информационных системах. Например, товар 125 в 1С и SKU-7842 в WMS сопоставляются с одной эталонной товарной позицией.
• MDM-системы и специализированные решения для управления НСИ — позволяют централизованно хранить и актуализировать справочники, контролировать качество данных, управлять согласованием изменений и распространять эталонные значения между системами.

Использование этих инструментов помогает поддерживать НСИ в актуальном состоянии и формировать единые правила работы с данными во всей компании. Благодаря этому разные подразделения и информационные системы одинаково идентифицируют товары, клиентов, поставщиков и другие бизнес-объекты, а результаты аналитики становятся более согласованными и надежными.

Почему необходимо управление НСИ

В большинстве компаний данные создаются и хранятся сразу в нескольких информационных системах: ERP, CRM, 1С, WMS и других. Каждая система решает свои задачи и может использовать собственные справочники, классификаторы, коды и правила описания объектов.

В результате один и тот же товар, клиент, поставщик, подразделение или другой объект может иметь разные наименования, коды и характеристики в разных системах. Если справочники не синхронизированы, при объединении данных возникают дубли, несоответствия и ошибки. Система не всегда может определить, относятся ли разные записи к одному объекту или к разным.

Сопоставить разрозненные данные и получить полную картину деятельности компании в таких условиях практически невозможно. Особенно заметной проблема становится при построении корпоративной отчетности, внедрении DWH и BI.

Какие проблемы возникают без системы управления НСИ

Появление дублей, противоречий и разных версий одних и тех же данных влияет не только на работу ИТ-систем, но и на качество аналитики и управленческих решений.

1. Долгая подготовка отчетности. Перед формированием сводного отчета данные из разных систем приходится сопоставлять, очищать и проверять вручную. Подготовка отчетности может занимать от нескольких дней до нескольких недель, а значительная часть времени аналитиков уходит не на анализ, а на сверку данных.
2. Дубли справочников. В разных информационных системах создаются собственные версии справочников товаров, клиентов, поставщиков, подразделений и других объектов. Один объект может существовать сразу в нескольких вариантах, а определить, какая запись является актуальной, становится сложно.
3. Проблемы интеграции информационных систем. При необходимости интеграции ERP, CRM, WMS и других источников в DWH приходится вручную сопоставлять разные коды, наименования и классификаторы. Отсутствие единых эталонных значений усложняет интеграцию, увеличивает объем доработок и повышает риск ошибок.
4. Ошибки в BI-аналитике. Из-за появления дублей и ошибок в системах-источниках показатели в BI могут задваиваться, не попадать в нужную категорию или некорректно агрегироваться. Это приводит к расхождениям в отчетах и ошибочным выводам.
5. Разные версии данных. Финансы, продажи, закупки и другие подразделения могут использовать разные значения и классификации одних и тех же объектов. Cотрудники получают разные цифры по одному показателю и тратят время на выяснение того, какая версия данных правильная.
6. Сложная синхронизация между подразделениями. Изменения в одном справочнике не всегда своевременно попадают в другие системы. Например, товар уже переведен в новую категорию в ERP, но в CRM и BI продолжает учитываться по старой классификации. Сотрудникам приходится вручную сверять и синхронизировать данные.

В результате компания тратит ресурсы на постоянную сверку и исправление данных вместо их использования для анализа и принятия решений.

Система управления НСИ позволяет установить единые правила ведения справочников, определить эталонные значения и синхронизировать их между информационными системами. Благодаря этому данные из разных источников можно использовать для формирования согласованной управленческой отчетности.

Каким компаниям нужно управление НСИ

Управление НСИ становится важно для любой компании, у которой много регламентированных процессов, каталогов, департаментов:

• Предприятия, госкорпорации, ТЭК

Актуально, когда есть несоответствия в данных по материально-техническим ресурсам (МТР), основным средствам, контрагентам и т.д.

• Розничная торговля, крупные e-com магазины

Актуально для ритейла, когда нужен порядок в каталогах товаров (SKU), поставщиков и клиентов. Качественные данные помогут обеспечить более эффективный рост продаж, за счет правильной клиентской аналитики

• Компании, работающие по 223 ФЗ и 44 ФЗ

Характерно большое количество рутинных операций при взаимодействии с государственными информационными системами (ГИС). Внедрение системы НСИ позволит упростить, автоматизировать многие операции и снизить количество ошибок

Что такое MDM и как оно связано с НСИ

MDM тесно связано с управлением НСИ, но эти понятия не полностью идентичны. НСИ определяет справочники, классификаторы и нормативные значения, используемые в компании, а MDM (Master Data Management) обеспечивает процессы и технологические инструменты для централизованного управления ключевыми данными и их согласованности между системами.

MDM система: определение

MDM (Master Data Management) — это подход к управлению мастер-данными компании.

MDM-система — программное решение, которое помогает централизованно создавать, хранить, проверять, согласовывать и распространять эталонные данные между информационными системами.

Например, один товар может иметь код 000125 в 1С, SKU-7842 в WMS и PRD-156 в CRM. MDM позволяет установить, что все эти записи относятся к одному товару, сформировать его эталонную карточку и поддерживать соответствия между системами.

Единый источник данных (golden record)

Одна из ключевых задач MDM — формирование Golden Record, или эталонной записи об объекте.

Golden Record содержит наиболее полное, актуальное и согласованное представление объекта на основе данных из разных информационных систем.

• Наименование: Молоко 3,2%, 1 л
• Бренд: Буренка
• Категория: Молочная продукция
• Подкатегория: Молоко
• Объем: 1 л
• Жирность: 3,2%
• Штрихкод: 4601234567890

При этом в разных системах товар по-прежнему может иметь собственные локальные коды

1С 000125 → WMS SKU-7842 → CRM PRD-156 → Golden Record 10542

MDM-система хранит или поддерживает правила сопоставления этих записей и помогает определить, какие значения считать эталонными.

Нормализация НСИ

Со временем в справочниках компании накапливаются дубли, устаревшие записи, разные варианты наименований, некорректные коды и незаполненные атрибуты. Особенно часто такие проблемы возникают, когда НСИ ведется одновременно в нескольких информационных системах или данные вводятся вручную разными сотрудниками.

Нормализация НСИ — это процесс очистки, стандартизации и приведения справочных данных к единым правилам и эталонным значениям.

Сотрудники службы НСИ приводят данные к разработанным стандартам описания:

• выявляют и устраняют дубли;
• исправляют ошибки и некорректные значения;
• стандартизируют наименования;
• заполняют недостающие характеристики;
• актуализируют устаревшие записи.

После нормализации записи могут быть сопоставлены с одним эталонным объектом:

1. Молоко 3.2 1000 мл
2. Молоко 3,2% 1л
3. Молоко питьевое 3,2%
4. MILK 3.2% 1L

Молоко 3,2%, 1 л → единый ID 10542

Нормализация позволяет сократить количество ошибок и дублей в справочниках и повысить качество данных, которые используются в операционных системах и аналитике.

В зависимости от состояния НСИ процесс нормализации может включать несколько направлений работ.

• Разработка справочников и классификаторов

Для ключевых объектов НСИ разрабатываются единые справочники, классификаторы и шаблоны описания. Они определяют, какие характеристики объекта необходимо хранить, в каком формате и по каким правилам их заполнять.

• Классификация данных по российским и международным стандартам

Объекты НСИ могут классифицироваться в соответствии с общероссийскими, международными, отраслевыми и специализированными классификаторами: ОКВЭД, ОКПД 2, ОКЕИ, ОКАТО, ОКФС, ОКЗ, ТН ВЭД. Это позволяет унифицировать описание объектов и использовать установленные коды при обмене данными между информационными системами, подготовке отчетности и взаимодействии с внешними организациями.

• Разработка перекодировочных таблиц

Если компания одновременно использует внутренние и внешние классификаторы, между ними необходимо установить соответствия. Для этого создаются перекодировочные таблицы, связывающие внутренние коды компании с кодами ОКПД 2, ТН ВЭД, ОКВЭД 2, ОКЕИ и других классификаторов.

внутренний код товара → код ОКПД 2 → код ТН ВЭД

Такие таблицы позволяют автоматизировать перекодировку и снизить вероятность ошибочного присвоения кодов. Это особенно важно там, где неправильная классификация может привести к некорректной отчетности, дополнительным расходам или штрафам.

• Мэппинг (Data Mapping) справочников

Мэппинг используется для сопоставления одних и тех же объектов в разных информационных системах. Мэппинг особенно важен при внедрении DWH и BI. Он сокращает объем ручного сопоставления данных специалистами и снижает риск ошибок, связанных с человеческим фактором.

• Подготовка методической документации

Благодаря внедрению методик и регламентов ведения справочников и классификаторов, новые сотрудники быстро поймут, как ведется объект НСИ, кто за него ответственный и какие действия необходимы, чтобы добавить, изменить или удалить данные.

Когда компании нужна служба НСИ

Служба НСИ — это выделенная функция или команда специалистов, которая отвечает за создание, изменение, нормализацию и контроль качества нормативно-справочной информации. В зависимости от компании специалисты службы НСИ могут:

• создавать и актуализировать записи в корпоративных справочниках;
• проверять новые записи на наличие дублей;
• контролировать полноту и корректность обязательных атрибутов;
• разрабатывать правила и шаблоны описания объектов;
• нормализовать и обогащать существующие справочники;
• классифицировать данные по корпоративным и внешним классификаторам;
• управлять соответствиями между справочниками разных систем;
• контролировать качество НСИ и согласовывать изменения;
• участвовать в выборе (или разработке) и тестировании ПО для управления НСИ.

Создание отдельной функции управления НСИ становится актуальным, если:

• Используется много информационных систем

ERP, CRM, WMS, 1С и другие решения должны работать с согласованными справочниками и корректно обмениваться данными.

• Справочники ведут разные подразделения

Финансы, продажи, закупки, производство и логистика могут использовать собственные правила наименования и классификации одних и тех же объектов.

• В справочниках много дублей и ошибок

Сотрудники регулярно сталкиваются с несколькими карточками одного товара или контрагента, некорректными кодами и незаполненными атрибутами.

• Много ручной работы

Значительные ресурсы сотрудников уходят на сверку, очистку и сопоставление справочников перед подготовкой отчетности или обменом данными.

• Компания внедряет DWH и BI

Для формирования согласованной аналитики необходимо однозначно сопоставлять товары, клиентов, подразделения и другие объекты из разных источников.

• Компания планирует использовать ML и ИИ

Качество результатов таких решений напрямую зависит от качества, полноты и согласованности исходных данных. По мере роста бизнеса управление НСИ становится не просто задачей ведения справочников, а частью корпоративного управления данными.

Какие сотрудники входят в службу НСИ

Состав службы НСИ зависит от масштаба и сложности информационной инфраструктуры компании, количества справочников и информационных систем, объема мастер-данных и интенсивности их изменений.

При этом управление НСИ — задача не только самой службы НСИ. В процесс должны быть вовлечены представители бизнес-подразделений, которые лучше всего понимают значение данных и требования к их качеству.

Владельцы данных (Data Owners)

Для ключевых справочников важно определить владельцев данных — сотрудников, которые отвечают за правила работы с конкретной областью данных со стороны бизнеса. Например:

• коммерческий блок может отвечать за требования к данным о клиентах;
• закупки — о поставщиках;
• категорийный менеджмент — о товарах;
• HR — о сотрудниках и должностях;
• финансовый блок — о статьях доходов, расходов и ЦФО.

Без назначенного владельца сложно определить, кто должен принимать решение при возникновении противоречий: к какой категории отнести товар, какие атрибуты клиента обязательны или какую запись считать эталонной.

Владельцы данных помогают:

• определять требования бизнеса к составу и качеству данных;
• согласовывать правила ведения справочников;
• разрешать спорные ситуации;
• определять эталонные значения;
• инициировать изменения структуры НСИ;
• контролировать качество данных в своей предметной области.

Аналитик НСИ

Аналитик НСИ отвечает не столько за отдельные записи, сколько за структуру, правила и процессы управления НСИ. Он изучает бизнес-процессы компании, собирает требования подразделений, определяет причины проблем с качеством данных и разрабатывает способы их устранения.

В задачи аналитика могут входить:

• анализ существующих справочников и классификаторов;
• сбор требований к мастер-данным;
• разработка структуры справочников;
• определение обязательных атрибутов;
• разработка шаблонов и правил ввода;
• разработка правил маппинга между системами;
• анализ дублей и других проблем качества данных;
• постановка требований к автоматизации процессов НСИ;
• участие во внедрении MDM-систем.

Для этой роли особенно важно понимать процессы разных функциональных областей: закупок, логистики, финансов, продаж, производства, HR и других направлений.

Руководитель службы НСИ

При большом количестве справочников, информационных систем и участников процесса появляется необходимость в отдельной управленческой роли — руководителе службы НСИ.

Он координирует работу команды и взаимодействие с бизнес-подразделениями, ИТ и владельцами данных. Руководитель службы НСИ отвечает за развитие процессов управления НСИ, распределение ответственности, контроль качества данных, нормативно-методическую документацию и развитие используемых инструментов.

Разработчики и технические специалисты

Разработчики, архитекторы, специалисты по интеграции и администраторы MDM-систем отвечают за техническую сторону процесса:

• интеграцию MDM с ERP, CRM, WMS, DWH и другими системами;
• автоматизацию обмена справочниками;
• реализацию правил проверки и сопоставления данных;
• настройку маршрутов согласования;
• поддержку и развитие MDM-платформы;
• мониторинг загрузки и распространения НСИ.

Такие специалисты могут входить непосредственно в службу НСИ или привлекаться из ИТ-подразделения.

Как может выглядеть команда НСИ

Универсального состава службы НСИ нет. Команда развивается вместе с ростом сложности управления данными и масштабом бизнеса.

• <100 сотрудников

В небольших компаниях может быть только один специалист НСИ, действующий совместно со специалистами, администрирующими ИТ-инфраструктуру. Для управления НСИ достаточно open-source решений, например, PIMcore.

• От 100 до 500 сотрудников

Необходимо создание отдельной службы НСИ, в которой присутствуют аналитик НСИ и эксперт НСИ. В средних компаниях для управления НСИ используется специализированное ПО: 1С: MDM, Datareon, ЮниДата MDM и другие.

• Более 500 сотрудников

В крупной компании объем НСИ может быть большим и разноплановым. Для управления НСИ обязательно используют специализированные ИТ-решения. Добавляется управленческая роль руководителя службы НСИ и разработчики, которые обслуживают массив данных НСИ.

Эффективное управление НСИ строится на разделении ответственности между бизнесом, службой НСИ и ИТ. Бизнес определяет требования и смысл данных, служба НСИ обеспечивает их качество и соблюдение единых правил, а ИТ отвечает за техническую реализацию и обмен данными между системами.

Как внедряется система НСИ (MDM)

Внедрение системы управления НСИ начинается с анализа текущего состояния справочников и заканчивается запуском MDM-системы, интеграцией с корпоративными информационными системами и организацией процессов дальнейшего ведения данных.

• Предпроектное обследование

Анализ существующих процессов работы с НСИ, информационных систем, справочников и классификаторов. Определение источников данных, ответственных сотрудников и основных проблемы: дубли, ошибки, неполные записи, разные правила ведения справочников.

• Проектирование НСИ

Разработка структуры справочников, обязательных атрибутов, классификаторов, правил наименования, проверки, сопоставления и формирования эталонных записей.

• Нормализация и подготовка данных

Очистка существующих справочников: выявление дублей и ошибок, стандартизация наименований, заполнение недостающих атрибутов, обогащение данных. Записи из разных источников сопоставляются и приводятся к единым стандартам и эталонным значениям.

• Разработка и внедрение MDM

Настройка MDM-системы, модели данных, справочников, ролей пользователей, правил проверки и маршрутов согласования изменений. Интеграция MDM с корпоративными системами, чтобы эталонные данные могли централизованно распространяться и использоваться в бизнес-процессах.

• Обучение сотрудников и запуск

Обучение специалистов службы НСИ, владельцев данных и бизнес-пользователей работе с внедренным решением.

• Поддержка и развитие

Сопровождение MDM-системы и развитие процессов управления НСИ: подключение новых справочников и источников, изменение модели данных, совершенствование интеграции и правил контроля качества. По мере развития бизнеса система НСИ масштабируется вместе с информационной инфраструктурой компании.

С чего начать управление НСИ

Для повышения качества данных не всегда необходимо сразу внедрять отдельную MDM-систему. Начать можно с базовых мероприятий Data Quality:

• провести аудит текущего состояния данных;
• выявить дубли и противоречия в ключевых справочниках;
• определить единые правила их ведения и эталонные значения.

Следующим шагом может стать создание корпоративного хранилища данных (DWH), которое позволит консолидировать данные из ERP, CRM, 1С и других источников, применить единые правила их обработки и сформировать надежную основу для BI-аналитики.

Хотите повысить качество управленческих решений?

Запишитесь на аудит данных и аналитической инфраструктуры компании. Специалисты Qlever Solutions помогут выявить проблемы качества данных, оценить текущие процессы работы с ними и определить, какие изменения помогут сократить трудозатраты на сбор, сверку и подготовку данных для аналитики.

ЗАПИСАТЬСЯ НА АУДИТ