Аудит качества данных: чек-лист из 10 шагов

Руководитель открывает два отчёта и видит в них разную выручку за один и тот же месяц. Аналитики полдня сверяют цифры вручную, находят причину, исправляют, а через неделю всё повторяется. Знакомая картина означает, что проблема не в отчётах, а в данных, на которых они построены.

Аудит качества данных помогает перестать тушить пожары по одному. Он показывает, где именно данные теряют качество, почему это происходит и во что обходится бизнесу. Ниже — чек-лист из десяти шагов, по которому аудит можно провести своими силами или проверить работу подрядчика.

Что проверяет аудит

Качество данных — это не абстрактная «чистота», а пригодность данных для конкретной задачи. Его оценивают по нескольким измерениям:

• Полнота: есть ли все нужные записи и значения.
• Точность: соответствуют ли значения реальности.
• Согласованность: совпадают ли одни и те же данные в разных системах.
• Своевременность: успевают ли данные обновиться к моменту использования.
• Уникальность: нет ли дублей клиентов, товаров, контрагентов.

Результат аудита — карта проблем: список конкретных дефектов с причинами, масштабом и оценкой влияния на бизнес, а также план, что исправлять в первую очередь.

Шаг 1. Выберите 3–5 ключевых отчётов

Не пытайтесь проверить все данные компании сразу. Начните с отчётов, по которым принимают важные решения: выручка и маржа, остатки и оборачиваемость, воронка продаж, дебиторская задолженность. Хороший признак правильного выбора — вокруг этих отчётов уже есть споры о цифрах.

Шаг 2. Проследите путь данных

Для каждого отчёта выясните, откуда берутся цифры: из каких систем, через какие выгрузки, таблицы и формулы. Это и есть происхождение данных. Нарисуйте простую схему: источник → преобразования → отчёт. Уже на этом шаге часто обнаруживается ручная выгрузка в Excel, которую раз в неделю делает один сотрудник, или две разные таблицы, из которых считают один показатель.

Шаг 3. Договоритесь об определениях

Прежде чем искать ошибки, убедитесь, что все одинаково понимают показатели. Что такое «активный клиент»: покупал за последние 30 дней или за 90? Выручка считается с НДС или без, по дате заказа или по дате оплаты? Запишите определения в бизнес-глоссарий. Многие «расхождения в данных» на самом деле оказываются расхождениями в определениях.

Шаг 4. Составьте список проверок

Для каждого ключевого набора данных сформулируйте проверки по измерениям качества. Примеры:

Измерение	Пример проверки
Полнота	У каждого заказа есть клиент, сумма и дата
Точность	Цена продажи не ниже нуля и не выше разумного предела
Согласованность	Сумма продаж за день в учётной системе совпадает с CRM
Своевременность	Вчерашние продажи загружены в хранилище до 7:00
Уникальность	Нет двух клиентов с одним ИНН или телефоном

Начинайте с 10–20 проверок на самые важные поля. Сотни правил на старте только размоют внимание.

Шаг 5. Запустите проверки на реальных данных

Большинство проверок пишется простыми запросами на SQL. Например, доля заказов без клиента и число дублей по телефону:

-- Доля заказов без клиента
SELECT
  AVG(CASE WHEN customer_id IS NULL THEN 1.0 ELSE 0 END) AS no_customer_share
FROM orders;

-- Телефоны, которые встречаются у нескольких клиентов
SELECT phone, COUNT(*) AS customers
FROM customers
GROUP BY phone
HAVING COUNT(*) > 1;

Фиксируйте не только факт ошибки, но и масштаб: сколько записей затронуто, в каких периодах, в каких подразделениях или филиалах.

Шаг 6. Сверьте цифры между системами

Возьмите один показатель, например продажи за прошлый месяц, и посчитайте его в каждой системе, где он есть. Если цифры расходятся, разложите разницу по дням, филиалам и типам операций. Обычно причина быстро сужается до конкретного типа документов, периода или правила загрузки.

Шаг 7. Найдите причины, а не только симптомы

Дубли клиентов — это симптом. Причина может быть в том, что при оформлении заказа нет поиска по существующим клиентам, или в том, что две системы создают клиентов независимо друг от друга. Для каждой крупной проблемы задайте вопрос «почему» несколько раз подряд, пока не дойдёте до процесса или системы, которые её порождают. Исправлять нужно именно там, иначе через месяц ошибки вернутся.

Шаг 8. Оцените влияние на бизнес

Руководству нужен ответ на вопрос «и что?». Переведите проблемы на язык денег и времени:

• сколько часов в месяц аналитики тратят на ручные сверки;
• какие решения принимались по неверным цифрам;
• сколько стоят ошибки в отгрузках, счетах или маркетинговых рассылках из-за неверных адресов и дублей.

Даже грубая оценка лучше, чем её отсутствие: она помогает расставить приоритеты и обосновать бюджет на исправления.

Шаг 9. Расставьте приоритеты

Разложите проблемы по двум осям: влияние на бизнес и сложность исправления. Начинайте с того, что сильно влияет и исправляется относительно просто. Часто это настройка обязательных полей, единое правило расчёта показателя или исправление одной загрузки. Сложные проблемы вроде единого справочника клиентов (MDM) планируйте отдельным проектом.

Шаг 10. Закрепите результат

Аудит без продолжения быстро устаревает. Чтобы результат сохранился:

1. Превратите проверки из шагов 4–5 в автоматические и запускайте их по расписанию.
2. Настройте уведомления: о провале проверки должен узнать ответственный, а не руководитель из отчёта.
3. Назначьте владельцев данных для ключевых наборов — тех, кто принимает решения по правилам и спорным случаям.
4. Опишите порядок исправления ошибок: кто, в какой срок и в какой системе исправляет.

Это и есть первые шаги к Data Governance — системе, которая держит качество под контролем постоянно, а не от аудита до аудита.

Типичные ошибки

• Проверять всё сразу. Аудит растягивается на месяцы, а результата для бизнеса нет.
• Чинить данные вручную. Разовая чистка без устранения причины даёт эффект на несколько недель.
• Делать аудит силами одного ИТ. Без участия бизнеса нельзя договориться об определениях и оценить влияние.
• Не измерять исходный уровень. Если не зафиксировать, сколько было ошибок до изменений, потом не получится показать результат.

Итог

Хороший аудит качества данных отвечает на три вопроса: где проблемы, почему они возникают и что исправлять в первую очередь. Начните с нескольких ключевых отчётов, договоритесь об определениях, проверьте данные по измерениям качества и закрепите результат автоматическими проверками и ролями.

Если нужен взгляд со стороны, мы проводим аудит качества данных по этой схеме. Обычно он занимает около двух недель, а на выходе вы получаете карту проблем и план исправлений.