Лекция «Качество данных»

Около 60 минут на 18 тем. Прогресс сохраняется, поэтому лекцию можно проходить частями и возвращаться к ней позже.

Начало — да: первые 1 тема открыты сразу, без регистрации. После бесплатной регистрации откроются темы до 2-й — вместе с частью из 51 теста и монетами за верные ответы. Полная лекция — 99 ₽ навсегда, либо подписка на все лекции платформы от 499 ₽ в месяц.

Восемнадцать тем о приёмке данных — шаге, который пропускают почти всегда. Отправная точка — разбор самой тиражируемой цифры отрасли: «12,9 млн долларов в год на организацию» (Gartner, 2020) получены опросом 154 референс-клиентов 16 вендоров решений для качества данных, каждый оценивал потери сам, и цитировать это как факт о бизнесе нельзя. Дальше — рабочий инструмент: паспорт датасета из девяти полей, который заполняется до первой сводной, а не после. Уникальность разделена на два измерения по своду DAMA NL, собравшему 127 определений из девяти источников и сведшему их к 60: дубль записи ловится ключом за минуту, дубль объекта не ловится ключом никогда — на выгрузке в 5 200 строк при 4 310 уникальных телефонах это 890 строк и 17,1% занижения CPL. Сведение записей разобрано по первоисточнику Fellegi и Sunter (1969): три решения вместо двух, ошибки ложного склеивания и ложного расщепления, веса m/u и правило «совпадение по редкому значению весит больше, чем по частому» — с оговоркой, что условная независимость полей в маркетинговых данных нарушена. Недействительный трафик разобран по трём документам: Imperva за 2024 год (51% автоматики, 37% плохих ботов) с запретом переносить долю на свой сайт, классификация MRC на GIVT и SIVT с показателем Decision Rate, справки Метрики и Директа. Ключевой факт: робот, определённый по поведению, по умолчанию остаётся в статистике Метрики, а всё, что антифрод удалил из отчётов Директа, продолжает лежать в CRM и в остальных срезах Метрики. Расхождения систем показаны как разница определений: четыре причины из справки Директа плюс несколько счётчиков и округление в интерфейсе против API; таймаут 30 минут у обеих систем при разных правилах старта визита и сеанса; оценка HLL++ против точного счёта в BigQuery, где пример самой справки GA4 (1463 против 1501) даёт 2,5% при заявленном пороге «менее 1%». Тихие обрезки названы числами: 500 000 визитов и 2 млн просмотров в Метрике, 10 млн событий в GA4, строка «(other)» при превышении лимита таблицы, пороговый объём данных, граница листа Excel в 1 048 576 строк и механизм автоматической типизации, измеренный на 35 175 файлах в работе Ziemann и соавторов 2016 года. Отдельно — потерянная атрибуция как потолок точности разреза по каналам, неслучайность пропусков (4% против 61% по соседнему разрезу) и требование точности данных, записанное в части 6 статьи 5 закона 152-ФЗ, со шкалой штрафов статьи 13.11 КоАП в редакции 420-ФЗ. Финал — двенадцать красных линий и карточка приёмки из семи проверок с правилом остановки: расхождение с деньгами больше 5% или покрытие периода меньше 80% — выводы не делаются.

Нет, и обещать это нельзя. Качество данных измеряется в долях, а не булевым значением: после семи проверок вы знаете, какая доля строк непригодна, какой процент визитов пришёл с неопознанным источником и на сколько выгрузка расходится с деньгами. Это не «чисто», это измерено. Разница практическая: измеренное качество позволяет назвать, какие выводы по данным делать можно, а какие нельзя, — и именно последняя строка отличает отчёт аналитика от сводной таблицы. Часть поломок при этом не чинится вовсе: расхождение Директа и Метрики устроено так по определению систем, и цель сверки — объяснённое расхождение в известных границах, а не совпадение.

Нет, и это принципиально. Отраслевых замеров с раскрытой методикой под такие нормативы не существует: доля плохих ботов 37% из отчёта Imperva относится к трафику, проходящему через сеть одного вендора, а не к вашему сайту, и переносить её нельзя. Единственный численный порог, который лекция даёт как правило, — правило остановки: расхождение с деньгами больше 5% или покрытие периода меньше 80%, дальше выводы не делаются. Всё остальное — пороги, которые вы измеряете на своих данных один раз и потом используете как внутренний норматив. Даже обещание вендора проверяется: справка GA4 обещает расхождение «менее 1%», а её собственный пример даёт 2,5%.