Статистика цифровых следов: как большие данные меняют официальную статистику?
Сегодня данные дают не только анкеты, но и телефон, платёжный терминал и спутник. Статистическая комиссия ООН в 2014 году создала отдельную группу для использования этих «больших данных» в официальной статистике.
Вавилонский писец писал на глиняной табличке, Граунт собирал церковные бюллетени, Гэллап отправлял опросчиков по домам. А сегодня каждый платёж картой, каждый сигнал телефона и каждая онлайн-покупка оставляют след. Новая эпоха статистики начинается с этих следов.
- Что такое «большие данные»? Это огромные объёмы данных, которые собираются сами собой не специально для статистики, а для других целей: записи платёжных систем, данные мобильной связи, цены интернет-магазинов, спутниковые снимки.
- Решение ООН. Статистическая комиссия ООН на 45-й сессии в марте 2014 года (решение 45/110) одобрила создание глобальной рабочей группы по большим данным для официальной статистики. Первое заседание группы состоялось в октябре 2014 года в Пекине.
- Принципы не меняются. Комиссия потребовала увязать мандат группы с Основополагающими принципами официальной статистики. Эти принципы Статистическая комиссия ООН приняла в 1994 году, а в 2014 году их одобрила Генеральная Ассамблея ООН резолюцией 68/261. В документах группы записано, что эти принципы безусловно действуют и при использовании частных данных.
- Трудности. Как получить доступ к данным частной компании, как сохранить неприкосновенность частной жизни, отражают ли данные всё население: это вопросы, которые всё ещё обсуждаются.
- Урок 1936 года снова актуален. Большой объём не гарантирует точности. Если данные поступают только от владельцев смартфонов, те, у кого смартфона нет, остаются «невидимыми»: точно как в опросе, составленном по телефонному справочнику.
- Новый и старый метод вместе. Поэтому статистические ведомства опробуют большие данные не вместо традиционных обследований и переписей, а как источник, который их дополняет и ускоряет.
Пример (составлен автором, условные цифры). Отдел статистики города «Бахор» наблюдает за ценой хлеба.
| Метод | Охват | Когда готов результат | Сильная сторона | Слабая сторона |
|---|---|---|---|---|
| Учётчик обходит магазины | 40 магазинов | В конце месяца | Точно и проверено | Медленно, охват мал |
| Данные касс (чеков) | 1 200 торговых точек | Каждый день | Быстро и широко | Выпадают рыночные прилавки без касс |
Если оба метода показывают, что хлеб подорожал с 4 000 до 4 200 сумов, темп роста: 4 200 ÷ 4 000 × 100% = 105%, то есть рост на 5%. Если два источника подтверждают друг друга, доверие к числу растёт. Если выявляется расхождение, статистик ищет причину: именно эта проверка и отличает статистику от просто «больших чисел».
1980-е, 2000-е и сегодня (общая картина, обобщение автора).
| Аспект | 1980-е | 2000-е | Сегодня |
|---|---|---|---|
| Сбор данных | Бумажная анкета, опросчик ходит по домам | Анкета, вводимая в компьютер, электронная отчётность | Онлайн-опрос, реестры, кассовые и мобильные данные |
| Средство расчёта | Большие (центральные) компьютеры, калькулятор | Персональный компьютер и статистические программы | Облачные вычисления и инструменты больших данных |
| Скорость готовности результата | Месяцы, иногда годы | Недели, месяцы | Некоторые показатели в течение дней |
| Главный риск | Медлительность и ошибки ручного ввода | Несогласованность баз данных | Нерепрезентативные данные и неприкосновенность частной жизни |
Смотрите также
Источники
- Статистическая комиссия ООН, 45-я сессия (2014), решение 45/110 · создание глобальной рабочей группы по большим данным для официальной статистики
- UN Global Working Group on Big Data: Terms of Reference (2015) · мандат группы и его связь с Основополагающими принципами официальной статистики
- Доклад Генерального секретаря ООН "Big data for official statistics" (2016) · первое заседание в октябре 2014 года в Пекине
- Резолюция Генеральной Ассамблеи ООН 68/261: Основополагающие принципы официальной статистики (2014) · принципы приняты Статистической комиссией в 1994 году
- Пример · составлен автором, условные цифры