Получите 14 дней бесплатного доступа ко всем возможностям OWOX BI

Расхождения данных о поведении пользователей между Google Analytics и OWOX BI: причины и варианты решения

Поток Google Analytics → Google BigQuery загружает данные о поведении пользователей сайта параллельно отслеживанию Google Analytics и использует для этого собственные алгоритмы, которые позволяют собрать все без исключений и ограничений данные о событиях на сайте.

В результате, в вашем хранилище BigQuery оказываются данные, которые Google Analytics из-за своих ограничений может упустить или применить к ним выборку. Подобные расхождения — допустимы и говорят только о том, что у вас в BigQuery есть больше актуальных данных, чем в Google Analytics.

Но причиной расхождений могут быть и неправильные настройки в источниках данных. Эти причины нужно выявить и устранить, чтобы данные в BigQuery были качественными и полными.
В этой статье мы собрали чеклист всех известных нам причин расхождений. Следуя ему, вы можете самостоятельно проверить и исправить большинство неожидаемых расхождений.

Как обнаружить расхождения в данных

OWOX BI автоматически отслеживает расхождения между данными о поведении пользователей сайта, которые загружены потоком Google Analytics → Google BigQuery с данными в вашем представлении Google Analytics.

Эта статистика, включая время последнего обновления данных в каждом из сервисов, доступна во вкладке Сессии на странице вашего потока:Session_data_discrepancy_ru.png

Вы также можете обнаружить расхождения вручную, сравнивая отчеты в Google Analytics и отчеты на основе данных, загруженных в Google BigQuery. Этот способ позволит вам получить актуальные данные о расхождениях, если данные в интерфейсе OWOX BI ещё не успели обновиться.

Вот несколько примеров запросов на standard SQL, которые вы можете ввести в Google BigQuery и сравнить их с данными в Google Analytics. Скопируйте запрос и замените в `Project.Dataset.owoxbi_sessions_20190821`: Project — название проекта в Google BigQuery, Dataset — название набора данных в проекте, owoxbi_sessions_20190909 — название таблицы за определенный день в формате «год-месяц-день».

Запрос на количество просмотров страниц в рамках одного дня:

  SELECT
COUNT (DISTINCT hits.hitId) pageviews
FROM
`Project.Dataset.owoxbi_sessions_20190821`, UNNEST (hits) hits
WHERE hits.type = 'pageview'

В Google Analytics эти данные можно посмотреть в отчёте Аудитория>Обзор (Audience>Overview). Не забудьте выбрать нужный вам день для отчета.

Запрос на количество событий за определённый день:

SELECT
COUNT (DISTINCT hits.hitId) events
FROM
`Project.Dataset.owoxbi_sessions_20190821`,
UNNEST (hits) hits
WHERE
hits.type = 'event'

В Google Analytics эти данные можно посмотреть в отчёте Поведение>События>Обзор (Behavior> Events>Overview). Не забудьте выбрать нужный вам день для отчета.

Запрос на количество транзакций за определенный день:

SELECT
COUNT (hits.transaction.transactionId) transactions
FROM
`Project.Dataset.owoxbi_sessions_20190821`,
UNNEST (hits) hits
WHERE
hits.eCommerceAction.action_type ='purchase'

В Google Analytics эти данные можно посмотреть в отчёте Конверсии>Электронная торговля>Обзор (Conversions>Ecommerce>Overview). Не забудьте выбрать нужный вам день для отчета.

Когда стоит обратить внимание на расхождения

Допустимый предел расхождений данных между OWOX BI и Google Analytics:

  • для данных о хитах — не более 2%
  • для данных о сессиях — не более 3,5%

Расхождения больше этих пределов ожидаемы в таких случаях:

  • Если данных о хитах, обработанных OWOX BI — больше, чем в Google Analytics. Для OWOX BI не действуют ограничения Google Analytics, а максимальный размер передаваемого хита — в два раза больше.
  • Если сессий, сформированных алгоритмом OWOX BI, — больше, чем в Google Analytics. Сессии рассчитываются на основании сырых данных о хитах. Если из-за отсутствия ограничений OWOX BI обработал больше хитов, которые привели к новым сессиям, то и OWOX BI сформирует дополнительные сессии, которые упустил Google Analytics.

В остальных случаях расхождений — стоит выяснить их причину и исправить её, если это возможно. Также помните, что вы можете написать на bi@owox.com или в онлайн-чат, и мы поможем разобраться со всеми возникшими сложностями.

Возможные причины расхождений в данных о хитах

Настройки Google Analytics и Google Tag Manager

  • Убедитесь, что в представлении Google Analytics, которое вы указали при настройке потока OWOX BI, нет фильтров. Данные, которые исключены этими фильтрами в Google Analytics, все равно попадут в Google BigQuery, что приведет к ожидаемым расхождениям. Как управлять фильтрами представления — читайте в справке Google Analytics.
  • Если настройку часового пояса в представлении Google Analytics, которое вы указали при настройке потока, изменить после создания потока, то данные в представлении GA скорректируются под изменение настроек. А вот данные, которые уже загружены в BigQuery — не изменятся ретроспективно и останутся в таблицах за те же даты. Это повлияет на подсчет расхождений.
  • Если у вас настроено отслеживание OWOX BI с помощью customTask, убедитесь, что переменная customTask добавлена в каждый из тегов Universal Analytics, по которым вы хотите отправлять данные в BigQuery: Custom_task_tags_ru.png
    Обратите внимание: это самый распространенный случай расхождений.
  • Убедитесь, что на вашем сайте не установлено два метода отслеживания параллельно. Например, вы настроили отслеживание, установив контейнер GTM с customTask, но не убрали с отслеживаемых страниц gtag.js.
    Чтобы это проверить, откройте сайт в браузере Google Chrome и вызовите консоль (клик правой кнопкой > Просмотреть код / Inspect element). В консоли, в разделе Elements нажмите Ctrl+F (cmd+F для Mac), чтобы вызвать строку поиска, затем найдите код отслеживания по таким ключам: GTM / analytics.js / gtag.js. Убедитесь, что код с этими ключами не повторяется.
  • Убедитесь, что в контейнере Google Tag Manager, который вы используете для сбора данных в BigQuery, — только один customTask, функция которого — отправлять хиты на точку доступа OWOX BI. Любой дополнительный customTask будет конфликтовать с ранее добавленным и перезаписывать его функцию. В нашем случае — отправку данных о событиях в Google BigQuery.

Использование Measurement Protocol 

Чтобы исключить расхождения при использовании Measurement Protocol для передачи хитов, проверьте, что:

  • Все данные, которые вы отправляете в Google Analytics с помощью Measurement Protocol, дублируются также на точку доступа google-analytics.bi.owox.com.
  • В запросе указывается GET-параметр tid.
  • Если есть задержка между фактическим временем совершения хита и его отправкой, настройте передачу параметра &qt (queue time, время ожидания).

Подробнее об отслеживании с помощью Measurement Protocol в OWOX BI.

Ограничения Google Analytics

Код отслеживания OWOX BI для потока данных о поведении пользователей Google Analytics → Google BigQuery собирает в BigQuery данные о событиях прямо с сайта — в момент совершения пользователем действия. После этого — отправляет их на выделенную точку доступа OWOX BI. Это происходит параллельно отправке этих же хитов кодом отслеживания Google Analytics на точку доступа GA.

Поэтому на хиты, собранные OWOX BI, не распространяются ограничения Google Analytics:

  • 200 тыс. хитов на пользователя/сутки
  • 10 млн. хитов/месяц
  • 500 хитов/сессию

Максимальный размер хита, который может принять точка доступа OWOX BI — 16 КБ. Это в два раза больше, чем может принять Google Analytics. Это значит, что поток OWOX BI может загрузить в BigQuery больше событий.

Из-за этих различий вы можете наблюдать ожидаемые расхождения. Зачастую — это нормально, ведь алгоритм OWOX BI собирает точные и полные данные о поведении пользователей, в то время, как Google Analytics может отфильтровать часть ценной информации.

Возможные причины расхождений в данных о сессиях

Настройки Google Analytics и Google Tag Manager

  • Как и в случае с данными о хитах, убедитесь, что в представлении Google Analytics, которое вы указали при настройке потока OWOX BI, нет фильтров. Данные, которые исключены этими фильтрами в Google Analytics, все равно попадут в Google BigQuery, что приведет к расхождениям.
  • Если настройку часового пояса и в представлении Google Analytics, которое вы указали при настройке потока, изменить после создания потока, то сессии в GA могут ретроспективно попасть в другие дни — в соответствии с под изменениями настроек часового пояса. А вот сессии, которые уже сформировались в таблицах BigQuery за определенные даты — в них же и останутся. В результате вы получите расхождения в сессиях.
  • Если в Google Analytics у вас есть список исключаемых источников перехода, то его нужно продублировать и в настройках сбора данных о сессиях в OWOX BI. Иначе есть вероятность, что в BigQuery окажется больше сессий, потому что их источники, исключенные в Google Analytics, не были исключены в потоке OWOX BI.
  • Google Analytics автоматически фильтрует трафик от ботов, исключая сессии, начатые различными ботами. Так как особенность OWOX BI — собирать в Google BigQuery все данные о событиях на сайте как есть, то сессии, спровоцированные ботами, могут повлиять на расхождения в прямом трафике между Google Analytics и OWOX BI. Грядущие обновления OWOX BI позволят отличать качественные сессии от сессий, начатых ботами — следите за новостями :)

Использование Measurement Protocol

Чтобы исключить попадание хитов в разные сессии для GA и OWOX BI при использовании Measurement Protocol, учтите что:

  • Все данные, которые вы отправляете в Google Analytics c помощью Measurement Protocol, должны быть отправлены также и на точку доступа google-analytics.bi.owox.com.
  • При отправке параметра &qt со значением больше, чем 4 часа, событие не попадет в Google Analytics, что приведет к расхождению между данными OWOX BI и Google Analytics — в OWOX BI попадет больше данных, так как наш алгоритм позволяет учитывать к сессиям хиты с задержкой до 30 дней.
    Указывайте значение &qt больше, чем 4 часа только в случае, если вам необходимо, чтобы события, отправленные через Measurement Protocol, попали в сессию, в которой они были совершены. Подробнее об отслеживании с помощью Measurement Protocol.

Возможные причины расхождений в данных о затратах на рекламные кампании

Отсутствие нужных меток объявлений в рекламных сервисах

Данные о расходах на рекламу из рекламных сервисов загружаются в Google Analytics с помощью потоков данных о расходах. После этого поток Google Analytics Cost Data → Google BigQuery загружает эти данные в таблицы с данными о сессиях.

Общая стоимость сессий распределяется равномерно по всем сессиям с utm-метками source, medium, campaign, keyword и content и записывается в поля adCost или attributedAdCost.

При этом расхождения между данными в отчетах Google Analytics и данными в таблицах Google BigQuery могут проявиться, если в объявлении в рекламном сервисе не были указаны нужные utm-метки.

  • Обязательно укажите source, medium, campaign, keyword и content для всех ваших рекламных объектов, чтобы расходы были атрибутированы корректно при загрузке в Google BigQuery.
  • Для того, чтобы OWOX BI атрибутировал расходы на рекламу, в рекламных объявлениях должны обязательно быть указаны метки для source/medium. Без этого минимума расходы не будут атрибутированы на сессию и не попадут в таблицы с данными о сессиях в BigQuery.
  • Если вы уверены в том, что в рекламном сервисе для объявления указаны все нужные utm-метки, но все равно видите расхождения — пишите нам на bi@owox.com и мы разберемся, как устранить эти расхождения (доступно только для платных тарифов Basic, Business и Enterprise).

Особенности обработки данных о расходах рекламными сервисами

Данные о расходах в рекламном кабинете Яндекс.Маркет становятся доступны для выгрузки только после 8 утра — это позже, чем в других рекламных сервисах. Поэтому если вы видите расхождения и среди ваших данных есть расходы на рекламу Яндекс.Маркет — проверьте процент расхождений через несколько часов. Вероятно, что к этому времени недостающие данные загрузятся.

Особенности обновления данных кампаний Google Ads с авторазметкой

Даже если сбор данных кампаниях Google Ads с авторазметкой настроен верно, всё равно возможна ситуация, когда данные о кампаниях Google Ads в таблице owoxbi_sessions не совпадают с данными в Google Analytics или отсутствуют.

Это происходит, когда данные в таблице-источнике обновились после того, как закончилось обновление данных в таблице owoxbi_sessions. В этом случае данные не теряются — OWOX BI обязательно загрузит их при следующем обновлении.

Обновления происходят каждый день и максимально могут длиться с 6:00 до 14:00 и с 18:00 до 2:00. За это время OWOX BI проверяет и обновляет данные в таблице owoxbi_sessions несколько раз — чтобы удостовериться, что все новые данные Google Ads попали в таблицу с данными о сессиях.

Поэтому рекомендуем проверять расхождения в периоды между обновлениями — тогда в Google BigQuery будут собраны максимально полные данные.

Была ли эта статья полезной?
Пользователи, считающие этот материал полезным: 0 из 0
Еще есть вопросы? Отправить запрос

0 Комментарии

Войдите в службу, чтобы оставить комментарий.