21 марта 2018 — OWOX BI Pipeline. Изменение времени загрузки данных о расходах в BigQuery

C 26 марта 2018 года мы изменим время начала загрузки данных о расходах в следующих потоках:

• Google Analytics Cost Data → Google BigQuery
• Google Analytics User Behaviour Data → Google BigQuery (расчет полей trafficSource.adCost, trafficSource.attributedAdCost, сессионные таблицы будут созданы в обычное время)

На данный момент загрузка данных о расходах из Google Analytics начинается в 5 утра по временной зоне представления Google Analytics.

Начиная с понедельника, 26 марта, загрузка данных о расходах в BigQuery будет начинаться в 10 утра по временной зоне представления Google Analytics.

Для чего делается изменение?

В некоторых рекламных сервисах, расходы по которым загружаются в Google Analytics через потоки OWOX BI, данные становятся доступны лишь после 8 утра, в связи с чем задерживается их загрузка в Google Analytics, а впоследствии и в BigQuery.

При этом, в части ситуаций данные могут присутствовать в Google Analytics и отсутствовать в BigQuery, например:

1. Рекламный сервис предоставляет данные после 08:00 утра;
2. Импорт данных в BQ начинается в 5 часов утра и обычно занимает 1-2 часа;
3. Мы обновляем статистику расходов по каждому рекламному сервису за последние 7-21 день в зависимости от плана;
4. При обновлении статистики мы удаляем из GA ранее загруженный файл с данными о расходах.

При таком процессе момент загрузки данных в BigQuery и время удаления файлов может совпадать, таким образом актуальные данные попадут в таблицы только спустя несколько дней после повторных обновлений.

Изменение времени загрузки данных о расходах позволит получать более точные и своевременные данные в Google Analytics и Google BigQuery.