Переход на партиционированные таблицы в OWOX BI Attribution
C сегодняшнего дня результаты расчетов ваших моделей атрибуции сохраняются в партиционированные таблицы Google BigQuery.
Благодаря этому, с данными расчетов проще взаимодействовать при использовании SQL-запросов, а на обработку данных требуется меньше времени.
Зачем нужны партиционированные таблицы?
Раньше при каждом расчете атрибуции создавалась отдельная таблица, промаркированная крайней датой выбранного транзакционного окна. Например, values_20180531. Теперь, после перехода на партиционированные таблицы, данные расчетов хранятся в одной таблице, где весь объем данных разделен на части — партиции.
При обработке данных в такой таблице работа логически происходит с одной большой таблицей, при этом физически объем данных разделен на отдельные части по времени в колонке _PARTITIONTIME в формате TIMESTAMP. Это поле содержит дату сессий из поля time.
Если с предыдущей версией таблиц для обработки данных за определенный промежуток времени вы использовали table wildcard functions (TABLE_DATE_RANGE), то теперь в запросах вам необходимо указывать значение PARTITIONTIME.
Также в партиционированных таблицах гораздо удобнее обновлять и удалять записи. Если раньше необходимо было делать запрос для каждой таблицы, то для партиционированной таблицы нужен всего один запрос. Например, с помощью одного запроса можно удалить или анонимизировать данные пользователя в соответствии с требованиями GDPR.
Подробнее о запросах к партиционированным таблицам — в справке Google BigQuery.
Как происходит переход?
- В набор данных, в котором хранятся данные расчетов модели атрибуции, мы добавили партиционированную таблицу values и убрали из набора все view values_YYYYMM.
- В эту таблицу мы перенесли все существующие результаты расчетов в качестве отдельных партиций.
- До 1 августа 2018 мы будем дублировать результаты в таблицы старого формата, чтобы вы получали отчеты по SQL-запросам как обычно.
- С 1 августа результаты будут сохраняться только в партиционированную таблицу.
Изменение формата данных о CRM-транзакциях в OWOX BI Attribution
16 июля изменится формат данных о CRM-транзакциях, необходимый для подключения данных к OWOX BI Attribution.
До этого момента, если вы хотели атрибутировать ценность транзакций в Attribution и получать отчеты на основе данных из СRM-системы в Smart Data, то вам нужно было загрузить в Google BigQuery две таблицы с разной структурой данных.
Теперь мы унифицируем структуру данных для таблиц Attribution и Smart Data и вам будет достаточно создать одну таблицу в BigQuery и использовать её для всех сервисов OWOX BI. Она соответствует структуре, которая используется в Smart Data.
Что делать, если части данных для новой структуры нет или они не нужны?
В необходимой структуре данных всего несколько обязательных полей: user_id, client_id, transaction_id, transaction_revenue и transaction_created.
Остальные поля обязательно должны быть в таблице, но их значения можно оставить пустыми.
У меня уже есть модель с данными в старом формате. Она перестанет работать?
Нет, она продолжит работать как раньше. Менять источник не обязательно, но если у вас подключён источник в старом формате, то при попытке построить отчет в Smart Data на основе данных CRM, данные надо будет подключить в новом формате.
0 Комментарии