3 июля 2018 — OWOX BI Attribution. Переход на партиционированные таблицы и новый формат данных о CRM-транзакциях

Переход на партиционированные таблицы в OWOX BI Attribution

C сегодняшнего дня результаты расчетов ваших моделей атрибуции сохраняются в партиционированные таблицы Google BigQuery.

Благодаря этому, с данными расчетов проще взаимодействовать при использовании SQL-запросов, а на обработку данных требуется меньше времени.

Зачем нужны партиционированные таблицы?

Раньше при каждом расчете атрибуции создавалась отдельная таблица, промаркированная крайней датой выбранного транзакционного окна. Например, values_20180531. Теперь, после перехода на партиционированные таблицы, данные расчетов хранятся в одной таблице, где весь объем данных разделен на части — партиции.

При обработке данных в такой таблице работа логически происходит с одной большой таблицей, при этом физически объем данных разделен на отдельные части по времени в колонке _PARTITIONTIME в формате TIMESTAMP. Это поле содержит дату сессий из поля time.

Если с предыдущей версией таблиц для обработки данных за определенный промежуток времени вы использовали table wildcard functions (TABLE_DATE_RANGE), то теперь в запросах вам необходимо указывать значение PARTITIONTIME.

Также в партиционированных таблицах гораздо удобнее обновлять и удалять записи. Если раньше необходимо было делать запрос для каждой таблицы, то для партиционированной таблицы нужен всего один запрос. Например, с помощью одного запроса можно удалить или анонимизировать данные пользователя в соответствии с требованиями GDPR.

Подробнее о запросах к партиционированным таблицам — в справке Google BigQuery.

Как происходит переход?

• В набор данных, в котором хранятся данные расчетов модели атрибуции, мы добавили партиционированную таблицу values и убрали из набора все view values_YYYYMM.
• В эту таблицу мы перенесли все существующие результаты расчетов в качестве отдельных партиций.
• До 1 августа 2018 мы будем дублировать результаты в таблицы старого формата, чтобы вы получали отчеты по SQL-запросам как обычно.
• С 1 августа результаты будут сохраняться только в партиционированную таблицу.

Изменение формата данных о CRM-транзакциях в OWOX BI Attribution

16 июля изменится формат данных о CRM-транзакциях, необходимый для подключения данных к OWOX BI Attribution.

До этого момента, если вы хотели атрибутировать ценность транзакций в Attribution и получать отчеты на основе данных из СRM-системы в Smart Data, то вам нужно было загрузить в Google BigQuery две таблицы с разной структурой данных.

Теперь мы унифицируем структуру данных для таблиц Attribution и Smart Data и вам будет достаточно создать одну таблицу в BigQuery и использовать её для всех сервисов OWOX BI. Она соответствует структуре, которая используется в Smart Data.

Что делать, если части данных для новой структуры нет или они не нужны?

В необходимой структуре данных всего несколько обязательных полей: user_id, transaction_id, transaction_revenue и transaction_created.

Остальные поля обязательно должны быть в таблице, но их значения можно оставить пустыми.

У меня уже есть модель с данными в старом формате. Она перестанет работать?

Нет, она продолжит работать как раньше. Менять источник не обязательно, но если у вас подключён источник в старом формате, то при попытке построить отчет в Smart Data на основе данных CRM, данные надо будет подключить в новом формате.