Как импортировать данные о транзакциях, имейл-кампаниях и кастомных событиях в Google BigQuery

В этой статье будут рассмотрены основные способы импорта данных из CRM/ERP-систем, сервисов email-рассылок и других онлайн- или офлайн-источников.

Импорт данных

Для импорта данных в Google BigQuery вы можете воспользоваться одним из указанных способов:

1. Загрузка файлов в формате CSV или JSON через интерфейс BigQuery или с помощью командной строки
2. SDK для .NET, .Java, PHP, Python
3. Готовые ETL приложения
4. ODBC-драйвер от CDATA
5. Загрузка данных из Google Sheets с помощью дополнения OWOX BI BigQuery Reports

Обратите внимание на кодировку и разделители Google BigQuery поддерживает кодировки UTF-8 (по умолчанию) и ISO-8859-1. В качестве разделителей поддерживаются запятая (по умолчанию) и таб.
Подробнее в документации Google.

Рекомендуемая структура таблицы

Для корректного импорта данных и дальнейшего их анализа, важно соблюдать рекомендованную структуру данных в таблицах Google BigQuery. Воспользуйтесь нашим руководством по определению схемы для необходимого вам типа данных:

• Данные из CRM
• Данные об email-кампаниях
• Данные о кастомных событиях

Загрузка данных вручную через веб-интерфейс Google BigQuery на примере данных о транзакциях

Мы рекомендуем загружать ваши данные о транзакциях с помощью первого способа — через веб-интерфейс Google BigQuery. Для этого вам необходимо собрать таблицу с данными в формате CSV, после чего загрузить её через интерфейс BigQuery согласно инструкции ниже.

1. Откройте веб-интерфейс Google BigQuery.
2. Создайте набор данных в вашем проекте Google BigQuery. Для этого выберите проект BigQuery в блоке Resources, затем, в окне справа кликните Create dataset:
3. В меню Create dataset впишите Dataset ID и выберите локацию для набора данных. Важно: локация должна быть той же, что и у остальных источников, с которыми вы хотите объединить эти данные в OWOX BI.
   Нажмите Create dataset:
   
4. Создайте новую таблицу. Для этого кликните на иконку со знаком плюс, которая расположена справа от названия набора данных:
5. В качестве источника выберите Upload, затем укажите локацию файла-источника данных, формат исходного файла (например, CSV) и введите название для таблицы в BigQuery (строка Table name):
6. В разделе Schema определите схему таблицы. Вы можете добавлять поля вручную кнопкой Add Field, используя эту схему данных, или просто нажать кнопку Edit as Text и вставить готовую схему в JSON-формате (ищите её под скриншотом ниже):Скопируйте схему в JSON-формате отсюда:

[ { "name": "user_id", "type": "STRING", "mode": "REQUIRED" }, { "name": "client_id", "type": "STRING", "mode": "NULLABLE" }, { "name": "user_phone", "type": "STRING", "mode": "NULLABLE" }, { "name": "user_email", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_id", "type": "STRING", "mode": "REQUIRED" }, { "name": "transaction_status", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_responsible", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_coupon", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_discount", "type": "FLOAT", "mode": "NULLABLE" }, { "name": "transaction_revenue", "type": "FLOAT", "mode": "NULLABLE" }, { "name": "transaction_currency", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_payment_type", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_delivery_type", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_delivery_service", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_delivery_time", "type": "INTEGER", "mode": "NULLABLE" }, { "name": "transaction_touchpoint", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_store_id", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_city", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_region", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_country", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_created", "type": "TIMESTAMP", "mode": "NULLABLE" }, { "name": "transaction_changed", "type": "TIMESTAMP", "mode": "NULLABLE" }, { "name": "product_id", "type": "STRING", "mode": "REQUIRED" }, { "name": "product_name", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_category", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_groupcategory1", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_groupcategory2", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_groupcategory3", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_brand", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_cogs", "type": "FLOAT", "mode": "NULLABLE" }, { "name": "product_quantity", "type": "INTEGER", "mode": "REQUIRED" }, { "name": "product_price", "type": "FLOAT", "mode": "REQUIRED" }, { "name": "promo_name", "type": "STRING", "mode": "NULLABLE" }, { "name": "promo_start", "type": "TIMESTAMP", "mode": "NULLABLE" }, { "name": "promo_end", "type": "TIMESTAMP", "mode": "NULLABLE" } ]

7. Нажмите Advanced settings и укажите расширенные настройки.

В частности, в поле Header rows to skip укажите 1, чтобы пропустить заглавный ряд — тогда таблица импортируется без ошибок.
Также, чтобы избежать ошибок при создании таблицы, здесь можно указать допустимое количество несоответствий между структурами данных загружаемого файла и указанной схемой таблицы — в строке Number of errors allowed:

После нажатия на Create Table таблица BigQuery будет создана и её можно будет использовать в качестве источника данных в OWOX BI Attribution и Smart Data: