Как импортировать данные о транзакциях в Google BigQuery

Есть несколько способов импорта данных из CRM в Google BigQuery:

1. Загрузка файлов в формате CSV или JSON через интерфейс BigQuery или с помощью командной строки
2. Набор Python-скриптов от OWOX для автоматизации импорта данных в Google BigQuery с помощью Google Cloud Functions
3. SDK для .NET, .Java, PHP, Python
4. Готовые ETL приложения
5. ODBC-драйвер от CDATA
6. Загрузка данных из Google Sheets с помощью дополнения OWOX BI BigQuery Reports

Мы рекомендуем загружать ваши данные о транзакциях с помощью первого способа — через веб-интерфейс Google BigQuery. Далее в этой статье мы пошагово опишем этот процесс.

Обратите внимание на кодировку и разделители Google BigQuery поддерживает кодировки UTF-8 (по умолчанию) и ISO-8859-1. Как разделители поддерживаются запятая (по умолчанию) и таб.
Подробнее в документации Google.

Рекомендуемая структура таблицы

Для импорта в Google BigQuery данных о заказах, товарах и пользователях из CRM, ERP, либо другой внутренней системы учета, мы рекомендуем использовать таблицу Google BigQuery с такой структурой.

Загрузка данных вручную через веб-интерфейс Google BigQuery

Чтобы загрузить данные в Google BigQuery вручную, вам нужно собрать таблицу с данными в формате CSV и загрузить её в интерфейсе BigQuery.

1. Откройте веб-интерфейс Google BigQuery
2. Создайте набор данных в вашем проекте Google BigQuery. Для этого выберите проект BigQuery в блоке Resources, затем, в окне справа кликните Create dataset:
3. В меню Create dataset впишите Dataset ID и выберите локацию для набора данных. Важно: локация должна быть той же, что и у остальных источников, с которыми вы хотите объединить эти данные в OWOX BI.
   Нажмите Create dataset:
   
4. Создайте новую таблицу. Для этого кликните на иконку со знаком плюс, которая расположена справа от названия набора данных:
5. В качестве источника выберите Upload, затем укажите локацию файла-источника данных, формат исходного файла (например, CSV) и введите название для таблицы в BigQuery (строка Table name):
6. В разделе Schema определите схему таблицы. Вы можете добавлять поля вручную кнопкой Add Field, используя эту схему структуры данных, или просто нажать кнопку Edit as Text и вставить готовую схему в JSON-формате (ищите её под скриншотом ниже):Скопируйте схему в JSON-формате отсюда:

[ { "name": "user_id", "type": "STRING", "mode": "REQUIRED" }, { "name": "client_id", "type": "STRING", "mode": "NULLABLE" }, { "name": "user_phone", "type": "STRING", "mode": "NULLABLE" }, { "name": "user_email", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_id", "type": "STRING", "mode": "REQUIRED" }, { "name": "transaction_status", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_responsible", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_coupon", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_discount", "type": "FLOAT", "mode": "NULLABLE" }, { "name": "transaction_revenue", "type": "FLOAT", "mode": "NULLABLE" }, { "name": "transaction_currency", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_payment_type", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_delivery_type", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_delivery_service", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_delivery_time", "type": "INTEGER", "mode": "NULLABLE" }, { "name": "transaction_touchpoint", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_store_id", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_city", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_region", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_country", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_created", "type": "TIMESTAMP", "mode": "NULLABLE" }, { "name": "transaction_changed", "type": "TIMESTAMP", "mode": "NULLABLE" }, { "name": "product_id", "type": "STRING", "mode": "REQUIRED" }, { "name": "product_name", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_category", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_groupcategory1", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_groupcategory2", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_groupcategory3", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_brand", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_cogs", "type": "FLOAT", "mode": "NULLABLE" }, { "name": "product_quantity", "type": "INTEGER", "mode": "REQUIRED" }, { "name": "product_price", "type": "FLOAT", "mode": "REQUIRED" }, { "name": "promo_name", "type": "STRING", "mode": "NULLABLE" }, { "name": "promo_start", "type": "TIMESTAMP", "mode": "NULLABLE" }, { "name": "promo_end", "type": "TIMESTAMP", "mode": "NULLABLE" } ]

7. Нажмите Advanced settings и укажите расширенные настройки.

В частности, в поле Header rows to skip укажите 1, чтобы пропустить заглавный ряд — тогда таблица импортируется без ошибок.
Также, чтобы избежать ошибок при создании таблицы, здесь можно указать допустимое количество несоответствий между структурами данных загружаемого файла и указанной схемой таблицы — в строке Number of errors allowed:

После нажатия на Create Table таблица BigQuery будет создана и её можно будет использовать в качестве источника данных в OWOX BI Attribution и Smart Data: