Как импортировать данные о транзакциях в Google BigQuery

Есть несколько способов импорта данных из CRM в Google BigQuery:

1. Загрузка файлов в формате CSV или JSON через интерфейс BigQuery или с помощью командной строки
2. Набор Python-скриптов от OWOX для автоматизации импорта данных в Google BigQuery с помощью Google Cloud Functions
3. SDK для .NET, .Java, PHP, Python
4. Готовые ETL приложения
5. ODBC-драйвер от CDATA
6. Загрузка данных из Google Sheets с помощью дополнения OWOX BI BigQuery Reports

Мы рекомендуем загружать ваши данные о транзакциях с помощью первого способа — через веб-интерфейс Google BigQuery. Далее в этой статье мы пошагово опишем этот процесс.

Обратите внимание на кодировку и разделители Google BigQuery поддерживает кодировки UTF-8 (по умолчанию) и ISO-8859-1. Как разделители поддерживаются запятая (по умолчанию) и таб.
Подробнее в документации Google.

Рекомендуемая структура таблицы

Для импорта в Google BigQuery данных о заказах, товарах и пользователях из CRM, ERP, либо другой внутренней системы учета, мы рекомендуем использовать таблицу Google BigQuery с такой структурой.

Загрузка данных вручную через веб-интерфейс Google BigQuery

Вы также можете загрузить данные вручную. Для этого вам нужно собрать таблицу с данными в формате CSV и загрузить её в интерфейсе BigQuery.

1. Откройте веб-интерфейс Google BigQuery
2. Создайте набор данных в вашем проекте Google BigQuery. Для этого кликните на иконку со стрелкой, которая расположена справа от названия проекта, затем выберите пункт Create new dataset:
3. Создайте новую таблицу. Для этого кликните на иконку со знаком плюс, которая расположена справа от названия набора данных.

• Отметьте пункт Create from source, затем укажите тип и место хранения источника данных (строка Location), формат исходного файла (например, CSV) и введите название для таблицы в BigQuery (строка Table name): 

• Определите схему таблицы. Вы можете добавлять поля вручную кнопкой Add Field, используя эту схему структуры данных, или просто нажать кнопку Edit as Text и вставить готовую схему в JSON-формате (ищите её под скриншотом ниже):

Скопируйте схему в JSON-формате отсюда:

[ { "name": "user_id", "type": "STRING", "mode": "REQUIRED" }, { "name": "client_id", "type": "STRING", "mode": "NULLABLE" }, { "name": "user_phone", "type": "STRING", "mode": "NULLABLE" }, { "name": "user_email", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_id", "type": "STRING", "mode": "REQUIRED" }, { "name": "transaction_status", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_responsible", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_coupon", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_discount", "type": "FLOAT", "mode": "NULLABLE" }, { "name": "transaction_revenue", "type": "FLOAT", "mode": "NULLABLE" }, { "name": "transaction_currency", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_payment_type", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_delivery_type", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_delivery_service", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_delivery_time", "type": "INTEGER", "mode": "NULLABLE" }, { "name": "transaction_touchpoint", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_store_id", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_city", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_region", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_country", "type": "STRING", "mode": "NULLABLE" }, { "name": "transaction_created", "type": "TIMESTAMP", "mode": "NULLABLE" }, { "name": "transaction_changed", "type": "TIMESTAMP", "mode": "NULLABLE" }, { "name": "product_id", "type": "STRING", "mode": "REQUIRED" }, { "name": "product_name", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_category", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_groupcategory1", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_groupcategory2", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_groupcategory3", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_brand", "type": "STRING", "mode": "NULLABLE" }, { "name": "product_cogs", "type": "FLOAT", "mode": "NULLABLE" }, { "name": "product_quantity", "type": "INTEGER", "mode": "REQUIRED" }, { "name": "product_price", "type": "FLOAT", "mode": "REQUIRED" }, { "name": "promo_name", "type": "STRING", "mode": "NULLABLE" }, { "name": "promo_start", "type": "TIMESTAMP", "mode": "NULLABLE" }, { "name": "promo_end", "type": "TIMESTAMP", "mode": "NULLABLE" } ]

• Укажите расширенные настройки.
  В частности в поле Header rows to skip укажите 1, чтобы пропустить заглавный ряд — тогда таблица импортируется без ошибок.
  Также здесь можно указать допустимое количество несоответствий между структурами данных загружаемого файла и указанной схемой таблицы — в строке Number of errors allowed:

  

  После нажатия на Create Table таблица BigQuery будет создана и её можно будет использовать в качестве источника данных в OWOX BI Attribution и Smart Data.