Узнайте, как работает сквозная аналитика OWOX BI — запишитесь на демо

Как импортировать данные о транзакциях в Google BigQuery

Есть несколько способов импорта данных из CRM в Google BigQuery:

  1. Загрузка файлов в формате CSV или JSON через интерфейс BigQuery или с помощью командной строки
  2. Набор Python-скриптов от OWOX для автоматизации импорта данных в Google BigQuery с помощью Google Cloud Functions
  3. SDK для .NET, .Java, PHP, Python
  4. Готовые ETL приложения
  5. ODBC-драйвер от CDATA
  6. Загрузка данных из Google Sheets с помощью дополнения OWOX BI BigQuery Reports

Мы рекомендуем загружать ваши данные о транзакциях с помощью первого способа  через веб-интерфейс Google BigQuery. Далее в этой статье мы пошагово опишем этот процесс.

Обратите внимание на кодировку и разделители Google BigQuery поддерживает кодировки UTF-8 (по умолчанию) и ISO-8859-1. Как разделители поддерживаются запятая (по умолчанию) и таб.
Подробнее в документации Google.

Рекомендуемая структура таблицы

Для импорта в Google BigQuery данных о заказах, товарах и пользователях из CRM, ERP, либо другой внутренней системы учета, мы рекомендуем использовать таблицу Google BigQuery с такой структурой.

Загрузка данных вручную через веб-интерфейс Google BigQuery

Чтобы загрузить данные в Google BigQuery вручную, вам нужно собрать таблицу с данными в формате CSV и загрузить её в интерфейсе BigQuery.

  1. Откройте веб-интерфейс Google BigQuery
  2. Создайте набор данных в вашем проекте Google BigQuery. Для этого выберите проект BigQuery в блоке Resources, затем, в окне справа кликните Create dataset:Import_transactions_1.png
  3. В меню Create dataset впишите Dataset ID и выберите локацию для набора данных. Важно: локация должна быть той же, что и у остальных источников, с которыми вы хотите объединить эти данные в OWOX BI.
    Нажмите Create dataset:
    Import_transactions_2.png
  4. Создайте новую таблицу. Для этого кликните на иконку со знаком плюс, которая расположена справа от названия набора данных:Import_transactions_3.png
  5. В качестве источника выберите Upload, затем укажите локацию файла-источника данных, формат исходного файла (например, CSV) и введите название для таблицы в BigQuery (строка Table name):Import_transactions_4.png
  6. В разделе Schema определите схему таблицы. Вы можете добавлять поля вручную кнопкой Add Field, используя эту схему структуры данных, или просто нажать кнопку Edit as Text и вставить готовую схему в JSON-формате (ищите её под скриншотом ниже):Import_transactions_5.pngСкопируйте схему в JSON-формате отсюда:

7. Нажмите Advanced settings и укажите расширенные настройки.

В частности, в поле Header rows to skip укажите 1, чтобы пропустить заглавный ряд  тогда таблица импортируется без ошибок.
Также, чтобы избежать ошибок при создании таблицы, здесь можно указать допустимое количество несоответствий между структурами данных загружаемого файла и указанной схемой таблицы — в строке Number of errors allowed:Import_transactions_6.png

После нажатия на Create Table таблица BigQuery будет создана и её можно будет использовать в качестве источника данных в OWOX BI Attribution и Smart Data:Import_transactions_7.png

Была ли эта статья полезной?
Пользователи, считающие этот материал полезным: 0 из 0
Еще есть вопросы? Отправить запрос

0 Комментарии

Войдите в службу, чтобы оставить комментарий.