Есть несколько способов импорта данных из CRM в Google BigQuery:
- Загрузка файлов в формате CSV или JSON через интерфейс BigQuery или с помощью командной строки
- Набор Python-скриптов от OWOX для автоматизации импорта данных в Google BigQuery с помощью Google Cloud Functions
- SDK для .NET, .Java, PHP, Python
- Готовые ETL приложения
- ODBC-драйвер от CDATA
- Загрузка данных из Google Sheets с помощью дополнения OWOX BI BigQuery Reports
Мы рекомендуем загружать ваши данные о транзакциях с помощью первого способа — через веб-интерфейс Google BigQuery. Далее в этой статье мы пошагово опишем этот процесс.
Обратите внимание на кодировку и разделители Google BigQuery поддерживает кодировки UTF-8 (по умолчанию) и ISO-8859-1. Как разделители поддерживаются запятая (по умолчанию) и таб.
Подробнее в документации Google.
Рекомендуемая структура таблицы
Для импорта в Google BigQuery данных о заказах, товарах и пользователях из CRM, ERP, либо другой внутренней системы учета, мы рекомендуем использовать таблицу Google BigQuery с такой структурой.
Загрузка данных вручную через веб-интерфейс Google BigQuery
Чтобы загрузить данные в Google BigQuery вручную, вам нужно собрать таблицу с данными в формате CSV и загрузить её в интерфейсе BigQuery.
- Откройте веб-интерфейс Google BigQuery
- Создайте набор данных в вашем проекте Google BigQuery. Для этого выберите проект BigQuery в блоке Resources, затем, в окне справа кликните Create dataset:
- В меню Create dataset впишите Dataset ID и выберите локацию для набора данных. Важно: локация должна быть той же, что и у остальных источников, с которыми вы хотите объединить эти данные в OWOX BI.
Нажмите Create dataset:
- Создайте новую таблицу. Для этого кликните на иконку со знаком плюс, которая расположена справа от названия набора данных:
- В качестве источника выберите Upload, затем укажите локацию файла-источника данных, формат исходного файла (например, CSV) и введите название для таблицы в BigQuery (строка Table name):
- В разделе Schema определите схему таблицы. Вы можете добавлять поля вручную кнопкой Add Field, используя эту схему структуры данных, или просто нажать кнопку Edit as Text и вставить готовую схему в JSON-формате (ищите её под скриншотом ниже):
Скопируйте схему в JSON-формате отсюда:
7. Нажмите Advanced settings и укажите расширенные настройки.
В частности, в поле Header rows to skip укажите 1, чтобы пропустить заглавный ряд — тогда таблица импортируется без ошибок.
Также, чтобы избежать ошибок при создании таблицы, здесь можно указать допустимое количество несоответствий между структурами данных загружаемого файла и указанной схемой таблицы — в строке Number of errors allowed:
После нажатия на Create Table таблица BigQuery будет создана и её можно будет использовать в качестве источника данных в OWOX BI Attribution и Smart Data:
0 Комментарии