Узнайте, как работает сквозная аналитика OWOX BI — запишитесь на демо

Как импортировать данные о транзакциях в Google BigQuery

Есть несколько способов импорта данных из CRM в Google BigQuery:

  1. Загрузка файлов в формате CSV или JSON через интерфейс BigQuery или с помощью командной строки
  2. Набор Python-скриптов от OWOX для автоматизации импорта данных в Google BigQuery с помощью Google Cloud Functions
  3. SDK для .NET, .Java, PHP, Python
  4. Готовые ETL приложения
  5. ODBC-драйвер от CDATA
  6. Загрузка данных из Google Sheets с помощью дополнения OWOX BI BigQuery Reports

Мы рекомендуем загружать ваши данные о транзакциях с помощью первого способа  через веб-интерфейс Google BigQuery. Далее в этой статье мы пошагово опишем этот процесс.

Обратите внимание на кодировку и разделители Google BigQuery поддерживает кодировки UTF-8 (по умолчанию) и ISO-8859-1. Как разделители поддерживаются запятая (по умолчанию) и таб.
Подробнее в документации Google.

Рекомендуемая структура таблицы

Для импорта в Google BigQuery данных о заказах, товарах и пользователях из CRM, ERP, либо другой внутренней системы учета, мы рекомендуем использовать таблицу Google BigQuery с такой структурой.

Загрузка данных вручную через веб-интерфейс Google BigQuery

Чтобы загрузить данные в Google BigQuery вручную, вам нужно собрать таблицу с данными в формате CSV и загрузить её в интерфейсе BigQuery.

  1. Откройте веб-интерфейс Google BigQuery
  2. Создайте набор данных в вашем проекте Google BigQuery. Для этого кликните на иконку со стрелкой, которая расположена справа от названия проекта, затем выберите пункт Create new dataset:Create_dataset.png
  3. Создайте новую таблицу. Для этого кликните на иконку со знаком плюс, которая расположена справа от названия набора данных.
  • Отметьте пункт Create from source, затем укажите тип и место хранения источника данных (строка Location), формат исходного файла (например, CSV) и введите название для таблицы в BigQuery (строка Table name):Upload_table.png 
  • Определите схему таблицы. Вы можете добавлять поля вручную кнопкой Add Field, используя эту схему структуры данных, или просто нажать кнопку Edit as Text и вставить готовую схему в JSON-формате (ищите её под скриншотом ниже):Add_fields.png

Скопируйте схему в JSON-формате отсюда:

  • Укажите расширенные настройки.
    В частности в поле Header rows to skip укажите 1, чтобы пропустить заглавный ряд  тогда таблица импортируется без ошибок.
    Также здесь можно указать допустимое количество несоответствий между структурами данных загружаемого файла и указанной схемой таблицы — в строке Number of errors allowed:

    _________________2018-05-31_11-24-28.png

    После нажатия на Create Table таблица BigQuery будет создана и её можно будет использовать в качестве источника данных в OWOX BI Attribution и Smart Data.
Была ли эта статья полезной?
Пользователи, считающие этот материал полезным: 0 из 0
Еще есть вопросы? Отправить запрос

0 Комментарии

Войдите в службу, чтобы оставить комментарий.