Как импортировать данные о транзакциях, имейл-кампаниях и кастомных событиях в Google BigQuery

В этой статье будут рассмотрены основные способы импорта данных из CRM/ERP-систем, сервисов email-рассылок и других онлайн- или офлайн-источников.

Импорт данных

Для импорта данных в Google BigQuery вы можете воспользоваться одним из указанных способов:

  1. Загрузка файлов в формате CSV или JSON через интерфейс BigQuery или с помощью командной строки
  2. SDK для .NET, .Java, PHP, Python
  3. Готовые ETL приложения
  4. ODBC-драйвер от CDATA
  5. Загрузка данных из Google Sheets с помощью дополнения OWOX BI BigQuery Reports

Обратите внимание на кодировку и разделители Google BigQuery поддерживает кодировки UTF-8 (по умолчанию) и ISO-8859-1. В качестве разделителей поддерживаются запятая (по умолчанию) и таб.
Подробнее в документации Google.

Рекомендуемая структура таблицы

Для корректного импорта данных и дальнейшего их анализа, важно соблюдать рекомендованную структуру данных в таблицах Google BigQuery. Воспользуйтесь нашим руководством по определению схемы для необходимого вам типа данных:

Загрузка данных вручную через веб-интерфейс Google BigQuery на примере данных о транзакциях

Мы рекомендуем загружать ваши данные о транзакциях с помощью первого способа  через веб-интерфейс Google BigQuery. Для этого вам необходимо собрать таблицу с данными в формате CSV, после чего загрузить её через интерфейс BigQuery согласно инструкции ниже.

  1. Откройте веб-интерфейс Google BigQuery.
  2. Создайте набор данных в вашем проекте Google BigQuery. Для этого выберите проект BigQuery в блоке Resources, затем, в окне справа кликните Create dataset:Import_transactions_1.png
  3. В меню Create dataset впишите Dataset ID и выберите локацию для набора данных. Важно: локация должна быть той же, что и у остальных источников, с которыми вы хотите объединить эти данные в OWOX BI.
    Нажмите Create dataset:
    Import_transactions_2.png
  4. Создайте новую таблицу. Для этого кликните на иконку со знаком плюс, которая расположена справа от названия набора данных:Import_transactions_3.png
  5. В качестве источника выберите Upload, затем укажите локацию файла-источника данных, формат исходного файла (например, CSV) и введите название для таблицы в BigQuery (строка Table name):Import_transactions_4.png
  6. В разделе Schema определите схему таблицы. Вы можете добавлять поля вручную кнопкой Add Field, используя эту схему данных, или просто нажать кнопку Edit as Text и вставить готовую схему в JSON-формате (ищите её под скриншотом ниже):Import_transactions_5.pngСкопируйте схему в JSON-формате отсюда:

7. Нажмите Advanced settings и укажите расширенные настройки.

В частности, в поле Header rows to skip укажите 1, чтобы пропустить заглавный ряд  тогда таблица импортируется без ошибок.
Также, чтобы избежать ошибок при создании таблицы, здесь можно указать допустимое количество несоответствий между структурами данных загружаемого файла и указанной схемой таблицы — в строке Number of errors allowed:Import_transactions_6.png

После нажатия на Create Table таблица BigQuery будет создана и её можно будет использовать в качестве источника данных в OWOX BI Attribution и Smart Data:Import_transactions_7.png

Была ли эта статья полезной?
Пользователи, считающие этот материал полезным: 0 из 0
Еще есть вопросы? Отправить запрос

0 Комментарии

Войдите в службу, чтобы оставить комментарий.