В этой статье будут рассмотрены основные способы импорта данных из CRM/ERP-систем, сервисов email-рассылок и других онлайн- или офлайн-источников.
Импорт данных
Для импорта данных в Google BigQuery вы можете воспользоваться одним из указанных способов:
- Загрузка файлов в формате CSV или JSON через интерфейс BigQuery или с помощью командной строки
- SDK для .NET, .Java, PHP, Python
- Готовые ETL приложения
- ODBC-драйвер от CDATA
- Загрузка данных из Google Sheets с помощью дополнения OWOX BI BigQuery Reports
Обратите внимание на кодировку и разделители Google BigQuery поддерживает кодировки UTF-8 (по умолчанию) и ISO-8859-1. В качестве разделителей поддерживаются запятая (по умолчанию) и таб.
Подробнее в документации Google.
Рекомендуемая структура таблицы
Для корректного импорта данных и дальнейшего их анализа, важно соблюдать рекомендованную структуру данных в таблицах Google BigQuery. Воспользуйтесь нашим руководством по определению схемы для необходимого вам типа данных:
Загрузка данных вручную через веб-интерфейс Google BigQuery на примере данных о транзакциях
Мы рекомендуем загружать ваши данные о транзакциях с помощью первого способа — через веб-интерфейс Google BigQuery. Для этого вам необходимо собрать таблицу с данными в формате CSV, после чего загрузить её через интерфейс BigQuery согласно инструкции ниже.
- Откройте веб-интерфейс Google BigQuery.
- Создайте набор данных в вашем проекте Google BigQuery. Для этого выберите проект BigQuery в блоке Resources, затем, в окне справа кликните Create dataset:
- В меню Create dataset впишите Dataset ID и выберите локацию для набора данных. Важно: локация должна быть той же, что и у остальных источников, с которыми вы хотите объединить эти данные в OWOX BI.
Нажмите Create dataset: - Создайте новую таблицу. Для этого кликните на иконку со знаком плюс, которая расположена справа от названия набора данных:
- В качестве источника выберите Upload, затем укажите локацию файла-источника данных, формат исходного файла (например, CSV) и введите название для таблицы в BigQuery (строка Table name):
- В разделе Schema определите схему таблицы. Вы можете добавлять поля вручную кнопкой Add Field, используя эту схему данных, или просто нажать кнопку Edit as Text и вставить готовую схему в JSON-формате (ищите её под скриншотом ниже):
Скопируйте схему в JSON-формате отсюда:
7. Нажмите Advanced settings и укажите расширенные настройки.
В частности, в поле Header rows to skip укажите 1, чтобы пропустить заглавный ряд — тогда таблица импортируется без ошибок.
Также, чтобы избежать ошибок при создании таблицы, здесь можно указать допустимое количество несоответствий между структурами данных загружаемого файла и указанной схемой таблицы — в строке Number of errors allowed:
После нажатия на Create Table таблица BigQuery будет создана и её можно будет использовать в качестве источника данных в OWOX BI Attribution и Smart Data:
0 Комментарии