Создание потока Google BigQuery → ClickHouse (альфа-версия)

Внимание:Поток Google BigQuery → ClickHouse — в статусе открытого альфа тестирования. Учтите, что функционал потока еще находится разработке. Если вы столкнулись со сложностями в настройке потоком и работе с ним — пожалуйста, пишите об этом нашей службе поддержки на bi@owox.com или в онлайн-чат.

Поток Google BigQuery → ClickHouse позволяет вам автоматизировать загрузку данных в систему управления базами данных ClickHouse от Яндекс.

Благодаря этому потоку вы можете:

• Организовать автоматический импорт в ClickHouse данных, которые вы собираете в BigQuery удобным для вас способом
• Перенести конфиденциальные и личные данные со стороннего облачного сервера на ваш собственный, где вы можете свободно ими распоряжаться

Что нужно для начала настройки потока Google BigQuery → ClickHouse

Для настройки потока вам нужны:

• Данные, собранные в Google BigQuery. Например, сырые данные о поведении пользователей сайта, загруженные с помощью потока OWOX BI Google Analytics → Google BigQuery
• Установленный и настроенный ClickHouse на сервере. Руководство по настройке и работе с ClickHouse — читайте в официальной документации ClickHouse
• База данных и таблица ClickHouse, в которые вы хотите настроить поток импорта данных из BigQuery — вам нужно будет указать их в процессе настройки потока

Как создать поток

На главной странице OWOX BI в блоке Pipeline нажмите Создать поток:

1. Выберите в качестве источника Google BigQuery:
2. В качестве пункта назначения потока — ClickHouse:
3. Выдайте OWOX BI доступ к аккаунту Google, у которого есть доступ к проекту Google BigQuery, из которого вы хотите выгружать данные:
4. Выберите проект Google BigQuery, из которого вы хотите выгружать данные:
5. Предоставьте доступ к ClickHouse. Для этого укажите Хост и Порт вашего сервера ClickHouse, а также Имя пользователя и Пароль:
6. В финальном шаге создания потока укажите Базу данных и Таблицу ClickHouse, в которую вы хотите настроить импорт данных, а также способ загрузки данных — Дописывать или Перезаписывать:

Готово. Поток Google BigQuery → ClickHouse настроен и будет загружать данные на ваш сервер ClickHouse. На странице потока в OWOX BI вы можете приостановить или удалить поток: