Управление синхронизацией MongoDB ClickPipe
В этом документе описывается, как управлять синхронизацией MongoDB ClickPipe, когда ClickPipe работает в режиме CDC (Running).
Обзор
Архитектура Database ClickPipes состоит из двух параллельных процессов — извлечения данных из исходной базы данных и загрузки в целевую базу данных. Процесс извлечения управляется конфигурацией синхронизации, которая определяет, как часто должны извлекаться данные и какой объём данных должен извлекаться за один раз. Под «за один раз» мы подразумеваем один батч, поскольку ClickPipe извлекает и отправляет данные батчами.
Существует два основных способа управлять синхронизацией MongoDB ClickPipe. ClickPipe начнёт отправлять данные, когда одна из настроек ниже вступит в действие.
Интервал синхронизации
Интервал синхронизации пайпа — это промежуток времени (в секундах), в течение которого ClickPipe будет считывать записи из исходной базы данных. Время, затрачиваемое на отправку уже полученных данных в ClickHouse, в этот интервал не входит.
Значение по умолчанию — 1 минута. Интервал синхронизации может быть установлен в любое положительное целое значение, но рекомендуется задавать его больше 10 секунд.
Размер пакета выборки
Размер пакета выборки — это количество записей, которые ClickPipe будет забирать из исходной базы данных в одном пакете. Под записями понимаются операции вставки, обновления и удаления, выполненные над коллекциями, входящими в ClickPipe.
Значение по умолчанию — 100 000 записей. Безопасный максимум — 10 миллионов.
Настройка параметров синхронизации
Вы можете задать интервал синхронизации и размер пакета выборки данных при создании ClickPipe или редактировании существующего. При создании ClickPipe эти параметры доступны на втором шаге мастера, как показано ниже:
При редактировании существующего ClickPipe перейдите на вкладку Settings конвейера, приостановите его, а затем нажмите Configure:
Откроется всплывающая панель с параметрами синхронизации, где вы можете изменить интервал синхронизации и размер пакета выборки данных:
Мониторинг поведения механизма контроля синхронизации
Вы можете увидеть, сколько времени занимает обработка каждого пакета, в таблице CDC Syncs на вкладке Metrics в ClickPipe. Обратите внимание, что в эту длительность входит время отправки, а если входящих строк нет, ClickPipe ожидает, и это время ожидания также включается в общую продолжительность.
