Управление синхронизацией MySQL ClickPipe
В этом документе описывается, как управлять синхронизацией ClickPipe для MySQL, когда он работает в режиме CDC (Running).
Обзор
ClickPipes для баз данных имеют архитектуру, которая состоит из двух параллельных процессов — извлечения данных из исходной базы данных и записи в целевую базу данных. Процесс извлечения управляется конфигурацией синхронизации, которая определяет, как часто должны забираться данные и какой объем данных должен забираться за один раз. Под «за один раз» мы подразумеваем один батч, так как ClickPipe считывает и отправляет данные батчами.
Существует два основных способа управлять синхронизацией MySQL ClickPipe. ClickPipe начнет отправку данных, когда сработает один из приведенных ниже параметров.
Интервал синхронизации
Интервал синхронизации конвейера — это период времени (в секундах), в течение которого ClickPipe считывает записи из исходной базы данных. Время, необходимое для отправки полученных данных в ClickHouse, в этот интервал не входит.
Значение по умолчанию — 1 минута. Интервал синхронизации может быть задан любым положительным целым числом, но рекомендуется устанавливать его не менее 10 секунд.
Размер пакета выборки
Размер пакета выборки — это количество записей, которое ClickPipe будет забирать из исходной базы данных за одну выборку. Под записями здесь понимаются операции вставки, обновления и удаления в таблицах, которые входят в ClickPipe.
Значение по умолчанию — 100 000 записей. Безопасный максимум — 10 миллионов.
Исключение: Долгоживущие транзакции на источнике
Когда транзакция выполняется в исходной базе данных, ClickPipe ждёт, пока не получит COMMIT этой транзакции, прежде чем продолжить. При этом это поведение переопределяет и интервал синхронизации, и размер пакета выборки.
Настройка параметров синхронизации
Вы можете задать интервал синхронизации и размер пакета выборки данных при создании ClickPipe или при редактировании существующего. При создании ClickPipe эти параметры отображаются на втором шаге мастера, как показано ниже:
При редактировании существующего ClickPipe перейдите на вкладку Settings соответствующего конвейера, приостановите его, а затем нажмите Configure:
Откроется всплывающая панель с параметрами синхронизации, где вы можете изменить интервал синхронизации и размер пакета выборки данных:
Мониторинг работы механизма управления синхронизацией
Вы можете посмотреть, сколько времени занимает обработка каждого батча, в таблице CDC Syncs на вкладке Metrics в ClickPipe. Обратите внимание, что указанная здесь длительность включает время отправки; если входящих строк нет, ClickPipe ожидает, и время ожидания также включается в длительность.
