Жизненный цикл MongoDB ClickPipe
В этом документе описаны различные этапы работы MongoDB ClickPipe, его возможные статусы и их значения.
Подготовка ресурсов
Когда вы нажимаете кнопку Create ClickPipe, ClickPipe создаётся в состоянии Provisioning. На этапе подготовки ресурсов мы разворачиваем базовую инфраструктуру для запуска ClickPipes в рамках сервиса, а также регистрируем начальные метаданные для ClickPipe. Поскольку вычислительные ресурсы для ClickPipes внутри сервиса являются общими, второй ClickPipe будет создан намного быстрее первого — инфраструктура уже развернута.
Настройка
После того как pipe создан, он переходит в состояние Setup. В этом состоянии мы создаём целевые таблицы ClickHouse.
Снимок
После завершения настройки конвейер переходит в состояние Snapshot (если только это не конвейер, работающий исключительно в режиме CDC, который сразу перейдёт в состояние Running). Snapshot, Initial Snapshot и (чаще используемый) Initial Load — взаимозаменяемые термины. В этом состоянии создаётся снимок исходных коллекций MongoDB и они загружаются в ClickHouse. Параметры ретенции для oplog должны учитывать время первичной загрузки. Конвейер также переходит в состояние Snapshot, когда инициируется повторная синхронизация (resync) или когда в существующий конвейер добавляются новые таблицы.
Работа
После завершения начальной загрузки конвейер переходит в состояние Running (за исключением конвейера только для snapshot, который перейдёт в Completed). На этом этапе конвейер начинает Change Data Capture (CDC, фиксацию изменений данных). В этом состоянии мы начинаем потоковую передачу изменений из исходного кластера MongoDB в ClickHouse. Подробнее об управлении CDC см. в разделе документация по управлению CDC.
Приостановлено
Когда pipe находится в состоянии Running, его можно приостановить. Это остановит процесс CDC, и pipe перейдёт в состояние Paused. В этом состоянии новые данные больше не считываются из исходной MongoDB, но уже загруженные данные в ClickHouse остаются без изменений. Из этого состояния вы можете возобновить работу pipe.
Приостановка
Этот статус появится в ближайшее время. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжила корректно работать после появления этой возможности.
Когда вы нажимаете кнопку Pause, конвейер переходит в состояние Pausing. Это переходное состояние, в котором происходит остановка процесса CDC. Как только процесс CDC полностью останавливается, конвейер переходит в состояние Paused.
Изменение
Этот статус скоро станет доступен. Если вы используете наш OpenAPI, заранее добавьте поддержку этого статуса, чтобы ваша интеграция продолжала работать после его появления.
В настоящее время это означает, что конвейер находится в процессе удаления таблиц.
Повторная синхронизация
Это состояние появится в ближайшее время. Если вы используете наш OpenAPI, рассмотрите возможность добавить поддержку этого состояния уже сейчас, чтобы ваша интеграция продолжила работать после его выпуска.
Это состояние указывает, что конвейер находится в фазе повторной синхронизации, в ходе которой выполняется атомарная замена таблиц _resync исходными таблицами. Дополнительные сведения о повторной синхронизации см. в документации по повторной синхронизации.
Завершён
Это состояние применяется только к snapshot-пайпам и означает, что snapshot завершён и больше нет работы.
Сбой
Если в конвейере возникает неисправимая ошибка, он переходит в состояние Failed. Вы можете обратиться в службу поддержки или повторно синхронизировать свой конвейер, чтобы выйти из этого состояния.
