system.events
Выполнение запросов в ClickHouse Cloud
Данные в этой системной таблице хранятся локально на каждом узле в ClickHouse Cloud. Поэтому для получения полного обзора всех данных требуется функция clusterAllReplicas. Подробности см. здесь.
Содержит информацию о числе событий, произошедших в системе. Например, в этой таблице можно узнать, сколько запросов SELECT было обработано с момента запуска сервера ClickHouse.
Столбцы:
event(String) — имя события.value(UInt64) — число произошедших событий.description(String) — описание события.
- ПО с открытым исходным кодом
- Cloud
В ClickHouse OSS доступны следующие события:
| Событие | Описание |
|---|---|
Запрос | Количество запросов, которые были интерпретированы и, возможно, выполнены. Не включает запросы, которые не удалось синтаксически разобрать, а также запросы, отклонённые из‑за ограничений на размер AST, ограничений QUOTA или ограничений на количество одновременно выполняемых запросов. Может включать внутренние запросы, инициированные самим ClickHouse. Подзапросы не учитываются. |
SelectQuery | То же, что и Query, но учитывает только запросы SELECT. |
InitialQuery | Аналогично Query, но учитывает только исходные запросы (см. is_initial_query). |
InitialSelectQuery | Аналогичен InitialQuery, но учитывает только запросы SELECT. |
QueriesWithSubqueries | Считает запросы вместе со всеми подзапросами. |
SelectQueriesWithSubqueries | Считает запросы SELECT вместе со всеми подзапросами. |
FileOpen | Количество открытых файлов. |
Seek | Количество вызовов функции lseek. |
ReadBufferFromFileDescriptorRead | Количество операций чтения (read/pread) из файловых дескрипторов. Сокеты не учитываются. |
ReadBufferFromFileDescriptorReadBytes | Количество байт, прочитанных из файловых дескрипторов. Если файл сжат, здесь будет показан размер сжатых данных. |
WriteBufferFromFileDescriptorWrite | Количество операций записи (write/pwrite) в файловые дескрипторы. Сокеты не учитываются. |
WriteBufferFromFileDescriptorWriteBytes | Количество байт, записанных в файловые дескрипторы. Если файл сжат, здесь будет показан размер сжатых данных. |
FileSync | Количество вызовов функций F_FULLFSYNC/fsync/fdatasync для файлов. |
FileSyncElapsedMicroseconds | Общее время ожидания выполнения системного вызова F_FULLFSYNC/fsync/fdatasync для файлов. |
IOBufferAllocs | Количество выделений буферов ввода‑вывода (для ReadBuffer/WriteBuffer). |
IOBufferAllocBytes | Количество байт, выделенных под буферы ввода‑вывода (для ReadBuffer/WriteBuffer). |
DiskReadElapsedMicroseconds | Общее время ожидания выполнения системного вызова read. Включает чтение из кэша страниц (page cache). |
DiskWriteElapsedMicroseconds | Общее время ожидания выполнения системного вызова write. Включает запись в кэш страниц (page cache). |
NetworkReceiveElapsedMicroseconds | Общее время ожидания получения или приёма данных из сети. Включает только сетевое взаимодействие, связанное с ClickHouse, и не включает взаимодействие сторонних библиотек. |
NetworkSendElapsedMicroseconds | Общее время ожидания отправки или передачи данных в сеть. Включает только сетевое взаимодействие, связанное с ClickHouse, и не включает взаимодействие сторонних библиотек. |
NetworkReceiveBytes | Общее количество байт, полученных из сети. Включает только сетевое взаимодействие, связанное с ClickHouse, и не включает взаимодействие сторонних библиотек. |
NetworkSendBytes | Общее количество байт, отправленных в сеть. Включает только сетевое взаимодействие, связанное с ClickHouse, и не включает взаимодействие сторонних библиотек. |
GlobalThreadPoolExpansions | Подсчитывает общее количество случаев, когда новые потоки добавлялись в глобальный пул потоков. Эта метрика отражает частоту расширения глобального пула потоков для удовлетворения возросших требований к обработке. |
GlobalThreadPoolThreadCreationMicroseconds | Суммарное время, затраченное на ожидание запуска новых потоков. |
GlobalThreadPoolLockWaitMicroseconds | Суммарное время, в течение которого потоки ожидали блокировок в глобальном пуле потоков. |
GlobalThreadPoolJobs | Подсчитывает количество заданий, отправленных в глобальный пул потоков. |
GlobalThreadPoolJobWaitTimeMicroseconds | Измеряет время, прошедшее с момента постановки задания в пул потоков до момента, когда его забирает на выполнение рабочий поток. Эта метрика помогает выявлять задержки в обработке заданий и характеризует отзывчивость пула потоков на новые задачи. |
LocalThreadPoolExpansions | Подсчитывает общее количество случаев, когда потоки заимствовались из глобального пула потоков для расширения локальных пулов потоков. |
LocalThreadPoolShrinks | Подсчитывает общее количество случаев, когда потоки возвращались в глобальный пул потоков из локальных пулов потоков. |
LocalThreadPoolThreadCreationMicroseconds | Суммарное время, в течение которого локальные пулы потоков ожидали возможности заимствовать поток из глобального пула. |
LocalThreadPoolJobs | Подсчитывает количество заданий, отправленных в локальные пулы потоков. |
LocalThreadPoolBusyMicroseconds | Суммарное время, в течение которого потоки выполняли непосредственную работу. |
LocalThreadPoolJobWaitTimeMicroseconds | Измеряет время, прошедшее с момента постановки задания в пул потоков до момента, когда его забирает на выполнение рабочий поток. Эта метрика помогает выявлять задержки в обработке заданий и характеризует отзывчивость пула потоков на новые задачи. |
QueryPlanOptimizeMicroseconds | Суммарное время, затраченное на выполнение оптимизаций плана запроса. |
ContextLock | Количество раз, когда блокировка Context была получена или предпринята попытка её получения. Это глобальная блокировка. |
RWLockAcquiredReadLocks | Количество раз, когда была получена блокировка на чтение (в тяжёлой блокировке чтения-записи, RWLock). |
QueryProfilerSignalOverruns | Количество случаев, когда обработка сигнала профилировщика запросов была отброшена из-за переполнения, плюс количество сигналов, которые ОС не доставила из-за переполнения. |
QueryProfilerRuns | Количество раз, когда QueryProfiler был запущен. |
MainConfigLoads | Количество раз, когда основная конфигурация была перезагружена. |
ServerStartupMilliseconds | Время, прошедшее от запуска сервера до начала прослушивания сокетов, в миллисекундах. |
AsyncLoaderWaitMicroseconds | Суммарное время ожидания запроса в очереди заданий асинхронного загрузчика. |
LogTrace | Количество сообщений журнала с уровнем Trace. |
LogDebug | Количество сообщений журнала с уровнем Debug. |
LogInfo | Количество сообщений журнала с уровнем Info. |
LogWarning | Количество сообщений журнала с уровнем Warning. |
LoggerElapsedNanoseconds | Суммарное время, затраченное на логирование. |
InterfaceNativeSendBytes | Число байт, отправленных по нативным интерфейсам |
InterfaceNativeReceiveBytes | Число байт, полученных по нативным интерфейсам |
MemoryWorkerRun | Число запусков, выполненных MemoryWorker в фоновом режиме |
MemoryWorkerRunElapsedMicroseconds | Общее время работы MemoryWorker в фоновом режиме |
AsyncLoggingFileLogTotalMessages | Число сообщений (принятых или отброшенных), отправленных в асинхронную очередь для файлового журнала |
AsyncLoggingErrorFileLogTotalMessages | Число сообщений (принятых или отброшенных), отправленных в асинхронную очередь для файла журнала ошибок |
AsyncLoggingTextLogTotalMessages | Число сообщений (принятых или отброшенных), отправленных в асинхронную очередь для text_log |
Все поддерживаемые события можно найти в исходном файле src/Common/ProfileEvents.cpp.
В ClickHouse Cloud доступны следующие события:
| Событие | Описание |
|---|---|
запрос | Количество запросов, которые были интерпретированы и могли быть выполнены. Не включает запросы, которые не удалось разобрать или которые были отклонены из‑за ограничений на размер AST, ограничений QUOTA или ограничений на число одновременно выполняемых запросов. Может включать внутренние запросы, инициированные самим ClickHouse. Подзапросы не учитываются. |
SelectQuery | То же, что и Query, но только для запросов типа SELECT. |
InitialQuery | То же, что и Query, но учитывает только начальные запросы (см. is_initial_query). |
QueriesWithSubqueries | Количество запросов с учётом всех подзапросов |
SelectQueriesWithSubqueries | Количество запросов SELECT с учётом всех подзапросов |
SelectQueriesWithPrimaryKeyUsage | Количество запросов SELECT, использующих первичный ключ для вычисления условия WHERE |
QueryTimeMicroseconds | Общее время выполнения всех запросов. |
SelectQueryTimeMicroseconds | Общее время выполнения запросов SELECT. |
OtherQueryTimeMicroseconds | Общее время выполнения запросов, отличных от SELECT и INSERT. |
FileOpen | Количество открытых файлов. |
Seek | Количество вызовов функции lseek. |
ReadBufferFromFileDescriptorRead | Количество операций чтения (read/pread) из файлового дескриптора. Не включает сокеты. |
ReadBufferFromFileDescriptorReadBytes | Количество байт, прочитанных из файловых дескрипторов. Если файл сжат, здесь будет отражён размер сжатых данных. |
WriteBufferFromFileDescriptorWrite | Количество операций записи (write/pwrite) в файловый дескриптор. Не включает сокеты. |
WriteBufferFromFileDescriptorWriteBytes | Количество байт, записанных в файловые дескрипторы. Если файл сжат, здесь будет отражён размер сжатых данных. |
ReadCompressedBytes | Количество байт (число байт до декомпрессии), прочитанных из сжатых источников (файлы, сеть). |
CompressedReadBufferBlocks | Количество сжатых блоков (блоков данных, сжатых независимо друг от друга), прочитанных из сжатых источников (файлы, сеть). |
CompressedReadBufferBytes | Количество несжатых байт (число байт после декомпрессии), прочитанных из сжатых источников (файлы, сеть). |
OpenedFileCacheHits | Количество случаев, когда файл был найден в кэше открытых файлов, так что его не пришлось открывать повторно. |
OpenedFileCacheMisses | Количество случаев, когда файл не был найден в кэше открытых файлов, поэтому его пришлось открыть повторно. |
OpenedFileCacheMicroseconds | Время, затраченное на выполнение методов OpenedFileCache. |
IOBufferAllocs | Количество выделений буферов ввода‑вывода (для ReadBuffer/WriteBuffer). |
IOBufferAllocBytes | Количество байт, выделенных для буферов ввода‑вывода (для ReadBuffer/WriteBuffer). |
ArenaAllocChunks | Количество фрагментов, выделенных для области памяти Arena (используется для операций GROUP BY и аналогичных). |
ArenaAllocBytes | Количество байт, выделенных для области памяти Arena (используется для операций GROUP BY и аналогичных). |
FunctionExecute | Количество вызовов обычных SQL-функций (SQL-функции вызываются по блокам, поэтому это число соответствует количеству блоков). |
TableFunctionExecute | Количество вызовов табличных функций. |
DefaultImplementationForNullsRows | Количество строк, обработанных стандартной реализацией обработки NULL при выполнении функций. |
DefaultImplementationForNullsRowsWithNulls | Количество строк со значениями NULL, обработанных стандартной реализацией обработки NULL при выполнении функций. |
MarkCacheHits | Количество случаев, когда запись была найдена в кэше меток, поэтому файл меток не пришлось загружать. |
MarkCacheMisses | Количество случаев, когда запись не была найдена в кэше меток, поэтому пришлось загрузить файл меток в память, что является дорогостоящей операцией и увеличивает задержку выполнения запроса. |
QueryConditionCacheHits | Количество случаев, когда запись была найдена в кэше условий запроса (и чтение меток можно пропустить). Обновляется только для запросов SELECT с SETTING use_query_condition_cache = 1. |
QueryConditionCacheMisses | Количество случаев, когда запись не была найдена в кэше условий запроса (и чтение меток нельзя пропустить). Обновляется только для запросов SELECT с SETTING use_query_condition_cache = 1. |
CreatedReadBufferOrdinary | Количество случаев создания обычного буфера чтения для чтения данных (при выборе среди других методов чтения). |
DiskReadElapsedMicroseconds | Общее время ожидания при системных вызовах чтения. Включает чтение из page cache. |
DiskWriteElapsedMicroseconds | Общее время ожидания при системных вызовах записи. Включает запись в page cache. |
NetworkReceiveElapsedMicroseconds | Общее время ожидания при получении данных из сети или непосредственном получении данных из сети. Учитываются только сетевые взаимодействия, связанные с ClickHouse, без учёта сторонних библиотек. |
NetworkSendElapsedMicroseconds | Общее время ожидания при отправке данных в сеть или непосредственной отправке данных в сеть. Учитываются только сетевые взаимодействия, связанные с ClickHouse, без учёта сторонних библиотек. |
NetworkReceiveBytes | Общее количество байт, полученных из сети. Учитываются только сетевые взаимодействия, связанные с ClickHouse, без учёта сторонних библиотек. |
NetworkSendBytes | Общее количество байт, отправленных в сеть. Учитываются только сетевые взаимодействия, связанные с ClickHouse, без учёта сторонних библиотек. |
GlobalThreadPoolExpansions | Подсчитывает общее количество раз, когда в глобальный пул потоков добавлялись новые потоки. Эта метрика показывает, как часто глобальный пул потоков расширяется для удовлетворения возросших потребностей в обработке. |
GlobalThreadPoolThreadCreationMicroseconds | Суммарное время ожидания запуска новых потоков. |
GlobalThreadPoolLockWaitMicroseconds | Суммарное время, которое потоки провели в ожидании блокировок в глобальном пуле потоков. |
GlobalThreadPoolJobs | Подсчитывает количество задач, отправленных в глобальный пул потоков. |
GlobalThreadPoolJobWaitTimeMicroseconds | Измеряет время от момента постановки задачи в пул потоков до момента, когда рабочий поток забирает её на выполнение. Эта метрика помогает выявлять задержки в обработке задач и показывает отзывчивость пула потоков на новые задания. |
LocalThreadPoolExpansions | Подсчитывает общее количество раз, когда потоки заимствовались из глобального пула потоков для расширения локальных пулов потоков. |
LocalThreadPoolShrinks | Подсчитывает общее количество раз, когда потоки возвращались в глобальный пул потоков из локальных пулов потоков. |
LocalThreadPoolThreadCreationMicroseconds | Суммарное время, которое локальные пулы потоков провели в ожидании возможности заимствовать поток из глобального пула. |
LocalThreadPoolLockWaitMicroseconds | Суммарное время, которое потоки провели в ожидании блокировок в локальных пулах потоков. |
LocalThreadPoolJobs | Подсчитывает количество задач, отправленных в локальные пулы потоков. |
LocalThreadPoolBusyMicroseconds | Суммарное время, которое потоки потратили на выполнение фактической (полезной) работы. |
LocalThreadPoolJobWaitTimeMicroseconds | Измеряет время от момента постановки задачи в пул потоков до момента, когда рабочий поток забирает её на выполнение. Эта метрика помогает выявлять задержки в обработке задач и показывает отзывчивость пула потоков на новые задания. |
RemoteReadThrottlerBytes | Количество байт, прошедших через ограничитель пропускной способности сети «max_remote_read_network_bandwidth_for_server» / «max_remote_read_network_bandwidth». |
RemoteWriteThrottlerBytes | Количество байт, прошедших через ограничитель пропускной способности сети «max_remote_write_network_bandwidth_for_server» / «max_remote_write_network_bandwidth». |
InsertedRows | Количество строк, вставленных (INSERT) во все таблицы. |
InsertedBytes | Количество байт (в несжатом виде; для столбцов — в формате их хранения в памяти), вставленных (INSERT) во все таблицы. |
ZooKeeperInit | Количество установленных подключений к ZooKeeper. |
ZooKeeperTransactions | Количество операций ZooKeeper, включая операции чтения, записи и составные транзакции (multi). |
ZooKeeperList | Количество запросов list (getChildren) к ZooKeeper. |
ZooKeeperCreate | Количество запросов create к ZooKeeper. |
ZooKeeperRemove | Количество запросов remove к ZooKeeper. |
ZooKeeperExists | Количество запросов exists к ZooKeeper. |
ZooKeeperGet | Количество запросов get к ZooKeeper. |
ZooKeeperSet | Количество запросов set к ZooKeeper. |
ZooKeeperMulti | Количество запросов multi (составные транзакции) к ZooKeeper. |
ZooKeeperMultiRead | Количество запросов чтения multi (составные транзакции) к ZooKeeper. |
ZooKeeperMultiWrite | Количество запросов записи multi (составные транзакции) к ZooKeeper. |
ZooKeeperSync | Количество запросов sync к ZooKeeper. Эти запросы редко бывают необходимы или полезны. |
ZooKeeperClose | Количество случаев, когда соединение с ZooKeeper было закрыто по инициативе клиента. |
ZooKeeperWatchResponse | Количество полученных от ZooKeeper уведомлений watch. |
ZooKeeperWaitMicroseconds | Количество микросекунд, суммарно затраченных всеми потоками, отправляющими запросы, на ожидание ответов от ZooKeeper после создания запроса. |
ZooKeeperBytesSent | Количество байт, отправленных по сети при обмене данными с ZooKeeper. |
ZooKeeperBytesReceived | Количество байт, полученных по сети при обмене данными с ZooKeeper. |
DistributedConnectionTries | Общее количество попыток установления распределённого соединения. |
DistributedConnectionUsable | Общее количество успешных распределённых подключений к подходящему серверу (с требуемой таблицей, но, возможно, устаревшей). |
SuspendSendingQueryToShard | Общее количество случаев, когда отправка запроса к сегменту была приостановлена при включённом async_query_sending_for_remote. |
CompileFunction | Количество запусков компиляции сгенерированного LLVM-кода (для создания объединённой функции для сложных выражений). |
CompileExpressionsMicroseconds | Общее время, затраченное на компиляцию выражений в LLVM-код (в микросекундах). |
CompileExpressionsBytes | Количество байт, использованных для компиляции выражений. |
QueryPlanOptimizeMicroseconds | Общее время, затраченное на выполнение оптимизаций плана запроса (в микросекундах). |
SelectedParts | Количество частей данных, выбранных для чтения из таблицы MergeTree. |
SelectedPartsTotal | Общее количество частей данных до выбора тех, которые будут прочитаны из таблицы MergeTree. |
SelectedRanges | Количество (несмежных) диапазонов во всех частях данных, выбранных для чтения из таблицы MergeTree. |
SelectedMarks | Количество меток (гранул индекса), выбранных для чтения из таблицы MergeTree. |
SelectedMarksTotal | Общее количество меток (гранул индекса) до выбора тех, которые будут прочитаны из таблицы MergeTree. |
SelectedRows | Количество строк, прочитанных оператором SELECT из всех таблиц. |
SelectedBytes | Количество байт (в несжатом виде; для столбцов в том виде, как они хранятся в памяти), прочитанных оператором SELECT из всех таблиц. |
RowsReadByMainReader | Количество строк, прочитанных из таблиц MergeTree основным читателем (после шага PREWHERE). |
RowsReadByPrewhereReaders | Количество строк, прочитанных из таблиц MergeTree (суммарно) читателями PREWHERE. |
LoadedDataParts | Количество частей данных, загруженных таблицами MergeTree во время инициализации. |
LoadedDataPartsMicroseconds | Количество микросекунд, затраченных таблицами MergeTree на загрузку частей данных во время инициализации. |
FilteringMarksWithPrimaryKeyMicroseconds | Время, затраченное на фильтрацию частей по первичному ключу (PK). |
WaitMarksLoadMicroseconds | Время, затраченное на загрузку меток. |
BackgroundLoadingMarksTasks | Количество фоновых заданий по загрузке меток. |
MarksTasksFromCache | Количество случаев, когда метки загружались синхронно, поскольку уже присутствовали в кэше. |
LoadedMarksFiles | Количество загруженных файлов меток. |
LoadedMarksCount | Количество загруженных меток (суммарно по всем столбцам). |
LoadedMarksMemoryBytes | Размер в памяти представлений загруженных меток. |
LoadedPrimaryIndexFiles | Количество загруженных файлов первичного индекса. |
LoadedPrimaryIndexRows | Количество загруженных строк первичного ключа. |
LoadedPrimaryIndexBytes | Объём (в байтах) загруженных данных первичного ключа. |
Merge | Количество запущенных фоновых слияний. |
MergeSourceParts | Количество исходных частей, запланированных к слиянию. |
MergedRows | Количество строк, прочитанных для фоновых слияний. Это количество строк до слияния. |
MergedColumns | Количество столбцов, объединённых на горизонтальном этапе слияний. |
MergedUncompressedBytes | Количество несжатых байт (для столбцов в том виде, как они хранятся в памяти), прочитанных для фоновых слияний. Это объём до слияния. |
MergeTotalMilliseconds | Общее время, затраченное на фоновые слияния. |
MergeExecuteMilliseconds | Общее прошедшее время выполнения фоновых слияний. |
MergeHorizontalStageTotalMilliseconds | Общее время, затраченное на горизонтальный этап фоновых слияний. |
MergeHorizontalStageExecuteMilliseconds | Общее прошедшее время выполнения горизонтального этапа фоновых слияний. |
MergeVerticalStageTotalMilliseconds | Общее время, затраченное на вертикальный этап фоновых слияний. |
MergeProjectionStageTotalMilliseconds | Общее время, затраченное на этап проекций при фоновых слияниях. |
MergeProjectionStageExecuteMilliseconds | Общее прошедшее время выполнения этапа проекций при фоновых слияниях. |
MergePrewarmStageTotalMilliseconds | Общее время, затраченное на этап предварительного прогрева фоновых слияний |
MergePrewarmStageExecuteMilliseconds | Общее активное время, затраченное на выполнение этапа предварительного прогрева фоновых слияний |
MergeTreeDataWriterRows | Количество строк, вставленных через INSERT в таблицы MergeTree. |
MergeTreeDataWriterUncompressedBytes | Несжатые байты (для столбцов в том виде, как они хранятся в памяти), вставленные через INSERT в таблицы MergeTree. |
MergeTreeDataWriterCompressedBytes | Количество байт, записанных в файловую систему для данных, вставленных через INSERT в таблицы MergeTree. |
MergeTreeDataWriterBlocks | Количество блоков, вставленных через INSERT в таблицы MergeTree. Каждый блок образует часть данных нулевого уровня. |
MergeTreeDataWriterBlocksAlreadySorted | Количество блоков, вставленных через INSERT в таблицы MergeTree, которые уже были отсортированы. |
MergeMutateBackgroundExecutorTaskExecuteStepMicroseconds | Время, затраченное в executeStep() для задач исполнителя MergeMutate. |
MergeMutateBackgroundExecutorTaskResetMicroseconds | Время, затраченное на сброс (reset) задачи исполнителя MergeMutate. |
CommonBackgroundExecutorTaskExecuteStepMicroseconds | Время, затраченное в executeStep() для задач исполнителя Common. |
CommonBackgroundExecutorTaskResetMicroseconds | Время, затраченное на сброс (reset) задачи исполнителя Common. |
MergeTreeDataWriterSortingBlocksMicroseconds | Время, затраченное на сортировку блоков |
InsertedCompactParts | Количество частей, вставленных в формате Compact. |
MergedIntoCompactParts | Количество частей, слитых в формат Compact. |
RegexpWithMultipleNeedlesCreated | Скомпилированные регулярные выражения с несколькими шаблонами (библиотека VectorScan). |
RegexpWithMultipleNeedlesGlobalCacheHit | Количество случаев получения скомпилированного регулярного выражения с несколькими шаблонами (библиотека VectorScan) из глобального кэша. |
RegexpWithMultipleNeedlesGlobalCacheMiss | Количество случаев, когда не удалось получить скомпилированное регулярное выражение с несколькими шаблонами (библиотека VectorScan) из глобального кэша. |
ContextLock | Количество раз, когда блокировка Context была захвачена или предпринята попытка её захвата. Это глобальная блокировка. |
ContextLockWaitMicroseconds | Время ожидания блокировки Context в микросекундах |
RWLockAcquiredReadLocks | Количество раз, когда была захвачена блокировка на чтение (в «тяжёлой» RWLock). |
PartsLockHoldMicroseconds | Общее время удержания блокировки частей данных в таблицах MergeTree |
PartsLockWaitMicroseconds | Общее время ожидания блокировки частей данных в таблицах MergeTree |
RealTimeMicroseconds | Общее реальное (настенное) время, затраченное в потоках обработки (запросов и других задач) (обратите внимание, что это сумма). |
UserTimeMicroseconds | Общее время, затраченное в потоках обработки (запросов и других задач) на выполнение инструкций CPU в пользовательском режиме. Сюда входит время простоя конвейера CPU из‑за доступа к основной памяти, промахов кэша, неправильных предсказаний переходов, гиперпоточности и т. п. |
SystemTimeMicroseconds | Общее время, затраченное в потоках обработки (запросов и других задач) на выполнение инструкций CPU в режиме ядра ОС. Это время, проведённое в системных вызовах (syscalls), не включая время ожидания во время блокирующих системных вызовов. |
MemoryAllocatorPurge | Общее количество запросов на очистку (purge) аллокатора памяти |
MemoryAllocatorPurgeTimeMicroseconds | Общее время, затраченное на очистку аллокатора памяти |
SoftPageFaults | Количество мягких отказов страниц (soft page faults) в потоках выполнения запроса. Мягкий отказ страницы обычно означает промах в кэше аллокатора памяти, что требует нового отображения памяти со стороны ОС и последующего выделения страницы физической памяти. |
OSCPUWaitMicroseconds | Общее время, в течение которого поток был готов к выполнению, но ожидал назначения процессора со стороны ОС (по данным самой ОС). |
OSCPUVirtualTimeMicroseconds | Время работы CPU по данным ОС. Не включает вынужденные ожидания, вызванные виртуализацией. |
OSWriteBytes | Количество байт, записанных на диски или блочные устройства. Не включает байты, находящиеся в «грязных» страницах кэша страниц. Может не включать данные, записанные ОС асинхронно. |
OSReadChars | Количество байт, прочитанных из файловой системы, включая кэш страниц. |
OSWriteChars | Количество байт, записанных в файловую систему, включая кэш страниц. |
QueryProfilerRuns | Количество запусков QueryProfiler. |
S3ReadMicroseconds | Время выполнения запросов GET и HEAD к хранилищу S3. |
S3ReadRequestsCount | Количество запросов GET и HEAD к хранилищу S3. |
S3ReadRequestsErrors | Количество ошибок, не связанных с ограничением пропускной способности (non-throttling), в запросах GET и HEAD к хранилищу S3. |
S3ReadRequestAttempts | Количество попыток для запросов GET и HEAD, включая первичную попытку и все повторные попытки, но исключая повторные попытки, выполняемые внутренней стратегией повторов S3. |
S3WriteMicroseconds | Время выполнения запросов POST, DELETE, PUT и PATCH к хранилищу S3. |
S3WriteRequestsCount | Количество запросов POST, DELETE, PUT и PATCH к хранилищу S3. |
S3WriteRequestAttempts | Количество попыток для запросов POST, DELETE, PUT и PATCH, включая первичную попытку и все повторные попытки, но исключая повторные попытки, выполняемые внутренней стратегией повторов. |
DiskS3ReadMicroseconds | Время выполнения запросов GET и HEAD к хранилищу DiskS3. |
DiskS3ReadRequestsCount | Количество запросов GET и HEAD к хранилищу DiskS3. |
DiskS3ReadRequestsErrors | Количество ошибок, не связанных с ограничением пропускной способности (non-throttling), в запросах GET и HEAD к хранилищу DiskS3. |
DiskS3ReadRequestAttempts | Количество попыток для запросов GET и HEAD к хранилищу DiskS3, включая первичную попытку и все повторные попытки, но исключая повторные попытки, выполняемые внутренней стратегией повторов S3. |
DiskS3WriteMicroseconds | Время выполнения запросов POST, DELETE, PUT и PATCH к хранилищу DiskS3. |
DiskS3WriteRequestsCount | Количество запросов POST, DELETE, PUT и PATCH к хранилищу DiskS3. |
DiskS3WriteRequestAttempts | Количество попыток запросов POST, DELETE, PUT и PATCH к хранилищу DiskS3, включая исходную попытку и все повторные, но без учёта повторов, выполняемых внутренним механизмом повторных попыток |
S3DeleteObjects | Количество вызовов S3 API DeleteObject(s). |
S3ListObjects | Количество вызовов S3 API ListObjects. |
S3HeadObject | Количество вызовов S3 API HeadObject. |
S3PutObject | Количество вызовов S3 API PutObject. |
S3GetObject | Количество вызовов S3 API GetObject. |
DiskS3DeleteObjects | Количество вызовов DiskS3 API DeleteObject(s). |
DiskS3ListObjects | Количество вызовов DiskS3 API ListObjects. |
DiskS3HeadObject | Количество вызовов DiskS3 API HeadObject. |
DiskS3PutObject | Количество вызовов DiskS3 API PutObject. |
DiskS3GetObject | Количество вызовов DiskS3 API GetObject. |
DiskPlainRewritableS3DirectoryCreated | Количество каталогов, созданных хранилищем метаданных «plain_rewritable» для S3ObjectStorage. |
DiskPlainRewritableS3DirectoryRemoved | Количество каталогов, удалённых хранилищем метаданных «plain_rewritable» для S3ObjectStorage. |
S3Clients | Количество созданных клиентов S3. |
ReadBufferFromS3Microseconds | Время, затраченное на чтение из S3. |
ReadBufferFromS3InitMicroseconds | Время, затраченное на инициализацию подключения к S3. |
ReadBufferFromS3Bytes | Количество байт, прочитанных из S3. |
WriteBufferFromS3Microseconds | Время, затраченное на запись в S3. |
WriteBufferFromS3Bytes | Количество байт, записанных в S3. |
CachedReadBufferReadFromCacheHits | Количество попаданий при чтении из кэша файловой системы. |
CachedReadBufferReadFromCacheMisses | Количество промахов при чтении из кэша файловой системы. |
CachedReadBufferReadFromSourceMicroseconds | Время чтения из источника кэша файловой системы (удалённая файловая система и т. п.). |
CachedReadBufferReadFromCacheMicroseconds | Время чтения из кэша файловой системы. |
CachedReadBufferReadFromSourceBytes | Количество байт, прочитанных из источника кэша файловой системы (удалённая файловая система и т. п.). |
CachedReadBufferReadFromCacheBytes | Количество байт, прочитанных из кэша файловой системы. |
CachedReadBufferCacheWriteBytes | Количество байт, записанных из источника (удалённая файловая система и т. п.) в кэш файловой системы. |
CachedReadBufferCacheWriteMicroseconds | Время, затраченное на запись данных в кэш файловой системы. |
CachedReadBufferCreateBufferMicroseconds | Время, затраченное на подготовку буфера. |
CachedWriteBufferCacheWriteBytes | Количество байт, записанных из источника (удалённая файловая система и т. п.) в кэш файловой системы. |
CachedWriteBufferCacheWriteMicroseconds | Время, затраченное на запись данных в кэш файловой системы. |
FilesystemCacheLoadMetadataMicroseconds | Время, затраченное на загрузку метаданных кэша файловой системы. |
FilesystemCacheCreatedKeyDirectories | Количество созданных директорий ключей. |
FilesystemCacheBackgroundDownloadQueuePush | Количество файловых сегментов, отправленных на фоновую загрузку в кэш файловой системы. |
FilesystemCacheLockKeyMicroseconds | Время блокировки ключа кэша. |
FilesystemCacheLockMetadataMicroseconds | Время блокировки метаданных кэша файловой системы. |
FilesystemCacheLockCacheMicroseconds | Время блокировки кэша файловой системы. |
FilesystemCacheReserveMicroseconds | Время резервирования места в кэше файловой системы. |
FilesystemCacheReserveAttempts | Количество попыток резервирования места в кэше файловой системы. |
FilesystemCacheGetOrSetMicroseconds | Время выполнения операции getOrSet() для кэша файловой системы. |
FilesystemCacheGetMicroseconds | Время выполнения операции get() для кэша файловой системы. |
FileSegmentCompleteMicroseconds | Длительность FileSegment::complete() в файловом кэше |
FileSegmentLockMicroseconds | Время блокировки сегмента файла |
FileSegmentWriteMicroseconds | Время выполнения write() для сегмента файла |
FileSegmentUseMicroseconds | Время использования сегмента файла (use()) |
FileSegmentHolderCompleteMicroseconds | Время выполнения complete() для держателя сегментов файлов |
FileSegmentFailToIncreasePriority | Количество случаев, когда приоритет не был повышен из‑за высокой конкуренции за блокировку кэша |
FilesystemCacheHoldFileSegments | Количество сегментов файлов в файловом кэше, которые были удержаны |
FilesystemCacheUnusedHoldFileSegments | Количество сегментов файлов в файловом кэше, которые были удержаны, но не использованы (из‑за seek, LIMIT n и т. п.) |
RemoteFSSeeks | Общее количество операций seek для асинхронного буфера |
RemoteFSPrefetches | Количество предзагрузок (prefetch) при асинхронном чтении из удалённой файловой системы |
RemoteFSCancelledPrefetches | Количество отменённых предзагрузок (prefetch) (из‑за seek) |
RemoteFSUnusedPrefetches | Количество предзагрузок (prefetch), остававшихся в ожидании к моменту уничтожения буфера |
RemoteFSPrefetchedReads | Количество чтений из буфера с предзагрузкой (prefetch) |
RemoteFSPrefetchedBytes | Количество байт, прочитанных из буфера с предзагрузкой (prefetch) |
RemoteFSUnprefetchedReads | Количество чтений из буфера без предзагрузки (без prefetch) |
RemoteFSUnprefetchedBytes | Количество байт, прочитанных из буфера без предзагрузки (без prefetch) |
RemoteFSBuffers | Количество буферов, созданных для асинхронного чтения из удалённой файловой системы |
WaitPrefetchTaskMicroseconds | Время ожидания читателя с предзагрузкой (prefetch) |
ThreadpoolReaderTaskMicroseconds | Время, затраченное на получение данных при асинхронном чтении |
ThreadpoolReaderReadBytes | Количество байт, прочитанных задачей из пула потоков при асинхронном чтении |
ThreadpoolReaderSubmit | Количество отправок задач в пул потоков при асинхронном чтении |
ThreadpoolReaderSubmitReadSynchronously | Сколько раз задача не была запланирована в пуле потоков и вместо этого чтение выполнялось синхронно |
ThreadpoolReaderSubmitReadSynchronouslyBytes | Сколько байт было прочитано синхронно |
ThreadpoolReaderSubmitReadSynchronouslyMicroseconds | Сколько времени было затрачено на синхронное чтение |
ThreadpoolReaderSubmitLookupInCacheMicroseconds | Сколько времени было затрачено на проверку наличия содержимого в кэше |
FileSegmentWaitReadBufferMicroseconds | Метрика по сегменту файла. Время ожидания внутреннего буфера чтения (включая ожидание кэша) |
FileSegmentReadMicroseconds | Метрика по сегменту файла. Время, затраченное на чтение из файла |
FileSegmentCacheWriteMicroseconds | Метрика по сегменту файла. Время, затраченное на запись данных в кэш |
FileSegmentUsedBytes | Метрика по сегменту файла. Сколько байт фактически было использовано из текущего сегмента файла |
ThreadPoolReaderPageCacheMiss | Количество случаев, когда чтение в ThreadPoolReader не было выполнено из кэша страниц и было передано в пул потоков |
ThreadPoolReaderPageCacheMissBytes | Количество байт, прочитанных в ThreadPoolReader, когда чтение не было выполнено из кэша страниц и было передано в пул потоков |
ThreadPoolReaderPageCacheMissElapsedMicroseconds | Время, затраченное на чтение данных внутри асинхронной задачи в ThreadPoolReader, когда чтение не было выполнено из кэша страниц |
SynchronousReadWaitMicroseconds | Время ожидания синхронных чтений при асинхронном локальном чтении |
AsynchronousRemoteReadWaitMicroseconds | Время ожидания асинхронных удалённых чтений |
SynchronousRemoteReadWaitMicroseconds | Время ожидания синхронных удалённых чтений |
MainConfigLoads | Количество перезагрузок основной конфигурации |
MetadataFromKeeperCacheHit | Количество раз, когда запрос метаданных к Объектному хранилищу был обслужен из кэша без обращения к Keeper |
MetadataFromKeeperCacheMiss | Количество раз, когда запрос метаданных к Объектному хранилищу потребовал обращения к Keeper |
MetadataFromKeeperCacheUpdateMicroseconds | Общее время, затраченное на обновление кэша, включая ожидание ответов от Keeper |
MetadataFromKeeperUpdateCacheOneLevel | Количество выполненных обновлений кэша для одного уровня дерева каталогов |
MetadataFromKeeperTransactionCommit | Количество попыток зафиксировать транзакцию с метаданными (commit) |
MetadataFromKeeperCleanupTransactionCommit | Количество попыток зафиксировать транзакцию с метаданными (commit) для очистки удалённых объектов |
MetadataFromKeeperOperations | Количество запросов, сделанных к Keeper |
MetadataFromKeeperIndividualOperations | Количество путей, прочитанных или записанных одиночными или групповыми запросами к Keeper |
MetadataFromKeeperIndividualOperationsMicroseconds | Время, затраченное на выполнение одиночных или групповых запросов к Keeper |
SharedMergeTreeMetadataCacheHintLoadedFromCache | Количество попаданий в кэш метаданных без обращения к Keeper |
ScalarSubqueriesCacheMiss | Количество случаев, когда чтение из скалярного подзапроса не было закэшировано и должно было быть полностью вычислено |
ServerStartupMilliseconds | Время от запуска сервера до начала прослушивания сокетов в миллисекундах |
MergerMutatorsGetPartsForMergeElapsedMicroseconds | Время, затраченное на создание моментального снимка данных частей для построения диапазонов на его основе |
MergerMutatorPrepareRangesForMergeElapsedMicroseconds | Время, затраченное на подготовку диапазонов частей, которые могут быть слиты в соответствии с предикатом слияния |
MergerMutatorSelectPartsForMergeElapsedMicroseconds | Время, затраченное на выбор частей из диапазонов, которые могут быть слиты |
MergerMutatorRangesForMergeCount | Количество диапазонов-кандидатов для слияния |
MergerMutatorPartsInRangesForMergeCount | Количество частей-кандидатов для слияния |
MergerMutatorSelectRangePartsCount | Количество частей в выбранном диапазоне для слияния |
AsyncLoaderWaitMicroseconds | Общее время, в течение которого запрос ожидал выполнения задач асинхронного загрузчика |
LogTrace | Количество сообщений журнала с уровнем Trace |
LogDebug | Количество сообщений журнала с уровнем Debug |
LogInfo | Количество сообщений журнала с уровнем Info |
LogWarning | Количество сообщений журнала с уровнем Warning |
LogError | Количество сообщений журнала с уровнем Error |
LoggerElapsedNanoseconds | Суммарное время, затраченное на логирование |
InterfaceHTTPSendBytes | Количество байт, отправленных через HTTP-интерфейсы |
InterfaceHTTPReceiveBytes | Количество байт, полученных через HTTP-интерфейсы |
InterfaceNativeSendBytes | Количество байт, отправленных через нативные интерфейсы |
InterfaceNativeReceiveBytes | Количество байт, полученных через нативные интерфейсы |
InterfacePrometheusSendBytes | Количество байт, отправленных через интерфейсы Prometheus |
InterfacePrometheusReceiveBytes | Количество байт, полученных через интерфейсы Prometheus |
InterfaceInterserverSendBytes | Количество байт, отправленных через межсерверные интерфейсы |
InterfaceInterserverReceiveBytes | Количество байт, полученных через межсерверные интерфейсы |
SharedMergeTreeVirtualPartsUpdates | Количество обновлений виртуальных частей |
SharedMergeTreeVirtualPartsUpdatesByLeader | Количество обновлений виртуальных частей лидером |
SharedMergeTreeVirtualPartsUpdateMicroseconds | Время обновления виртуальных частей в микросекундах |
SharedMergeTreeVirtualPartsUpdatesFromZooKeeper | Количество обновлений виртуальных частей из ZooKeeper |
SharedMergeTreeVirtualPartsUpdatesFromZooKeeperMicroseconds | Время обновлений виртуальных частей из ZooKeeper в микросекундах |
SharedMergeTreeVirtualPartsUpdatesPeerNotFound | Количество неуспешных обновлений виртуальных частей от пиров из-за того, что ни один пир не был найден |
SharedMergeTreeVirtualPartsUpdatesLeaderSuccessfulElection | Количество успешных выборов лидера для обновлений виртуальных частей |
SharedMergeTreeMergeMutationAssignmentAttempt | Число попыток назначить merge или mutation |
SharedMergeTreeMergeMutationAssignmentFailedWithNothingToDo | Число неудачных попыток назначить merge или mutation из‑за отсутствия данных для слияния |
SharedMergeTreePartsKillerRuns | Число запусков parts killer |
SharedMergeTreePartsKillerMicroseconds | Время работы основного потока parts killer |
SharedMergeTreeMergeSelectingTaskMicroseconds | Время в микросекундах, затраченное задачей выбора merge для SMT |
SharedMergeTreeScheduleDataProcessingJob | Число вызовов функции scheduleDataProcessingJob |
SharedMergeTreeScheduleDataProcessingJobNothingToScheduled | Число вызовов функции scheduleDataProcessingJob без работы |
SharedMergeTreeScheduleDataProcessingJobMicroseconds | Время выполнения scheduleDataProcessingJob |
SharedMergeTreeHandleBlockingPartsMicroseconds | Время обработки блокирующих частей в scheduleDataProcessingJob |
SharedMergeTreeHandleFetchPartsMicroseconds | Время обработки загруженных частей в scheduleDataProcessingJob |
SharedMergeTreeHandleOutdatedPartsMicroseconds | Время обработки устаревших частей в scheduleDataProcessingJob |
SharedMergeTreeTryUpdateDiskMetadataCacheForPartMicroseconds | Время выполнения tryUpdateDiskMetadataCacheForPart в scheduleDataProcessingJob |
DiskConnectionsCreated | Число созданных подключений к диску |
DiskConnectionsReused | Число повторно использованных подключений к диску |
DiskConnectionsReset | Число сброшенных подключений к диску |
DiskConnectionsPreserved | Число сохранённых подключений к диску |
DiskConnectionsExpired | Число подключений к диску с истекшим сроком действия |
DiskConnectionsElapsedMicroseconds | Общее время, затраченное на создание подключений к диску |
HTTPConnectionsCreated | Число созданных клиентских HTTP‑подключений |
HTTPConnectionsReused | Число повторно использованных клиентских HTTP‑подключений |
HTTPConnectionsPreserved | Число сохранённых клиентских HTTP‑подключений |
HTTPConnectionsElapsedMicroseconds | Общее время, затраченное на создание клиентских HTTP‑подключений |
HTTPServerConnectionsCreated | Число созданных серверных HTTP‑подключений |
HTTPServerConnectionsReused | Число повторно использованных серверных HTTP‑подключений |
HTTPServerConnectionsPreserved | Число сохранённых серверных HTTP‑подключений. Подключение успешно поддерживалось в состоянии keep‑alive |
HTTPServerConnectionsExpired | Число серверных HTTP‑подключений с истекшим сроком действия |
HTTPServerConnectionsReset | Число сброшенных серверных HTTP‑подключений. Сервер закрывает подключение |
AddressesDiscovered | Общее число новых адресов в результатах DNS‑разрешения для HTTP‑подключений |
ReadWriteBufferFromHTTPRequestsSent | Число HTTP‑запросов, отправленных ReadWriteBufferFromHTTP |
ReadWriteBufferFromHTTPBytes | Общий размер полезной нагрузки в байтах, полученной и отправленной ReadWriteBufferFromHTTP. Не включает HTTP‑заголовки |
ConcurrencyControlSlotsGranted | Число выделенных CPU‑слотов в соответствии с гарантией 1 потока на запрос и для запросов с настройкой 'use_concurrency_control' = 0 |
ConcurrencyControlSlotsAcquiredNonCompeting | Общее число выделенных неконкурирующих CPU‑слотов |
MemoryWorkerRun | Число запусков, выполненных MemoryWorker в фоне |
MemoryWorkerRunElapsedMicroseconds | Общее время, затраченное MemoryWorker на фоновую работу |
FilterTransformPassedRows | Число строк, прошедших фильтр в запросе |
FilterTransformPassedBytes | Число байт, прошедших фильтр в запросе |
IndexBinarySearchAlgorithm | Число использований двоичного алгоритма поиска по меткам индекса |
IndexGenericExclusionSearchAlgorithm | Число использований алгоритма поиска с общим исключением по меткам индекса |
AsyncLoggingConsoleTotalMessages | Количество сообщений (принятых или отброшенных), отправленных в асинхронную очередь для логирования в консоль |
AsyncLoggingFileLogTotalMessages | Количество сообщений (принятых или отброшенных), отправленных в асинхронную очередь для файлового логирования |
AsyncLoggingErrorFileLogTotalMessages | Количество сообщений (принятых или отброшенных), отправленных в асинхронную очередь для журнала ошибок |
AsyncLoggingTextLogTotalMessages | Количество сообщений (принятых или отброшенных), отправленных в асинхронную очередь для text_log |
Пример
См. также
- system.asynchronous_metrics — содержит периодически вычисляемые метрики.
- system.metrics — содержит мгновенно вычисляемые метрики.
- system.metric_log — содержит историю значений метрик из таблиц
system.metricsиsystem.events. - Monitoring — основные концепции мониторинга ClickHouse.