Лекция

Наблюдаемость

Четыре числа описывают почти любой сервис, обслуживающий запросы: задержка, трафик, ошибки, насыщение. Их называют золотыми сигналами, и первоисточник обещает за них ровно одно: сервис будет покрыт мониторингом прилично. Не полностью.

Вторая половина работы начинается там, где заканчивается первая. Измерить — полдела; решить, какое из измерений имеет право поднять человека среди ночи, сложнее. Правило, по которому это решается, сформулировано инженером Google по опыту семи лет дежурств и звучит неудобно: ошибаться следует в сторону удаления шумных оповещений, потому что перемониторинг чинится труднее, чем недомониторинг.

Два вопроса лекции

Что мерить. Четыре сигнала, методики USE и RED, арифметика гистограмм и цена кардинальности.

Когда будить человека. Критерий действенности, симптом против причины, стоимость подъёма и что происходит с сигналом, которому перестали верить.

Что внутри

  • Откуда взялся термин: теория управления Калмана, где наблюдаемость дуальна управляемости, и что от этой дуальности осталось в ИТ
  • Четыре сигнала по первоисточнику — с нюансами, которые обычно теряются: почему задержку успешных и неуспешных запросов считают раздельно и почему медленная ошибка хуже быстрой
  • Почему пятиминутное среднее показывало 80% загрузки процессора там, где он на секунды упирался в 100%
  • Арифметика хвоста: 99-й перцентиль одного бэкенда становится медианой фронтенда, а histogram_quantile превращает настоящие 220 миллисекунд в показанные 295
  • Кардинальность как статья расходов: почему одна метка с идентификатором пользователя ломает хранилище и почему чинить это надо в коде, а не на приёме
  • Критерий, по которому новое правило оповещения либо заводится, либо нет, и разница между тикетом, письмом и подъёмом
  • Отказ Cloudflare 18 ноября 2025 года, где сигнал колебался, и отказ Facebook 4 октября 2021 года, где инструменты наблюдения оказались внутри наблюдаемого
  • Сколько это стоит: доля инженерной ёмкости, доля счёта за инфраструктуру и история одного счёта примерно на 65 миллионов долларов
  • Российский слой: ГОСТ Р 59547-2021 и приказ ФСТЭК России № 117, который действует с 1 марта 2026 года
Чего в лекции нет

Как назначать порог обязательства перед клиентом и сколько девяток обещать. Как строить график дежурств и по какой лестнице идёт эскалация. Что писать в журнал и сколько его хранить. Как вести разбор после отказа. Это соседние темы, и границы с ними названы в последней теме прямо.

Тема 1 из 27 · Что такое наблюдаемость

Термин пришёл из теории управления — и потерял по дороге половину смысла

Слово «наблюдаемость» не придумали в ИТ. Его ввёл Рудольф Калман как характеристику математических систем управления, в работе «On the General Theory of Control Systems». Наряду с управляемостью это одно из двух центральных понятий современной теории управления, и оба ввёл он.

Дата: осторожно

Источники расходятся. Часть называет 1960 год, часть — 1959: доклад прозвучал на первом конгрессе ИФАК в Москве в 1960 году по материалам 1959 года. Безопасная формулировка — на рубеже 1959–1960 годов. Единственную точную дату здесь утверждать нельзя.

Определение, из которого всё следует

Наблюдаемость — мера того, насколько внутренние состояния системы могут быть выведены из знания её внешних выходов. Формально система полностью наблюдаема, если матрица наблюдаемости имеет полный ранг: ни одно начальное состояние не остаётся неотличимым от другого по выходным данным.

Переведите это на язык эксплуатации. Ваш сервис отдаёт наружу коды ответа, времена, счётчики. Вопрос наблюдаемости — можно ли по этим выходам различить два разных внутренних состояния. Если «база отвечает медленно» и «пул соединений исчерпан» дают на выходе одну и ту же картинку, система в этой части ненаблюдаема, сколько бы графиков вы ни нарисовали.

Что потерялось при переносе

В теории управления наблюдаемость дуальна управляемости, и конечная цель — управление, а не созерцание. Измеряют, чтобы воздействовать. В ИТ-адаптации эта дуальность обычно теряется, и остаётся созерцание: панель, на которую никто не смотрит, формально наблюдаемость обеспечивает.

Как слово попало в эксплуатацию

В программной инженерии термин ходил ещё в 1990-е — у Sun Microsystems. В мейнстрим он вошёл в середине 2010-х через инженеров Twitter и Stripe, и там же к нему прилипло рабочее противопоставление мониторингу.

заранее заданные вопросы
Мониторинг

«Жив ли сервис?», «не кончился ли диск?», «держится ли доля ошибок ниже порога?». Вопросы сформулированы заранее, ответы собираются регулярно.

заранее не заданные вопросы
Наблюдаемость

«Почему у клиентов из одного региона на одной версии приложения растёт задержка?». Вопрос возник впервые, а ответить на него надо по уже собранным данным.

Различие практическое, а не нормативное. Общепринятой границы между двумя словами нет, спорят о ней до сих пор, а в российских стандартах закреплён именно мониторинг — с определением и требованиями. К нему мы вернёмся в конце лекции.

Инженер эксплуатации говорит: «у нас полная наблюдаемость — мы снимаем сорок метрик с каждого сервиса». Что в этом утверждении не сходится с исходным определением?
По Калману наблюдаемость — это свойство различать внутренние состояния по внешним выходам. Сорок метрик, которые все ведут себя одинаково при двух разных причинах отказа, дают нулевую различимость. Число рядов не равно наблюдаемости.
Почему в лекции говорится, что при переносе термина в ИТ «потерялась дуальность»?
У Калмана наблюдаемость и управляемость — пара, и цель измерения в том, чтобы управлять. В ИТ-адаптации эта связка обычно теряется: остаётся сбор данных без обязательства что-то по ним сделать.
Бесплатный доступ

Дальше нужен аккаунт

Прогресс и монеты сохранятся.