Murphy

Продолжаем разбирать классику Артура Блоха. После седьмого следствия (“невозможно сделать что-либо защищённым от дурака, потому что дураки чрезвычайно изобретательны”) — восьмое: «Если вы предусмотрели четыре способа, которыми процедура может пойти не так, и устранили их — тут же проявится пятый» После инцидента закрываешь найденные сценарии отказа один за другим: runbook, алерт, ретрай, лимит. Пятый сценарий, которого никто не предполагал, ждёт своего часа не потому что защита плохая, а потому что пространство возможных отказов конечно только на бумаге постмортема. ...

Продолжаем разбирать классику Артура Блоха. После шестого следствия (“если всё идёт хорошо — вы кое-что упустили”) — седьмое: «Невозможно сделать что-либо защищённым от дурака полностью, потому что дураки чрезвычайно изобретательны» Любая защита от человеческого фактора — валидация ввода, подтверждение перед rm, лимиты в конфиге — рано или поздно встречает пользователя, который найдёт способ её обойти не со зла, а просто потому что действовал не так, как предполагал автор. Отсюда правило: не пытаться закрыть все дыры разом, а логировать и откатывать быстро — предохранитель важнее брони. ...

Продолжаем разбирать классику Артура Блоха. После пятого следствия (“природа всегда на стороне скрытого дефекта”) — шестое: «Если всё, кажется, идёт хорошо — значит, вы просто кое-что упустили» Ночь без алертов после деплоя — не повод расслабляться, а повод перепроверить, что алерты вообще доехали до канала. Тишина в мониторинге не означает стабильность системы, она означает только то, что никто пока не заметил, что сломалось. #юмор #murphy #sysadmin

Продолжаем разбирать классику Артура Блоха. После четвёртого следствия (“предоставленные сами себе, события идут от плохого к худшему”) — пятое: «Природа всегда на стороне скрытого дефекта» Мониторинг настроен, тесты зелёные, чек-лист перед релизом пройден — и всё равно падает именно то, что никто не проверял, потому что не считал нужным. Alertmanager покрывает известные сценарии отказа; тот единственный edge case, который сломает прод в три часа ночи, по определению не в списке — иначе его бы уже поймали на review. ...

Продолжаем разбирать классику Артура Блоха. После третьего следствия (“реализуется тот способ пойти не так, что причинит больше вреда”) — четвёртое: «Предоставленные сами себе, события имеют тенденцию идти от плохого к худшему» Это про естественную энтропию любой системы без сопровождения: диск, за которым не следят, не остаётся на прежнем уровне заполненности — он заполняется. Сертификат, о котором забыли, не продлевается сам. Прод без мониторинга не работает стабильно — он просто ещё не сломался достаточно заметно, чтобы кто-то это увидел. ...

Продолжаем разбирать классику Артура Блоха. После “ничто не делается так просто, как кажется” в прошлом выпуске и “всё занимает больше времени, чем кажется” в позапрошлом — третье следствие закона Мёрфи: «Из нескольких способов, которыми что-то может пойти не так, обязательно реализуется тот, что принесёт больше всего вреда» Каждый, кто хоть раз проверял бэкап только после того, как понадобилось восстановление, узнает себя мгновенно. Сломается не то, что легко пофиксить, а то, что заденет продакшн в пятницу вечером. ...