Proxmox

Обычный способ дать VM сеть на отдельном VLAN — завести его на физическом свитче и прописать тегирование на бридже каждой ноды. Работает, но требует доступа к сетевому оборудованию и синхронной правки конфигурации на всех свитчах сразу. Встроенный SDN (Software-Defined Networking) в Proxmox VE решает это иначе: VXLAN-зона инкапсулирует трафик в UDP-пакеты и гоняет его поверх уже существующей IP-сети между нодами, свитч при этом видит обычный IP-трафик и ничего не знает про виртуальные сети внутри. ...

Кластер Proxmox VE держится не на доверии между нодами, а на голосовании. Каждая нода отдаёт один голос в corosync, и пока сумма голосов живых узлов больше половины от общего числа — кластер «quorate», решения принимать можно. Как только большинство пропадает (узлы упали, сеть между сегментами порвалась) — кластер теряет кворум, и это не абстрактная метрика для дашборда, а жёсткий замок на изменения. Смотрится это через pvecm status: в выводе есть блок Votequorum information с Expected votes, Total votes и собственно Quorum — минимальным числом голосов, после которого узел продолжает работать как часть кластера. Нода без кворума не может писать в /etc/pve — конфигурационная файловая система pmxcfs переходит в read-only, так что создать VM, поменять настройку HA или отредактировать corosync.conf через обычный путь не выйдет. Если на отрезанной ноде были активны HA-сервисы, pve-ha-lrm ждёт возврата кворума и не трогает их конфигурацию; не дождавшись в течение таймаута watchdog (по умолчанию 60 секунд), нода уходит в перезагрузку — это самозащита от ситуации, когда два изолированных сегмента кластера одновременно решат, что VM должна работать именно у них. ...

pvesh — не отдельный набор команд поверх Proxmox VE, а прямой доступ к тому же REST API, которым пользуется веб-интерфейс. Четыре подкоманды один в один соответствуют HTTP-методам: get → GET, create → POST, set → PUT, delete → DELETE. Если действие можно сделать мышкой в вебке — значит, за ним стоит API-путь, и этот же путь доступен из терминала без второго вкладки браузера. ...

Диски VM на ZFS-хранилище в Proxmox VE — это не файлы на файловой системе, а отдельные ZFS-тома (zvol), каждый подключается гостю как блочное устройство. Контейнеры хранятся иначе — через subvol, обычный датасет. Подключается пул как хранилище через /etc/pve/storage.cfg: zfspool: vmdata pool tank/vmdata content rootdir,images sparse Опция sparse — это и есть thin-provisioning: резервирование места под том не равно его номинальному размеру. Создал диск на 100 ГБ — тонкий том займёт ровно столько, сколько гость реально записал. ...

Ставить ОС с нуля под каждую тестовую VM — трата времени, которой можно избежать: собрать один шаблон с cloud-init и дальше клонировать его за секунды, с готовой сетью и SSH-доступом уже при первом старте. ...

vzdump — встроенный инструмент бэкапа VM/CT в Proxmox VE, но без явной настройки retention он ничего не удаляет: по умолчанию действует keep-all=1, бэкапы копятся вечно, пока не кончится место на диске. Retention задаётся через prune-backups: vzdump 101 --prune-backups keep-last=3,keep-daily=7,keep-weekly=4 Тот же параметр есть в Datacenter → Backup job — не нужно городить отдельный cron-скрипт для чистки старых архивов. Уведомления о падении/успехе задания раньше настраивались флагом --mailto, но он объявлен deprecated — актуальный способ - notification targets (Datacenter → Notifications), --notification-mode переключает между auto, legacy-sendmail и notification-system. ...

LXC-контейнер в Proxmox — это не VM с гипервизором, а обычные процессы хоста, изолированные namespaces и ограниченные cgroups. Без явных лимитов один контейнер может выесть всю память или CPU ноды, и соседи это почувствуют мгновенно — общее ядро, общие ресурсы. Лимиты через pct set: pct set 101 --cpulimit 2 --cpuunits 512 --memory 2048 --swap 512 cpulimit — жёсткий потолок в ядрах, cpuunits — относительный вес при конкуренции за CPU (по умолчанию 100 под cgroup v2; в legacy cgroup v1 было 1024). Проверить фактическое применение можно в /sys/fs/cgroup/lxc/101/ — Proxmox VE 7+ использует unified cgroup v2 по умолчанию. ...

Firewall в Proxmox VE не отдельный демон — надстройка над iptables/nftables хоста с тремя уровнями: Datacenter (общие правила для всего кластера), Host (конкретный узел) и VM/CT (конкретная виртуалка). Правила нижнего уровня наследуют верхние, но могут их сузить. Security groups — именованные наборы правил на несколько VM сразу: удобно для одинаковых веб-серверов без дублирования. Alias — имя вместо IP/подсети, чтобы не переписывать адреса при их смене. Включается на каждом уровне отдельным чекбоксом Firewall: Enabled — по умолчанию выключен даже после настройки правил, забытый чекбокс на уровне VM самая частая причина «правила есть, а не работают». Конфиг хранится в /etc/pve/firewall/ и /etc/pve/nodes/<node>/host.fw, синхронизируется через pmxcfs. ...

Shared storage (Ceph, NFS, iSCSI) — не всегда вариант, не каждая инсталляция тянет отдельный кластер хранения. pvesr реплицирует VM между нодами ZFS-снапшотами по расписанию — дешёвая замена shared storage для не самых критичных нагрузок. pvesr create-local-job 100-0 pve2 --schedule '*/15' # реплика VM 100 на pve2 каждые 15 минут pvesr status # последний снапшот, задержка pvesr disable 100-0 # остановить job, не удаляя Разница с HA-кластером на shared storage — окно потери данных равно интервалу репликации: упала нода между снапшотами — потеряны изменения за этот промежуток. pvesr не переключает нагрузку сам, после сбоя старт на целевой ноде — qm start 100 вручную. ...

Веб-интерфейс Proxmox прячет vzdump за формой с чекбоксами, но это обычная CLI-утилита — дёргается из cron без похода в GUI. Режимы snapshot/suspend/stop по-разному балансируют простой VM и консистентность данных. # snapshot — VM не останавливается, бэкап через ZFS/LVM snapshot vzdump 101 --mode snapshot --storage local --compress zstd # suspend — короткая пауза VM на момент снятия снапшота vzdump 102 --mode suspend --mailto admin@example.com # несколько VM разом, с ограничением по bandwidth vzdump 101 102 103 --bwlimit 50000 --storage nfs-backup Восстановление — разные команды по типу гостя: qmrestore backup.vma.zst 101 --storage local для VM, pct restore 101 backup.tar.zst --storage local для контейнеров. ...