Развалился Proxmox кластер из двух нод. Кворум.

[Gekko]

Вчера на мастер-ноде кластера начались какие то сбои и ее было решено выключить и полностью пересобрать рейды, переустановить Proxmox и т.д. Ноду то мы выключи, а вот что с кластером теперь делать? На первую же команду

pvecm status

вылезло сообщение о недостаточном кворуме. В веб-морде весь кластер серым цветом отображается.
Короче говоря - как дальше жить? Есть вариант - собрать обратно все диски (благо с ними ничего не делали) и запустив мастер-ноду выводить ее из кластера штатным способом.
Или есть какие то ручные методы выведения? Какова последовательность действий или какие мануалы читать?
В будущем планируется введение этой машины с тем же адресом и доменным именем в тот же кластер.

[Triangle]

ЕМНИП кворум возможен только при трех нодах.

[Gekko]

ЕМНИП кворум возможен только при трех нодах.

Ну, как видишь, при двух - тоже срабатывает. Может на новых версиях оно и так, но у меня кластер на 4.4.

[Triangle]

Нет, ты не понял, да кластер можно из двух нод собирать это не запрещено, кворум не будет при двух нодах работать только при трех.

[Gekko]

Нет, ты не понял, да кластер можно из двух нод собирать это не запрещено, кворум не будет при двух нодах работать только при трех.

Дык я и говорю - теперь ты видел все: кластер из двух нод, в котором кластерные команды не выполняются по причине отсутствия кворума. 
То есть решение об исключении ноды невозможно принять в виду отсутствия кворума, то бишь - ноды.

[Gekko]

Пришлось включать обратно ноду, выводить ее из кластера, удалять все упоминания о ней на второй. Вроде теперь у меня какое то подобие кластера с одной нодой.
Теперь начинается пляска с установкой Proxmox 4.4. на новую ноду... Так как данная версия давно не поддерживается, то на нее не установить ни один пакет из нужных для дальнейшей настройки. Не пойму - в чем загвоздка. Репозитории mirror.yandex.ru/debian/dists/jessie - говорят "404 not found".
security.debian.org jessie - тоже пишет 404.
И это только начало, и только то что касается самого Debian. Что там касательно пакетов Proxmox - еще только предстоит выяснить.

[Flyer_SPb]

mirror.yandex.ru/debian/dists/jessie

http://archive.debian.org/debian/

[Gekko]

mirror.yandex.ru/debian/dists/jessie

http://archive.debian.org/debian/

Спасибо! Уже нашел. Нашел, установил openvswitch и успел положить сетевые интерфейы.
Хотел сделать бонд из двух интерфейсов и засунуть все в бридж. Назначил влани и тоже засунул их в бридж. Перезагрузил и... нихрена не применилось. Осталось все в interfaces.new. А interfaces вообще тал каким то дефолтным и пустым. Сейчас переименовал этот new в осровной - хотя бы доступ по ssh появился. Но вот web-морда proxmox пока так и не проявилась. Придется вс править из консоли.

ЗЫ Дополнение под конец рабочего дня: почему то в веб-интерфейсе настройки сети собрались через жопу. Пришлось все править вручную. Это великое счастье, что еще SSH всплыл, а то бы пришлось бегать - мама не горюй. Короче тупо открыл настройку сети в одной ноде и во второй, и тупо переписал параметры. Плюс под конец я сделал столько попыток законтачить две ноды и столько манипуляций со службами corosync и pve-cluster, что на подсоединяемой ноде пришлось тупо накатить apt instal proxmox-ve. И потом - бесчисленные попытки соединения с неоднократным перевыпуском ключей привели к тому, что при миграции VM с одной ноды на другую теперь ругается на несоответствие ключей.

сен 04 16:54:27 # /usr/bin/ssh -o 'BatchMode=yes' root@10.0.77.10 /bin/true
сен 04 16:54:27 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
сен 04 16:54:27 @    WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!     @
сен 04 16:54:27 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
сен 04 16:54:27 IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!
сен 04 16:54:27 Someone could be eavesdropping on you right now (man-in-the-middle attack)!
сен 04 16:54:27 It is also possible that a host key has just been changed.
сен 04 16:54:27 The fingerprint for the ECDSA key sent by the remote host is
сен 04 16:54:27 0c:fa:ab:27:6c:0a:f7:1d:a8:ad:68:11:1c:44:3f:17.
сен 04 16:54:27 Please contact your system administrator.
сен 04 16:54:27 Add correct host key in /root/.ssh/known_hosts to get rid of this message.
сен 04 16:54:27 Offending RSA key in /etc/ssh/ssh_known_hosts:31
сен 04 16:54:27   remove with: ssh-keygen -f "/etc/ssh/ssh_known_hosts" -R 10.0.77.10
сен 04 16:54:27 ECDSA host key for 10.0.77.10 has changed and you have requested strict checking.
сен 04 16:54:27 Host key verification failed.
сен 04 16:54:27 ERROR: migration aborted (duration 00:00:00): Can't connect to destination address using public key
TASK ERROR: migration aborted

Пришлось вручную удалять

ssh-keygen -f "/etc/ssh/ssh_known_hosts" -R 10.0.77.10

после чего миграция не работает с другой ошибкой:

сен 04 17:33:20 # /usr/bin/ssh -o 'BatchMode=yes' root@10.0.77.10 /bin/true
сен 04 17:33:20 Host key verification failed.
сен 04 17:33:20 ERROR: migration aborted (duration 00:00:01): Can't connect to destination address using public key
TASK ERROR: migration aborted

Что бы привести сертификаты в соответствие нужно зайти на проблемную ноду вручную по ssh^

ssh -o "HostKeyAlias=MyNode1" root@10.0.7.10

[Gekko]

Заметил одну особенность: когда в Datacenter указываешь в настройках хранилища доступ той или иной ноде, то проходит как то дофига времени до того момента, пока хранилище на новой ноде не станет действительно доступным. Сколько времени длится такая синхронизация? 
Вчера добавил новую ноду, указал ее в настройках cifs-хранилища - доступ появился минут через 20.
Сегодня нужно что бы та же нода имела доступ к ISCSI-таргету - уже часа 2 жду а доступа так и нет...
Посмотрел оба конфига storage.cfg на обеих нодах - и там и там iSCSI-таргет прописан...
Службу что ли какую то передернуть надо?