Автор Тема: [SOLVED] Proxmox: не подключается iSCSI-хранилище к новой ноде.  (Прочитано 3865 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Gekko

  • Постоялец
  • ***
  • Сообщений: 384
  • Рейтинг: 1
    • Просмотр профиля
  • Откуда: UTC+3
Ввел в кластер новую ноду. Она подхватила все общие хранилища, кроме iSCSI-таргета поднятого на QNAP. Причем подключилось хранилище nfs на том же QNAP, но никак не присоединить iSCSI-target.
На старой ноде видно, что на нем лежит диск виртуалки в виде LUN, а на новой ноде - само хранилище как бы присутствует, но диска на нем нет. При попытке перемещения виртуальной машины на новую ноду (при условии что ее диск как бы лежит на этом iSCSI-t и переместить нужно только конфигурации) выдает ошибку:
Цитировать
07 08:10:43 starting migration of VM 102 to node 'hv3' (10.0.77.10)
 07 08:10:43 copying disk images
 07 08:10:43 starting VM 102 on remote node 'hv3'
 07 08:10:44 volume 'qnap:0.0.2.scsi-36e843b66d8944d7d5b06d4b0edb72dd2' does not exist
 07 08:10:44 ERROR: online migrate failure - command '/usr/bin/ssh -o 'BatchMode=yes' root@10.0.77.10 qm start 102 --skiplock --migratedfrom hv2 --migration_type secure --stateuri unix --machine pc-i440fx-2.9' failed: exit code 255
 07 08:10:44 aborting phase 2 - cleanup resources
 07 08:10:44 migrate_cancel
 07 08:10:45 ERROR: migration finished with problems (duration 00:00:03)
TASK ERROR: migration problems

На старой ноде это хранилище еще присутствует как два подключенных блочных устройства: типа в конце всех дисков присутствуют sdf1 и sdg1 размером 4Тб - размер таргета. На новой ноде таких устройств не видно.
На старой ноде командой pvesm iscsiscan --portal <ip_QNAP> - выдает длинное имя таргета, адреса и порты (типа мультипас)
На новой эта команда вообще не выполняется - выходит с ошибкой:
Цитировать
root@hv3:/dev/disk/by-id# pvesm iscsiscan --portal 10.0.77.50
iscsiadm: No portals found
command '/usr/bin/iscsiadm --mode discovery --type sendtargets --portal 10.0.77.50' failed: exit code 21
Если вбросить еще некоторое количество данных: то у QNAP два адреса на двух vlana'ах 10.0.7.50 и  10.0.77.50 - оба адреса пингуются с обеих нод и ноды по обоим вланам видят друг друга.

Основной вопрос: это ошибка авторизации на таргете? Ошибка синхронизации на новой ноде? Как так получается, что при одинаковых настройках файрвола (iptables на обоих нодах дефолтный) одна нода видит таргет, а вторая - нет?
 

« Последнее редактирование: 08 сентября 2023, 17:15:06 от Gekko »
Зеленка понижает IQ всего IT подразделения. Не начинайте читать зеленку.

Оффлайн Sigurd

  • Пользователь
  • **
  • Сообщений: 58
  • Рейтинг: 3
  • Пол: Мужской
    • Просмотр профиля
  • Откуда: Earth
Я не работал ни с Proxmox, ни с QNAP, но принципы там общие, а ты хост презентовал на  QNAP? Авторизация настроена? Там шаред-секреты итд.
 QNAP так же должен твой новый хост видеть. Видит?

Оффлайн Sigurd

  • Пользователь
  • **
  • Сообщений: 58
  • Рейтинг: 3
  • Пол: Мужской
    • Просмотр профиля
  • Откуда: Earth
UPD, вот что нагуглилось iscsiadm -m node -l ALL 

Почитай здесь:
https://library.netapp.com/ecmdocs/ECMP1217221/html/GUID-8EC685B4-8CB6-40D8-A8D5-031A3899BCDC.html



Оффлайн Gekko

  • Постоялец
  • ***
  • Сообщений: 384
  • Рейтинг: 1
    • Просмотр профиля
  • Откуда: UTC+3
а ты хост презентовал на  QNAP? Авторизация настроена? Там шаред-секреты итд.
 QNAP так же должен твой новый хост видеть. Видит?
Не, авторизации на Кунапе нет. То есть - кто насканил таргет, тот и присоединяется.
UPD, вот что нагуглилось iscsiadm -m node -l ALL 

Почитай здесь:
https://library.netapp.com/ecmdocs/ECMP1217221/html/GUID-8EC685B4-8CB6-40D8-A8D5-031A3899BCDC.html
Старая нода показывает таргет, а новая - нет. Я уже не знаю куда рыть. Они в одном кластере, с одинаковыми сетевыми настройками и файрволами. Как так?
Зеленка понижает IQ всего IT подразделения. Не начинайте читать зеленку.

Оффлайн Sigurd

  • Пользователь
  • **
  • Сообщений: 58
  • Рейтинг: 3
  • Пол: Мужской
    • Просмотр профиля
  • Откуда: Earth
Скинь модель  QNAP.
Цитировать
с одинаковыми сетевыми настройками и файрволами

Может где то что-то упускаешь

Оффлайн Gekko

  • Постоялец
  • ***
  • Сообщений: 384
  • Рейтинг: 1
    • Просмотр профиля
  • Откуда: UTC+3
Скинь модель  QNAP.

TS-431

Может где то что-то упускаешь
Само собой. Но вот где? С одной стороны - обе ноды в кластере практически идентичны. И подключение должно происходить на уровне кластера. Но новая нода чего то не подсасывает и не может присоединить. На команду  iscsiadm -m node -l ALL - iscsiadm: No records found говорит. На попытку сканировать портал по IP - говорит "портал не обнаружен".


Updated: 08 September 2023, 14:51:05

Какая то вообще непонятная для меня е.б.о.л.а:
Цитировать
root@hv3:/etc/iscsi# iscsiadm -m discovery -t sendtargets -p 10.0.7.50:3260
iscsiadm: No portals found
root@hv3:/etc/iscsi# iscsiadm -m discovery
10.0.7.50:3260 via sendtargets
10.0.77.50:3260 via sendtargets
На первую команду - Типа портала не вижу
А на вторую выдает, что есть как бы два ресурса
Пытаюсь увидеть его с другой Windows машины - тоже не видит. Короче говоря ниоткуда не подключится. Я так подозреваю, что если от старой ноды его отключить - он уже обратно тоже не подключится.
« Последнее редактирование: 08 сентября 2023, 15:50:13 от Gekko »
Зеленка понижает IQ всего IT подразделения. Не начинайте читать зеленку.

Оффлайн Sigurd

  • Пользователь
  • **
  • Сообщений: 58
  • Рейтинг: 3
  • Пол: Мужской
    • Просмотр профиля
  • Откуда: Earth
А кто настраивал QNAP? Вот почитал мануал:
https://docs.qnap.com/operating-system/qts/5.1.x/qts5.1.x-ug-en-us.pdf
Там все таки есть и авторизация по CHAP, iSCSI LUN Masking Policy,  authorized initiators list, просто проверь, может просто надо инициатор новой ноды добавить.
Если с другого Windows тоже не можешь подключится, то явно сторадж режектит коннект, может порт не 3260.

Оффлайн Gekko

  • Постоялец
  • ***
  • Сообщений: 384
  • Рейтинг: 1
    • Просмотр профиля
  • Откуда: UTC+3
Решение нашлось: я валенок - не очень так в QNAP умею. Поэтому не знал, где искать эти списки разрешенных инициаторов. А они оказывается действительно есть.

При нажатии правой мышкой на таргете вылезает меню, где есть настройка - пускать всех инициаторов или только по списку. И там в как раз указаны старая нода из кластера, которую я разобрал, и оставшаяся вторая. Новой там конечно никто не добавлял, по этому ее и не видно.
Запара правда небольшая была: так как кластер в продакшене, и таргет используют под диски, редактировать его на лету не получится. Нужно останавливать VMки или отключать от кластера - я хз. В общем пришлось на новой ноде в конфиге /etc/iscsi/initiatorname.iscsi заменить iqn инициатора на iqn старой ноды.
Потом перезапсытил службу open-iscsi.service и вроде как все заеблось заработало.


Updated: 08 September 2023, 17:29:43

А кто настраивал QNAP? Вот почитал мануал:
https://docs.qnap.com/operating-system/qts/5.1.x/qts5.1.x-ug-en-us.pdf
Там все таки есть и авторизация по CHAP, iSCSI LUN Masking Policy,  authorized initiators list, просто проверь, может просто надо инициатор новой ноды добавить.
Если с другого Windows тоже не можешь подключится, то явно сторадж режектит коннект, может порт не 3260.
Да понимаешь... Те кто настраивали кунап уже давно не работают. А те кто были до меня и старались ничего не трогать - сперва мне не могли пароль вспомнить чуть не неделю, а потом еще мозги мне пудрили, что это нужно "на ноде какие то утилиты настраивать" - дословно. Плохо когда ты блуждаешь в потемках, а еще хуже, когда каких то неучей еще слушаешь при этом. :facepalm2:
Хотя - сам дурак. Читал бы мануал - давно бы дошел до списка authorized initiators list.
« Последнее редактирование: 08 сентября 2023, 17:31:53 от Gekko »
Зеленка понижает IQ всего IT подразделения. Не начинайте читать зеленку.