Форум системных администраторов

IT => Windows => MS Exchange => Тема начата: tatiana_t от 06 февраля 2019, 17:50:02

Название: [РЕШЕНО] Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: tatiana_t от 06 февраля 2019, 17:50:02
Доброго времени суток, произошла внештатная ситуация, после перезагрузки одного из трёх серверов (EXC02) Exchange 2016 перестали реплицироваться 4 из 5 бд в DAG на данном сервере. EXC01 - сервер с активной бд - исправен, как и EXC03 c пассивными бд. 

Статус бд на EXC02:
[PS] C:\Windows\system32>Get-MailboxDatabaseCopyStatus -server EXC02

Name                                          Status          CopyQueue ReplayQueue LastInspectedLogTime                                            ContentIndex
                                                              Length    Length                                                                      State
----                                          ------          --------- ----------- --------------------                                            ------------
DB04\EXC02                                    FailedAndSuspen 148       1           06.02.2019 14:29:04                                             Suspended
                                              ded
DB01\EXC02                                    FailedAndSuspen 857       1           05.02.2019 18:47:08                                             Suspended
                                              ded
DB02\EXC02                                    FailedAndSuspen 726       3           06.02.2019 10:11:31                                             Suspended
                                              ded
DB03\EXC02                                    Healthy         0         0           06.02.2019 17:34:41                                             Healthy
DB05\EXC02                                    FailedAndSuspen 160       1           06.02.2019 12:09:24                                             Suspended
                                              ded

Возобновление работы копии бд не удается произвести:
[PS] C:\Windows\system32>Resume-MailboxDatabaseCopy -Identity DB04\EXC02
Сбой административной операции на стороне сервера. Работу копии базы данных нельзя восстановить из-за предыдущей неустранимой ошибки. Ошибка: At '06.02.2019 14:
29:04' the Exchange store database 'DB04' copy on this server appears to be inconsistent with the active database copy or is corrupted. For more detail about th
e failure, consult the Event log on the server for other storage and "ExchangeStoreDb" events. The passive database copy has been suspended.
 [База данных: 98395d3f-98bf-4900-82de-1fba521eaf4f, Сервер: EXC02.win.inter]
    + CategoryInfo          : NotSpecified: (:) [Resume-MailboxDatabaseCopy], ReplayServiceResumeBlockedException
    + FullyQualifiedErrorId : [Server=EXC02,RequestId=588e6dc5-25c2-452e-9994-474ddb1300d5,TimeStamp=06.02.2019 14:39:16] [FailureCategory=Cmdlet-ReplayServic
   eResumeBlockedException] 824ADEF3,Microsoft.Exchange.Management.SystemConfigurationTasks.ResumeDatabaseCopy
    + PSComputerName        : exc02.win.inter

В журнале событий по тегу ExchangeStoreDb наблюдаю следующее:
Код события 116 - At '06.02.2019 14:25:42' the Microsoft Exchange Information Store Database 'DB04' copy on this server experienced a serious error which may have caused it to terminate its functional activity. Consult the event log on the server for other storage and "ExchangeStoreDb" events for more specific information about the failure. Recovery was not attempted
Код события 110 - At '06.02.2019 14:29:04' the Exchange store database 'DB04' copy on this server appears to be inconsistent with the active database copy or is corrupted. For more detail about the failure, consult the Event log on the server for other storage and "ExchangeStoreDb" events. The passive database copy has been suspended.
Код события 126 - At '06.02.2019 14:29:04' the Exchange store database 'DB04' copy on this server encountered an error that caused the database to be dismounted. For more detail about the failure, consult the Event log on the server for other "ExchangeStoreDb" or "msexchangerepl" events. A successful failover restored service.

Возможно ли восстановить данные бд или лучше удалить и создать бд заново?
Обращаюсь за вашей помощью :dont_know:
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: Retif от 06 февраля 2019, 17:54:36
Как вариант, на этом сервере отключить вообще копии для проблемных баз, все почистить, а потом включить заново. Это чтоб не разбираться, а быстро начать работать.

Дайте полный
Get-MailboxDatabaseCopyStatus
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: tatiana_t от 06 февраля 2019, 17:58:28
[PS] C:\Windows\system32>Get-MailboxDatabaseCopyStatus

Name                                          Status          CopyQueue ReplayQueue LastInspectedLogTime                                            ContentIndex
                                                              Length    Length                                                                      State
----                                          ------          --------- ----------- --------------------                                            ------------
DB04\EXC02                                   FailedAndSuspen 132       1           06.02.2019 14:29:04                                             Suspended
                                              ded
DB01\EXC02                                   FailedAndSuspen 871       1           05.02.2019 18:47:08                                             Suspended
                                              ded
DB02\EXC02                                   FailedAndSuspen 625       3           06.02.2019 10:11:31                                             Suspended
                                              ded
DB03\EXC02                                   Healthy         0         0           06.02.2019 17:49:10                                             Healthy
DB05\EXC02                                   FailedAndSuspen 270       1           06.02.2019 12:09:24                                             Suspended

Как вариант, на этом сервере отключить вообще копии для проблемных баз, все почистить, а потом включить заново.
"отключить вообще копии для проблемных баз" - если ориентироваться на центр управления dag (веб-интерфейс), там есть только три кнопки возобновить, обновить и удалить. Вы имеете в виду кнопку "удалить" или какой-то хитрый командлет?  :dont_know:
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: Retif от 06 февраля 2019, 18:00:15
Э-э, блин, вот так:

Get-MailboxServer | Get-MailboxDatabaseCopyStatus
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: tatiana_t от 06 февраля 2019, 18:02:35
А, не сориентировалась, каким-то образом пропустила последние две строчки вашего сообщения:

[PS] C:\Windows\system32>Get-MailboxServer | Get-MailboxDatabaseCopyStatus

Name                                          Status          CopyQueue ReplayQueue LastInspectedLogTime                                            ContentIndex
                                                              Length    Length                                                                      State
----                                          ------          --------- ----------- --------------------                                            ------------
DB04\EXC02                                   FailedAndSuspen 132       1           06.02.2019 14:29:04                                             Suspended
                                              ded
DB01\EXC02                                   FailedAndSuspen 873       1           05.02.2019 18:47:08                                             Suspended
                                              ded
DB02\EXC02                                   FailedAndSuspen 625       3           06.02.2019 10:11:31                                             Suspended
                                              ded
DB03\EXC02                                   Healthy         0         0           06.02.2019 17:57:29                                             Healthy
DB05\EXC02                                   FailedAndSuspen 271       1           06.02.2019 12:09:24                                             Suspended
                                              ded
DB01\EXC01                                   Mounted         0         0                                                                           Healthy
DB02\EXC01                                   Mounted         0         0                                                                           Healthy
DB03\EXC01                                   Mounted         0         0                                                                           Healthy
DB04\EXC01                                   Mounted         0         0                                                                           Healthy
DB05\EXC01                                   Mounted         0         0                                                                           Healthy
DB01\EXC03                                   Healthy         0         0           06.02.2019 18:01:09                                             Healthy
DB02\EXC03                                   Healthy         0         0           06.02.2019 17:55:11                                             Healthy
DB03\EXC03                                   Healthy         0         0           06.02.2019 17:57:29                                             Healthy
DB04\EXC03                                   Healthy         0         0           06.02.2019 17:55:34                                             Healthy
DB05\EXC03                                   Healthy         0         0           06.02.2019 17:59:51                                             Healthy
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: Retif от 06 февраля 2019, 20:01:04
А-а, ну они на первом сервере в состоянии Healthy, смело можно копию на EXC02 отключать, чистить и заново включать.


Updated: 06 February 2019, 20:03:41

Вы имеете в виду кнопку "удалить" или какой-то хитрый командлет? 
Удалить. Командлет тоже есть, он совсем не хитрый.

Типа так:

Remove-MailboxDatabaseCopy -Identity DB04\EXC02 -Confirm:$False
https://docs.microsoft.com/en-us/powershell/module/exchange/database-availability-groups/remove-mailboxdatabasecopy?view=exchange-ps
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: tatiana_t от 06 февраля 2019, 21:44:57
Т.е. дальше из папки ExchangeDatabases удаляю папку DB04 и DB04_Log, а затем выполняю командлет:
Add-MailboxDatabaseCopy -Identity DB04\EXC02 -Confirm:$False
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: Retif от 06 февраля 2019, 21:57:58
Да. Или из интерфейса.


Updated: 06 February 2019, 21:59:03

Вообще, на этом сервере с файловой/дисковой системой все в порядке? А то неспроста это.
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: tatiana_t от 06 февраля 2019, 22:16:54
После удаления папок папку DB04 и DB04_Log из папки ExchangeDatabases мне не удалось выполнить добавление бд:
[PS] C:\Windows\system32>Add-MailboxDatabaseCopy -Identity DB04\EXC02 -Confirm:$False
Не удается обработать преобразование аргументов для параметра "Identity". Не удается преобразовать значение "DB04\EXC02" в тип "Microsoft.Exchange.Configuration.Tasks
.DatabaseIdParameter". Ошибка: ""DB04\EXC02" не является допустимым значением идентификатора.
Имя параметра: Identity"
    + CategoryInfo          : InvalidData: (:) [Add-MailboxDatabaseCopy], ParameterBindin...mationException
    + FullyQualifiedErrorId : ParameterArgumentTransformationError,Add-MailboxDatabaseCopy
    + PSComputerName        : exc02.win.inter

Думаю ваше предположение по поводу файловое системы верно, т.к. это виртуальная машина с некорректно жёстким диском (т.е. он склеен из нескольких).
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: Retif от 06 февраля 2019, 22:27:39
Add-MailboxDatabaseCopy -Identity DB04\EXC02
Не так там:

Цитировать
Add-MailboxDatabaseCopy -Identity DB04 -MailboxServer EXC02
https://docs.microsoft.com/en-us/powershell/module/exchange/database-availability-groups/add-mailboxdatabasecopy?view=exchange-ps

Попробуйте из интерфейса, там не ошибешься.
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: tatiana_t от 07 февраля 2019, 16:17:09
Вообще, на этом сервере с файловой/дисковой системой все в порядке? А то неспроста это.
Переделали жёсткий диск с бд, как добавлю на EXC02 пассивные копии бд дополнительно отпишусь о результатах)
Спасибо!
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: tatiana_t от 08 февраля 2019, 09:13:47
Итого на сегодня я успешно загрузила только 2 (DB01, DB05) бд из 5:

Get-MailboxServer | Get-MailboxDatabaseCopyStatus
Выполняется создание нового сеанса для неявного удаленного взаимодействия команды "Get-MailboxServer"...

Name                                          Status          CopyQueue ReplayQueue LastInspectedLogTime   ContentIndex
                                                              Length    Length                             State
----                                          ------          --------- ----------- --------------------   ------------
DB05\EXC02                                   Healthy         0         0           08.02.2019 9:04:30     Healthy
DB01\EXC02                                   Healthy         0         0           08.02.2019 9:00:28     Healthy
DB03\EXC02                                   Seeding         186490    0                                  FailedAndSus
                                                                                                           pended
DB01\EXC01                                   Mounted         0         0                                  Healthy
DB02\EXC01                                   Mounted         0         0                                  Healthy
DB03\EXC01                                   Mounted         0         0                                  Healthy
DB04\EXC01                                   Mounted         0         0                                  Healthy
DB05\EXC01                                   Mounted         0         0                                  Healthy
DB01\EXC03                                   Healthy         0         0           08.02.2019 9:00:28     Healthy
DB02\EXC03                                   Healthy         0         0           08.02.2019 9:04:11     Healthy
DB03\EXC03                                   Healthy         0         0           08.02.2019 9:03:31     Healthy
DB04\EXC03                                   Healthy         0         0           08.02.2019 8:58:38     Healthy
DB05\EXC03                                   Healthy         0         0           08.02.2019 9:04:30     Healthy
При загрузке DB02 получила следующую ошибку:
[PS] C:\Windows\system32>Add-MailboxDatabaseCopy -Identity DB02 -MailboxServer EXC02
Не удалось выполнить операцию заполнения. Ошибка: При выполнении операции заполнения произошла ошибка. Ошибка: При обме
не данными с сервером 'EXC01' произошла ошибка. Ошибка: Не удается прочитать данные из транспортного соединения: Удале
нный хост принудительно разорвал существующее подключение. [База данных: DB02, Сервер: EXC02.win.inter]
    + CategoryInfo          : InvalidOperation: (:) [Add-MailboxDatabaseCopy], SeedInProgressException
    + FullyQualifiedErrorId : [Server=EXC02,RequestId=04e1a8a3-d03d-4e57-9cdb-543b2cb81248,TimeStamp=07.02.2019 21:25
   :59] [FailureCategory=Cmdlet-SeedInProgressException] A142173B,Microsoft.Exchange.Management.SystemConfigurationTa
  sks.AddMailboxDatabaseCopy
    + PSComputerName        : exc02win.inter

Затем удалила с жесткого диска папки относящиеся к DB02 и решила попробовать залить следующую бд DB03, но и тут не вышло:

[PS] C:\Windows\system32>Add-MailboxDatabaseCopy -Identity DB03 -MailboxServer EXC02
Не удалось обработать данные удаленной команды. Сообщение об ошибке: <s:Envelope xml:lang="ru-RU" xmlns:s="http://www.w
3.org/2003/05/soap-envelope" xmlns:a="http://schemas.xmlsoap.org/ws/2004/08/addressing" xmlns:w="http://schemas.dmtf.or
g/wbem/wsman/1/wsman.xsd" xmlns:rsp="http://schemas.microsoft.com/wbem/wsman/1/windows/shell" xmlns:p="http://schemas.m
icrosoft.com/wbem/wsman/1/wsman.xsd"><s:Header><a:Action>http://schemas.microsoft.com/wbem/wsman/1/windows/shell/Receiv
eResponse Подробности см. в разделе справки "about_Remote_Troubleshooting".
    + CategoryInfo          : OperationStopped: (exc02.win.inter:String) [], PSRemotingTransportException
    + FullyQualifiedErrorId : JobFailure
    + PSComputerName        : exc02.win.inter
Сейчас попробую вновь подключить DB02(
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: Retif от 08 февраля 2019, 10:52:16
Фиг знает. Если на других серверах всё ок, видимо какая-то проблема на этом сервере. Логи почитайте, может там что полезное есть.
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: tatiana_t от 08 февраля 2019, 12:48:50
По итогу, сейчас добавляется DB02, и какое-то время назад DB03 самостоятельно перешла в исправное состояние:
[PS] C:\Users\admin\Desktop>Get-MailboxDatabaseCopyStatus -Db DB03

Name                                          Status          CopyQueue ReplayQueue LastInspectedLogTime   ContentIndex
                                                              Length    Length                             State
----                                          ------          --------- ----------- --------------------   ------------
DB03\EXC01                                    Mounted         0         0                                  Healthy
DB03\EXC03                                    Healthy         0         0           08.02.2019 12:47:03    Healthy
DB03\EXC02                                    Healthy         0         0           08.02.2019 12:47:03    Healthy
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: tatiana_t от 08 февраля 2019, 21:00:12
Итого:
При загрузке DB04 я получила такую же ошибку как и с DB03, но по итогу вижу что база в порядке, видимо это не баг, а фича.
[PS] C:\Windows\system32>Add-MailboxDatabaseCopy -Identity DB04 -MailboxServer EXC02
Не удалось обработать данные удаленной команды. Сообщение об ошибке: <s:Envelope xml:lang="ru-RU" xmlns:s="http://www.w3.org/2003/
05/soap-envelope" xmlns:a="http://schemas.xmlsoap.org/ws/2004/08/addressing" xmlns:w="http://schemas.dmtf.org/wbem/wsman/1/wsman.x
sd" xmlns:rsp="http://schemas.microsoft.com/wbem/wsman/1/windows/shell" xmlns:p="http://schemas.microsoft.com/wbem/wsman/1/wsman.x
sd"><s:Header><a:Action>http://schemas.microsoft.com/wbem/wsman/1/windows/shell/ReceiveResponse Подробности см. в разделе справки
"about_Remote_Troubleshooting".
    + CategoryInfo          : OperationStopped: (exc02.win.inter:String) [], PSRemotingTransportException
    + FullyQualifiedErrorId : JobFailure
    + PSComputerName        : exc02.win.inter
Get-MailboxServer | Get-MailboxDatabaseCopyStatus

Name                                          Status          CopyQueue ReplayQueue LastInspectedLogTime              ContentIndex
                                                              Length    Length                                        State
----                                          ------          --------- ----------- --------------------              ------------
DB05\EXC02                                    Healthy         0         0           08.02.2019 20:54:44               Healthy
DB01\EXC02                                    Healthy         0         0           08.02.2019 20:55:02               Healthy
DB03\EXC02                                    Healthy         0         0           08.02.2019 20:49:31               Healthy
DB02\EXC02                                    Healthy         0         0           08.02.2019 20:52:25               Healthy
DB04\EXC02                                    Healthy         0         0           08.02.2019 20:43:36               Healthy
DB01\EXC01                                    Mounted         0         0                                             Healthy
DB02\EXC01                                    Mounted         0         0                                             Healthy
DB03\EXC01                                    Mounted         0         0                                             Healthy
DB04\EXC01                                    Mounted         0         0                                             Healthy
DB05\EXC01                                    Mounted         0         0                                             Healthy
DB01\EXC03                                    Healthy         0         0           08.02.2019 20:55:02               Healthy
DB02\EXC03                                    Healthy         0         0           08.02.2019 20:52:25               Healthy
DB03\EXC03                                    Healthy         0         0           08.02.2019 20:49:31               Healthy
DB04\EXC03                                    Healthy         0         0           08.02.2019 20:43:36               Healthy
DB05\EXC03                                    Healthy         0         0           08.02.2019 20:54:44               Healthy
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: tatiana_t от 08 февраля 2019, 21:03:13
Итого: по завершению загрузки DB04 я получила такую же ошибку как и с DB03, но по итогу вижу что база в порядке, видимо это не баг, а фича.
[PS] C:\Windows\system32>Add-MailboxDatabaseCopy -Identity DB04 -MailboxServer EXC02
Не удалось обработать данные удаленной команды. Сообщение об ошибке: <s:Envelope xml:lang="ru-RU" xmlns:s="http://www.w3.org/2003/
05/soap-envelope" xmlns:a="http://schemas.xmlsoap.org/ws/2004/08/addressing" xmlns:w="http://schemas.dmtf.org/wbem/wsman/1/wsman.x
sd" xmlns:rsp="http://schemas.microsoft.com/wbem/wsman/1/windows/shell" xmlns:p="http://schemas.microsoft.com/wbem/wsman/1/wsman.x
sd"><s:Header><a:Action>http://schemas.microsoft.com/wbem/wsman/1/windows/shell/ReceiveResponse Подробности см. в разделе справки
"about_Remote_Troubleshooting".
    + CategoryInfo          : OperationStopped: (exc02.win.inter:String) [], PSRemotingTransportException
    + FullyQualifiedErrorId : JobFailure
    + PSComputerName        : exc02.win.inter
Get-MailboxServer | Get-MailboxDatabaseCopyStatus

Name                                          Status          CopyQueue ReplayQueue LastInspectedLogTime              ContentIndex
                                                              Length    Length                                        State
----                                          ------          --------- ----------- --------------------              ------------
DB05\EXC02                                    Healthy         0         0           08.02.2019 20:54:44               Healthy
DB01\EXC02                                    Healthy         0         0           08.02.2019 20:55:02               Healthy
DB03\EXC02                                    Healthy         0         0           08.02.2019 20:49:31               Healthy
DB02\EXC02                                    Healthy         0         0           08.02.2019 20:52:25               Healthy
DB04\EXC02                                    Healthy         0         0           08.02.2019 20:43:36               Healthy
DB01\EXC01                                    Mounted         0         0                                             Healthy
DB02\EXC01                                    Mounted         0         0                                             Healthy
DB03\EXC01                                    Mounted         0         0                                             Healthy
DB04\EXC01                                    Mounted         0         0                                             Healthy
DB05\EXC01                                    Mounted         0         0                                             Healthy
DB01\EXC03                                    Healthy         0         0           08.02.2019 20:55:02               Healthy
DB02\EXC03                                    Healthy         0         0           08.02.2019 20:52:25               Healthy
DB03\EXC03                                    Healthy         0         0           08.02.2019 20:49:31               Healthy
DB04\EXC03                                    Healthy         0         0           08.02.2019 20:43:36               Healthy
DB05\EXC03                                    Healthy         0         0           08.02.2019 20:54:44               Healthy

Retif, большое спасибо за вашу помощь!
Название: Возобновление работы бд в DAG - FailedAndSuspended
Отправлено: Retif от 08 февраля 2019, 21:05:43
по завершению загрузки DB04 я получила такую же ошибку
Если вы про ошибку в самом начале сидирования, это нормально, у меня тоже так бывает. Потому синхронизируется и нормально.