new VMware Data Protection 5.8

Пока за океаном шумел VMworld была анонсирована новая версия продукта для резервного копирования от VMware. Уже скоро VDP 5.8 будет доступен для скачивания. Список новшеств вряд ли кого-то удивит, и вызовет ВАУ...

VDP Advanced 5.8 adds support for database administrators who use Microsoft ® Exchange Database Availability Group (DAG) 2013/2010/2007 to improve availability of application data. VDP Advanced will protect Active and/or Passive copies based on the defined policy, where you can set the preference order for backups {Prefer Passive, Active, and Passive}. Prefer Passive backs up a passive copy of each database, if a healthy Passive copy is available. If not, then VDP Advanced backs up the Active copy, thus ensuring a backup is always completed. VDP Advanced also provides Granular Level Recovery (GLR) at the mailbox level.

VDP Advanced 5.8 provides comprehensive support for Microsoft ®SQL Clusters (AlwaysOn Availability Groups and Failover Clusters), including the latest SQL Server 2014 release. SQL Server clustering increases the uptime of SQL Server. The main advantage of clustering is if the primary SQL Server fails on one cluster, the other cluster will immediately take over the operation, thus ensuring business continuity.The VDP Advanced cluster client enables you to backup and restore SQL Server data on shared storage in the cluster, regardless of which node is managing the data at the time of the backup or restore.There are numerous backup capabilities including Full, Incremental and Differential, along with many selective control options.

VDP Advanced 5.8 now supports up to 20 virtual appliances per vCenter to handle larger environments – up from 10 in the previous releases. Each virtual appliance dynamically scales up to 8TB and is managed separately. As environments grow we are seeing more customers taking advantage of VDP Advanced’s integration through DD Boost to EMC Data Domain systems for protection storage. This provides global deduplication, while providing higher efficiency for protection storage.  Plus, Data Domain systems takes your backup data out of your production array, while offering the Data Invulnerability Architecture for extremely high reliability and recovery.

In order to increase backup throughput, VDP Advanced 5.8 will now use up to 8 proxies and 24 concurrent backup streams to shorten backup times. This is very helpful as environments continue to grow. This capability along with Changed Block Tracking makes VDP Advanced extremely efficient for VM backup and recovery.

Now VDP Advanced can replicate and restore anywhere; namelyrestore replicated backups to either primary or secondary DR site. Furthermore, replicated backup data can be replicated again, providing true bi-directional replication. Data is always deduplicated, compressed and encrypted before replication, thus minimizing impact on the network and securing the data in-flight.

VDP Advanced now supports Linux LVM, which is a logical volume manager for the Linux kernel that manages disk drives and similar mass-storage devices. It also supports Linux filesystem EXT4 that modifies important data structures of the filesystem such as the ones destined to store the file data. The result is a filesystem with an improved design, better performance, reliability and features.

Интересным может показаться возможность репликации резервных копий между площадками и возможностью восстановления на любом из сайтов независимо от источника резервной копии.

В целом же, поражает то упорство, с которым компания VMware продолжает развивать свой продукт для резервного копирования. Отставание от клиентов в функционале, высокая стоимость решения, отсутствие эффективных средств диагностики делает VDP Advanced малопригодным для взрослого использования. Бесплатное решение VDP - вращается вокруг SMB и только если "нет денег на что-то другое".

Changed Block Tracking VDP vs Storage DRS

Есть у VMware такая хорошая и полезная штука Changed Block Tracking - отслеживает она измененные блоки дисков VM и делает правильные маленькие бэкапы быстро и эффективно.

Появилась штука CBT достаточно давно, и у Михаила Михеева информация в блоге аж от 28 декабря 2009 года. Описано там как включать и отключать эту штуку. 

Естественно, это штукой на благо использует "собственное" средство резервного копирования VMware VDP. VDP я активно пользуюсь, однако в последнее время стал замечать, что бэкапы делаются долго, а их размеры для некоторых VM равны полным копиям VM. Стал грешить на CBT, проверил для VM ключик ctkEnabled на true - все в порядке. Стал искать другие закономерности в "неправильных" VM с "неправильными" бэкапами и оказалось, что всему виной Storage vMotion в моем случае под личиной SDRS. 

Самое печальное, что после Storage vMotion CBT перестает работать вообще: и на первом бэкапе (что логично) и на всех последующих. Т.е. если Вы сделали первый бэкап с помощью VDP и включенным для VM CBT, потом случился Storage vMotion, то все последующие бэкапы даже в отсутствии Storage vMotion совершенно не интересуются измененными блоками. Восстановление с использованием CBT тоже становится невозможным. 

Как с этим бороться:

Для начала надо понять, что нам важнее бэкап с использованием CBT или Storage vMotion.

- Если выбором будет Storage vMotion - ключик ctkEnabled=false и забыли про все плюшки CBT.

- Если беда уже случилось, и мы хотим спасти овец (использовать CBT) делаем так:

1. выключаем VM

2. удаляем все снапшоты для VM

3. отключаем CBT - ctkEnabled=false

4. удаляем *-ctk.vmdk (все *-ctk.vmdk они создаются для каждого диска VM, для которого включен CBT)

5. включаем CBT - ctkEnabled=true

6. включаем VM

7. забываем о Storage vMotion и SDRS ;(

p.s> CBT использем в том числе и Veeam, к сожалению его нет под рукой, так что проверить как такая ситуация обрабатывается Veeam (происходит ли обнуление *-ctk.vmdk после Storage vMotion) нет возможности.

Ограничения File Level Restore VDP.

Один из моих любимых продуктом VMware - VDP. От версии к версии VDP становится стабильней и обрастает полезными штучками. Одна из таких "полезных штучек" - FLR (File Level Restore). С идеей и полезностью все понятно - бэкапим виртуальные машины, но в случае необходимости можем восстановить отдельные файлы, а не машину целиком: времени и ресурсов меньше, минимизация простоев и т.п.

В VMware Knowledge Base все тоже оптимистично:

Q: Am I able to do a file-level restore (FLR) of my Linux virtual machines?

The file-level restore is web-based, so a supported web browser is required. At the time of writing, a command-line FLR is not available.

Q: Are there any prerequisites to use the FLR?

A web browser is required to connect to the VDP appliance. VMware Tools must also be running within the virtual machine where the file-level restore is occurring

Запуск VDP в эксплуатацию процесс жутко простой, поэтому Guide по нему никто обычно не открывает, а тем более дальше первых двух глав не читает.

Теперь вернемся к реальности, 

VDP reset password

VDP продолжает преследовать меня, на этот раз был чужой инстанс и пароль в состоянии "потерян-забыт"

1. проверить а не так ли оно root/changeme

если не так, то тогда так:

2. Ребутим VDP
3. Останавливаемся на GRUB
4. Правим boot options init=/bin/bash
5. Загружаемся и используем passwd для сброса пароль в дефолтный "changeme"
6. Возвращаем все на место и меняем дефолтный пароль привычным change-password
7. Качаем скилл "помнить пароль" или скилл "записывать пароли"

Troubleshooting VMware Data Protection

Продолжаю писать о моем "любимом" продукте от VMware - VDP

Компания VMware позаботилась о том, чтобы лишить счастливых обладателей VDP средств диагностики работы этого продукта. Консоль малоинформативна, логов очень много и их назначение, расположение и содержание не всегда очевидно.
Но не секрет, что VDP работает на "движке" EMC Avamar, а значит вполне логично было предположить, что некоторые средства диагностики разработанные для EMC Avamar подойдут для VDP. Так оно и оказалось:

proxycp набор скриптов для диагностики работы Avamar, который очень даже работают в VDP.
Копируем на VDP, запускаем:

>java -jar proxycp.jar

Достаточно обширный набор для работы с proxy серверами VDP, подключение\отключение дисков, резервным копированием и восстановлением:

>java -jar proxycp.jar --listproxy
>java -jar proxycp.jar --listvm
>java -jar proxycp.jar --listdatastoremap

Полный список команд доступен по:

>java -jar proxycp.jar --help

proxycp  можно скачать здесь

P.S: а еще VDP 5.1.x не любит Europe\Minsk и еще парочку другую часовых зон. При установке выставляем UTC. Потом в SUSE:

> rm /etc/localtime
> ln -sf /usr/share/zoneinfo/etc/GMT-3 /etc/localtime

Uninstalling plugin vSphere Data Protection

Огромная моя любовь к VDR переросшая в любовь к VDP заставляет меня часто заново разворачивать VDP там, где его уже успели удалить. Очень часто при таких повторных установках возникают проблемы связанные с неправильным (точнее неполным) удалением предыдущего инстанса VDP.

Вот как надо:

1. выключаем VDP, используя shutdown
2. если ничего не собираемся сохранять - по правой кнопке delete from disk
3. идем на https://<vcenterIP>/mob
4. выбираем content, далее выбираем extensionmanager
5. нажимаем unregisterextension, в строке VALUE пишем com.vmware.vdp
6. Invoke Method
7. если повезло, рассматриваем сообщение "Method Invocation Result: Void"
8. Релогин и наслаждаемся результатом.

Инструкция универсальная и подходит для других компонент, добавляющих свои плагины в vCenter Server

vSphere 5.1 Update 1 - "из понравившегося..."

25 апреля 2013 года компания VMware порадовала нас, выпустив Update 1 для vSphere 5.1.
Помимо исправления багов с которыми большинство администраторов виртуальной платформы никогда и не сталкивались, были исправлены и ошибки с которыми приходилось сталкиваться достаточно часто.

Чем порадовал U1 меня, исправлено:

- баг с запретом изменения настроек VM находящейся в datastore cluster при наличии полных прав на машину, но отсутствии прав на datastore cluster.

- не стартует vCenter Server если SSO не смог при старте подключится к своей DB. Такое бывает, если SSO стартует раньше сервисов DB. Приходилось вручную рестартовать SSO, а потом и vCenter Server.

- vm могли обозначаться красным значком, хотя реальных алертов и варнингов для них не было. Природа возникновения данного явления совсем непонятна, но происходить это могло после включения vm или перегрузки.

- баг с просмотром статистики за последний год, когда отображался только последний месяц.

- при откате снапшота отваливалась сеть и спасала только перегрузка и последующее выставление значения "conected".

- при выборке статистики производительности за определенный период появлялось сообщение "Performance statistics rollup from Past ___ to Past ___ is not occurring in the database"

- некорректное отображение статуса vm при отработке плана SRM и переносе vm на второй сайт.

- некорректное обрабатывание алерта на размер vm при наличии снапшота.

- проблема с обезличиванием локализованных версий ОС (2к8, 7, 8). 

Подробнее про обновления в VMware vCenter Server 5.1 здесь, а про обновления ESXi 5.1 - здесь.

Обновился и горячо любимый мною VDP. О всех улучшениях и исправлениях в нем написано здесь.

VDP Error E30927

Словил очередную ошибку от моего "любимого" продукта VMware - vSphere Data Protection:

[Timer_general]-events.TaskEventHelper: Post error event: E30927:An attempt was made to backup a virtual machine client which no longer exists in vSphere.

Возникает если при обновлении VDP списка vm пропала связь с vCenter.

Лечится так:

В консоли VDP:

root@vdp:~/#: dpnctl stop mcs

root@vdp:~/#: dpnctl start mcs

Ну и, естественно, рестарт таска резервного копирования.

VDP restore vCenter

Как известно доступность функционала vSphere Data Protection зависит от доступности vCenter.
А иногда бэкапить и восстанавливать vCenter средствами VDP очень хочется. В случае падения vCenter воспользоваться VDP все таки можно:

- быстренько устанавливаем новый vCenter с IP и FDQN упавшего.
- заходим на https://ip_VDP:8543/vdp-configure/
- Configuration -> unlock и вбиваем пароль от VDP, заполняем информацию о "новом" vCenter
- перегружаем VDP, vCenter
- заходим на vCenter через vSphere Web Client, далее через меню vSphere Data Protection восстанавливаем упавший vCenter.
- Удаляем новый vCenter, включаем восстановленный.

VDR migration VDP

14 марта VMware Data Protection стало таким 5.1.20. Помимо изменений описанных по приведенной ссылке, хотелось бы особо отметить появление возможности мигрировать с VMware Data Recovery 2.0 на VMware vSphere Data Protection:

а о том как это сделать здесь

Вот только само обновление пока недоступно для загрузки...

VMware vSphere Data Protection. Битва за free backup.

Еще со времен VMware Data Recovery (VDR) было очевидно, что VMware не собирается вкладывать серьезные ресурсы в разработку и продвижение продуктов для резервного копирования виртуальных сред. VDR был прост в развертывании, но жутко капризен в обслуживании. Хороший продукт для резервного копирования это тот, который можно один раз настроить и спокойно забыть о его существовании. VDR был не из таких. Пожалуй, основным его достоинством была цена равная нулю. С приходом 5.1 на смену VDR появился VMware vSphere Data Protection (VDP). Хороший пример того как из отличного решения за не маленькие деньги (EMC Avamar) можно сделать что-то совершенно "неотличное", но задешево (понадобится лицензия Essentials Plus и выше)

Мысли официальные в вольной интерпретации:

• Простая в развертывании, надежная система резервного копирования для виртуальных сред.
• VDR до VDP, естественно, не обновляется.
• То, что Вы набэкапили c VDR использовать с VDP нельзя. И сконвертировать тоже нельзя, хотя, возможно, в ближайшее время станет можно.
• Один VDP это резервное копирование ста машин, на один vCenter Server можно использовать 10 VDP.
• VDP разливают по 0.5 Тб, 1 Тб, 2 Тб., И это размер дедуплицированных данных.
• VDP поддерживает Changed Block Tracking. И это, действительно, круто для бесплатного продукта. И дедупликацию он умеет делать не в рамках одного задания на резервное копирование, а и между заданиями (группировка заданий по ОС не нужна, хотя на первоначальных этапах в ней есть смысл)
• Сделать из 0.5 Тб. VDP 2 Тб. VDP после запуска нельзя.
• Подключать всякие CIFS и NFS "внутрь" VDP нельзя.
• Чтобы получить 500 Gb дедуплицированного трафика Вам понадобится положить VDP на диск в 850 Gb, 1 Тб на 1.6 Тб, 2 Тб на 3 Тб.

Мысли неофициальные (из опыта эксплуатации):

• До обновления 6.1.80-179 VDP не работает. Разворачивается, но не работает.
• Несмотря на заявленную поддержку тонких дисков для VDP большого как и малого смысла в этом нет.
• После установки VDP следует "покурить" 20-30 часов. До истечения этого срока дергать VDP и заставлять его что-то бэкапить бесполезно: ничего не получится, да и VDP, скорее всего, сломается.
• О своей личной жизни VDP пишет в \usr\local\avamar\var\vdr\server_logs\vdr-server.log
• После большего перекура "core service", "management service", "file system service" все равно не запустятся. Нужна КОРРЕКТНАЯ перегрузка, которая будет не быстрой.
• В указанный выше лог VDP пишет в периоды "Blackout" и "Maintenance"
• О  "Blackout" и "Maintenance" следует написать отдельно т.к. есть строгий перечень действий, которые можно и нельзя делать в эти периоды:

Blackout Window

The blackout window is the portion of each day reserved for performing server maintenance activities, such  as garbage collection, which require unrestricted access to the server. Garbage collection deletes the orphaned chunks of data that are no longer referenced within any backups stored on the system.

•  Operational impact — No backup or administrative activities are allowed during the blackout window. You can perform restores.
•  Default settings — The default blackout window begins at 8 a.m. local server time and continues uninterrupted for three hours until 11 a.m. that same morning.
• Customization — You can customize the blackout window duration to meet specific site requirements. 

Maintenance Window

The maintenance window is the portion of each day reserved for performing routine server maintenance 

activities such as integrity check validation. 

• Operational impact — There might be brief periods when backup or administrative activities are not 

  allowed. 

  Although backups can be initiated during the maintenance window, doing so impacts both the backup  

  and maintenance activities. For this reason, minimize any backup or administrative activities during the

  maintenance window. You can, however, perform restores. 

  Although Integrity Check and backups can overlap, doing so might result in I/O resource contention, 

  which can cause both activities to take longer to complete and possibly even to fail.
•  Default settings — The default maintenance window begins at 11 a.m. local server time and continues 
  uninterrupted for nine hours until 8 p.m. that evening.
•  Customization — Although the maintenance window is not directly customization, its start time and
  duration is derived from backup and blackout window settings. (c)

Этому надо верить и выполнять , иначе ждет Вас Rollback.

• Логи заданий резервного копирования \usr\local\avamarclient\var-proxy-?\ и содержат ошибки возникшие на стадии "backup". По содержанию они совершенно доступны и понятны тля проведения траблшутинга. Примерно так:

avvcbimage Error <12015>: Failed to connect to virtual disk [vmstore01] vmtest/vmtest01-000001.vmdk (13) (13) You do not have access rights to this file

• Никуда не делась и всеми любимая проблема с взаимодействием в VSS в w2k8. Решается она просто: disk.EnableUUID.=TRUE. Хотя это просто решение и может повлечь неконсистентность данных в резервной копии.
• user-frendly interface у процесса восстановления отсутствует. Нет никакой индикации о состоянии процесса в данный момент, оставшемся времени. Об окончании процесса можно судить только по выполнении следующих задач в логе vSphere:

1. revert snapshot
2. the execution state of the virtual machine has been reverted to the state of snapshot VDP-####, with ID 9596
3. Remove snapshot 
4. Virtual machine disks consolidation succeeded.

Несмотря на все технологические преимущества, вопрос стал ли VDP лучше VDR с точки зрения конечного администратора остается открытым.

Совсем недавно VMware выпустила VDP Advanced. Подробнее о отличия, преимуществах и ценообразовании читайте на vmgu.ru