ВходРезервное копирование виртуальных машин vmware. Резервное копирование виртуальных машин VMware ESXi
Существует отличный бесплатный скрипт для резервного копирования виртуальных машин на VMWare ESXi сервере, причем он работает на free версии ESXi 4 и 5 версий без установки всяких дополнительных приблуд типа VMA и т.п. Проблема только в том, что инструкция там не совсем точная, поэтому я долго возился с этим скриптом, чтобы он все-таки заработал именно в автоматическом режиме…
Подробно рассписывать как приконнектица к ESXi по SSH я не буду, распишу лишь шаги настройки, с которыми все заработало у меня.
Сначала качаем скрипт по ссылке выше и заливаем на сервер, заливать нужно прямо в архиве! Проще всего это сделать через vSphere Client. У меня на сервере два диска — на одном работают машины, а на другом лежат всякие iso-образы и сами бэкапы. Называются диски соответственно datastore1 и datastore2. Все бэкапы, скрипт и конфиги лежат в папке backup. Еще обратите внимание, что названия файлов и папок регистрозависимые, поэтому если папка называется backup , а вы пишите в скрипте Backup , то работать не будет!
- Заливаем архив со скриптом сюда /vmfs/volumes/datastore2
- Дальше в SSH cd /vmfs/volumes/datastore2 — переходим в директорию со скриптом
- Распаковываем скрипт из архива tar -zxvf имя_файла_архива.tar.gz
- Через vSphere переименуйте распакованную папку в нечто попроще, например просто backup
- Теперь зайдем в эту папку — cd backup
- Создадим внутри нее папку для хранения индивидуальных конфигов mkdir BackupConfig
- Теперь в BackupConfig закинем нужные индивидуальные конфиги для машин, если они не нужны и все машины надо бэкапить с одинаковыми настройками, можно оставить ее пустой
- Поправить через редактор vi переменные в конфигурационном файле, главное это пути бэкапа, т.е. первую строку меняем на такую: VM_BACKUP_VOLUME=/vmfs/volumes/datastore2/backup , ну а далее сами смотрите что вам еще нужно — vi ghettoVCB.conf
- Создать скрипт StartBackup.sh
(2 строки) — vi StartBackup.sh
2ю строку, где вызов самого скрипта, можете переделать под себя
cd /vmfs/volumes/datastore2/backup
./ghettoVCB.sh -a -g ./ghettoVCB.conf -c BackupConfig -l ghettoVCB.log - Выполнить chmod +x ghettoVCB.sh
- Выполнить chmod +x StartBackup.sh
1 этап завершен! Теперь если запустить StartBackup.sh , то начнется бэкап. На время отладки можете поменять 2ю строку на что-то типа вот этого ./ghettoVCB.sh -a -g ./ghettoVCB.conf -c BackupConfig -l ghettoVCB.log -d dryrun — это позволит запустить скрипт и отследить ход выполнения без самого копирования дисков. Чтобы резервное копирование проводилось более эффективно и быстро, рекомендую в настройках выставить тип диска thin .
Конфигурирование Cron (для автоматического запуска скрипта)
- Дать разрешение на запись в файл chmod +w
- Добавляем через vi строку в /var/spool/cron/crontabs/root
15 0 */3 * * /vmfs/volumes/datastore2/backup/StartBackup.sh
Запуск в 00:15 ночи каждые три дня. У меня часовой пояс +4 Москва, т.е. на самом деле скрипт запускается в 4:15 утра, это будет видно по дате изменения лога через vSphere. Само собой время и периодичность можете выбрать другие. - Теперь нужно выполнить две команды, чтобы перезапустить cron
kill $(cat /var/run/crond.pid)
crond - Добавить с помощью vi 3 строки в самый конец файла /etc/rc.local
Это нужно, потому что после перезагрузки сервера содержимое файла из 2го пункта с запуском нашего скрипта будет восстановлено до предыдущего состояния, поэтому в rc.local указываем, что после перезагрузки нужно выполнить следующие команды — остановка cron, добавление строки для автоматического запуска скрипта и запуск cron.
/bin/kill $(cat /var/run/crond.pid)
/bin/echo «15 0 */3 * * /vmfs/volumes/datastore2/backup/StartBackup.sh» >> /var/spool/cron/crontabs/root
crond - Теперь выполним выполнить команду /sbin/auto-backup.sh , чтобы удостовериться, что все наши изменения сохранились.
Небольшое пояснение — почему нужно создавать скрипт StartBackup.sh , а не просто взять и его содержимое поместить в /var/spool/cron/crontabs/root ? Существует какое-то ограничение на размер этого файла и часть строк в нем просто не будет работать, хотя можете попробовать сделать и так, сначала у меня работало, но потом, видимо, вышли какие-то патчи и перестало. Более того, это просто удобнее — если потребуется изменить расписание резервного копирования, то вы просто правите файл StartBackup.sh и не нужно танцев с бубном вокруг cron с его перезапуском и внесением тех же изменений в /etc/rc.local .
PS: Время идет, все меняется, сам скрипт меняется, ESXi5 уже вышел, так что где-то, что-то может уже и не работать 🙂
Приложение: Синтаксис cron
Команда cron выглядит вот так:
1 2 3 4 5 /vmfs/volumes/datastore2/backup/StartBackup.sh
Где,
1: Минуты (0-59)
2: Часы (0-23)
3: Дни (0-31)
4: Месяцы (0-12 )
5: День недели (0-7 )
Несколько примеров:
- Запуск в 5 минут первого ночи, каждый день
5 0 * * * /vmfs/volumes/datastore2/backup/StartBackup.sh - Запуск в 2:15 каждый первый день месяца
15 14 1 * * /vmfs/volumes/datastore2/backup/StartBackup.sh - Запуск в 22:00 каждый рабочий день
0 22 * * 1-5 /vmfs/volumes/datastore2/backup/StartBackup.sh - Запуск в 23 минуты после полуночи и далее каждые два часа (2:23, 4:23… и т.д.), каждый третий день
23 0-23/2 * * */3 /vmfs/volumes/datastore2/backup/StartBackup.sh
Для организации системы автоматического резервного копирования виртуальных машин, запущенных на сервере VMWare ESXi мы воспользуемся бесплатной утилитой MKSBackup , скачать которую можно (на момент написания статьи последняя доступная версия MKSBackup 1.0.4 от 24.01. 2013). Данная утилита является своеобразным фронтэндом, который интегрируется с различными скриптами резервного копирования, в том числе GhettoVCB (скрипт резервного копирования ВМ, написанный на perl и поддерживаемый энтузиастами). GhettoVCB позволяет в онлайн режиме создавать резервные копии запущенных виртуальных машин. Резервная копия ВМ создается путем создания ее снимка (снапшота).
Важно . GhettoVCB не работает с виртуальными машинами, имеющих собственные снимки. Для выполнения бэкапа виртуальной машины все снапшоты должны быть удалены (например, через Snapshot Manager).
MKSBackup одно из немногих средств резервного копирования, позволяющих выполнять онлайн бэкап виртуальных машин. MKSBackup можно использовать для бэкапа виртуальных машин, запущенных как на коммерческих редакция VMware ESXi , так и на бесплатном VMware Hypervisor. Утилита разработана на Python и является кроссплатформенной. Утилита MKSBackup не имеет графического интерфейса, работает через командную строку, и настраивается через конфигурационные файлы.
Естественно, удобство и управляемость решения для организации бэкапа виртуальных машин VMWare на базе MKSBackup, ниже чем у коммерческих продуктов, но во много компенсируется его бесплатностью, простотой настройки и скоростью развертывания.
Установка скрипта резервного копирования MKSBackup
Настройка параметров резервного копирования виртуальных машин
Следующий этап – настройка параметров резервного копирования виртуальных машин, запущенных на сервере ESXi. Настройка проводится путем редактирования конфигурационного файла mksbackup.ini (по умолчанию находится в папке C:\Magik).
Откройте файл mksbackup.ini в любом текстовом редакторе. По своей структуре файл представляет собой несколько секций, имя каждой секции заключено в квадратные скобки.
Секция:
В данной секции можно задать параметры оповещения по электронной почте. Нам это не интересно, поэтому оставим
Следующая секция . Эта секция представляет собой задание резервного копирование и описывает различные параметры, обеспечивающие запуск бэкапа виртуальных машин в среде Windows. В нашем примере задание выглядит так:
Program=ghettovcb host=10.10.1.89 port=22 login=root password=LI&f3ccc23 local=C:\magik\vmware global_conf=ghettoVCB.conf vm_list=vm1_https winXPtest destination=C:\magik\${vm} scp_bin="D:\Install\Putty\pscp.exe" -scp -r
Подробнее остановимся на параметрах задания:
program – программа резервного копирования, оставляем ghettovcb
host – имя/ip хоста ESXi, на котором запущены виртуальные машины
port – порт для доступа (по умолчанию 22 порт – протокол SSH)
login – имя пользователя с правами доступа к серверу ESXi (по умолчанию это root, но с целью безопасности лучше завести на сервере ESXi отдельного пользователя)
password – пароль пользователя
local – локальная директория, в которой хранится скрипт резервного копирования и его конфигурация
global_conf – файл с настройками скрипта ghettoVCB
vm_list – список виртуальных машин, для которых необходимо создать резервную копию. Если нужно забэкапить все виртуальные машины, этот параметр нужно оставить пустым. Если нужно исключить некоторые виртуалки, воспользуйтесь параметром vm_exclude.
destination – параметр позволяет указать тип выполняемой операции. Это может быть
- backup – выполнить простое резервное копирование (место назначения указывать не нужно)
- copy – выполнить резервное копирование и скопировать полученные файлы в указанный каталог
- move — выполнить резервное копирование и переместить полученные файлы в указанный каталог
Остановимся на варианте move, как на более оптимальном. В этом случае на хосте ESXi создадутся локальные резервные копии виртуальных машин, которые затем будут перенесены на компьютер, запустивший скрипт.
mon-sun – предполагается, что скрипт может выполняться ежедневно (оставим так, так как периодичность запуска резервного копирования зададим через планировщик Windows).
Кроме того, укажем каталог, в который будут перемещаться резервные копии ВМ (C:\magik). Параметр ${vm} указывает, что для каждой виртуальной машины будет создан отдельный каталог с ее именем, куда и будут складываться фалы виртуальной машины.
Примечание . Подробное описание конфигурационных настроек скрипта и его синтаксиса приведено на сайте разработчика.
scp_bin – путь к утилите scp
Важно . Убедитесь, что на сервере ESXi включен демон SSH.
VM_BACKUP_VOLUME=/vmfs/volumes/msa2000/backup VM_BACKUP_ROTATION_COUNT=3
VM_BACKUP_VOLUME – каталог на сервере ESXi, в котором будут сохранятся копии виртуальных машин (естественно, что на VMFS разделе должно быть достаточно свободного места)
VM_BACKUP_ROTATION_COUNT – количество хранимых локальных копий (в нашем примере будут хранится 3 последние резервные копии)
Осталось с помощью утилиты plink (также входит в состав поставки Putty) сохранить ключ хоста в локальном кеше ssh. Например, так:
PLINK.EXE [email protected] ls /
Запуск резервного копирования виртуальных машин на хосте VMWare ESXi
Протестируем работу скрипта резервного копирования. Для это нужно открыть командную строку с правами администратора и выполнить команду:
C:\Magik\MKSBackup\mksbackup.exe -v -c C:\Magik\mksbackup.ini backup VMWARE_FROM_WINDOWS
Где ключ –v показывает, что нужно отображать подробную информацию, -c путь к файлу настроек mksbackup.ini, backup – означает что нужно запустить резервное копирование, в конце указывается имя задания из файла mksbackup.ini (в нашем примере задание VMWARE_FROM_WINDOWS).
Если все настроено корректно, утилита начнет в консоль выводить подробную информацию о процессе резервного копирования (сап процесс бэкапа довольно длительный, так что не стоит ожидать его быстрого завершения).
Процесс резервного копирования можно отследить по появлению событий создания/ удаления снапшотов в консоли VMware vSphere.
В процессе выполнения скрипта в каталоге назначения будут появляться папки, содержащие файлы виртуальных машин.
После выполнения тестового копирования можно перейти к автоматизации процесса создания резервных копий. Для этого создадим новое задание планировщика Windows.
Создадим, задание с именем «Backup ESXi», которое выполняется по пятницам и запускает команду: C:\Magik\MKSBackup\mksbackup.exe -v -c C:\Magik\mksbackup.ini backup VMWARE_FROM_WINDOWS
В настройках задания не забудьте указать, что его нужно запускать с правами администратора (опция «Run with highest privileges»).
Примечание . Если задание будет запускаться от имени другой учетной записи (не той, под которой выполнялось тестирование), необходимо не забыть, что в кэше новой учетной записи не будет нужного ключа. Для решений проблемы нужно выполнить указанную выше команду plink из-под новой учетной записи.
Недостатки данного данного метода резервного копирования виртуальных машин:
- довольно низкая скорость создания резервных копий
- большое количество свободного места, необходимое для хранения бэкапов ВМ
Указанные недостатки компенсируется его бесплатностью, но для крупных решений предпочтительно использовать коммерческие продукты резервного копирования, например Veeam или HP DataProtector.
На данный момент существует несколько производителей программ для резервного хранения, как платных, так и бесплатных. Мы определились , что бесплатные программы либо неудобны в использовании (сложная установка, постоянная угроза сбоя, отсутствие собственных интерфейсов), либо в них отсутствуют важнейшие опции бэкапа. В этом случае стоит приобрести платную программу, которая, в отличие от бесплатной, будет полностью работоспособной со всеми основными функциями бэкапа. Ниже приведен список лучших, по мнению экспертов, решений для бэкапа:
Veeam BackUp & Replication 5
Эти программы являются основными программами для бэкапа, использующимися большинством пользователей:
Data Recovery с поддержкой VCenter Server
Как уже писалось в прошлом, это самый верный способ создания бэкапа машины, если куплен VCenter Serverи более нет ни желания, ни средств заниматься этим вопросом. Настраивается данная технология довольно легко, полное руководство можно найти по следующей ссылке:
Данное решение работает как с VCenterServer, так и без него, но будет отсутствовать возможность настройки бэкапа по времени. Мы рассмотрим все основные возможности чуть ниже, когда будем сравнивать все продукты.
Экстренное восстановление систем
Консолидация серверов
Тип лицензирования
Характеристики
Объем и периодичность бэкапа
Этот продукт сейчас довольно популярен, так как тип лицензирования данного продукта (лицензируется по сокетам) для серверных с маломощными серверами будет крайне выгоден. Ниже мы рассмотрим несколько комплектаций серверов и рассмотрим ценовые характеристики. Также этот продукт поддерживает опцию мгновенного восстановления данных после сбоя благодаря своей технологии vPower.
Также с недавнего времени выпускает средства для бэкапа в виртуальных средах. Кроме того, Symantec - единственное из всех решений бэкапа использует технологию V2P (конвертирование виртуальной среды на физические серверы). Правда, Vcenter обладает такой технологией, но уже не в рамках технологии резервного копирования
Но на этом возможности Акронис не ограничиваются. Компания Acronisвключила в пакет Acronis Backup& Recovery 10 AdvancedServer VirtualEdition еще одну функцию, это консолидация серверов для перевода систем с физических на виртуальные платформы, причем со встроенным планировщиком заданий. В итоге имеем, что данная программа выполняет 2 основных функции:
Основные преимущества по сравнению с другими технологиями:
Возможность работы, как с физическими серверами, так и в виртуальной среде, что позволяет на начальных этапах развития компании совместить консолидацию при высоких оценках надежности
Широкий спектр поддерживаемых устройств хранения резервных копий (вплоть до оптических устройств и магнитных лент)
Создание раздела Acronis Secure Zone на том же сервере ВМ, что позволяет восстановить машину за короткий срок, причем этот раздел будет защищен режимом дедупликации на другом сервере
Если резервное копирование - это одна из наших основных целей независимо от цены нам, несомненно, стоит выбирать между решениями компаний Veeam, Acronisили Symantec. Оба эти продукта являются лидерами резервного копирования и хранения данных, а также обладают рядом индивидуальных преимуществ.
В выборе между этими технологиями необходимо провести черту по нескольким разграничениям:
При разном типе лицензирования стоит решить, какой подходит больше всего нам. Если у нас мощные серверы с большим количеством сокетов под процессоры, стоит склоняться в пользу Acronisи Symantec. Если у нас много слабых серверов с небольшим количеством сокетов, лучшим вариантом будет Veeam.
Также необходимо понять, что нам нужно, то есть, какие требования мы будем предъявлять к резервному копированию, наличие тех функций, которые особенно важны для нас.
Очень важный фактор, с какой периодичностью и в какое время мы будем делать бэкап. Если нам нужно создать резервные машины для всей инфраструктуры, и периодичность неважна, это одно (ставим планировщик бэкапа в ночное время). Совсем другое, если у нас есть одна приоритетная машина, создание бэкапа для которой нам необходимо с периодом в несколько минут (нам уже будет необходим бэкап в течение всего дня).
После определения для конкретного случая всех этих параметров, нам будет несложно решить для себя, какой продукт подходит нам больше.
Если у вас есть желание детальнее разобраться в процессах настройки и обеспечения комплексной безопасности локальной и сетевой инфраструктуры, построенной на базе ОС Linux, рекомендую познакомиться с в OTUS. Курс не для новичков, для поступления нужно пройти.
Если вы еще не настроили бесплатный гипервизор hyper-v, рекомендую познакомиться с моим материалом на эту тему — . Если у вас он уже настроен и встал вопрос о том, как быстро, удобно и бесплатно его забэкапить, то я рекомендую воспользоваться бесплатной утилитой HV Backup .
HVBackup описание утилиты для hyper-v
Основной целью проекта HVBackup было создание бесплатного, простого и эффективного решения для резервного копирования виртуальных машин hyper-v, работающих как в одиночном режиме, так и в кластере.
Утилита работает на всех версиях операционной системы, начиная с Windows Server 2008 и далее, как в графическом режиме, так и Server Core установках. Утилита поддерживает в том числе и бесплатную редакцию гипервизора Hyper-V Server.
HVBackup поддерживает app consistent и crash consistent бэкапы hyper-v, используя VSS, встроенный в систему. Существует множество коммерческих решений, основанных на таком же способе бэкапа виртуальных машин, но среди бесплатных мне известен только этот продукт.
Компания codeplex , производитель программы, утверждает, что она регулярно использует HVBackup в своей инфраструктуре, что гарантирует высокое качество работы и своевременные исправления или изменения.
Программа может запускаться из командной строки , вызываться из Powershell скриптов, либо быть встроенной в любое .Net приложение через соответствующую библиотеку.
Принцип работы этой утилиты достаточно прост. Программа создает в указанном каталоге отдельный zip архив для каждой виртуальной машины, который включает в себя всю информацию, относящуюся к ней.
Системные требования:
.Net Framework 3.5
Установка.Net Framework 3.5 в командной строке
Чтобы установить.Net Framework 3.5 необходимо выполнить следующие команды в Powershell.
Windows Server или Hyper-V Server 2012:
Install-WindowsFeature NET-Framework-Core
Windows Server 2008 или 2008 R2 (не core):
Ocsetup NetFx3
Windows Server (core) или Hyper-V Server 2008 / 2008 R2:
Ocsetup NetFx3-ServerCore
HVBackup пример использования
Выполнить полный VSS backup всех виртуальных машин хоста:
HVBackup -a -o d:\vm-backup
Выполнить полный VSS backup списка виртуальных машин (необходимо использовать кавычки, если имена машин содержат пробелы). Бэкап выполняется на удаленный сервер:
HVBackup -l "VM1,VM2" -o \\backup-server\wm-backup
Сделать полный бэкап виртуальных машин, список которых содержится в текстовом файле (каждая ВМ в отдельной строке):
HVBackup -f list.txt -o d:\wm-backup
Скрипт для автоматического бэкапа
Если вы хотите запланировать автоматическое выполнение резервного копирования, то удобнее всего сделать простой bat файл для этих целей и запланировать его исполнение. Создадим backup-all.cmd следующего содержания:
Set BCKPATH="\\backup-server\wm-backup"
rem net use %BCKPATH% /user:
Этот скрипт перед выполнением бэкапа всех виртуальных машин будет удалять zip файлы старше 7-ми дней в указанной директории. Пути и параметры вы можете подредактировать под свои нужды.
Теперь создадим запланированное задание на сервере для периодического выполнения резервного копирования созданным ранее скриптом:
Schtasks.exe /create /tn HVBackup /tr c:\backup-all.cmd /sc DAILY /ru
Если необходимо удалить задание:
Schtasks.exe /delete /tn HVBackup /f
Немедленное выполнение задания:
Schtasks.exe /run /tn HVBackup
Параметры командной строки HVBackup
Использование: HVBackup.exe-b, —backup
Выполнить backup (по-умолчанию).
-r, —restore
Выполнить восстановление.
-f, —file
Текстовый файл, содержащий список виртуальных машин по одной в каждой строке.
-l, —list
Список виртуальных машин для бэкапа.
-a, —all
Резервное копирование всех виртуальных машин на сервере.
-n, —name
Если указано, то делается бэкап только перечисленных виртуальных машин.
-g, guid
Если указано, то делается бэкап перечисленных виртуальных машин по GUID.
-o, —output
Обязательный параметр. Конечная папка для архивов. Может быть в виде локального или сетевого пути.
—outputformat
Формат имени архива виртуальной машины. {0} имя машины, {1} GUID машины и {2} текущая дата и время. По-умолчанию: «{0}_{2:yyyyMMddHHmmss}.zip»
-s, —singlevss
Сделать один snapshot для всех виртуальных машин.
—help
Вывести справку по командам:
Заключение
На этом все. Единственное замечание — я не тестировал падение производительности во время выполнения бэкапа. На глаз я не заметил никаких тормозов в работе виртуальных машин. Но они у меня все ненагруженные были. Время выполнения бэкапа каждой машины значительное. Но, конечно, оно зависит от множества факторов.
Есть хорошая возможность совместить HVBackup и . Например, делать архивы локально на сервере с hyper-v, монтировать к linux серверу папку и с помощью rsync забирать zip файлы с виртуальными машинами. Либо сразу делать резервное копирование на линуксовую самбу, к примеру. По приведенной выше ссылки есть пример на эту тему.
Онлайн курс Безопасность Linux
Если у вас есть желание детальнее разобраться в процессах настройки и обеспечения безопасности локальной и сетевой инфраструктуры, построенной на базе ОС Linux, рекомендую познакомиться с онлайн-курсом «Безопасность Linux» в OTUS. Обучение длится 3 месяца, после чего успешные выпускники курса смогут пройти собеседования у партнеров. Программа курса разработана в виде серии практических воркшопов и ориентирована на подготовленных слушателей, уже обладающих знаниями и опытом в администрировании Linux. Чему научитесь:- Применять лучшие мировые практики и стандарты ИБ (Debian, RedHat, MitRE);
- Использовать средства для обнаружения и эксплуатации уязвимостей в ОС Linux;
- Устанавливать и конфигурировать сетевые системы обнаружения и предотвращения атак;
- Работать с системами мониторинга и контейнеризации на базе Docker;
Для создания резервных копий VMware в Handy Backup могут использоваться два метода: внутренний и внешний.
Внутренний метод
Копия Handy Backup устанавливается на виртуальную машину VMware под управлением ОС Windows или Linux. Эксплуатация Handy Backup на виртуальной машине ничем не отличается принципиально от использования аналогичного решения на “физических” компьютерах.
Внешний метод
Handy Backup запускается на сервере виртуальных машин VMware, чтобы скопировать образы конкретных копий VMware как обычные файлы. Handy Backup использует для резервного копирования машин и массивов VMware специальный плагин, работающий в "горячем" режиме (без остановки машины VMware).
Как сохранить образ виртуальной машины VMware
Копирование образа VMware backup производится с помощью специализированного инструмента. С помощью настроек плагина VMware может быть достигнут также останов копируемой машины VMware и её последующий перезапуск для "холодного" копирования.
- Откройте Handy Backup и создайте новую задачу, нажав Ctrl+N или выбрав пункт меню. Выберите задачу резервного копирования.
- На Шаге 2 выберите плагин "VMware Workstation ".
- Дважды щёлкните на строчке “Новая конфигурация” для выбора конфигурации доступа к VMware.
- В открывшемся диалоге сделайте выбор между режимами "Hot " (резервное копирование без остановки машины) и "Enable suspend " (с остановкой виртуальной машины для получения её точного образа).
- Далее выберите в диалоге конкретный образ машины, к которому будет применена данная конфигурация.
- Нажмите "ОК" и продолжайте создание задачи, как обычно.
Описанная выше последовательность действий будет останавливать, а затем перезапускать виртуальные машины VMware без всякого дополнительного вмешательства.