Hetzner - DokuWiki

VMware ESXi/ru

Inhaltsverzeichnis

Общая информация

Оборудование

  • VMware vSphere 5.x (ESXi) использует файловую систему vmfs5 (ранее vmfs3), которая использует GPT и поддерживает максимальный размер диска 64 ТБ (ранее 2 ТБ).
  • Программный RAID не поддерживается ESXi.
  • Бесплатная версия ESXi, начиная с версии 5.5, поддерживает до 4 ТБ оперативной памяти (ранее было 32 ГБ).

Сеть

  • VMware vSphere это операционная система, созданная только для виртуализации и не поддерживает ни NAT ни маршрутизацию. Как следствие, виртуальные машины подключаются в сеть через мост.
  • Для использования подсети потребуется настроить одиночный дополнительный IP-адрес на router-VM.

Установка

  • Установка и базовая настройка ESXi занимает около 20-30 минут и не требует предварительной подготовки. Обратитесь в раздел руководство по установке за более полной информацией о процессе установки.

Лицензирование

  • После установки у системы будет тестовая лицензия, истекающая через 60 дней.
  • Для длительного использования потребуется отдельная (бесплатная) лицензия. Такую лицензию можно запросить на сайте VMware:
  • Лицензию можно указать через vSphere Client, на вкладке «Configuration», в разделе «Software» в меню «Licensed functions». Щёлкните кнопку «Edit» справа и введите лицензионный ключ.

Ввод лицензии в vSphere Client

Специфичная для Hetzner информация

Оборудование

Серверы Dell PowerEdge моделей DX150, DX151, DX290, DX291 и DX141 сертифицированы и совместимы со всеми версиями ESXi начиная с 5.0.

DX152 и DX252 сертифицированы и совместимы со всеми версиями ESXi начиная с 6.5

Все остальные модели серверов не сертифицированы VMware, но в большинстве случаев работают с VMware vSphere/ESXi.

Совместимость

(Информация может быть изменена)

Модель Версия vSphere/ESXi
AX50-SSD/AX60-SSD начиная с 6.5a требуется дополнительная сетевая карта
AX160 начиная с 6.5a
PX92 начиная с 6.5
PX91/PX121 начиная с 5.5 Update 1
PX90/PX120 начиная с 5.1
PX61 начиная с 5.5 Update 3 / 6.0 Update 2
PX61-NVMe начиная с 6.0 Update 2
PX60/PX70 начиная с 5.5 Update 1
EX61/EX61-NVMe начиная с 6.5
EX41/EX41S/EX51 начиная с 5.5 Update 3 / 6.0 Update 2
(возможно потребуется дополнительная сетевая карта)
EX40/EX60 5.0 - 5.1 Update 2, с версии 5.5 требуется дополнительная сетевая карта
EX6/EX6S/EX8/EX8S начиная с 5.0
EX4/EX4S/EX10 начиная с 5.0 (с дополнительной сетевой картой)
EQ4/EQ6/EQ8/EQ9 5.0 - 5.1 Update 2, с версии 5.5 требуется дополнительная сетевая карта

Замечания:

  • Модели серверов указанные выше должны работать с указанными версиями ESXi. Более новые версии ESXi могут также работать, но это не гарантируется. При желании вы можете самостоятельно это проверить.
  • Присутствующий в ESXi 5.0-5.1 Update 2 драйвер Realtek был технической демонстрацией и не обновляется. Поэтому для стабильной работы рекомендуются серверы с сетевой картой Intel (PX60, PX91, DX151 и т.д.).
  • Для установки vSphere 5.5 и более новых версий на EX40, EX60 и некоторых моделей EX41/EX51 потребуется особый установочный ISO, содержащий драйверы для сетевых карт Realtek (http://www.bussink.ch/?p=1228). Альтернативно, можно поставить в сервер поддерживаемую сетевую карту. Цена на сетевой адаптер 1 Гбит Intel доступна на странице Root Server Hardware.
  • Установка ESXi на серверы старой серии DS или X невозможна.
  • При установке на сервер с несколькими идентичными дисками, может случиться так, что ESXi будет отображать диски не в том порядке, что BIOS. Если после установки на пустом экране появится только мигающий курсор, вам следует попробовать другой диск в качестве загрузочного.

Сетевые настройки

  • Для связи между несколькими ESXi внутри одной подсети, требуется добавить маршруты до них через шлюз по умолчанию (это требуется из-за ограничений безопасности).
На сервере А
esxcfg-route -a <ip-адрес сервера Б> 255.255.255.255 <ip-адрес шлюза>
На сервере Б
esxcfg-route -a <ip-адрес сервера А> 255.255.255.255 <ip-адрес шлюза>

Одиночные IP-адреса

  • В наших дата-центрах IP-адреса по умолчанию закреплены за MAC-адресами серверов. Отдельный MAC-адрес для дополнительного одиночного IP-адреса можно получить через панель Robot. Этот MAC-адрес можно настроить для виртуального сервера. Для получения MAC-адреса войдите в панель Robot -> «Server» -> выберите сервер -> нажмите на значок справа от IP-адреса».

Задание MAC-адреса

Подсети

  • Для заказа дополнительной подсети (IPv4 и IPv6), вам нужен по крайней мере один дополнительный IP-адрес для router-VM, так как ESXi не может маршрутизировать трафик. При заказе сети укажите, что она требуется для ESXi и должна маршрутизироваться через дополнительный IP-адрес.

Важно: так как IPv6 сети маршрутизируюстя через link-local адрес (на основании MAC-адреса) использование IPv6 сети ограничено (например, на одной виртуальной машине).

IPv4

Подтверждение назначения подсети по email содержит, например, такую информацию:

Below you will find the IP subnet added to your server 192.168.13.156.

Subnet: 192.168.182.16 /28
Mask: 255.255.255.240
Broadcast: 192.168.182.31

Usable IP addresses:
192.168.182.17 to 192.168.182.30

Вы не можете получить отдельные MAC-адреса для IP-адресов из подсети.

IPv6

Все серверы предоставляются с /64 IPv6 подсетью. Посмотреть, какая сеть назначена для сервера можно в панели Robot, на вкладке «IPs».

Если вы заказали сервер до февраля 2013 года, то подсеть можно заказать (бесплатно) через панель Robot. Она будет активирована автоматически.

IPv6 подсеть маршрутизируется через link-local адрес (от определяется на основании MAC-адреса) основного IP-адреса. Через панель Robot вы можете изменить маршуртизацию IPv6 подсети на link-local адрес виртуального MAC-адреса (другими словами, на дополнительный одиночный IP-адрес). Для этого нажмите значок справа от IPv6 подсети. Сама ESXi не будет иметь IPv6 адрес. Во первых в этом нет необходимости, а во вторых ESXi не может работать с шлюзом fe80::1.

Чтобы использовать IP-адреса в виртуальных машинах, нужен «router-VM» с дополнительной сетевой картой в новой подсети. Сама сеть требует новый vSwitch в ESXi, к которому будут подключены все виртуальные машины.

Замечания

Сетевая карта для router-VM не должна быть типа VMXNET2 или VMXNET3, так как использование карт данных типов может быть причиной низкой производительности TCP. Этого можно избежать отключив LRO в виртуальной машине с помощью 'disable_lro=1'. Более подробная информация на сайте производителя: http://www.vmware.com/support/vsphere4/doc/vsp_esxi41_vc41_rel_notes.html

После обновления ESXi до версии 5 эта проблема может проявиться снова. Вы можете решить её отключением Large Receive Offload (LRO) в хост-системе:

  • Войдите на ESXi через клиент vSphere.
  • Выберите host > Configuration > Software:Advanced Settings.
  • Выберите Net и прокрутите вниз немного более чем до середины.
  • Изменит значения следующих параметров с 1 на 0:
Net.VmxnetSwLROSL
Net.Vmxnet3SwLRO
Net.Vmxnet3HwLRO
Net.Vmxnet2SwLRO
Net.Vmxnet2HwLRO

Перезагрузите ESXi для применения изменений.

Если вы у вас есть проблемы с подключением на системах с сетевыми картами Realtek, то в некоторых случаях может помочь выключения offloading и включение polling. Однако это снижает производительность.

  • checksum offload: deactivated
  • segmentation offload: deactivated
  • large receive offload: deactivated
  • device polling: enabled

Настройка в vSphere Client

1. Создайте vSwitch (в примере использовано имя 'subnetz')

vSwitch part 1

vSwitch Part 2

vSwitch Part 3

vSwitch Part 4

2. Добавьте вторую сетевую карту (NIC) к router-VM. Подключённая сеть: subnetz (только что созданный vSwitch)

Esxi-router-nic.png

3. Сетевая карта (NIC) виртуальной машины в подсети. Подключённая сеть: subnetz

Обзор сетевых подключений должен отображать следующее:

Esxi-subnet.png

Настройка router-VM

  • Пример /etc/network/interfaces на router-VM
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
# WAN-NIC im VMnetwork
auto eth0
iface eth0 inet dhcp
# for the IPv6 subnet the configuration is analog to other virtualisations
iface eth0 inet6 static
 address 2a01:4f8:61:20e1::2
 netmask 128
 gateway fe80::1
# LAN NIC in Subnet
auto eth1
iface eth1 inet static
 address     192.168.182.30
 netmask     255.255.255.240
# The prefix/netmask can/must be changed according to the amount of network
# segments
iface eth1 inet6 static
 address    2a01:4f8:61:20e1::2
 netmask    64
  • Пример /etc/network/interfaces виртуальной машины под Linux в подсети
# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
auto eth0
iface eth0 inet static
 address 192.168.182.17
 netmask 255.255.255.240
 gateway 192.168.182.30
#
iface eth0 inet6 static
  address 2a01:4f8:61:20e1::4
  netmask 64
  gateway 2a01:4f8:61:20e1::2

Теперь router-VM подключён к двум сетям (физическая сеть Hetzner и виртуальная подсеть) и может быть использован в качестве шлюза для виртуальных машин в подсети. Не забудьте включить IP forwarding в ядре:

echo 1 > /proc/sys/net/ipv4/ip_forward
echo 1 > /proc/sys/net/ipv6/conf/all/forwarding

Чтобы это настройки автоматически применялись при запуске системы, добавьте следующие строки в файл /etc/sysctl.conf

net.ipv4.ip_forward=1
net.ipv6.conf.all.forwarding=1

Теперь виртуальные машины должны быть доступны из Интернета (например, по ssh) по назначенным им IP-адресам.

Руководство по установке

  • Выберите «Rescue system» в качестве операционной системы при заказе сервера.
  • Если вы хотите использовать RAID, то закажите также 4-портовый RAID-контроллер (требует Flexi-пакет). Это необходимо так как ESXi не поддерживает программный RAID.
  • Как только сервер будет готов (вы получите от нас email уведомление), вы сможете заказать KVM Console для установки ESXi при помощи virtual media. Подробнее об установке операционных систем написано в статье KVM Console.

После завершения установки на экране сервера будет отображено примерно следующее:

ESXi установлена

  • После перезагрузки вы сможете зайти в сервер с паролем, заданным при установке. Этот пароль используется и для доступа по SSH и для подключения через VMware vSphere Client (требует Windows и доступен для скачивания через браузер).

Esxi-vsphere.png

  • После успешной установки вы сможете заказать до трёх дополнительных IP-адресов через панель Robot. Вы можете получить отдельных MAC-адрес для каждого из дополнительных одиночных IP-адресов. Для этого используйте значок рядом с IP-адресом на вкладке «IPs».
  • Настройте MAC-адреса в ваших виртуальных серверах с соответствующими IP-адресами через vSphere. Когда вы сделаете это, даже DHCP в сети Hetzner может быть использован в виртуальной машине.

За дополнительной информацией о ESXi и её использовании обращайтесь на сайт разработчика.

Ручная установка обновлений

Установка обновлений в бесплатной версии возможна только через консоль или через VMware Go. Обновление может занимать несколько сотен мегабайт, что может потребовать много времени при DSL-соединении. Это руководство абсолютно не даёт гарантий правильности. Используйте на ваш собственный риск.

Обязательными условиями являются активированный доступ по SSH и система в режиме обслуживания (maintenance mode). Этого можно добиться командой:

vim-cmd hostsvc/maintenance_mode_enter

Обновление vSphere с 5.0 до 5.1

Сначала загрузите файл VMware-ESXi-5.1.0-799733-depot.zip со страницы VMWare Updates либо, без гарантий, на ваш собственный риск, со страницы Hetzner Download и сохраните на хост-системе.

После того как все виртуальные машины выключены и ESXi переведена в режим обслуживания (командой vim-cmd hostsvc/maintenance_mode_enter) можно продолжать обновление. Существует два варианта установки обновлений. Следующая команда обновит систему и удалит все, не входящие в обновление, пакеты. Она эквивалентна новой установке.

esxcli software profile install -d /vmfs/volumes/datastore1/VMware-ESXi-5.1.0-799733-depot.zip -p ESXi-5.1.0-799733-standard

Альтернативно, можно обновить пакеты до новых версий оставив остальные пакеты нетронутыми.

esxcli software profile update -d /vmfs/volumes/datastore1/VMware-ESXi-5.1.0-799733-depot.zip -p ESXi-5.1.0-799733-standard

По завершении обновления систему следует перезагрузить. При первом включении виртуальных машин возможно появление сообщения о том что виртуальная машина была скопирована или перемещена. Это происходит из-за того, что UUID были изменены в процессе обновления. Вы можете безопасно выбрать «VM was moved» в этом случае. Смотри также: VMware Help Page

Установка патчей

После того как патчи переданы в систему их можно установить. Важно использовать полное имя файла, например:

esxcli software vib install --depot="/vmfs/volumes/datastore1/patches/ESXi510-201210001.zip"
Installation Result
Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
Reboot Required: true
[...]

После перезагрузки следует вывести систему из режима обслуживания:

vim-cmd hostsvc/maintenance_mode_exit

Мониторинг RAID-контроллера

Контроллер 3ware

Для контроллеров 3ware существует как CIM Provider так и CLI. 64-битный CLI для Linux может быть использован начиная с версии 9.5.2.

Обратите внимание: контроллеры 3ware в ESXi 5.0 поддерживаются через сторонний драйвер.

Контроллеры Adaptec

Для контроллеров adaptec нужно вручную установить CIM Provider и CLI (arcconf). Необходима самая свежая версия драйвера. Руководство по установке можно найти на сайте Adaptec (PDF)

Мониторинг можно организовать посредством установки удалённого ARCCONF через Windows/Linux систему.

$ arcconf GETCONFIG 1 AD

Контроллер LSI

LSI поддерживает CIM/SMIS. После установки на странице hardware monitoring в vSphere Client будет отображаться статус RAID. Тем не менее, активные уведомления доступны только в платной версии и при запущенном vCenter.

Альтернативно, можно установить утилиту командной строки MegaCLI, которая также может быть использована для управления RAID-контроллером. Для автоматизации отображения статусной информации можно использовать скрипт. Этот скрипт должен запускаться с другого сервера.

Параллельное использование встроенного контроллера и аппаратного RAID

Во время установки ESXi «видит» только один тип хранилища: или встроенный SATA контроллер или аппаратный RAID контроллер. Если диски подключены к обоим, то приоритет остаётся за аппаратным контроллером и диски, подключенные к встроенному контроллеру, не определяются. Эти диски могут быть использованы с помощью ручной загрузки необходимых модулей ядра.

/sbin/vmkload_mod ahci

Для того чтобы модули загружались автоматически при загрузке системы, необходимо добавить эту строку в /etc/rc.local и в /sbin/auto-backup.sh.

Изменение оборудования

Изменение MAC-адреса

В случае изменения (замены), например материнской платы, следует иметь в виду то, что ESXi сохраняет старый MAC-адрес. Это приводит к различным проблемам. Например, коммутатор не может передать корректный новый основной IP-адрес сервер, так как сообщаемый в сеть MAC-адрес неправильный. MAC-адрес следует сбросить при помощи специальных команд. Различные варианты того, как именно это можно сделать описаны в selfservice/microsites/search.do? language=en_US&cmd=displayKC&externalId=1031111 VMWare Knowledge Base Article. Наиболее универсальным решением является настройка ESXi на автоматическое определение и использование нового MAC-адреса. Для этого используется следующая команда:

esxcfg-advcfg -s 1 /Net/FollowHardwareMac

Эту команду можно выполнить как перед заменой платформы, так и после замены. Если замена уже произведена, то у вас есть два варианта, как её можно выполнить:

  • Заказать KVM Console, переключиться на консоль нажав Alt + F1 и ввести команду. Далее, нажав Alt + F2, можно переключиться обратно в GUI.
  • Временно «обучить» коммутатор новому MAC-адресу перезагрузив сервер сначала в Rescue-систему и, затем, обратно в ESXi. В результате ESXi будет доступна по основному IP-адресу, но только ограниченное время. Это время зависит от того, как долго коммутатор будет держать запись для MAC-адреса в кэше ARP. Обычно этого времени хватает, для того чтобы зайти на ESXi по ssh и выполнить команду. Предполагается что ssh уже включен. Если это не так, то его можно включить так как подключение через клиент ESXi тоже будет работать.

Оба варианта требуют перезагрузки сервера. Сервер можно перезагрузить командой:

reboot

После перезагрузки новый MAC-адрес должен корректно задан. Это можно проверить выполнив команду:

esxcfg-vmknic -l

Новый MAC-адрес должен показываться после основного IP-адреса.



© 2018. Hetzner Online GmbH. Alle Rechte vorbehalten.