Требования к сети узла для Azure Stack ХЦИ

Требования к сети узла для Azure Stack ХЦИ

В этом разделе обсуждаются вопросы и требования к сети узла для Azure Stack ХЦИ. Сведения об архитектуре центров обработки данных и физических подключениях между серверами см. в статье требования к физической сети.

Сведения о том, как упростить работу с сетью узлов с помощью Network АТК, см. в статье упрощение работы с сетью с использованием сетевого АТК.

Типы сетевого трафика

Azure Stack сетевой трафик ХЦИ можно классифицировать по предполагаемому назначению:

  • Трафик вычислений: Трафик, исходящий из виртуальной машины или предназначенный для нее.
  • служба хранилища трафик: трафик, использующий протокол SMB, например дисковые пространства Direct.
  • Трафик управления: трафик, используемый администратором для управления кластером, включая удаленный рабочий стол, Windows центра администрирования, Active Directory и т. д.

Выберите сетевой адаптер

Azure Stack хЦи требуется выбрать сетевой адаптер, который достиг Windows Software-Defined сертификации центра обработки данных (SDDC) с помощью стандартной или Premium дополнительной квалификации (AQ). Эти адаптеры поддерживают самые современные функции платформы и прошли большую часть тестирования наших партнеров по оборудованию. Как правило, этот уровень проверки приводит к снижению проблем с качеством оборудования и драйверов. эти адаптеры также соответствуют требованиям к сети, установленным для дисковые пространства Direct.

адаптер, имеющий стандартный или Premium AQ, можно найти, просмотрев запись каталога сервера Windows для адаптера и соответствующую версию операционной системы. ниже приведен пример нотации для Premium AQ:

Общие сведения о ключевых возможностях сетевого адаптера

К важным возможностям сетевого адаптера, используемым Azure Stack ХЦИ, относятся:

  • Динамическая виртуальная машина с несколькими очередями (Dynamic ВММК или d. ВММК)
  • Удаленный доступ к памяти (RDMA)
  • Гостевой RDMA
  • Переключение объединения внедренных платформ (SET)
Динамический ВММК

все сетевые адаптеры с Premium AQ поддерживают динамические вммк. Для динамического ВММК требуется использовать объединение внедренных коммутаторов.

Применимые типы трафика: COMPUTE

Требуемые сертификаты: Premium

Dynamic ВММК — это интеллектуальная технология приема. Он строится на основе своих предшественников очередь виртуальной машины (VMQ), виртуального масштабирования на стороне приема (vRSS) и ВММК, чтобы предоставить три основных улучшения:

  • Оптимизирует эффективность узла с помощью меньшего количества ядер ЦП.
  • Автоматическая настройка обработки сетевого трафика на ядра ЦП, что позволяет виртуальным машинам соответствовать и поддерживать ожидаемую пропускную способность.
  • Позволяет "интенсивным" рабочим нагрузкам принимать ожидаемый объем трафика.

Дополнительные сведения о динамическом ВММК см. в записи блога: искусственное ускорение.

RDMA — это разгрузка сетевого стека для сетевого адаптера. Это позволяет трафику хранилища SMB обходить операционную систему для обработки.

RDMA обеспечивает сеть с высокой пропускной способностью и низкой задержкой, используя минимальный объем ресурсов ЦП узла. Затем эти ресурсы ЦП узла можно использовать для запуска дополнительных виртуальных машин или контейнеров.

Применимые типы трафика: хранилище узла

Требуемые сертификаты: Standard

все адаптеры с поддержкой Standard или Premium AQ поддерживают RDMA. RDMA — это рекомендуемый вариант развертывания для рабочих нагрузок хранилища в Azure Stack ХЦИ, который можно дополнительно включить для рабочих нагрузок хранилища (с использованием SMB) для виртуальных машин. Дополнительные сведения см. в подразделе "Гостевой RDMA" Далее в этой статье.

Azure Stack ХЦИ поддерживает RDMA, используя протоколы RDMA в Интернете (iWARP) или RDMA для реализации Протокола согласованного Ethernet (Роце).

Адаптеры RDMA работают только с другими адаптерами RDMA, которые реализуют тот же протокол RDMA (iWARP или Роце).

Не все сетевые адаптеры от поставщиков поддерживают RDMA. в следующей таблице перечислены поставщики (в алфавитном порядке), предлагающие Premium сертифицированные адаптеры RDMA. Однако в этот список входят поставщики оборудования, которые также поддерживают RDMA. см. каталог Windows Server для проверки поддержки RDMA.

InfiniBand (геодоступность) не поддерживается с Azure Stack ХЦИ.

Поставщик сетевого адаптера iWARP; RoCE. Broadcom Нет Да Chelsio Да Нет Intel Да Да (некоторые модели) Контроллер Marvell (QLogic/Кавиум) Да Да NVIDIA (Mellanox) Нет Да

чтобы получить дополнительные сведения о развертывании RDMA, скачайте документ из репозитория SDN GitHub.

iWARP;

iWARP использует протокол TCP и может дополнительно быть расширен с помощью управления Flow на основе приоритетов и расширенной службы передачи (ETS).

Используйте iWARP, если:

  • Вы не имеете возможности работать с сетью или можете управлять сетевыми коммутаторами неудобно.
  • Вы не контролируете коммутаторы верхнего уровня (ToR).
  • Решение не будет управляться после развертывания.
  • У вас уже есть развертывания, использующие iWARP.
  • Вы не уверены, какой вариант выбрать.

Роце использует протокол UDP, а для обеспечения надежности требуется коэффициент мощности и ETS.

Используйте Роце, если:

  • У вас уже есть развертывания с Роце в вашем центре обработки данных.
  • Вы можете управлять требованиями к сети DCB.
Гостевой RDMA

Гостевой RDMA позволяет рабочим нагрузкам SMB использовать для виртуальных машин те же преимущества, что и RDMA на узлах.

Применимые типы трафика: Хранилище на основе гостя

Требуемые сертификаты: Premium

Основные преимущества использования гостевого RDMA:

  • Разгрузка ЦП на сетевую карту для обработки сетевого трафика.
  • Очень низкая задержка.
  • Высокая пропускная способность.

для получения дополнительных сведений скачайте документ из репозитория SDN GitHub.

набор — это технология коллективного объединения программного обеспечения, включенная в операционную систему Windows Server с момента Windows Server 2016. НАБОР не зависит от типа используемых сетевых адаптеров.

Применимые типы трафика: вычисление, хранение и управление

Требуемые сертификаты: нет (набор встроен в операционную систему)

SET — единственная технология объединения, поддерживаемая в Azure Stack HCI. Этот набор хорошо работает с трафиком вычислений, хранения и управления.

балансировка нагрузки и отработка отказа (LBFO) — это еще одна технология объединения, которая обычно используется с Windows Server, но не поддерживается Azure Stack хЦи. Дополнительные сведения о LBFO в Azure Stack ХЦИ см. в записи блога Объединение записей в блоге Azure Stack хЦи .

НАБОР важен для Azure Stack ХЦИ, так как это единственная технология объединения, которая позволяет:

  • Объединение адаптеров RDMA (при необходимости).
  • Гостевой RDMA.
  • Динамический ВММК.
  • Другие ключевые Azure Stack функции ХЦИ (см. раздел объединение в Azure Stack хЦи).

Обратите внимание, что для SET требуется использовать симметричные (идентичные) Адаптеры. Объединение асимметричных адаптеров не поддерживается. Симметричные сетевые адаптеры — это те же:

  • Марка (поставщик)
  • Model (версия)
  • скорость (пропускная способность)
  • настройка

Самый простой способ узнать, являются ли адаптеры симметричными, — если скорость одинаковая, а описания интерфейсов совпадают. Они могут отклоняться только по числу, указанному в описании. Get-NetAdapterAdvancedProperty С помощью командлета убедитесь, что в отчете о конфигурации указаны одинаковые значения свойств.

В следующей таблице приведены примеры описаний интерфейсов, отклоненных только цифрами (#):

name Описание интерфейса Скорость связи NIC1 #1 сетевого адаптера 25 Гбит/с NIC2 #2 сетевого адаптера 25 Гбит/с NIC3 #3 сетевого адаптера 25 Гбит/с NIC4 #4 сетевого адаптера 25 Гбит/с

SET поддерживает только конфигурацию, не зависящую от коммутатора, с помощью динамических или высокопроизводительных алгоритмов балансировки нагрузки портов Hyper-V. Для лучшей производительности рекомендуется использовать порт Hyper-V во всех сетевых адаптерах, которые работают со скоростью 10 Гбит/с или выше.

Рекомендации по трафику RDMA

При реализации DCB необходимо убедиться, что конфигурация коэффициента мощности и ETS правильно реализована для каждого сетевого порта, включая сетевые коммутаторы. DCB необходим для Роце и необязателен для iWARP.

чтобы получить подробные сведения о развертывании RDMA, скачайте документ из репозитория SDN GitHub.

Для реализации Azure Stack ХЦИ на основе Роце требуется настройка трех классов трафика с компенсацией коэффициента мощности, включая класс трафика по умолчанию, в структуре и на всех узлах.

Класс трафика кластера

Этот класс трафика обеспечивает достаточную пропускную способность, зарезервированную для пульса кластера:

  • Обязательный: да.
  • С поддержкой коэффициента мощности: нет
  • Рекомендуемый приоритет трафика: приоритет 7
  • Рекомендуемое резервирование пропускной способности:
    • 10 GbE или более низкие сети RDMA = 2%
    • 25 GbE или выше сетей RDMA = 1%
    Класс трафика RDMA

    Этот класс трафика обеспечивает достаточную пропускную способность, зарезервированную для обмена данными RDMA с помощью SMB Direct:

    • Обязательный: да.
    • С поддержкой коэффициента мощности: Да
    • Рекомендуемый приоритет трафика: приоритет 3 или 4
    • Рекомендуемое резервирование пропускной способности: 50%
    Класс трафика по умолчанию

    Этот класс трафика несет весь остальной трафик, не определенный в классах трафика кластера или RDMA, включая трафик виртуальной машины и трафик управления.

    • Обязательный: по умолчанию (на узле нет необходимых конфигураций)
    • Flow управления (коэффициент мощности) — включено: нет
    • Рекомендуемый класс трафика: по умолчанию (приоритет 0)
    • Рекомендуемое резервирование пропускной способности: по умолчанию (Настройка узла не требуется)

    модели трафика служба хранилища

    Протокол SMB предоставляет множество преимуществ в качестве протокола хранения для Azure Stack ХЦИ, включая многоканальный SMB. Многоканальный протокол SMB не рассматривается в этой статье, но важно понимать, что трафик будет мультиплексирован по всем возможным каналам связи, которые может использовать многоканальный протокол SMB.

    Мы рекомендуем использовать несколько подсетей и виртуальных ЛС для разделения трафика хранилища в Azure Stack ХЦИ.

    Рассмотрим следующий пример кластера из четырех узлов. У каждого сервера есть два порта хранения (слева и справа). Так как каждый адаптер находится в одной подсети и виртуальной ЛС, многоканальный протокол SMB будет распределять подключения по всем доступным ссылкам. Таким образом, левый порт на первом сервере (192.168.1.1) будет устанавливать соединение с портом слева на втором сервере (192.168.1.2). Правый порт на первом сервере (192.168.1.12) будет подключаться к правому порту на втором сервере. Аналогичные соединения устанавливаются для третьего и четвертого серверов.

    Однако это создает ненужные подключения и вызывает перегрузку в Interlink (Группа агрегирования ссылок на многокорпусовую группу или ЗАПАЗДЫВАНИЕ), соединяющая коммутаторы ToR (помеченные XS). Рассмотрим схему ниже.

    Рекомендуемый подход заключается в использовании отдельных подсетей и виртуальных ЛС для каждого набора адаптеров. На схеме ниже правильные порты теперь используют подсеть 192.168.2. x/24 и VLAN2. Это позволяет оставить трафик на портах слева на TOR1, а трафик на правой стороне портов оставить на TOR2.

    Распределение пропускной способности трафика

    В следующей таблице показаны примеры распределения пропускной способности различных типов трафика с помощью стандартных скоростей адаптеров в Azure Stack ХЦИ. Обратите внимание, что это пример согласованного решения, в котором все типы трафика (вычислений, хранения и управления) выполняются на одних и тех же физических адаптерах и объединены с помощью Set.

    Поскольку в этом варианте использования накладывается большинство ограничений, он представляет хороший базовый уровень. Однако, учитывая перестановки для количества адаптеров и скоростей, этот вариант следует рассматривать как пример, а не как требование к поддержке.

    В этом примере выполняются следующие предположения:

    Для каждой команды существует два адаптера.

    трафик уровня шины (SBL) служба хранилища, общий том кластера (CSV) и Hyper-V (динамическая миграция):

    • Используйте те же физические адаптеры.
    • Используйте SMB.

    Для SMB задается пропускная способность 50% с помощью DCB.

    • SBL/CSV — это трафик с наивысшим приоритетом, который получает 70 процентов резервирования пропускной способности SMB.
    • Динамическая миграция (LM) ограничено с помощью Set-SMBBandwidthLimit командлета и получает 29 процентов оставшейся пропускной способности.

      Если доступная пропускная способность для динамическая миграция равна > 5 Гбит/с, а сетевые адаптеры поддерживаются, используйте RDMA. Для этого используйте следующий командлет:

      Если доступная пропускная способность для динамическая миграция составляет < 5 Гбит/с, используйте сжатие для сокращения времени отключения. Для этого используйте следующий командлет:

      Если вы используете RDMA для динамическая миграция трафика, убедитесь, что динамическая миграция трафик не может использовать всю пропускную способность, выделенную для класса трафика RDMA, с использованием ограничения пропускной способности SMB. Будьте внимательны, так как этот командлет принимает записи в байтах в секунду (бит/с), а сетевые адаптеры указываются в битах в секунду (бит/с). Используйте следующий командлет, чтобы установить ограничение пропускной способности в 6 Гбит/с, например:

      750 Мбит/с в этом примере равно 6 Гбит/с.

      Ниже приведен пример таблицы распределения пропускной способности.

      Скорость сетевого адаптера Совместная пропускная способность Резервирование пропускной способности SMB * * SBL/CSV% Пропускная способность SBL/CSV Динамическая миграция% Максимальная пропускная способность динамическая миграция Пакет Пропускная способность пульса 10 Гбит/с 20 Гбит/с 10 Гбит/с 70 % 7 Гбит/с * * 2 % 200 Мбит/с 25 Гбит/с 50 Гбит/с 25 Гбит/с 70 % 17,5 Гбит/с 29 % 7,25 Гбит/с 1 % 250 Мбит/с 40 Гбит/с 80 Гбит/с 40 Гбит/с 70 % 28 Гбит/с 29 % 11,6 Гбит/с 1 % 400 Мбит/с 50 Гбит/с 100 Гбит/с 50 Гбит/с 70 % 35 Гбит/с 29 % 14,5 Гбит/с 1 % 500 Мбит/с 100 Гбит/с 200 Гбит/с 100 Гбит/с 70 % 70 Гбит/с 29 % 29 Гбит/с 1 % 1 Гбит/с 200 Гбит/с 400 Гбит/с 200 Гбит/с 70 % 140 Гбит/с 29 % 58 Гбит/с 1 % 2 Гбит/с

      * Используйте сжатие, а не RDMA, так как распределение пропускной способности для динамическая миграция трафика составляет < 5 Гбит/с.

      * * 50% — это пример резервирования пропускной способности.

      Растянутые кластеры

      Растянутые кластеры обеспечивают аварийное восстановление, охватывающее несколько центров обработки данных. В своей простейшей форме ХЦИ кластерная сеть с Azure Stack растяжением выглядит следующим образом:

      Требования к растянутому кластеру

      Растянутые кластеры имеют следующие требования и характеристики.

      RDMA ограничен одним сайтом и не поддерживается для разных сайтов и подсетей.

      Серверы на одном сайте должны находиться в одной стойке и на границе уровня 2.

      Взаимодействие узла между сайтами должно пересекать границу уровня 3. Растянутые топологии уровня 2 не поддерживаются.

      Достаточно пропускной способности для запуска рабочих нагрузок на другом сайте. В случае отработки отказа альтернативный сайт должен выполнить весь трафик. Рекомендуется подготавливать сайты на 50% от доступной емкости сети. Однако это не является обязательным требованием, если вы можете снизить производительность во время отработки отказа.

      Репликация между сайтами (север/Южный трафик) может использовать те же физические сетевые карты, что и локальное хранилище (трафик «Восток/Западная»). Если вы используете те же физические адаптеры, эти адаптеры должны быть объединены в набор. Адаптеры также должны иметь дополнительные виртуальные сетевые карты, подготовленные для маршрутизируемого трафика между сайтами.

      Адаптеры, используемые для обмена данными между сайтами:

      Может быть физическим или виртуальным (Host vNIC). Если адаптеры являются виртуальными, необходимо подготавливать один vNIC в своей подсети и виртуальной ЛС для каждого физического сетевого адаптера.

      Должен находиться в своей подсети и виртуальной ЛС, которая может маршрутизироваться между сайтами.

      RDMA должен быть отключен с помощью Disable-NetAdapterRDMA командлета. рекомендуется явно требовать, чтобы служба хранилища реплики использовали определенные интерфейсы с помощью Set-SRNetworkConstraint командлета.

      должен соответствовать любым дополнительным требованиям к служба хранилища реплике.

      Пример растянутого кластера

      В следующем примере показана конфигурация растянутого кластера. Чтобы убедиться, что конкретный виртуальный сетевой адаптер сопоставлен с конкретным физическим адаптером, используйте командлет Set-вмнетворкадаптертеаммаппинг .

      Ниже приведены сведения о примере растянутой конфигурации кластера.

      Точная конфигурация, включая имена сетевых карт, IP-адреса и виртуальные ЛС, может отличаться от показанных. Он используется только в качестве эталонной конфигурации, которую можно адаптировать к вашей среде.