Эволюция сетевой архитектуры ЦОД.

Скороходов Александр
Системный инженер-консультант
25 октября 2012 г

© 2012 Cisco and/or its affiliates. All rights reserved. 1

Принимайте активное участие в Cisco Expo и получите в
подарок Linksys E900.
Как получить подарок:
•  внимательно слушать лекции по технологиям Cisco
•  посещать демонстрации, включенные в основную программу

•  пройти тесты на проверку знаний

Тесты будут открыты:
с 15:00 25 октября по 16:30 26 октября

www.ceq.com.ua

Phase 1 Phase 2 Phase 3
Консолидация и управляемость

Распределенная Сервис-
Мейнфреймы
обработка ориентированный ЦОД

Виртуализация
Централизация Децентрализация Облачные вычисления
Эволюция архитектуры приложений

Варианты эволюции сетей ЦОД

blade1 blade1 blade1 blade1
slot 1
blade2 slot 1
blade2 slot 1
blade2 slot 1
blade2
slot 2
blade3 slot 2
blade3 slot 2
blade3 slot 2
blade3
slot 3
blade4 slot 3
blade4 slot 3
blade4 slot 3
blade4
slot 4
blade5 slot 4
blade5 slot 4
blade5 slot 4
blade5
slot 5
blade6 slot 5
blade6 slot 5
blade6 slot 5
blade6
slot 6
blade7 slot 6
blade7 slot 6
blade7 slot 6
blade7
slot 7
blade8 slot 7
blade8 slot 7
blade8 slot 7
blade8
slot 8 slot 8 slot 8 slot 8

slot 1
blade2 slot 1
blade2 slot 1
blade2 slot 1
blade2
slot 2
blade3 slot 2
blade3 slot 2
blade3 slot 2
blade3
slot 3
blade4 slot 3
blade4 slot 3
blade4 slot 3
blade4
slot 4
blade5 slot 4
blade5 slot 4
blade5 slot 4
blade5
slot 5
blade6 slot 5
blade6 slot 5
blade6 slot 5
blade6
slot 6
blade7 slot 6
blade7 slot 6
blade7 slot 6
blade7
slot 7
blade8 slot 7
blade8 slot 7
blade8 slot 7
blade8
slot 1
blade2 slot 1
blade2 slot 1
blade2 slot 1
blade2
slot 2
blade3 slot 2
blade3 slot 2
blade3 slot 2
blade3
slot 3
blade4 slot 3
blade4 slot 3
blade4 slot 3
blade4
slot 4
blade5 slot 4
blade5 slot 4
blade5 slot 4
blade5
slot 5
blade6 slot 5
blade6 slot 5
blade6 slot 5
blade6
slot 6
blade7 slot 6
blade7 slot 6
blade7 slot 6
blade7
slot 7
blade8 slot 7
blade8 slot 7
blade8 slot 7
blade8

Сверхнизкая задержка HPC/GRID Виртуализированный ЦОД MSDC
•  Алгоритмический •  L3 и L2 •  Провайдеры и корпорации •  Layer 3 доступ (iBGP, ISIS)
трейдинг •  Без виртуализации •  Виртуализация вычислений •  Сотни и тысячи стоек
•  L3 и мультикаст •  iWARP & RCoE •  Разнородная среда •  Однородная среда
•  Без виртуализации •  10G -> 40G •  Подключения: 1G -> 10G •  Без виртуализации
•  Небольшой масштаб •  Nexus 2000, 3000, •  Nexus 1000v,2000,5500,7000 и •  Подключения: 1G -> 10G
•  Подключения: 10G->40G 5500, 7000 & UCS UCS •  Nexus 2000,3000,5500,7000
•  Nexus 3000 & UCS и UCS


Развитие требований Новые подходы и Новые продукты
  Рост производительности технологии
  Аппаратные коммутаторы
  Консолидация ввода-   Высокоскоростной Ethernet Nexus
вывода   Fibre Channel over Ethernet   SAN коммутаторы MDS
  Простая и   Virtual PortChannel   Виртуальный коммутатор
масштабируемая   FabricPath/TRILL Nexus 1000V
архитектура
  Сетевая поддержка   Унифицированная
  Виртуализация виртуализации вычислительная система
  Объединение ЦОД   OTV/LISP UCS

От новых потребностей
к технологиям, продуктам и архитектурам

•  На рынке с 2008 года

•  Единая операционная система NX-OS для всего семейства Nexus и
NX-OS 4.1 NX-OS 4.2
MDS: модульность и высокая доступность
•  Лидер рынка коммутации в ЦОД

•  Более 17,000,000 портов семейства Nexus

•  Более 36,000 заказчиков используют NX-OS

Nexus 7000
Nexus 1000V
Virtual Switch
Nexus 2000
2008 Fabric Nexus 3000 Nexus 4000 Nexus 5500
Extender
1K
Cisco Nexus 1000V

x86


•  Повышение производительности подключения серверов и
магистрали
1/10 Gigabit Ethernet до серверов, 40/100GE, TRILL/FabricPath

•  Консолидация ввода-вывода серверов
Fibre Channel over Ethernet (FCoE/DCB), Adapter-FEX

•  Более простая и «плоская» архитектура сети ЦОД без опоры на
STP
Virtual Portchannel, FEX, TRILL/FabricPath

•  Сетевая поддержка виртуализации
Nexus 1000V, VM-FEX

•  Надёжная и производительная связь ЦОД
OTV, LISP


•  Причины
Рост производительности процессоров
Десятки ядер на сервер, многие десятки «ГГц»
Виртуализация:
Десятки VM на один хост – суммирование требований
Конвергентный транспорт:
Передача FCoE - производительность не менее 10Гбит/с

•  Решения
10 Гбит/с до серверов (с сохранением эффективной
поддержки 1Гбит/с!)
Варианты подключения 10G: DAC, AOC, 10GBASE-T
40/100 Гбит/с на магистрали
Требования к СКС
Горизонтальное масштабирование производительности
Cisco FabricPath, IETF TRILL


Mid 1980’s Mid 1990’s Early 2000’s Late 2000’s

10Mb 100Mb 1Gb 10Gb

UTP Cat 3 UTP Cat 5 UTP Cat 5 X2
SFP Fiber SFP+ Cu (BER better than 10 -18 )
SFP+ Fiber
Cat 6/7

Технология Кабель Расстояние Потребление Задержка
SFP+ CU
Twinax 10m ~0.1W ~0
Copper

SFP+ USR MM OM2 10m
1W ~0
ultra short reach MM OM3 100m

SFP+ SR MM 62.5µm 82m
1W ~0
short reach MM 50µm 300m

Cat6 55m ~6W 2.5µs
10GBASE-T Cat6a/7 100m ~6W 2.5µs
Cat6a/7 30m ~4W 1.5µs


●  Спецификация: SFF-8431

●  Называют 10GSFP+Cu, CX1, 10G-CR...

●  2 пары твинаксиального кабеля

●  Коннекторы установлены и протестированы на заводе

●  Взаимозаменяемость с оптическими трансиверами SFP+ Коннекторы
SFP+
●  Низкая стоимость, малое энергопотребление,
минимальная задержка
●  Небольшая длина (до ~10м)

●  Оптимально подходит для соединений внутри стойки
или группы стоек
●  Вариант: активные оптические кабели (меньше диаметр) Кабель

●  Поддерживаются на всех моделях Nexus: Nexus
2000/3000/4000/5000/7000

Оптические Оптические
аплинки аплинки

Оптические
Подключение FEX кабелями SFP+  
аплинки
или по оптоволокну трансиверами FET 


•  Стандарт: IEEE 802.3an

•  Предпочтительный вариант для интегрированных адаптеров в
серверах: возможна совместимость с 10/100/1000
•  До 100 метров (по СКС категории 6A или 7)

•  Высокая сложность обработки -> высокое энергопотребление
(до 4-8 Вт на порт)
•  Уровень ошибок (BER) до 10-12 - проблема для FCoE

•  Решаются в новых поколениях микросхем/оборудования

•  Поддерживается Nexus 2000/3000/5500/7000


•  Стандарт IEEE 802.3ba - одобрен в июне 2010 г

•  Утвержденные варианты интерфейсов 40G:
40GBASE-KR4: Соединения внутри устройств
40GBASE-CR4: 10 м по твинаксиальному кабелю – 4 x 10G
40GBASE-SR4 : 100 м по кабелю OM3 по 4 парам волокон
40GBASE-LR4 (СWDM): 10 км по одномодовому волокну – 4λ x 10G

•  Утвержденные варианты интерфейсов 100G
100GBASE-CR10 : 10 м по твинаксиальному кабелю – 10 x 10G
100GBASE-SR10: 100/125 м по кабелю OM3/OM4 по 10 парам волокон
100GBASE-LR4 (DWDM): 10 км по одномодовому волокну – 4λ x 25G
100GBASE-ER4 (DWDM): 40 км по одномодовому волокну – 4λ x 25G


40G: 12F MTP коннектор 100G: 24F MTP коннектор


•  40G (и 100G) – внутри ЦОД, 100G для связи ЦОД
•  Подготовка СКС ЦОД к требованиям 40G:
•  Многомодовое внедрение: 4 параллельных пары
•  Коннектор MTP12: 1x 40G = 6 x 10G с точки зрения СКС
•  Обратная совместимость с 10G – универсальные QSFP порты
•  Расстояние ограничено 100 м для кабеля OM3 – не 300 м (как для 10G-SR)

•  Внедрение 100G:
•  Многомодовое внедрение: 10 параллельных пар (коннектор MTP24)
•  Одномодовая оптика 100G: большие и энергоёмкие решения (могут
уменьшиться в размерах и мощности в следующих поколениях)

•  Обратная совместимость СКС:
•  Патч-корды и патч-панели MTP <-> LC
•  Патч-корды MTP24 – MTP12

•  Поддержка на Nexus 3000, 7000

Spanning-Tree vPC FabricPath
16
Switches

Активных Один Два 16
путей

Производитель- До 15 Тбит/с До 30 Тбит/с До 240 Тбит/с
ность блока

Масштабируемость Layer 2

Виртуализация инфраструктуры и производительность


Рост числа подключений к SAN
•  Виртуализация с поддержкой мобильности и HA
•  Кластерные системы
•  Защита информации средствами СХД
Большое числе интерфейсов LAN
•  Требования виртуализированных внедрений
Распространение блейд-систем
•  Трудно обеспечить много интерфейсов

FCoE для SAN трафика
•  Консолидация и сохранение полной совместимости с моделью FC
DCB для обеспечения гарантий для FCoE трафика
•  PFC, ETS, DCBX
Adapter-FEX/IEEE802.1BR
•  Доведение множества логических интерфейсов на уровень ОС/гипервизора


Internet/
Storage RDMA/IPC LAN SAN
Intranet

Unified
LAN SAN IPC Fabric IPC

Без консолидации
•  Много портов ввода-вывода Используя FCoE/DCB (+Adapter-FEX)
•  Высокие расходы на оборудование и •  Общий транспорт
эксплуатацию •  Обеспечение совместимости


Ethernet
•  Метод передачи фреймов FC по Ethernet
•  Выглядит как FC для серверов и сети
•  Сохраняет текущую инфраструктуру
и управление FC Fibre
Channel
•  Фрейм FC остается неизменным
•  Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)
•  Семейство стандартов IEEE DCB для «улучшенного» Ethernet
•  Priority Flow Control: отсутствие потерь (аналог BB_Credits в FC)
•  Enhanced Transmission Selection: выделение полосы
•  DCB Exchange: согласование настроек и логическое состояние

Cisco первой представила основанный на стандартах
коммутатор FCoE Cisco Nexus 5000

Директорный класс
Фиксированная
конфигурация

Nexus 5596
MDS 9500
Nexus 7000

Nexus 5020
Nexus 5548
F1 32-port FCoE 8-port
F2 48-port
Nexus 2232 Nexus 5010
Nexus 4000

NX-OS & DCNM


•  Первый шаг – «консолидация доступа» («Unified Wire»)

•  Существенная экономия при сохранении существующего ядра
сетей Ethernet и Fibre Channel
•  Лежит в основе Cisco UCS

SAN A SAN B
10GE
Backbone

VF порты

VN порты (CNA)


  Расширение консолидации FCoE
ввода-вывода на магистраль Ethernet core Storage

  Сохранение изоляции SAN
фабрик для отказоустойчивости
  Поддержка систем хранения с VE порты
подключением по DCB/FCoE
  Теперь и для Cisco UCS (с VE порты

релиза 2.1) ! VF

VN

DCB и FCoE


Рост масштабов ЦОД
Масштабирование производительности
Управляемость
Растягивание подсетей

Распределённый коммутатор доступа: архитектура FEX-Link
1G или 10G, SFP+ или «витая пара»
Продолжение внутрь сервера: Adapter-FEX, VM-FEX
Virtual Portchannel
Уход от Spanning Tree с сохранением общей топологии
Cisco FabricPath/IETF TRILL
«Маршрутизация на 2 уровне»
Горизонтальное масштабирование
Полное исключение Spanning Tree на магистрали


Nexus 5500
Виртуальное модульное
шасси

+
Nexus 2000

=

•  Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5500
•  Единый конфигурационный файл на Nexus 5500

•  Между FEX и Nexus 5500 не используется STP


•  Поддержка Nexus 5000/5500, 7000 и UCS 6100 как Core
«материнских устройств» Layer

•  Сочетание моделей внедрения EoR, MoR, ToR

•  Миграция к 10GE и FCoE подключениям серверов
Agg
Layer
•  Сочетание типов кабелей (оптика и медь)
VSS/vPC
•  Гибкость выбора головных устройств, типов FEX, способа L3
размещения и соединения L2
Nexus
2000 Nexus
Fabric FET/Twinax 5500
Extender

Серверы

Медь/
Twinax
Access
Layer

Nexus 2248TP-E Nexus 2224TP
48 серверных портов 100/1000 UTP 24 серверных порта 100/1000 UTP
4 uplink порта 10GE SFP+ 2 uplink порта 10GE SFP+

Nexus 2232PP Nexus 2232TM-E
32 серверных портов 1/10GE SFP/SFP+ 32 серверных порта 1/10GBASE-T
8 uplink портов 10GE SFP+ 8 uplink портов 10GE SFP+
Поддержка консолидации ввода-
вывода (FCoE)

FET-10G B22HP / B22F
Экономичное решения для Функциональность FEX внутри блейд-
подключения FEX по оптоволокну шасси HP / Fujitsu


10G SFP+ CX1 (Twinax) Fabric Extender Transceiver
•  Медный кабель с SFP+
(FET)
модулями •  Экономичный SFP+ трансивер
(только) для подключения Nexus
•  Для подключений серверов в
2000 к материнской системе
стойке и соединений между
стойками •  Длина линии: до 100 м (OM3)/
25 м (OM2)
•  Низкая стоимость
•  Энергопотребление ~ 1 Вт
•  Низкое энергопотребление
•  Поставляется вместе с Nexus 2000
•  Пассивные кабели: 1, 3, 5 м
•  Несовместим с SR трансиверами
•  Активные кабели: 7, 10 м


•  Возможность организации агрегированного
канала (port channel) приходящего на два
разных коммутатора
•  Уход от опоры на STP

•  Использование полосы всех имеющихся
соединений Без vPC

•  Быстрая сходимость при отказе устройства
или канала
•  Обеспечение отказоустойивости и
масштабируемости при подключении
серверов
•  Сокращение CAPEX и OPEX

•  Поддерживается на Nexus
2000/3000/5000/7000
С использованием vPC

•  «Ethernet матрица»:
Полный уход от Spanning Tree
Задействование всех путей
Рост производительности путем
увеличения числа узлов и связей
Принципиальное исключение
возможности бесконечных «петель»
Быстрая и надежная сходимость

•  Стандартизация: IETF TRILL

•  Решение Cisco: FabricPath

•  Поддерживается на Nexus
5500/7000


•  «Маршрутизация на втором уровне» с использованием до 16
альтернативных путей (ECMP) – до 256 соединений!
•  Независимость от Spanning-Tree Protocol (и его устранение): хорошая
стабильность и сходимость
•  Прямые/оптимальные пути трафика
•  “VLAN anywhere” – гибкость внедрения и мобильность VM
•  Выучивание MAC «по диалогам»: эффективное использование таблиц
•  Совместимость с «классическим» Ethernet
•  VPC+ обеспечивает VPC в L2MP сеть
•  Простота настройки
Балансировка до 16 путей
•  Продолжение возможностей IETF TRILL

Cisco FabricPath


•  Существенное повышение производительности
•  Сокращение числа устройств
•  Повышение надёжности
•  Упрощение эксплуатации
меньше устройств
проще настройка

Традиционная сеть со Spanning Tree Сеть на базе FabricPath

Blocked Links
Oversubscription 16:1

Fully Non-Blocking
2:1

FabricPath
4
Pods
8:1

64 Access Switches 8 Access Switches
2, 048 Servers
2, 048 Servers

Проблемы: 
•  Возможна «миграция» VM на
VMoFon  другой сервер. Политика должна
следовать вслед за VM
•  Сеть «не видит» локально
коммутируемый трафик и не
может применить к нему политику
•  Сеть не может выделить на порту
трафик конкретной VM
•  Изменение модели эксплуатации
Сетевая поддержка 
VLAN 
101  виртуализации: 
•  Расширяет сеть до VM
•  Общие с физическими
коммутаторами функции
сетевых сервисов
•  Скоординированное с VM
управление

•  Nexus 1000V обеспечивает
полнофункциональную
коммутацию для VMWare
ESX (скоро и для MS Hyper-
V, далее - Xen, KVM) Server 1 Server 2
•  Ключевые возможности: VM VM VM VM VM
VM VM VM VM
#1 #2 #3 #4 #1
#5 #5
#6 #7 #8
– Управление VM по политикам
–  Функции безопасности,
поддержка Netflow, ERSPAN, VMware vSwitch 1000V Nexus 1000V
Nexus 1000V
Nexus VMware vSwitch
мультикаста, etherchannel
VMW ESX VMW ESX
– Мобильность настроек сети,
безопасности и мониторинга
– Сохраняет эксплуатационную
модель Nexus 1000V
•  Сохранение политик и связи
с сетью при миграции
виртуальных машин
VSM
Virtual Center


Единое устройство
Nexus 5500 или UCS
Fabric Interconnect
Fabric Extender
IEEE 802.1BR*
  Консолидация управления
Приложения, FEX сетью
требующие многих   FEX является частью
интерфейсов «родительского коммутатора»
  Использует пре-стандартную
реализацию IEEE 802.1BR

Legacy
*IEEE 802.1BR pre-standard


Fabric Interconnect

IEEE 802.1BR*
Adapter FEX
Приложения, FEX   Консолидация многих
требующие многих интерфейсов в единое 10GE
интерфейсов подключение
  Расширение сети внутрь
IEEE 802.1BR*
сервера

Legacy Adapter FEX


Fabric Interconnect

IEEE 802.1BR*

FEX VM-FEX
  Консолидация физической и
виртуальной сети
  Каждая VM получает порт на
IEEE 802.1BR* IEEE 802.1BR*
распределённом коммутаторе

Hypervisor

Legacy Adapter FEX VM-FEX *IEEE 802.1BR pre-standard


• Порты коммутатора
Nexus 5500 или UCS • Порты FEX
Fabric Interconnect • Виртуальные адаптеры
• Виртуальные машины
IEEE 802.1BR*
Fabric Extender
Управление   Консолидация управления
FEX
сетевыми   FEX выглядит линейной картой
подключениями головного коммутатора
до уровня ОС и
виртуальной Adapter FEX
машины IEEE 802.1BR* IEEE 802.1BR*   Консолидация многих интерфейсов
в единое 10GE подключение
  Расширение сети внутрь сервера
VM-FEX
Hypervisor   Консолидация физической и
виртуальной сети
  Каждая VM получает порт на
Legacy Adapter FEX VM-FEX
распределённом коммутаторе


•  Связь сетей передачи данных
vPC: Nexus 5000/7000
FabricPath: Nexus 5000/7000
OTV: Nexus 7000/ASR1K
VPLS – ASR9K, Cat6500, Nexus 7000 (будущее)

•  Связь сетей хранения данных
Связь по FC: Cisco MDS 9148/9500
Связь по FCoE: Cisco Nexus 7000 (до 80 км с картами F2)
Связь по FCIP: Cisco MDS 9222i/9500

•  Оптимальный путь трафика
RHI: ACE + инфраструктура
DNS: ACE GSS
LISP (для мобильности VM) – Nexus 7000

•  Подробнее – в следующей презентации!

Спасибо!


Эволюция сетевой архитектуры ЦОД.

Recommandé

Recommandé

Contenu connexe

Plus de Cisco Russia

Plus de Cisco Russia (20)

Эволюция сетевой архитектуры ЦОД.