В данной презентации мы сосредоточимся на собственно сетевых механизмах функционирования Cisco ACI, включая логику передачи пакетов, применение политик взаимодействия, оптимальную балансировку трафика и т.д. Презентация поможет понять отличия между ACI и другими подходами к построению современной сети ЦОД, а также возможные пути миграции с традиционных сетей ЦОД на инфраструктуру ACI.

1. 03.10.2015 © 2015 Cisco and/or its affiliates. All rights reserved.
Cisco ACI. Инфраструктура,
ориентированная на приложения
Архитектура и принципы функционирования
сетевой фабрики Cisco ACI. Сценарии внедрения
Скороходов Александр
Системный инженер-консультант
askorokh@cisco.com

2. Сетевая фабрика ACI
• Наиболее эффективная фабрика в индустрии:
‒ 1/10 Gb на границе сети, высокая плотность 40GE на
Spine и возможность перехода на 100GE
‒ До 1 миллиона IPv4 и IPv6 хостов
‒ Тысячи логических организаций (tenants)
‒ Десятки тысяч 1/10 Gb серверов
• Маршрутизируемая фабрика – оптимальная
передача IP трафика
‒ Масштабируемая распределённая коммутация (L2) и
маршрутизация (L3) для VXLAN, NVGRE, VLAN
‒ Не требуются программные шлюзы – физические или
виртуальные
‒ Гибкость развертывания приложения – нет ограничений
при выборе точки их размещения в фабрике
• Полная прозрачность – физическая или
виртуальная нагрузка
• Передача метаданных вместе с трафиком
‒ Детальное управление политиками без необходимости
программировать потоки
Spine: модульные (Nexus 9500) или фиксированные (9336)
Аппаратная база отображения адресов
До 576 x 40 Gb портов на устройство
Высокая плотность за умеренную стоимость
Оптимизация фабрики
Использование IEEE 1588 для измерения
задержки
Оптимальная балансировка ECMP
Leaf (доступ): Nexus 9300
Применение политик
Интеллектуальное кеширование
Поддержка терминации оверлеев
Улучшенная аналитика
APIC

3.  Высочайшая производительность и плотность портов,
низкая стоимость за порт и энергопотребление
 Эффективный дизайн и энергоэффективность
 Следующее поколение операционной системы NX-OS
 Поддержка коммутации L2/L3, FEX, VXLAN
 Богатые возможности программируемости
 Два семейства коммутаторов
- Модульные: Nexus 9500
- Фиксированной конфигурации: Nexus 9300
 Два режима работы
- В составе архитектуры ACI
- Автономный (NX-OS)
Семейство коммутаторов Nexus 9000
Для нового поколения сетевой инфраструктуры ЦОД

4. Nexus 9500
Семейство шасси
9504 9508 9516
Высота 7 RU 13 RU 21 RU
Слотов для модулей 4 8 16
Коммутационная емкость 15 Tbps 30 Tbps 60 Tbps
Неблокируемых
10G портов, максимум
576 1,152 2,048
Неблокируемых
40G портов, максимум
144 288 576
Использование в ACI ✔ ✔ ✔
Общие
- Супервизор
- Системный контроллер
- Интерфейсные карты
- Блоки питания
- Образ NX-OS
Nexus 9504
Nexus 9508
Nexus 9516

5. Nexus 9500
Интерфейсные карты
Доступ 1/10G, агрегирование 10/40G, магистраль 100G в режиме NX-OS
32/36 портов 40G QSFP+
8 портов 100G CFP2 (CPAK через адаптер)
48 портов 10G SFP+ & 4 порта 40G QSFP+
48 портов 1/10G-T & 4 порта 40G QSFP+
Только NFE
• Только NX-OS
• L2/L3 коммутация
• Поддержка FEX
• VXLAN бриджинг
NFE + Cisco ALE
• L2/L3 коммутация
• Поддержка FEX
• VXLAN бриджинг
• Маршрутизация VXLAN
• Увеличенный буфер
Cisco ASE
• Только в режиме ACI spine
Доступ 1/10G и агрегирование 10/40G в режиме NX-OS
48 портов 10G SFP+ & 4 порта 40G QSFP+
48 портов 1/10G-T & 4 порта 40G QSFP+
36 портов 40G QSFP+ (1.5:1)
ACI Access Ready
40G – для работы в режиме ACI Spine
36 портов 40G QSFP+

6. Коммутаторы Nexus 9300
Возможности Nexus 9000 в фиксированном форм-факторе
• Высокая производительность
• Низкая стоимость за порт
• Богатые функции программируемости
Модель Портов 1/10G Порты 40G/100G Высота Режим работы
96 (витая пара)
6 или 8 40G QSFP или 2
100G CFP2/CPAK(не-ACI)
3 RU NX-OS или ACI Leaf
48 (SFP или витая
пара)
6 или 12 40G QSFP или 4
100G CFP2/CPAK(не-ACI)
2 RU
NX-OS или ACI Leaf
96 (витая пара) 6*40G QSFP 2 RU NX-OS или ACI Leaf
48 (SFP или витая
пара)
6*40G QSFP 1 RU
NX-OS или ACI Leaf
- 32*40G QSFP 1 RU
NX-OS или ACI Leaf
- 36*40G QSFP 2 RU Только ACI Spine
Nexus 9396TX
Nexus 9372PX(-E)
Nexus 9332PQ
Nexus 9372TX(-E)
Nexus 9396PX
Nexus 93128TX
Nexus 9336PQ
Nexus 93120TX

7. С чего можно начать?
Минимальная конфигурация инфраструктуры ACI
Nexus 9336
(“mini-spine”)
Nexus 9336
(“mini-spine”)
Nexus 9372PX-E/TX-E Nexus 9372PX-E/TX-E
40G кабели
10G (кабели или витая пара)
Кластер APIC (3 контроллера)

8. Application Policy Infrastructure Controller
Централизованная автоматизация и управление фабрикой
• Единая точка управления политиками в
сети ЦОД:
• Профили приложений
• Интеграция с сервисами L4-L7
• Открытая модель данных для управления при
помощи внешних средств оркестрации
• Мониторинг приложений, поиск и устранение
неисправностей фабрики
• Накопление статистики/телеметрии
• Управление образами ПО коммутаторов
• Не принимает непосредственное
участие в передаче данных
• Не занимается детальной настройкой
• Кластеризация для масштабирования и
доступности (от 3 до 5 и более узлов)
Сервисы 4..7
Управление
системами
Управление
СХД
Оркестрация
Storage SME Server SME Network SME
Security SME App. SME OS SME
Открытый
RESTful API
Управление при помощи
политик
APIC

9. Масштабируемая эксплуатация фабрики
Обнаружение, инициализация, управление
• ACI фабрика: масштабируемое централизованное управление с помощью APIC
• Обнаружение и адресация фабрики
• Управление образами ПО
• Проверка топологии
Loopback и VTEP IP адреса
выделяются с “Infra VRF” по DHCP с
APIC
APIC кластер
Обнаружение топологии с
использованием LLDP
APICAPICAPIC

10. ACI фабрика
Интегрированные оверлеи
• ACI фабрика базируется на IP сети, обеспечивающей маршрутизацию между
элементами фабрики и интегрированных оверлеях для маршрутизации/коммутации
между хостами фабрики
‒ весь трафик между конечными хостами внутри фабрики передается при помощи оверлеев
• Почему интегрированные оверлеи?
‒ Мобильность, масштабируемость, поддержка multi-tenancy и интеграция с гипервизорами
‒ Вместе с трафиком данных можно передавать мета-данные для реализации распределенных
политик
APIC
VTEP VTEP VTEP VTEP VTEP VTEP
PayloadIPVXLANVTEP

11. Таблица отображения фабрики
Inline Hardware Mapping DB - 1,000,000+ хостов
Local Station Table – адреса
“всех” конечных хостов,
которые подключены
напрямую к Leaf коммутатору
10.1.3.11 fe80::462a:60ff:fef7:8e5e10.1.3.35 fe80::62c5:47ff:fe0a:5b1a
Proxy
10.1.3.11
10.1.3.35
Port 9
Leaf 3
Proxy*
Global Station Table –
локальный кэш записей для
подключенных к фабрике
хостов
10.1.3.35 Leaf 3
10.1.3.11 Leaf 1
Leaf 4
Leaf 6
fe80::8e5e
fe80::5b1a
Proxy Station Table –адреса «всех» хостов,
подключенных к фабрике
• Таблица отображения на коммутаторе Leaf делится между локальными и глобальными
записями
• Глобальная таблица на коммутаторе Leaf кеширует часть полной глобальной таблицы,
которая содержится на каждом коммутаторе Spine
• Если адрес конечного хоста не найден в локальном кэше, то (по умолчанию) пакет
передается на коммутатор Spine (до 1,000,000+ записей в таблице отображения
коммутатора Spine)
Proxy Proxy Proxy

12. Функции Spine коммутатора
• Три функции уровня передачи данных на коммутаторах «ядра» ACI фабрики
• Транзит: передача IP трафика между VTEP’ами
• Proxy Lookup: директория уровня передачи данных для передачи трафика с
использованием базы отображения EID в VTEP
• Корень Multicast дерева: корень одной из 16 топологий для передачи группового
трафика
• Не все функции обязательны на всех Spine коммутаторах
Transit Node
Proxy Lookup
Cached EID Entry
Proxy Lookup –
Unknown EID
Multicast Root

13. ACI фабрика
Нормализация инкапсуляции
VXLAN
VNID = 5789
VXLAN
VNID = 11348
NVGRE
VSID = 7456
Any to Any
802.1Q
VLAN 50
Нормализация
инкапсуляции
Локализация
инкапсуляции
IP фабрика
использует
eVXLAN тег
ДанныеIPeVXLANVTEP
• Весь трафик инкапсулируется при помощи заголовка extended VXLAN (eVXLAN)
• Внешний тег VLAN, VXLAN, NVGRE (планируется) на входящем порту
отображается во внутренний eVXLAN тег
• Внешние идентификаторы локальны на уровне Leaf устройства или Leaf порта
• Возможность переиспользования, если требуется
Данные
Данные
Данные
Данные
Данные
Eth
IP
VXLAN
Outer
IP
IPNVGRE
Outer
IP
IP802.1Q
Eth
IP
Eth
MAC
Нормализация входящей инкапсуляции
APIC

14. Передача данных независимо от расположения
На 2-м и 3-м уровне
10.1.1.10 10.1.3.11 10.6.3.2 10.1.3.35 10.1.1.10 10.1.3.11 10.6.3.2 10.1.3.35
• ACI фабрика поддерживает семантику 2-го и 3-го уровня
- никаких изменений в приложении не требуется
• ACI фабрика обеспечивает оптимальную передачу трафика 2-го и 3-го уровня
‒ SVI распределён по всем узлам где требуется, обеспечивая маршрутизацию
‒ Трафик 2-го и 3-го уровней напрямую передается на leaf с хостом назначения
• IP ARP и GARP пакеты передаются напрямую узлу назначения без
широковещательной рассылки
Распределенный шлюз по умолчанию Направленная передача ARP
APICAPIC

15. vSwitch (VMWare) vSwitch (MSFT)
PayloadIP
VM, подключенная к Ingress Port Group
или физический сервер формируют
пакет
1
PayloadIPVXLANVTEP
vSwitch инкапсулирует пакет и
передает его в сторону Leaf VTEP
2
Если входящий Leaf коммутатор уже выучил
соответствие IP адреса хоста назначения и адреса
VTEP, то в качестве адреса назначения для eVXLAN
туннеля выбирается известный VTEP адрес и
пакет передается напрямую на исходящий Leaf
коммутатор
4a
PayloadIPeVXLANVTEP
Коммутатор Leaf заменяет
заголовок VXLAN на eVXLAN и
применяет политику
3
PayloadIPeVXLANVTEP
Исходящий Leaf коммутатор производит
замену eVXLAN заголовка на требуемую
инкапсуляцию и применяет политику
5
PayloadIPNVGREGRE IP
Коммутатор Leaf передает пакет
vSwitch-у или физическому серверу
6
PayloadIP
Пакет передается на порт vSwitch
7
PayloadIPeVXLANVTEP
Если входящий Leaf коммутатор не имеет записи в кеше о соответствии IP назначения адресу
VTEP, то пакет пересылается на spine-коммутатор на адрес anycast VTEP, где на уровне ASIC
происходит HW lookup и переписывается адрес VTEP назначения. Дополнительной задержки или
снижения производительности при этом не происходит.
4b
VTEP VTEP
VTEP
Передача пакетов в ACI фабрике
APIC

16. vSwitch (VMWare) vSwitch (MSFT)
vSwitch инкапсулирует пакеты,
ассоциированные с EPG при
помощи назначенного
VLAN/VXLAN/NVGRE
идентификатора
1
Если коммутатору Leaf известен
исходящий EPG который
ассоциирован с узлом назначения, то
он реализует политику устанавливая в
соответствующее значение бит в
заголовке eVXLAN, показывающий, что
входящая политика была применена к
пакету
4
На основе классификации
коммутатор Leaf формирует
значение поля Source Group в
eVXLAN заголовке
3
PayloadIPNVGREGRE IP
Коммутатор Leaf пересылает
пакет vSwitch-у или
подключенному напрямую
физическому серверу.
7
Пакет идентифицируется как принадлежащий
определенной end point group (EPG) на
основе входящей классификации (port group,
физический порт, IP адрес, VLAN)
2
PayloadVNIDFlagsVTEP
SRC
Group
Если политика приложения требует передачу пакета через сервисное устройство
или цепочку таких устройств, то фабрика в качестве VTEP узла назначения
указывает адрес коммутатора, в которому подключено сервисное устройство
5
Исходящий Leaf коммутатор
проверяет был ли установлен policy
флаг в заголовке eVXLAN и если
требуется применяет политику
6
Реализация политик в ACI фабрике
PayloadVNIDFlagsVTEP
SRC
Group

17. vPC в ACI фабрике
• ACI обепечивает распределённый port-
channel (VPC) к двум коммутаторам доступа,
аналогично Nexus в автономном режиме
• Отличия:
• Не нужен peer-link
• Синхронизация между коммутаторами
через фабрику
• «Обходной» трафик – также через
фабрику
• Для достижимости хостов за VPC через
фабрику используется Anycast адрес,
доступный через оба коммутатора
• Логика для хостов с одиночным
подключением не меняется
Host or Switch
VTEP VTEP
vPC Anycast
VTEP
vPC Anycast
VTEP
Traffic within the Fabric is sent to
the vPC anycast address

18. ACI фабрика:
управление трафиком
Фокус на времени отклика приложения
• ACI фабрика отслеживает перегрузки на
всем пути передачи входящим и исходящим
leaf (измерения в реальном времени)
‒ Перегрузка на внешних портах
коммутаторов (external wires)
‒ Перегрузка на соединениях ASIC-to-ASIC
(internal wires)
• Фабрика балансирует потоки трафика по
принципу ‘flowlet switching’
‒ Динамическое перенаправление активных
потоков с загруженного пути на менее
загруженный путь передачи трафика
• Фабрика приоритезирует небольшие потоки
‒ Увеличение скорости реакции для
интерактивных соединений
APIC

19. Балансировка внутри ACI фабрики
Flowlet Switching
H1 H2
TCP
поток
• Flowlet switching* обеспечивает
независимую передачу “порций”
пакетов принадлежащих одному
потоку по разным аплинкам
• Без изменения порядка
передаваемых пакетов
Gap ≥ |d1 – d2|
d1 d2
*Flowlet Switching (Kandula et al ’04)

20. Балансировка внутри ACI фабрики
Dynamic Flow Prioritization
Реальный трафик представляет собой
микс больших (elephant) и
малых (mice) потоков.
F1
F2
F3
Стандартный режим
(один приоритет):
Потоки больших размеров
влияют на
производительность
небольших потоков
(задержка и потери).
High
Priority
Dynamic Flow Prioritization:
фабрика автоматически
приоритезирует потоки
малого размера
Standard
Priority
Ключевая идея:
Фабрика обнаруживает первые
несколько “порций” (flowlets)
каждого потока данных и
помещает их в приоритетную
очередь

21. Варианты миграции на решение Cisco ACI
Сценарий № 1 – добавление нового модуля в ЦОД
03.10.2015 © 2013 Cisco and/or its affiliates. All rights reserved.21

22. Добавление нового POD в ЦОД
Новый PODСуществующая
инфраструктура

23. Добавление нового POD в ЦОД при помощи ACI
Новый PODСуществующая
инфраструктура

24. Логическое подключение нового ACI Pod
Новый PODСуществующая
инфраструктура
BGP
OSPF
VLAN
VxLAN

25. Варианты миграции на решение Cisco ACI
Сценарий № 2 – расширение уровня доступа

26. Расширение уровня доступа
VLAN 10
Дополнительные ToR
коммутаторы для
поддержки новых
серверных подключений
Существующая
инфраструктура
VLAN 20 VLAN 30

27. Расширение уровня доступа при помощи ACI
VLAN 10
Бандл ACI начального
уровня, подключенный к
коммутаторам агрегацииСуществующая
инфраструктура
VLAN 20 New Server Group
Layer 2
соединения

28. Сценарий № 2 – пример миграции

29. Отображение логических компонент
приложения на единую сеть
Web Tier
EPG
App Tier
EPG
DB Tier
EPG
P P
P

30. Миграция шлюза по умолчанию на оборудование
ACI для реализации политик
Web Tier
EPG (VLAN 10)
10.10.10.1 Gateway
App Tier
EPG (VLAN 20)
10.10.20.1 Gateway
DB Tier
EPG
SVI 10.10.10.1
SVI 10.10.20.1
802.1q Trunk
для VLAN 10 и
20
Миграция SVI
интерфейсов на на ACI
фабрику для реализации
политик

31. Идентификация групп подключений (EPG)
Web Tier
EPG
App Tier
EPG
DB Tier
EPG
P PP
Идентификация на
основе 802.1q VLAN тега
Идентификация на
основе 802.1q VLAN тега
Идентификация на основе:
• 802.1q VLAN тега
• Физического порта
• Виртуального порта
• VxLAN тега
Идентификация на
основе адреса подсети

32. Интеграция с существующими L4-7 сервисами
Web Tier App Tier DB Tier
P P
P
МСЭ 1
Развертывание
Device package
и политики

33. Подключение МСЭ к ACI фабрике – оптимизация
Firewall 1

34. Application
Client
Subnet
10.20.20.0/24
Subnet
10.10.10.0/24
Subnet
10.30.30.0/24
Subnet
10.40.40.0/24
Subnet
10.50.50.0/24
External Networks
(Outside)
Redirect to Pre-
configured FW
Redirect to Pre-
configured FW
Critical Users
(Outside)
Middle Ware
Servers
Web
Servers
Oracle
DB Contract
Redirect to dynamically
configured FW
NFS ContractRedirect to
dynamically
configured FW
Default Users
(Outside)
NFS
Servers
Subnet
10.20.20.0/24
Subnet
10.10.10.0/24
Subnet
10.30.30.0/24
Permit TCP any
any
Redirect to Pre-
configured FW
Политика может внедряться постепенно

35. Варианты миграции на решение Cisco ACI
Сценарий № 3 – реализация сервисов ЦОД на базе ACI

36. ACI как «сервисное шасси»
МСЭ 1 МСЭ 1
L3 OSPF
BGP
L2 VLAN
802.1Q
L2
L3
40G ACI

37. Backbone
Внедрение сервисного блока с использованием ACI
vSwitch vSwitch vSwitch
APIC Policy
Controller
Directory/Proxy
Service Nodes
Border
Leaves
ACI Enabled L4-7
Virtual and Physical
Services (Поддержка
существующих и
новых/дополнительны
х сервисов)
Реализация
сервисов на базе
ACI в любом
существующем
ЦОД, который
использует IP
протокол
1. Установка сервисного
блока ACI
2. Использование
существующих L4-7
сервисных узлов ‘или’
использование новых
сервисов, которые
будут полностью
автоматизированы при
помощи APIC device
package
3. Протянуть VLAN ==
EPG из существующей
сети в сервисный
модуль ACI
4. Миграция шлюза по
умолчанию на
сервисный модуль ACI
5. Управление сервисами
через APIC с
сохранением текущей
схемы коммутации

38. Варианты миграции на решение Cisco ACI
Сценарий № 4 – интеграция с доменами виртуализации

39. Backbone
Интеграция с доменами виртуализации
vSwitch
APIC Policy
Controller
Directory/Proxy
Service Nodes
Border
Leaves
Интеграция
коммутаторов
встроенных в
гипервизор в политику
APIC и домен
автоматизации
(Extended VLAN или
VXLAN overlay)
1. APIC интегрируется с
существующими
доменами VMM (ESX
vCenter FCS, Microsoft
SCVMM и Azure Pack,
OVS/KVM)
2. Используется
исходный «vSwitch»
‘или’ устанавливается
Cisco Application
Virtual Switch в
режиме L2
3. Существующие или
новые L4-L7 сервисы
могут быть
использованы ACI
для настройки
цепочек сервисов
AVS OVSHyper-VAVS

40. Ждем ваших сообщений с хештегом
#CiscoConnectKZ
© 2015 Cisco and/or its affiliates. All rights reserved.
Спасибо
Пожалуйста, заполните анкеты.
Ваше мнение очень важно для нас.
Contacts:
Name Александр Скороходов
Phone +7(495)789-8615
E-mail askorokh@cisco.com