Cisco ACI - инфраструктура, ориентированная на приложения: решаемые задачи, принципы работы, внедрение и интеграция.

Cisco ACI - инфраструктура,
ориентированная на приложения
Решаемые задачи, принципы работы,
внедрение и интеграция
Александр Скороходов
Системный инженер-консультант
askorokh@cisco.com

Принципы работы Cisco ACI

© 2014 Cisco and/or its affiliates. All rights reserved.Presentation_ID Cisco Public
Application-Centric Infrastructure (ACI):
новое поколение инфраструктуры ЦОД
ACI фабрика
Программируемость, масштабируемость, открытость
App DBWeb
Внешняя сеть
передачи
данных
(Tenant VRF)
QoS
ACL
QoS
LB
QoS
МСЭ, LB
Application Policy
Infrastructure
Controller
APIC

Сетевой профиль приложения
Application Network Profile (ANP)
Входящие/
Исходящие политики
Сетевой профиль приложения
Сетевой профиль - логическое объединение групп EPG и
политик, определяющих правила взаимодействия между EPG
=
Входящие/
Исходящие политики

Сеть и применение политик
Определение политик в сегодняшних сетях
8
Элемент
Исходное
назначение
Реальное использование
VLAN Домен широковещания
Домен широковещания
Отражение подсети
Подсеть Адресация
Адресация
Применение политик
Идентификация приложений
и зон безопасности
Подсеть 192.168.10.1/24
VLAN 200
Подсеть 192.168.11.1/24
VLAN 201
Подсеть 192.168.12.1/24
VLAN 202
Применение
политик
Применение
политик

Модель политик ACI
концепция End-Point Group (EPG)
HTTPS
Service
HTTPS
Service
HTTPS
Service
HTTPS
Service
HTTP
Service
HTTP
Service
HTTP
Service
HTTP
Service
EPG - Web
EPG – логическая группа конечных хостов
представляющих приложение целиком или компоненты
приложения, которая не зависит от сетевых атрибутов

Примеры конечных хостов
End Points = EP
• Устройства, подключенные к сети
напрямую или косвенно
• Имеют адрес (identity), расположение
(location), атрибуты (version, patch level)
• Могут быть физическими или
виртуальными
• Возможные критерии отнесения в EPG:
- Физический порт
- Логический порт/port group
- VLAN ID
- VXLAN ID (VNID)
- IP адрес
- IP подсеть/префикс
- NVGRE (VSID)*
- DNS имя*
- TCP порт*
Сервер
VM
Виртуальная машина
СХД
Клиент
* - не на момент FCS

Опции политик: действия
Permit
Deny
Redirect
Log …
…
Copy Packet
Mark Packet DSCP
Поддерживается 6 опций
 Permit - разрешить трафик
 Block – заблокировать трафик
 Redirect – перенаправить трафик
 Log – логировать трафик
 Copy – копировать трафик
 Mark - маркировать трафик (DSCP/CoS)

Сетевой профиль приложения ACI
Управление фабрикой на основе политик и профилей
• Расширение принципов сервисного
профиля Cisco UCS® Manager на
сетевую инфраструктуру
• Определение требований приложения
без привязки к оборудованию и
топологии (stateless принцип):
̶ Уровни приложений (tiers)
̶ Политики взаимодействия
̶ Сервисы 4 – 7 уровня: сервисный граф
• Полная абстракция от сетевой и
вычислительной инфраструктуры
̶ Не зависит от виртуализации
̶ Не зависит от адресации
̶ Не зависит от числа серверов
̶ Переносимость между фабриками
различных ЦОД
## Network Profile: Defines Application Level Metadata
(Pseudo Code Example)
<Network-Profile = Production_Web>
<App-Tier = Web>
<Connected-To = Application_Client>
<Connection-Policy = Secure_Firewall_External>
<Connected-To = Application_Tier>
<Connection-Policy = Secure_Firewall_Internal & High_Priority>
. . .
<App-Tier = DataBase>
<Connected-To = Storage>
<Connection-Policy = NFS_TCP & High_BW_Low_Latency>
. . .
App Tier DB Tier
Storage Storage
Web Tier
Приложение
Сетевой профиль полностью описывает
сетевые и сервисные потребности
приложения

Вся передача данных в фабрике управляется при помощи профилей приложений
• IP адреса полностью переносимы и могут использоваться где угодно внутри фабрики
• Безопасность и передача данных не зависят от физических и логических сетевых атрибутов
• Коммутаторы автономно обновляют свои настройки на основе правил, определенных
профилем приложения, в случае миграции приложения или его компонент
DB Tier
Storage Storage
Клиент
Web
Tier
App Tier
Профиль приложения:
определяет сетевые
требования приложения
(сетевой профиль
приложения)
Применение профиля: каждое
сетевое устройство
динамически производит
изменения настройки,
требуемые профилем
VM VMVM
10.2.4.7
VM
10.9.3.37
VM
10.32.3.7
VMVM
APIC
Сетевой профиль приложения ACI
Профиль приложения и его применение к сети

Application Policy Infrastructure Controller
Централизованная автоматизация и управление фабрикой
• Единая точка управления
полиитиками в сети ЦОД:
• Профили приложений
• Интеграция с сервисами L4-L7
• Открытая модель данных для
управления при помощи внешних
средств оркестрации
• Мониторинг приложений, поиск и
устранение неисправностей фабрики
• Управление образами (Spine / Leaf)
• Кластер APIC поддерживает более
миллиона конечных хостов,
200,000+ портов, 64,000+ логических
организаций (tenant)
• Не принимает непосредственное
участие в передаче данных
• Не занимается детальной настройкой
Сервисы 4..7
Управление
системами
СХД
Оркестрация
Storage SME Server SME Network SME
Security SME App. SME OS SME
Открытый
RESTful API
Управление при
помощи политик
APIC

Преимущества Cisco ACI
для разных подразделений

Application Centric Infrastructure
…для администраторов приложений
• Описание логики приложения в терминах
приложения, а не сети
• Нет потребности в «трансляции» в термины
VLAN, адресов и т.д.
• Мобильность политик между ЦОД
• Возможность расширения, миграции P2V и т.д.
• Поддержка полностью или частично
виртуализированных приложений или физических
серверов
• Корпоративные приложения
• Web-сервисы
• Big Data
• Управление инфраструктурой, а не коммутаторами
• Декларативная модель: описание политик для
приложений а не настроек сетевых устройств
• Мониторинг
• Сетевое «здоровье» конкретного приложения
• Точный учёт трафика каждого из компонентов
APIC

…для администраторов безопасности
• Управление правилами доступа
• Единая точка контроля политик
взаимодействия
• Структура увязана с сервисами, а не с
адресами
• Нет «накопления» правил МСЭ
• Модель «белого списка»
• Всё, что не разрешено, по умолчанию
запрещено
• Встраивание средств безопасности
• Физические или виртуальные
• Cisco или другие разработчики
• Полная изоляция организаций (tenants)
• Интегрированные возможности аудита
• Протоколирований действий
• API для внешнего анализа
• Безопасность управления ACI
• Контроль доступа и ролевое
управление
ПРИЛОЖЕНИЯ
Web
Tier
App
Tier
DB
Tier
БЕЗОПАСНОСТЬ
Trusted
Zone
DB
Tier
DMZ
Внешний мир
ИНФРАСТРУКТУРА
APIC

…для облачных архитекторов
• Поддержка разных сред виртуализации и
физических нагрузок
• Интеграция с несколькими гипервизорами
в одном приложении
• Возможность развёртывания
невиртуализированных ландшафтов
• Возможность развёртывания приложений
с виртуальными и физическими
компонентами
• Поддержка изоляции организаций
• Десятки тысяч заказчиков (tenants)
• Автоматизация сервисных цепочек
• Открытый интерфейс для
управления/оркестрации
• Поддержка OpenStack
• Интеграция c OpenStack Neutron
• Интеграция модели политик
ФИЗИЧЕСКИЙ
СЕРВЕР
VLAN
VXLAN
VLAN
NVGRE
VLAN
VXLAN
VLAN
ESX Hyper-V KVM
ACI фабрикаAPIC

…для сетевых администраторов
• Эксплуатация сети как комплекса, а не
набора устройств
• Высокая производительность и
масштабируемость
• Доступ 1/10G
• Внутренний транспорт 40G с эффективной
балансировкой нагрузки
• До миллиона IPv4/IPv6 узлов
• Десятки и сотни тысяч портов
• Оптимизированный транспорт L2+L3
• Распределённая маршрутизация
• Единая среда коммутации для
физических и виртуальных серверов
• Сквозной транспорт P+V
• Поддержка многих гипервизоров
• Детальная телеметрия и диагностика
• Измерение задержки и счётчики
Spine
Аппаратная база отображения адресов
До 576 x 40 Gb портов
Высокая плотность за умеренную стоимость
Оптимизация фабрики
Использование IEEE 1588 для
измерения задержки
Оптимальная балансировка
ECMP
Масштабирование
Интеллектуальное кеширование
Поддержка терминации оверлеев
Улучшенная аналитика
APIC

Архитектура сетевой фабрики Cisco ACI

Обзор ACI фабрики
• Наиболее эффективная фабрика в
индустрии:
‒ 1/10 Gb на границе сети, высокая плотность 40GE
на Spine и возможность перехода на 100GE
‒ 1 миллион+ IPv4 и IPv6 хостов
‒ 64,000+ логических организаций (tenants)
‒ 220K+ 1/10 Gb хостов на одном уровне с
переподпиской 3:1 на уровне фабрики
• Маршрутизируемая фабрика –
оптимальная передача IP трафика
‒ Масштабируемая коммутация (L2) и
маршрутизация (L3) для VXLAN, NVGRE, VLAN
‒ Не требуются x86 шлюзы – физич. или вирт.
‒ Быстрота развертывания приложения – нет
лимитов при выборе точки размещения в фабрике
• Полная прозрачность – физическая или
виртуальная нагрузка
• Общие принципы управления от
гипервизора до сервера, от фабрики до
WAN
Spine
Аппаратная база отображения адресов
До 576 x 40 Gb портов на устройство
Высокая плотность за умеренную стоимость
Оптимизация фабрики
Использование IEEE 1588 для
измерения задержки
Оптимальная балансировка
ECMP
Интеллектуальное кеширование
Поддержка терминации оверлеев
Улучшенная аналитика
APIC

Application
Policy
Infrastructure
Controller
Обзор ACI фабрики
ACI Spine
устройства
ACI Leaf устройства
• ACI фабрика обеспечивает:
‒ Отделение функций идентификации (адресации конечных хостов) от точки их подключения к фабрике
‒ Независимость политик (правил фильтрации и т.д.) от адресации, топологии/аппаратуры
‒ Полную нормализацию инкапсуляции входящих в фабрику потоков: 802.1Q VLAN, VXLAN, NVGRE
‒ Распределенный «шлюз по умолчанию» для организации оптимальной передачи данных на 2 и 3
уровне
‒ Поддержку возможностей коммутации и маршрутизации на любом порту/устройстве без ограничений
(любой IP адрес в любом месте)
‒ Вставку сервисов и перенаправление трафика на сервисные узлы
‒ Устранение необходимости широковещательной рассылки (ARP, GARP) в IP-сегментах
APIC

ACI фабрика
Интегрированные оверлеи
• ACI фабрика базируется на IP сети, обеспечивающей маршрутизацию между
элементами фабрики и интегрированных оверлеях для
маршрутизации/коммутации между хостами фабрики
‒ весь трафик между конечными хостами внутри фабрики передается при помощи оверлеев
• Почему интегрированные оверлеи?
‒ Мобильность, масштабируемость, поддержка multi-tenancy и интеграция с гипервизорами
‒ Вместе с трафиком данных можно передавать мета-данные, необходимые для реализации
распределенных политик
IP фабрика с оверлеями
Каждому узлу
назначается IP
loopback, который
анонсируется IS-IS
IP un-numbered
40 Gb линки
APIC

ACI фабрика
Разъединение функций идентификации, расположения и политики
• ACI фабрика производит разъединение функций идентификации конечного хоста “identifier =
IP-адрес” от расположения хоста, для которого используется точка терминации VXLAN
“locator = VTEP-адрес”
• Передача внутри фабрики между VTEP использует преимущества “улучшенного VXLAN”
• Отображение MAC адреса или IP адреса в место расположения производится при помощи
VTEP и распределенной базы соответствия (mapping database)
VTEP VTEP VTEP VTEP VTEP VTEP
PayloadIPeVXLANVTEP
APIC

ACI фабрика
Нормализация инкапсуляции
VXLAN
VNID = 5789
VXLAN
VNID = 11348
NVGRE
VSID = 7456
Any to Any
802.1Q
VLAN 50
Нормализация
инкапсуляции
Локализация
IP фабрика
использует
eVXLAN тег
ДанныеIPeVXLANVTEP
• Весь трафик инкапсулируется при помощи заголовкаextended VXLAN
(eVXLAN)
• Внешний тег VLAN, VXLAN, NVGRE на входящем порту отображается во
внутренний eVXLAN тег
• Внешние идентификаторы локальны на уровне Leaf устройства или Leaf
порта
• Возможность переиспользования, если требуется
Данные
Данные
Данные
Данные
Данные
Eth
IP
VXLAN
Outer
IP
IPNVGRE
Outer
IP
IP802.1Q
Eth
IP
Eth
MAC
Нормализация входящей
APIC

Таблица соответствия фабрики
Inline Hardware Mapping DB - 1,000,000+ хостов
Local Station Table –
содержит адреса “всех”
конечных хостов, которые
подключены напрямую к
Leaf коммутатору
10.1.3.11 fe80::462a:60ff:fef7:8e5e10.1.3.35 fe80::62c5:47ff:fe0a:5b1a
Proxy
10.1.3.11
10.1.3.35
Port 9
Leaf 3
Proxy*
Global Station Table –
содержит локальный кэш
записей для подключенных
к фабрике хостов
10.1.3.35 Leaf 3
10.1.3.11 Leaf 1
Leaf 4
Leaf 6
fe80::8e5e
fe80::5b1a
Proxy Station Table – содержит адреса
«всех» хостов, подключенных к фабрике
• Таблица отображения на коммутаторе Leaf делится между
локальными и глобальными записями
• Глобальная таблица на коммутаторе Leaf кеширует часть полной
глобальной таблицы, которая содержится на каждом коммутаторе
Spine
• Если адрес конечного хоста не найден в локальном кэше, то (по
умолчанию) пакет передается на коммутатор Spine
(1,000,000+ записей в таблице отображения коммутатора Spine)
Proxy Proxy Proxy

Передача данных независимо от расположения
На 2-м и 3-м уровне
10.1.1.10 10.1.3.11 10.6.3.2 10.1.3.35 10.1.1.10 10.1.3.11 10.6.3.2 10.1.3.35
• ACI фабрика поддерживает семантику 2-го и 3-го уровня
- никаких изменений в приложении не требуется
• ACI фабрика обеспечивает оптимальную передачу трафика 2-го и 3-го уровня
‒ SVI распространяется по всем узлам где требуется, обеспечивая маршрутизацию
‒ Трафик 2-го и 3-го уровней напрямую передается на leaf с хостом назначения
• IP ARP и GARP пакеты передаются напрямую узлу назначения без
широковещательной рассылки
Распределенный шлюз по умолчанию Направленная передача ARP
APICAPIC

Инфраструктура фабрики
Важные концепции – Inside и Outside
• Один Data Plane и два Control Plane
• Выбор ‘forwarding space’ происходит в зависимости от сети в которой находится источник
(внешняя/внутренняя) и куда пакет передается (во внешнюю сеть/хосту фабрики)
• Внутренние сети – ассоциированы с tenant-ами и их доменами коммутации (bridge domains –
BD)
• Внешние сети – ассоциированы со внешними маршрутами соответствующих tenant-ов
Маршруты, полученные от
внешних маршрутизаторов
помечаются как ‘outside’
Конечный хост посылает пакет в фабрику
1
Если IP адрес предназначен хосту, который
подключается к фабрике, то пакет пересылается на
TEP адрес коммутатора, к которому подключен хост
2b
2a
Если пакет предназначается внешнему по
отношению к фабрику IP адресу, то он
терминируется на TEP коммутатора, к которому
подключается внешний маршрутизатор (на основе
лучшей метрики маршрута, если фабрика
подключается к внешним сетям в нескольких точках)
APIC

vSwitch
(VMWare) vSwitch (MSFT)
PayloadIP
VM, подключенная к Ingress Port
Group или физический сервер
формируют пакет
1
PayloadIPVXLANVTEP
vSwitch инкапсулирует пакет и
передает его в сторону Leaf VTEP
2
Если входящий Leaf коммутатор уже выучил
соответствие IP адреса хоста назначения и
адреса VTEP, то в качестве адреса назначения
для eVXLAN туннеля выбирается известный
VTEP адрес и пакет передается напрямую на
исходящий Leaf коммутатор
4a
PayloadIPeVXLANVTEP
Коммутатор Leaf заменяет
заголовок VXLAN на eVXLAN
и применяет политику
3
PayloadIPeVXLANVTEP
Исходящий Leaf коммутатор
производит замену eVXLAN
заголовка на требуемую
инкапсуляцию и применяет
политику
5
PayloadIPNVGREGRE IP
Коммутатор Leaf передает пакет
vSwitch-у или физическому
серверу
6
PayloadIP
Пакет передается на порт vSwitch
7
PayloadIPeVXLANVTEP
Если входящий Leaf коммутатор не имеет записи в кеше о соответствии IP назначения
адресу VTEP, то пакет пересылается на spine-коммутатор на адрес anycast VTEP, где
на уровне ASIC происходит HW lookup и переписывается адрес VTEP назначения.
Дополнительной задержки или снижения производительности при этом не происходит.
4b
VTEP VTEP
VTEP
Передача Unicast пакетов в ACI фабрике
APIC

vSwitch
(VMWare) vSwitch (MSFT)
vSwitch инкапсулирует пакеты,
ассоциированные с EPG при
помощи назначенного
VLAN/VXLAN/NVGRE
идентификатора
2
Если коммутатору Leaf известен
исходящий EPG который
ассоциирован с узлом назначения, то
он реализует политику устанавливая в
соответствующее значение бит в
заголовке eVXLAN, показывающий, что
входящая политика была применена к
пакету
4
На основе классификации
коммутатор Leaf формирует
значение поля Source Group в
eVXLAN заголовке
3
PayloadIPNVGREGRE IP
Коммутатор Leaf пересылает
пакет vSwitch-у или
подключенному напрямую
физическому серверу.
7
Пакет идентифицируется как
принадлежащий определенной end point
group (EPG) на основе входящей
классификации (port group, физический
порт, IP адрес, VLAN)
1
PayloadVNIDFlagsVTEP
SRC
Group
Если политика приложения требует передачу пакета через сервисное устройство
или цепочку таких устройств, то фабрика в качестве VTEP узла назначения
указывает адрес коммутатора, в которому подключено сервисное устройство
5
Исходящий Leaf коммутатор
проверяет был ли установлен policy
флаг в заголовке eVXLAN и если
требуется применяет политику
6
Реализация политик в ACI фабрике
PayloadVNIDFlagsVTEP
SRC
Group

vPC в ACI фабрике
• ACI поддерживает vPC интерфейсы
(агрегированные каналы 802.3ad,
подключенные к двум разным
устройствам)
• Отличия между ACI vPC и
стандартным vPC
• Не нужен Peer Link
• Связь в паре – через фабрику
• Восстановление при авариях -
через фабрику
• CFS (Cisco Fabric Services)
заменены IFS (ACI Fabric Services)
на основе Zero Message Queue
(ZMQ)
• Внутри фабрики vPC ассоциирован с
anycast VTEP адресом, активным на
обоих устройствах в VPC паре
ACI Fabric Services (ZMQ)
Host or Switch
VTEP VTEP
vPC Anycast
VTEP
vPC Anycast
VTEP

ACI фабрика
Зачем нужны новые возможности QoS для ЦОД?
• Изменения в топологии и схеме распределения трафика заставляют пересмотреть традиционные
подходы к управлению перегрузками в ЦОД
• Большая плотность аплинков с большим и пропорционально большим количеством
соединений между коммутаторами приводят к большему числу вариантов возникновения
перегрузок (congestion patterns)
• Динамическое распределение нагрузки добавляет еще одну степень свободы для матрицы
распределения трафика и перегрузок
• Два варианта решения проблемы:
• Проведение постоянного статистического анализа распределения потоков в фабрике и тонкая
настройка имеющихся механизмов QoS - marking, queuing и т.д.
• Системный подход к управлению трафиком в ЦОД
40G каналы фабрики
в сочетании с 10G
каналами доступа
Высокая плотность
многоканальных
соединений
Динамическое
распределение
нагрузки
APIC

ACI фабрика – балансировка нагрузки
 Фокус на времени отклика приложения
• ACI фабрика отслеживает перегрузки
на всем пути передачи входящим и
исходящим leaf (измерения в
реальном времени)
‒ Перегрузка между внешними
портами коммутаторов (external
wires)
‒ Перегрузка между соединениями
ASIC-to-ASIC (internal wires)
• Фабрика балансирует потоки трафика
по принципу ‘flowlet’
‒ Динамическое перенаправление
активных потоков с загруженного
пути на менее загруженный путь
передачи трафика
• Фабрика приоритезирует небольшие
потоки
‒ Обеспечение поведения как DC-TCP
без модификации на конечном хосте
‒ Увеличение скорости передачи
больших TCP потоков
APIC

Балансировка внутри ACI фабрики
Flowlet Switching
H1 H2
TCP
поток
• Flowlet switching* обеспечивает
независимую передачу “порций”
пакетов принадлежащих одному
потоку по разным аплинкам
• Без изменения порядка
передаваемых пакетов
Gap ≥ |d1 – d2|
d1 d2
*Flowlet Switching (Kandula et al ’04)

Балансировка внутри ACI фабрики
Dynamic Flow Prioritization
Реальный трафик представляет собой
микс больших (elephant) и
малых (mice) потоков.
F1
F2
F3
Стандартный режим
(один приоритет):
Потоки больших размеров
влияют на
производительность
небольших потоков
(задержка и потери).
High
Priority
Dynamic Flow Prioritization:
фабрика автоматически
приоритезирует потоки
малого размера
Standard
Priority
Ключевая идея:
Фабрика обнаруживает первые
несколько “порций” (flowlets)
каждого потока данных и
помещает их в приоритетную
очередь

Улучшение производительности приложений
За счёт возможностей фабрики ACI
• Увеличение емкости фабрики (в результате увеличение числа VM на порт)
• Уменьшение времени отклика приложения по сравнению со стандартным ECMP
Динамическая балансировка и динамическая приоритезация
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0.12 0.21 0.20
Нормализованноесреднее
FlowCompletionTime
На 80% улучшение параметра flow completion time у приложения
На 60% улучшение утилизации емкости фабрики
Короткие потоки
(0,100KB)
Средние потоки
(100KB, 5MB)
Большие потоки
(5MB, Inf)
ACI динамическая балансировка
+ приоритезация потоков
Стандартная ECMP сеть

Влияние на производительность Memcached
0
20
40
60
80
100
120
140
160
180
200
0 100 200 300 400 500 600 700
Memcached
Производительность(MB/s)
Время (секунды)
Запускается
фоновый трафик
(iperf)
Включается
динамическая
приоритезация
~10x улучшение

ACI фабрика
Зачем нужны новые решения по телеметрии в ЦОД?
• Изменения в топологии и схеме распределения трафика заставляют пересмотреть
традиционные подходы к поиску и устранения неисправностей, а так же планирования
емкостей в ЦОД
• Высокая степень разделяемости инфраструктуры объединенная с распределенной
сущность приложений требуют сбора статистки в контексте приложения
• Возможности ACI фабрики
• Atomic Counters
• Измерение задержки (latency Metrics)
Необходимость
мониторинга SLA в
разделяемых
ландшафтах
Фабрика больших размеров
усложняет корреляцию
собираемых статистических
данных со специфическим
приложением/tenant-ом
Увеличение
распределенной
нагрузки VM VM VMVM VM
VM
APIC

Телеметрия
 Atomic Counters
Path 1 Path 2 Path 3 Path 4
Пакеты отправленные с
Leaf 2
на Leaf 5
Path 1 2068
Path 2 2963
Path 3 2866
Path 4 2506
Разница
Path 1 2
Path 2 0
Path 3 -3
Path 4 0
Пакеты полученные на
Leaf 5 отправленные с
Leaf 2
Path 1 2066
Path 2 2963
Path 3 2869
Path 4 2506
APIC

Телеметрия
 Измерение задержки в фабрике
• Матрица задержки между Leaf создается и поддерживается в актуальном состоянии
на каждом Leaf
• Средняя задержка на порт и вариация задержки в сторону других коммутаторов
доступа (Leaf)
• Измерение задержки для 99% пакетов
Пограничные
часы
Синхронизация
времени при
помощи PTP
Внешний источник точного времени (Pulse
Per Second [PPS]) на каждом супервизоре
шасси с ролью Spine

Коммутаторы Nexus 9000 для фабрики ACI

Одна платформа – два режима использования
Программируемость на
уровне устройства
Программируемая
фабрика
NXOS Policy Controller
1/10/40G
Готовность к 100G
Управление и
автоматизация сети
Автоматизация по политикам,
ориентированная на
Nexus 9000

Коммутаторы Cisco Nexus 9000
Разные форм-факторы для ЦОД разного масштаба
Nexus® 9300 Nexus 9500
48 1/10G SFP+ & 12 QSFP+
1GE/10Gbps/40Gbps/100GEПроизводительность
Производительность Порты Цена ПрограммируемостьПитание
96 1/10G-T & 8 QSFP+
12-port QSFP+ GEM
ACI Ready Leaf Line Card
48 1/10G-T & 4 QSFP+
ACI-ready Leaf line card
48 1/10G SFP+ & 4 QSFP+
Aggregation line card
36 40G QSFP+
C9500 8-слотов

Характеристики Nexus 9500
На примере Nexus 9516
Высокая неблокируемая плотность портов
‒ 576 x 40 Gbps
‒ 2,048 x 10 Gbps
Энергоэффективность
‒ 11 W / 40 Gbps порт
‒ Источники питания «платинового» уровня – КПД 90-94%
Первое модульное шасси без бэк/мидплейна
‒ Эффективное охлаждение
Полноценная коммутация и маршрутизация
‒ L2/L3 на скорости канала
‒ Бриджинг и маршрутизация VXLAN
Высокая степень интеграции и эффективности
‒ Только 2 -4 ASIC на модуль
‒ Оптимальная буферизация
‒ Комбинация 28 nm микросхем Cisco® и 40 nm Broadcom
Best of Interop 2014
Data Center

Коммерчески доступные + собственные ASIC
Стратегия Merchant+
 Merchant ASIC --- NFE (Broadcom Trident II)
 Custom ASIC --- Cisco ALE (ACI Leaf Engine), ASE (ACI Spine Engine)
NFE ALE ASE
ASIC
Technology
40 nm 28 nm 28nm
40Gbps Ports 32 (24) 24 (24) 42(42)
Buffer (MB) 12 MB 40 MB 23 MB
L2/ L3 L2/ L3 L2/ L3 L3
 Стратегия «Merchant+»:
 Лучшая производительность и функциональность
 Оптимальная стоимость
+

NO ROUTING AND OVERLAY
BUFFERING
NO VISIBILITY
12 MB Buffer Counters per
Packet and Bytes
Visibility per PortVXLAN Bridging
Коммерчески доступные чипы
Есть, что улучшить
INDUSTRY
BASELINE
Trident 2

12 MB Buffer Counters per
Packet and Bytes
Visibility per PortVXLAN Bridging
Merchant +
VXLAN Routing
Normalized Forwarding
VXLAN/NVGRE/VLAN
Incremental 40 MB
Buffer, Active Queue
Management
APPLICATION VISIBILITY
Elephant Traps,
VXLAN Aware Trace-route
Atomic
End-end Latency
Measurements
INDUSTRY
BASELINE
CISCO
ASIC
INNOVATIONS
DYNAMIC LOAD BALANCING
FLOW PRIORITIZATION
MULTICAST MULTIPATH
FAST RE-ROUTE
INLINE HW OVERLAY DB
Trident 2
+

Nexus 9500
Семейство шасси
9504 9508 9516
Высота 7 RU 13 RU 21 RU
Слотов для модулей 4 8 16
Коммутационная емкость 15 Tbps 30 Tbps 60 Tbps
Неблокируемых
10G портов, максимум
576 1,152 2,048
Неблокируемых
40G портов, максимум
144 288 576
Использование в ACI ✔ ✔ ✔
Общие
- Супервизор
- Системный контроллер
- Интерфейсные карты
- Блоки питания
- Образ NX-OS
Nexus 9504
Nexus 9508
Nexus 9516

Nexus 9500
Конструкция шасси
2 модуля супервизора
8 слотов для карт
6 модулей фабрики
(за вентиляторами)
3 вентиляторных
модуля
2 системных контроллера
4 блока питания
(3000W AC)
Front to Back Airflow
Линейные карты и
модули фабрики
включаются друг в друга
(без midplane)
Front Back

Nexus 9500
Шасси без мидплейна
 Эффективность питания и
охлаждения – нет
препятствий охлаждению
 Надежность – невозможно
повреждение мидплейна
 Будущее расширение
производительности – нет
ограничений по пропускной
способности соединений на
мидплейне

Nexus 9500
Модуль супервизора
• Резервируемый модуль половинной ширины
• Производительность и масштабируемость
• Варианты управляющих интерфейсов
• Внешний вход синхронизации (PPS)
Модуль супервизора
Процессор Romley, 1.8 GHz, 4 core
Память 16 GB, upgradable to 48 GB
Консольные порты Один (RJ-45)
Порты управления
10/100/1000
Один (RJ-45)
Интерфейсы USB 2.0 Два
SSD 64 GB
64 GB SSD
16 GB DRAM
(Upgradable to 48 GB)
10/100/1000 mgmt port
Dual USB ports
Console port PPS clock input
Latest quad-core Intel Sandy Bridge
Processor
Redundant paths to system controllers

Nexus 9500
Системный контроллер
 Резервируемый модуль половинной ширины
 Освобождает супервизор от управления оборудованием
‒ Повышение стабильности
‒ Увеличение масштабируемости
• Производительность и масштабируемость
‒ Dual core ARM processor, 1.3 GHz
 Единая точка управления шасси
 Коммутатор Ethernet Out of Band Channel (EOBC) :
‒ 1 Gbps switch for intra-node control plane communication (device
management)
 Коммутатор Ethernet Protocol Channel (EPC):
– 1 Gbps switch for intra-node data plane communication (protocol
packets)
 Управление источниками питания и вентиляторами

Источники питания
3000W AC PSU
• Один ввод 220V 20A
• Эффективность 92%+
• Набор вариантов конфигураций
– Минимум 1 БП
– 2 БП для полностью заполненного 9508
– Резервирование N+1
– Резервирование N+N
• Запас для роста мощности для будущей
плотности портов, производительности и
трансиверов
– До 8 БП на 9508
– До 10 БП на 9516
* 80 Plus Platinum is equivalent to Climate Saver/ Green Grid Platinum rating

TridentII
ASIC
TridentII
ASIC
32x40G32x40G
Каждый модуль для 9508 содержит
два чипа Broadcom Trident II
(Network Forwarding Engines)
Модули фабрик

Модуль фабрики Nexus 9500
Масштабируемость на примере 8-слотового шасси
 Каждый модуль фабрики обеспечивает до 320 Gbps на каждый слот
 С 6 модулями на слот приходится до 1.92 Tbps коммутационной ёмкости (в каждом направлении)
NFE
Fabric 1
NFE
320 Gbps
(8 x 40 Gbps)
NFE
Fabric 2
NFE
320 Gbps
(8 x 40 Gbps)
NFE
Fabric 3
NFE
320 Gbps
(8 x 40 Gbps)
NFE
Fabric 4
NFE
320 Gbps
(8 x 40 Gbps)
NFE
Fabric 5
NFE
320 Gbps
(8 x 40 Gbps)
NFE
Fabric 6
NFE
320 Gbps
(8 x 40 Gbps)
Line Card Slot
320 Gbps
640 Gbps
960 Gbps
1.28 Tbps
1.60 Tbps
1.92 Tbps

Nexus 9500
Интерфейсные карты
48 ports 10G SFP+ & 4 ports 40G QSFP+
48 ports 1/10G-T & 4 ports 40G QSFP+
(non blocking)
1/10G Access and 10/40G Aggregation
36 ports 40G QSFP+ (Non Blocking)
40G Aggregation
ACI Access Ready
ACI Access Ready
36 ports 40G QSFP+ (Non Blocking)
40G Fabric Spine
ACI Spine
Non-ACI

Интерфейсные карты Nexus 9500
N9K-X9636PQ
A 36-port, 40 Gbps QSFP+ line card needs 6 fabric
modules to operate at line rate on all 36 ports and for all
packet sizes.
 36 портов 40 Gbps QSFP
 Коммутационная ёмкость 2.88 Tbps (дуплекс)
 Неблокируемая производительность L2/L3 на всех размерах пакетов
 Поддержка режима 4x10 Gbps на QSFP+ портах
 Необходимо 6 модулей фабрики для полной производительности
 Не поддерживается (на момент выпуска ACI) в ACI режиме

N9K-X9636PQ
 Три чипа NFE
 Каждый NFE имеет 12 x 40 Gbps каналов на переднюю панель и 12 x 40 Gbps внутренних каналов к
модулям фабрики
NFE 1
12 x 40 Gbps
12 x 40 Gbps Ethernet
NFE 2
12 x 40 Gbps
NFE 3
12 x 40 Gbps
К модулям фабрики
Интерфейсы

N9K-X9564PX и N9K-X9564TX
 N9K-X9564PX
̶ 48 1/10G SFP+ портов + 4 40G QSFP+ порта
 N9K-X9564TX
̶ 48 1/10GBase-T портов + 4 40G QSFP+ порта
 Неблокируемая производительность L2/L3 на всех размерах пакетов
 Поддержка режимов Cisco® NX-OS и Applcation Centric Infrastructure (ACI)
48-port 1/10G SFP + 4-port 40G
4 x 40G or 16 x 10G
48-port 1/10G-T + 4-port 40G
4 x 40G or 16 x 10G

N9K-X9564PX и N9K-X9564TX
NFE 1
ALE 1
12 x 40 Gbps
48 x 1/10G SFP/SFP+
ALE 2
12 x 40 Gbps
4 x 40G QSFP+
Network Interfaces
NFE 2
Network Interfaces
12 x 40 Gbps
12 x 40 Gbps
12 x 40 Gbps
Ethernet
6 x 40 Gbps
Ethernet
48 x 1/10G Base-T
К модулям фабрики
Интерфейсы
2 чипа Network Forwarding Engine
(NFE)
2 чипа Application Leaf Engines (ALE)
для дополнительной буферизации и
обработки пакетов

Семейство Nexus 9500
Интерфейсные карты
N9K-X9636PQ N9K-X9564PX N9K-X9564TX
Портов 1/10G SFP/SFP+ -- 48 --
Портов 1/10GBase-T -- -- 48
Портов 40G QSFP 36 4 4
Максимальное число 1 G
портов
-- 48 48
Максимальное число 10 G
портов
144 64 64
Максимальное число 40G
портов
36 4 4
Minimum Number of Fabric
Modules for Full Line-Rate
Performance
6 3 3

Коммутаторы Nexus 9300
Nexus® 9396PQ
• 960G
• 48 портов 1/10 Gb SFP+ и
12 портов 40G QSFP+
• 2 RU
Nexus 93128TX
• 1,280G
• 96 портов 1/10GBASE-T и
8 портов 40G QSFP+
• 3 RU
Nexus 9300 – общие характеристики
• Зарезервированные вентиляторы и БП
• Поток воздуха «спереди-назад» и «сзади-вперёд»
• Неблокируемая коммутация
• Поддержка коммутации L2/L3, бриджинга и маршрутизации VXLAN, VPC, FEX...
• Богатые возможности программируемости
Общий аплинк-модуль
• 12-port 40 Gb QSFP+
• Дополнительный буфер 40 MB
• Функции шлюза и
маршрутизатора VXLAN

Архитектура Nexus 9300
Nexus 9396PX
• Высота 2 RU
• 48 портов 1 Gb SFP/10 Gbps SFP+
• 12 портов 40 Gbps QSFP (на GEM модуле)
• Порт управления 100/1000baseT
• Консольный порт
• 2 порта USB 2.0
• Варианты охлаждения front-to-back и back-
to-front
• БП с резевированием 1+1
• Вентиляторы с резервированием 2+1
• Неблокируемая коммутация на всех
размерах пакетов
Cisco Nexus® 9396PX
Console
Management Port
USB Ports
48 1Gbps SFP/10Gbps SFP+
ports
GEM module with 12 40 Gbps QSFP+ ports
Power supply Power supply(2+1) fan trays

Архитектура Nexus 9300
Nexus 93128TX
• Высота 3 RU
• 96 1/10 Gbps BaseT ports
• 8 портов 40 Gbps QSFP (на GEM модуле)
• Порт управления 100/1000baseT
• Консольный порт
• 2 порта USB 2.0
• Варианты охлаждения front-to-back и back-
to-front
• БП с резевированием 1+1
• Вентиляторы с резервированием 2+1
Cisco Nexus® 93128TX
Console
management port
USB ports
96 1 GBaseT/10 GBaseT ports
GEM module with 12 40 Gbps QSFP+ ports
(8 active uplinks)
Power supply Power supply(2+1) fan trays

Nexus 9300
Архитектура системы
NFE
ALE
Network Interfaces
12 x 40 Gb
Hi-Gig2
12 x 40 Gb
Ethernet
Front Panel 48 x 1 GE/10 GE Ports
GEM 12 x 40 GE QSFP+ Uplinks
Nexus® 9396PQ/
Nexus 9396TX
Nexus
93128TX
NFE
ALE
Network Interfaces
8 x 40 Gb
24 x 40 Gb
Ethernet
Front Panel 96 x 1 GE/10 GE Ports
GEM 12 x 40 GE QSFP+ Uplinks
(only 8 ports are active)

Инновации в оптике
Устранение барьеров на пути к 40G
Проблема
• Стоимость трансиверов 40 Gb составляет
существенную долю затрат (CAPEX)
• 40 Gb интерфейсы требуют новую каб.
проводку
• Использовать существ. 10 Gb MMF
инфраструктуру
• Использовать существ. патч-корды (LC
коннектор)
Решение
• QSFP, MSA-compliant
• Dual LC коннектор
• Поддержка 100 m на OM3 и до 150m на OM4
• TX/RX на двух длинах волн 20 Gb каждая
Cisco® 40 Gb SR-BiDi QSFP
Доступно и поддерживается на всех Cisco QSFP портах

Экономика трансиверов 10G, 40G, 100G
Сравнение стоимости за единицу
пропускной способности:
• 40GBASE-SR4/CSR4 дешевле за
10G линию, чем отдельные 10G
трансиверы
• Трансивер 40GBASE-BD лишь
на 10% дороже 10G - и работает
по такой же оптической линии!
• Трансивер 100G CFP дороже за
10G линию, чем 10G/40G
альтернативы – переход на CPAK
даёт более экономичное решение
91
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
$/Gbps, в сравнении с
10GBASE-SR
10GBASE-SR
40GBASE-SR4
40GBASE-CSR4
40GBASE-BD
100GBASE-SR4
(CFP)
100GBASE-SR4
(CPAK)

Интеграция сервисов и гипервизоров

Фабрика с поддержкой нескольких
гипервизоров
• Интегрированный шлюз для
VLAN, VxLAN, NVGRE сетей
• Нормализация для NVGRE,
VXLAN и VLAN сетей
• Заказчик не ограничен в выборе
гипервизора
• Фабрика готова к поддержке
нескольких гипервизоров «из
коробки»
Интеграция с
виртуальным миром
Сетевой
администратор
Администратор
ФИЗИЧЕСКИЙ
СЕРВЕР
VLAN
VXLAN
VLAN
NVGRE
VLAN
VXLAN
VLAN
ESX Hyper-V KVM
гипервизором
ACI фабрика
APIC
APIC

Cisco APIC and
VMWare vCenter
Handshake
ACI
Fabric
Apply Policy
APP DBWEB
Application Network Profile
Firewal ADC
Интеграция CiscoACI и VMWare vSphere
APIC
We
b
We
b
We
b
We
b
AppApp
HYPERVISOR HYPERVISOR HYPERVISOR
VIRTUAL DISTRIBUTED SWITCH
WEB PORT
GROUP
APP PORT
GROUP
DB PORT GROUP
DB DB
VI/Server Admin
vCenter
Instantiate
VMs

Instantiate
VMs
Cisco APIC and
Microsoft SCVMM
Handshake
ACI
Fabric
Apply Policy
VI/Server Admin
System Center
Virtual Machine
Manager
APP DBWEB
Application Network Profile
LOGICAL SWITCH
VM NETWORK
WEB
VM NETWORK
APP
VM NETWORK
DB
We
b
App
HYPERVISOR
App DB
HYPERVISOR
We
b
DB
HYPERVISOR
Firewal ADC
Интеграция CiscoACI и Microsoft Hyper-V
APIC

NOVANEUTRON
OpenStack Tenant
We
b
We
b
We
b
We
b
AppApp
NETWORK ROUTING SECURITY
DB DB
HYPERVISOR HYPERVISOR HYPERVISOR
OPEN VIRTUAL SWITCH OPEN VIRTUAL SWITCH OPEN VIRTUAL SWITCH
Create Network,
Subnet, Security
Groups, Policy
Automatically
Push Network
Profiles to APIC
ACI
Fabric
Apply Policy
Интеграция CiscoACI и OpenStack
APIC

ACI: интеграция с сервисами 4 - 7 уровня
Централизация, автоматизация и поддержка существующей модели
• Эластичность вставки сервиса
физического или виртуального
• Помощь в административном разделении
между уровнями приложения и сервиса
• APIC – центральная точка контроля сети и
согласовании политик
• Автоматизация процесса
развертывания/свертывания сервиса
посредством программируемого
интерфейса
• Поддержка текущей операционной модели
эксплуатации
• Применение сервиса вне зависимости от
места нахождения приложения
• Описание сервиса в виде device package –
может быть создан сторонним
разработчиком
Web
Server
App Tier
A
Web
сервер
Web
Server
App Tier
B
App
сервер
Сервисная
цепочка
“Security 5”
Политика
перенаправления
Администратор
Администрато
р сервиса
Серв.
граф
begi
n
endStage 1
…..
Stage N
Providers
inst
inst
…
МСЭ
inst
inst
…
Балансировка
……..
Сервисный
профиль
Определение “Security 5”

• Сервисный граф настраивается в
APIC
• Определяет модель
взаимодействия между EPG
• В сервисной цепочке доступны
следующие операции - split, join,
tap и т.д.*
• Типичные сервисы:
- Firewall
- IPS
- TAP/Packet mirror
- ADC/SLB
Cервисная архитектура
Определение сервисного графа
IPS
EPG
Outside
EPG Web
TAPEPG App EPG DB
ADCEPG Web
EPG
Desktop
EPG
Mobile
ADC
EPG
Web2
EPG
AppA
EPG
Web1
FWEPG App ADC
EPG DB
*Straight Graph only at FCS

Tenant X
Автоматизация сервисных цепочек
Роли и обязанности
Администратор приложения
• Создание сервисного графа
• Применение сервисного графа
• Загружает device package
• Подключает оборудование
• Регистрирует сервисные
устройства и назначает их
группам пользователей (tenants)
• Публикует сервисный граф
Device Package
A
Device Package
B
Device Package
C
Объекты управления:
• Сервисный граф
• Конфигурация устройства и сервиса
Device A Device BDevice C Device CDevice ADevice A
Сетевой администратор
APIC

Открытость архитектуры ACI

Открытая экосистема ACI
Все возможности доступны благодаря открытому API и модели данных
Объектно-ориентированная
Автоматизация
RESTful XML / JSON
Открытая
экосистема
Программируемость
Полный доступ к системе
посредством API
Northbound API
• Быстрая интеграция с
существующими средствами
управления
• Поддержка приложений и орг.
cтруктуры (tenant)
• Поддержка OpenStack
Southbound API
• Опубликованная модель
данных
• Протокол OpFlex для
открытой интеграции
элементов в ACI
• Open source реализация DME
• Встраивание L4-L7 сервисов *На момент FCS есть ограничения, обращайтесь за уточнениями
Системное
управление
гипервизорами
Средства
автоматизации
Средства
оркестрации

APIC
Представляем Opflex – открытое управление
элементами фабрики ACI
ПРОТОКОЛ OPFLEX + ЭКОСИСТЕМА
OPEN SOURCE
Открытый код, доступный всем
ЭКОСИСТЕМА
Широкая и постоянно расширяющаяся
поддержка производителей включая
гипервизоры, сетевые устройства L4-7
СТАНДАРТ
Стандартизация Opflex в IETFOPFLEX
ЗАЩИТА ИНВЕСТИЦИИ ЗА СЧЕТ ВОЗМОЖНОСТИ ЛЮБОМУ УСТРОЙСТВУ
ИНТЕГРИРОВАТЬСЯ В ФАБРИКУ CISCO ACI
L4-7 DEVICE
КОММУТАТОР
ГИПЕРВИЗОРА

APIC
Opflex: открытый расширяемый протокол
для описания политик
OPFLEX СОЗДАН,
ЧТОБЫ ОБЕСПЕЧИТЬ:
Policies:
• Who can talk to
whom
• What about
• Ops requirements
Абстрактное описание политик а не
настройки конкретного устройства1.
Гибкое, расширяемое описание с
использованием XML / JSON2.
Поддержка любых устройств, включая
виртуальные коммутаторы, физические
коммутаторыи и сетевые сервисы с
обеспечением интероперабельности
между вендорами
3.
Открытый, стандартизованный API с
эталонной open source реализацией4.
OPFLEX
PROXY
OPFLEX
AGENT
OPFLEX
AGENT
OPFLEX
AGENT
HYPERVISOR
SWITCH ADCFIREWALL
120

Миграция на ACI традиционных ЦОД

Backbone
Внедрение ACI в существующем ЦОД
физическое и виртуальное
AVS OVSHyper-VAVSvSwitch
Directory/Proxy
Service Nodes
Border
Leaves
APIC Policy
Controller
ACI Services
extended in to any
existing IP enabled
Data Center
ACI Enabled L4-7
Virtual and Physical
Services (Support for
Existing and New
Services Instances)
ACI Policy and Automation
Extended to Virtual Servers
via Cisco AVS (OVS and
Hyper-V)
ACI Policy and Automation
Extended to Physical and
Existing Virtual Servers via
Cisco Nexus 9000
Extending ACI Policy and Automation into the Existing Data Center
ACI Leaf
Nexus 9000

Application Virtual Switch with OpFlex in ACI Fabric
OpFlex
AVS
vCenter
HypervisorManager
• AVS: First Virtual Leaf to
implement OpFlex
• Network policy communicated
from APIC to AVS through N9k
using OpFlex
• Increased control plane scale
through APIC Cluster and Leaf
Node
• APIC communicates with vCenter
Server for Port Group creation
VMVM VM VMVMVM VM VM
OpFlex OpFlex
OpFlex
AVS

 AVS supports OpFlex to integrate
with APIC
 Supports a Full Layer 2 Network
(Nexus 7k/6k/5k/3k/2k/FI)
between Nexus 9k and AVS:
Investment Protection
 VMware DVS can only support a
single L2 switch between N9k and
DVS
 LLDP and NOT OpFlex
Integration
 Layer 2 network is required to
support OpFlex bootstrapping in
this phase
Extending ACI to Existing Virtual & Physical Network
AVS
AVS
AVS
OpFlex
OpFlex
OpFlex
Phase 1: Layer 2 Existing
Network/Local Switching

Backbone
Extending ACI in to Current Data Center’s
Leverage ACI enabled remote 9300 & AVS leaf
(1HCY15)
APIC Policy
Controller
Directory/Proxy
Service Nodes
Border
Leaves
Remote 9300 ACI full
policy enabled leaf
1. Enabled IP routing
between ACI service
block infrastructure
address space and
existing network
2. Install Nexus 9300 ACI
remote leaf nodes
3. Upgrade to full
switching enabled
vSwitch (AVS, OVS,
Hyper-V)
AVS OVSHyper-VAVSvSwitch
ACI Policy based
forwarding, automation,
service insertion and
counters extended to the
edge of existing networks

Ссылки по теме
 Cisco ACI http://www.cisco.com/go/aci
 Скрипты для программного взаимодействия с
продуктами Cisco для ЦОД https://github.com/datacenter/
 Проект Open Daylight http://www.opendaylight.org
 Материалы конференций Cisco Live!
http://www.ciscolive365.com
 OpenStack http://www.openstack.org/
132

Cisco ACI - инфраструктура, ориентированная на приложения: решаемые задачи, принципы работы, внедрение и интеграция.

Cisco ACI - инфраструктура, ориентированная на приложения: решаемые задачи, принципы работы, внедрение и интеграция.

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Cisco ACI - инфраструктура, ориентированная на приложения: решаемые задачи, принципы работы, внедрение и интеграция.

Similaire à Cisco ACI - инфраструктура, ориентированная на приложения: решаемые задачи, принципы работы, внедрение и интеграция. (20)

Plus de Cisco Russia

Plus de Cisco Russia (20)

Cisco ACI - инфраструктура, ориентированная на приложения: решаемые задачи, принципы работы, внедрение и интеграция.