2. SAN - Storage Area Network
NAS - Network Attached Storage
DAS - Direct Attached Storage

3. SAN - FC, FCoE, iSCSI, AoE, ...
NAS - NFS, SMB/CIFS, AFP, ...
DAS - SAS/SATA, IDE, USB, ...

4. SAN - low latency, простые протоколы,
дорогое и сложное FC-железо
NAS - high latency, сложные протоколы,
работает по сети

5. SAN low latency теряется на логике FS
NAS high latency сглаживается
кэшированием с обеих сторон

6. NFS отстаёт от FCP на 10-15%¹
NFS быстрее iSCSI на 5-10%¹
¹⁾отчёт NetApp tr-3581

7. FC обычно в пределах ЦОД, редко до 100
км
NFS, SMB и iSCSI работают по IP, но не
любят большие RTT
NFSv4 подходит для любых RTT

8. SAN: Oracle Exadata, … - сыровато, фокус
на надёжности
NAS: Lustre, NetApp GX, Isilon, Panasas -
проверено, фокус на скорости

9. тесно интегрированные решения
pNFS = NAS + SAN

10. NFS - Unix
SMB/CIFS - Windows
AFP - Apple
Lustre, GPFS, … - Linux, proprietary

11. поддерживается всеми Unix
отлично работает на всех Mac OS X
работает даже на экзотике типа z/OS
сносно работает под Windows, есть
хорошее коммерческое ПО
обрастает возможностями Lustre и GPFS

12. v1 - 1984 (Sun)
v2 - 1989 (Sun)
v3 - 1995 (Sun)
v4 - 2000, 2003 (IETF)
v4.1 - 2010 (IETF)

13. лёгкость восстановления
независимость от транспорта, ОС и
файловых систем
простота
хорошая скорость

14. работает по TCP и UDP
на основе протоколов ONC RPC и XDR
аутентификация и шифрование через GSS
(Kerberos)
авторизация через политики exports, ACL
advisory locking (в v4 - mandatory)

15. лучшая доступность и скорость over Internet
обязательная безопасность, negotiation
настоящая кросс-платформенность
лёгкость расширений

16. перешёл из Sun в IETF
RPCSEC_GSS, Kerberos security schemes
stateful-архитектура
compound RPC
сделан глядя на CIFS и AFS

17. RPCSEC_GSS (RFC2203)
authentication, integrity, privacy
Kerberos V5 (RFC1964)
LIPKEY (RFC2874)
in-band negotiation

18. чтение файла с нового сервера одним
запросом
эффективность HTTP
кэширование двух filehandles в "регистрах"

19. только UTF-8
монтирования нет, сервер отдаёт один
ROOT FH
все экспортируемые фс склеиваются в одну
иерархию
гибкие, расширяемые атрибуты, включая
ACL и locations
именованные owner, group

20. атрибут locations может сообщать клиенту о
других серверах
клиент мигрирует при отключении текущего
сервера
клиент может балансировать нагрузку
между репликами

21. встроенный byte-range locking
lease-модель обеспечивает быстрое
восстановление
вечно подвисших locks больше нет

22. кэширование директорий и атрибутов
определяется клиентом
кэши данных валидируются при открытии
делегирование - разрешение на локальную
обработку запросов
позволяет работать с активными
NFS-файлами на локальном диске
первый шаг к настоящей распределённости

23. Solaris - самая полная поддержка
Linux - широкая поддержка, есть баги
FreeBSD - поддержка сыровата, есть баги
NetApp - широкая поддержка, есть
ограничения
Isilon, Panasas, AIX, z/OS - есть поддержка в
разном состоянии

24. RFC5661 - самый длинный RFC-документ в
истории
исправление структурных недостатков NFS
дополнение v4 на основе опыта
промышленного использования
поддержка кластеров и параллельного
доступа (pNFS)

25. атрибут locations в роли referrals
первый шаг к FedFS

26. +-----------+
|+-----------+ +-----------+
||+-----------+ | |
||| | NFSv4.1 + pNFS | |
+|| Clients |<------------------------------>| Server |
+| | | |
+-----------+ | |
||| +-----------+
||| |
||| |
||| Storage +-----------+ |
||| Protocol |+-----------+ |
||+----------------||+-----------+ Control |
|+-----------------||| | Protocol|
+------------------+|| Storage |------------+
+| Devices |
+-----------+

27. EMC, IBM, LSI, NetApp, Panasas, Google,
Sun, …
промышленный опыт: NetApp, Panasas,
Isilon, …
в открытой разработке с 2003 года, релиз в
январе 2010
NFSv4.1, block pNFS (RFC5663), object pNFS
(RFC5664)

28. уровни: файлы, объекты или блоки
сервера делятся на metadata servers и
storage devices
клиент производит I/O напрямую
клиент отдаёт серверу новый layout
клиент может всегда выбрать обычный
NFSv4.1 I/O

29. даёт клиенту layout и доступ к storage
клиент производит I/O напрямую
клиент отдаёт серверу новый layout
клиент может всегда выбрать обычный v4.1
I/O

30. file - другой NFSv4.1 сервер
block - блочное хранилище (SAN)
object - объектное хранилище (OSD)
что-то ещё, поддерживающее NFSv4.1
storage protocol

31. идеальная основа для cluster storage
объект - как inode: данные и атрибуты
OSDv1/v2 - стандартные наборы команд
SCSI
аппаратная поддержка объектов

32. клиенты: Linux, Solaris, …
серверы: NetApp, Panasas, Linux, Solaris,
IBM, EMC, …
FreeBSD - ?
NetApp, Panasas, Isilon, IBM Series N -
FreeBSD!

33. RDMA - не только InfiniBand/iWARP/Myrinet,
но и 10GbE
скоростной доступ к удалённой памяти без
CPU
RPCRDMA - скоростная работа RPC по
RDMA
NFS over RDMA - NFS любых версий по
RPCRDMA

34. набор протоколов для федеративных
файловых систем
доступен для обычных клиентов NFSv4 и
NFSv4.1
участники сохраняют контроль над своими
системами
масштабируемость по географии, числу
клиентов, файлов, серверов

35. NSDB - DNS для файлов на основе LDAP
Junction admin - управление разделами по
ONC RPC
Namespace discovery - на базе DNS SRV

36. упрощает администрирование
разделяет физическое местонахождение
данных от логического
упрощает миграцию и HA/LB-репликацию
данных
существенно упрощает облачное хранение
данных

37. AIX - 2004
HPUX - 2008
Linux - 2006
OpenSolaris - 2010

38. о чём был доклад?
что такое NFS?
а обед уже был?
когда докладчик последний раз брился?

39. www.NFSv4.org
www.pNFS.com
IETF NFSv4 WG