year: 2007

1. Klaszter állományrendszerektől
a grid adattárolásig és vissza.
Szalai Ferenc
NIIF/AVAXIO
szferi@avaxio.hu

2. Bevezető
●
Adatot márpedig tárolni kell!
●
Klaszterek:
– nagy számítási kapacitás, egyszerű
komponensekből.
– Nagy rendelkezésre állás
– Terheléselosztás
●
Grid technológia: Klaszter technológia +
SOA + sok minden más
●
Trend: adattároló klaszterek, adattároló grid
rendszerek

3. Amit mindenki ismerhet: NAS
●
Hálózati állomány megosztó
protokollok (NAS
rendszerek):
– NFS, AFS, SMB (Samba,
Windows)
●
Előny: könnyen kezelhető,
●
Hátrány: biztonság,
klaszterezhetőség hiánya,
egyszeres hibapont, rossz
skálázhatóság

4. Megosztott állományrendszerek
●
Valódi állományrendszer
●
Közös hálózati adattároló
alrendszerre (SAN) épít
●
blokk szintű lockolási
megoldások
●
volume management
●
Hátrány: skálázhatóság

5. Klaszter állományrendszerek
●
Válasszuk szét a
metaadatot az
adattól!
●
Legyen az adat egy
objektum
●
Nagy teljesítmény
●
Optimális hálózat
●
kihasználás
●
Probléma: egyszeres
hibapontok (MDS,
SAN)

6. SAN
karakterizáció
●
Adattároló klaszter nem csak
Xen­hez.
●
Moduláris adatkapcsolat,
igény szerint
●
Egyszerű elemek
●
Skálázható a sávszélesség és a
switchek erejéig
●
management eszköz kell hozzá
●
storage virtualizáció képesség
NONSTOP =
NONSTOP Network Storage Platform

7. Grid szerű klaszter rendszerek I.
●
Sun ZFS:
– 128 bit állományrendszer
– egyszerű adminisztráció
(RAID, LVM egyben)
– adatintegritás orientált:
minden copy­on­write
– tranzakció orientált
– Jelenleg csak Solarison
elérhető (Linux, FreeBSD,
Mac OS X folyamatban)
– Nem kell SAN

8. Grid szerű klaszter rendszerek I.
●
Isilon System ONEfs:
– RAID, Volume management egyben
– Linux, Windows, Mac OS X támogatás
●
Rackable System:
– Vigyunk mindent blokk szintre
– Klaszterizált iSCSI protokoll
– blokk szintű hozzáférés és lock

9. Lépjünk alkalmazás szintre!
●
Peer­to­peer állomány­megosztás:
– „Read­only” működés
– Oceanstore, Bittorent, Cleverstore
●
Xroot: CERN, Alkalmazás szintű állomány
hozzáférés, HSM modell
●
Amazon S3: Web szolgáltatás orientált (WSDL,
REST interface). Ár: Tárolt adat, adatforgalom

10. Grid Underground (GUG)
●
kutatási projekt (2005­től intenzíven)
●
általános web és grid szolgáltatás
keretrendszer és elosztott szolgáltatás
gyűjtemény
●
szabad szoftver: www.sf.net/projects/gug
Elosztott Szolgáltatások:
●
program futtatás (klaszter­ és világméterben)
●
megbízható adattárolás
●
katalógus és információs rendszer
●
jogosultság kezelés és biztonság
●
szabványok megvalósítása

11. GUG adattároló rendszer

12. GUG adattároló működés közben I.
●
ls, mkdir
$ grid storage ls /grid/tmp
$ grid storage mkdir /grid/tmp/proba
$ grid storage ls /grid/tmp
d 2006­04­12 14:04 proba
●
put
$ cat szoveg
Szöveg.
$ grid storage put szoveg /grid/tmp/proba
put szoveg to /grid/proba/szoveg... done.
$ grid storage put szoveg /grid/tmp/proba
put szoveg to /grid/tmp/proba/szoveg.1... done.
$ grid storage put szoveg /grid/tmp/masnev
put szoveg to /grid/tmp/proba/masnev... done.

13. GUG adattároló működés közben II.
$ grid storage ls /grid/tmp ­R
/grid/tmp:
d 2006­04­12 14:04 proba
/grid/tmp/proba:
­ 8 2006­04­12 14:05 szoveg
­ 8 2006­04­12 14:06 szoveg.1
­ 8 2006­04­12 14:06 masnev

14. Fejlesztések
●
Országos adattároló hálózat: GUG +
NONSTOP : Petabyte méretekben
●
Teljesítmény optimalizáció
●
Biztonság, hozzáférés szabályozás,
●
Legyen valóban állományrendszer! Mi kell
ehhez:
– blokk szintű hozzáférés: OGSA Byte IO szabvány
implementációja
– kliens oldal: FUSE (linux), Windows Shell Extension
●
Legyen szolgáltatás: Amazon S3 minta