Contenu connexe
Similaire à Sharding (20)
Sharding
- 2. :کتشر ی درباره
●دادهکزمر و سازی مجازی ،ابری رایانش هایحل راه ارائه
●ابری رایانش های محیط ایرب افزار نرم توسعه و تولید ،احیرط
●بهداشت و آموزشی ،اترمخاب های زمینه در خدمات ارائه
●بنیاد از حمایتOpenStackا نرای در کتشر اولین عنوا ن به
●انجمن حامی اولینOpenStackا نرای
- 3. innfinision.netها داده کل ن رویبر شاردینگ هایروش
فهرست:
●مشتریا ن داستا ن
●Shardingچیست؟
●به زمانی چهShardingداریم؟ نیاز
●چند چهShardداریم؟ نیاز
●انواعSharding
●یک چگونهShard Keyکنیم؟ انتخاب
●دلیلSharding
●گیری نتیجه
- 4. مشتریا ن داستا ن
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 6. Fouraquare:
●۵۰کاربر میلیو ن
●۶)روزی روز در حضور اعلم میلیارد۶(یابدمی افزایش میلیو ن
●۵۵علهقه مورد های مکا ن و نقاط میلیو ن
●۱،۷کنندمی استفاده بازاریابی ایرب نامهرب این ازتاجر میلیو ن
●۳۰۰٫۰۰۰ثانیه در عملیات
●۵٬۵مدارک و اسناد میلیو ن
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 7. ●۱۱) خوشهcluster(mongoDB
۸) خرد هاآ ن از تاshardاندشده (
) خوشه بزرگترینcluster(۱۵(ها حضور )اعلم دارد شارد تا
ا نرکارب ی شناسه رویبر شده خرد
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 9. CarFax:
●۱۳اسناد میلیارد
●۱٬۵است شده اضافه سالهر اسناد میلیارد
●شامل خودروهر ارشزگ۲۰۰است سند
●۱۲shard
●۹گرهreplica set
●Replicaدر ها۳اند شده توزیعسنتر دیتا
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 11. نتیجهنتیجه MongoDBMongoDB وضعیتوضعیت
•عملکرد۴سریعترابررب
•Scale outاز استفاده با
هقیمت ارزا ن سرورهای
•داخلی افزونگی دارای
•مدلپذیر انعطاف شمای
داده
•هقوی سازگاری
•تحلیل و تجزیه
اوا نرف های بررسی از پسNoSQL،هاmongoDB.کردند انتخاب را
•MongoDBذخیره محل
است هاداده اصلی سازی
•۵۰سرور
•۱۰شارد
•۵گرهReplica Setهر در
شارد
•تاریخچه داده پایگاه
خودرویی
•۱۱ساله)هر رکورد میلیارد۱
(شود می اضافه میلیارد
•سنگین
•پرهزینه
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 17. mongod mongod mongod mongod
Key Range
0..25
Key Range
26..50
Key Range
51..75
Key Range
76.. 100
خواند ن/نوشتن پذیری مقیاس
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 19. یا سرور یک آیاReplica set:
●میباشد؟ اطلعات تمام سازی ذخیره ایرب کافی فضای دارای
●عملیاتی توا ن به تواندمیqueryکند؟ رسیدگی ها
●تمام به تواندمیqueryدهد؟ پاسخ سریعا ها
سرور مشخصات
Disk Capacity
Disk IOPS
RAM
Network
Disk IOPS
RAM
Network
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 21. : دیسک فضای
.باشد نیاز مورد سازی ذخیره اندازه ازبیشتر باید شاردها تمام در دیسک فضای مجموع
:مثال
= کل سازی ذخیره ی انداره3TB
= سرور سازی ذخیره ی اندازه2TB
به۲داریم نیاز شارد
:مثال
= کل سازی ذخیره ی انداره3TB
= سرور سازی ذخیره ی اندازه2TB
به۲داریم نیاز شارد
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 22. ShardingدرRAM:
●مجموعRAM< ها شارداسررس درWorkset
Worksetشوندمی دیدهبیشتر اا غالب که اسناد از ایمجموعه =
●WorksetدرRAM:
کمترتأخیر زما ن
بالتر عملیاتی توا ن
مثال
Working Set = 428 GB
Server RAM = 128 GB
۴۲۸ / ۱۲۸ = ۳،۳۴
به۴داریم نیاز شارد
مثال
Working Set = 428 GB
Server RAM = 128 GB
۴۲۸ / ۱۲۸ = ۳،۳۴
به۴داریم نیاز شارد
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 23. ●) کار مجموعه و شاخص حجم گیریاندازهWorking Set & Index Size(
: مجموعههر شاخص اندازه
db.stats()
:کار مجموعه حجم حدود
db.serverStatus({ workingSet: 1})
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 24. : دیسک عملیاتی توا ن
●مجموعIOPSازبیشتر باید ها شارداسررس درIOPSباشد نیاز مورد
●آوردربIOPSاست دشوار بسیار
●توضیحات رسانی روز به
●ها شاخص رسانی روز به
●جورنال به کرد ن اضافه
●لگ به ورود
●گیری اندازه و اولیه نمونه یک ساخت :روش بهترین
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 25. : دیسک عملیاتی توا ن
●مجموعIOPSازبیشتر باید ها شارداسررس درIOPSباشد نیاز مورد
●آوردربIOPSاست دشوار بسیار
●توضیحات رسانی روز به
●ها شاخص رسانی روز به
●جورنال به کرد ن اضافه
●لگ به ورود
●گیری اندازه و اولیه نمونه یک ساخت :روش بهترین
مثال
IOPS= نیاز مورد۱۱۰۰۰
IOPS= سرور۵۰۰۰
به۳داریم نیاز شارد
مثال
IOPS= نیاز مورد۱۱۰۰۰
IOPS= سرور۵۰۰۰
به۳داریم نیاز شارد
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 26. ) ثانیه در عملیاتOPS: (
●Sسرور یک ثانیه در عملیات =
●Gنیاز مورد ثانیه در عملیات =
●Nها شارد تعداد =
●G = N * S * 0.7
N = (G / 0.7S)
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 27. ) ثانیه در عملیاتOPS: (
●Sسرور یک ثانیه در عملیات =
●Gنیاز مورد ثانیه در عملیات =
●Nها شارد تعداد =
●G = N * S * 0.7
N = (G / 0.7S)
ShardingفوهقانیShardingفوهقانی
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 28. ) ثانیه در عملیاتOPS: (
●Sسرور یک ثانیه در عملیات =
●Gنیاز مورد ثانیه در عملیات =
●Nها شارد تعداد =
●G = N * S * 0.7
N = (G / 0.7S)
مثال
S = ۴۰۰۰
G = ۱۰۰۰۰
N = ۳،۵۷
به۴داریم نیاز شارد
مثال
S = ۴۰۰۰
G = ۱۰۰۰۰
N = ۳،۵۷
به۴داریم نیاز شارد
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 30. Range Sharding
mongod mongod mongod mongod
Key Range
0..25
Key Range
26..50
Key Range
51..75
Key Range
76.. 100
خواند ن/نوشتن پذیری مقیاس
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 31. Tag Aware Sharding
mongod mongod mongod mongod
Shard Tags
Shard Tag شروع پایا ن
زمستا ن 23 Dec 21 Mar
بهار 22 Mar 21 Jun
تابستا ن 21 Jun 23 Sep
پاییز 24 Sep 22 Dec
Tag Ranges
زمستا ن بهار تابستا ن پاییز
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 32. Hash Sharding
mongod mongod mongod mongod
Hash Range
0000..4444
Hash Range
4445..8000
Hash Range
i8001..aaaa
Hash Range
aaab..ffff
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 33. Hash Sharding
●: ایازم
.شوندمی توزیع مساوی صورت به هاداده
●: معایب
.آیندمی در فشرده صورت به ها شاخص و تصادفی هایداده بروزرسانی خروجی و ورودی
.آیندمی در اکندهرپ صورت به هستند محدوده اساسبر که هایی جو و پرس
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 37. یکShard Key: خوب
●.دارد کافی کاردینالیتی
●.کند می توزیع مساوی صورت به را هانوشته
●)انزوا خواندمی دار هدفquery.(ها
Shard Keyی همه در امکا ن صورت درquery: باشد ها
●.شوندمی آوری جمع اکندهرپ صورت اینغیر در
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 38. یک انتخابShard Key: است مهم خوب
●.دارد زیادیتأثیر پذیری مقیاس و عملکردبر
●.بود خواهد هقیمت ا نرگ آ ن داد نتغییر اا بعد
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 39. ● Induces jumbo chunks
● Examples: boolean field
● Monotonically increasing shard key values cause hot
spots on inserts
● Examples: timestamps, _id
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 41. ●: پذیری مقیاس
هاداده حجم
ها جو و پرس حجم
●: محلی هاینوشته با جهانی ارراستق
افیارجغ از بود ن آگاه هقابلیت با شاردینگ
●شده بندی طبقه سازی ذخیره
●ها پشتیبانی سریع بازگرداند ن
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 42. محلی هاینوشته با جهانی ارراستق
Primary:NYC
Secondary:NYC
Primary:LON
Primary:SYD
Secondary:LON
Secondary:NYC
Secondary:SYD
Secondary:LON
Secondary:SYD
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 43. شده بندی لیه سازی ذخیره
●ها افزارسخت هزینه در جویی صرفه
●سریعتر های سرور روی اندداشته دسترسیبیشتر که اسنادی داد ن اررهق
کندتر های سرور روی اسناد و هاداده گرفتن اررهق
●از استفادهTag Aware Sharding
mongod mongod mongod mongod
فعلی فعلی آرشیو آرشیو
SSDSSD SSDSSD HDDHDD HDDHDD
ها داده کل ن رویبر شاردینگ هایروش innfinision.net
- 47. ●:کنید بررسی رازیر نکات نیاز مورد های شارد تعیین ایرب
نیاز مورد سازی ذخیره
تاخیر زما ن سرعت
نیاز مورد عملیاتی توا ن
●: کل مشتق
دیسک ظرفیت
دیسک توا ن
رم
●.کنید تعیین ها سرور فردی مشخصات اساسبر را ها شارد تعداد
ها داده کل ن رویبر شاردینگ هایروش innfinision.net