Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
{
"type" : "compact",
"dataSource" : "wikipedia",
"interval" : "2017-01-01/2018-01-01"
}
•
•
•
•
•
•
•
•
•
•
•
•
•
•
{
"dataSource": "twitter",
"keepSegmentGranularity": true,
"targetCompactionSizeBytes": 419430400,
"skipOffsetFromLatest...
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
{
"type" : "index",
"spec" : {
"dataSchema" : {
"dataSource" : ”hash_33",
"parser" : {
"type" : "noop",
"parseSpec" : {
"d...
{
"type" : "index",
"spec" : {
"dataSchema" : {
"dataSource" : ”sort_20m",
"parser" : {
"type" : "noop",
"parseSpec" : {
"...
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈
Prochain SlideShare
Chargement dans…5
×

[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈

1 138 vues

Publié le

[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈

Publié dans : Technologie
  • Soyez le premier à commenter

[236] 스트림 저장소 최적화 이야기: 아파치 드루이드로부터 얻은 교훈

  1. 1. • •
  2. 2. • •
  3. 3.
  4. 4.
  5. 5. • • • • •
  6. 6. • • • •
  7. 7. • •
  8. 8. • •
  9. 9.
  10. 10.
  11. 11.
  12. 12. • •
  13. 13. • • •
  14. 14. • •
  15. 15.
  16. 16.
  17. 17. • • •
  18. 18.
  19. 19. • •
  20. 20. • • •
  21. 21. • • • •
  22. 22. • •
  23. 23. • •
  24. 24.
  25. 25. • •
  26. 26.
  27. 27.
  28. 28.
  29. 29.
  30. 30. • • { "type" : "compact", "dataSource" : "wikipedia", "interval" : "2017-01-01/2018-01-01" }
  31. 31. • • •
  32. 32.
  33. 33.
  34. 34. • • •
  35. 35. • • • • •
  36. 36. • { "dataSource": "twitter", "keepSegmentGranularity": true, "targetCompactionSizeBytes": 419430400, "skipOffsetFromLatest": "P1D" }
  37. 37. • • • •
  38. 38. • • • •
  39. 39. • • •
  40. 40. • • •
  41. 41. • • •
  42. 42. • •
  43. 43. • •
  44. 44.
  45. 45. • •
  46. 46. • •
  47. 47. • • •
  48. 48. { "type" : "index", "spec" : { "dataSchema" : { "dataSource" : ”hash_33", "parser" : { "type" : "noop", "parseSpec" : { "dimensionsSpec" : { "dimensions" : [ { "name" : ”kafka_part_key" }, { "name" : ”dim1" }, { "name" : ”dim2" }, { "type" : "double", "name" : ”met1” } ] } } }, "granularitySpec" : { "type" : "arbitrary", "queryGranularity" : { "type" : "none" }, "intervals" : [ "2017-12-29/2017-12-30" ] } }, "ioConfig" : { "type" : "index", "firehose" : { "type" : "ingestSegment", "dataSource" : "original_datasource", "interval" : "2017-12-29/2017-12-30", "dimensions" : [ ”kafka_part_key", ”dim1", ”dim2", ”met1" ], } }, "tuningConfig" : { "type" : "index", "numShards": 33, "forceGuaranteedRollup" : true } } }
  49. 49. { "type" : "index", "spec" : { "dataSchema" : { "dataSource" : ”sort_20m", "parser" : { "type" : "noop", "parseSpec" : { "dimensionsSpec" : { "dimensions" : [ { "name" : ”kafka_part_key" }, { "name" : ”dim1" }, { "name" : ”dim2" }, { "type" : "double", "name" : ”met1" }, { "type" : "long", "name" : "raw_timestamp" } ] } } }, "granularitySpec" : { "type" : "uniform", "segmentGranularity" : "DAY", "queryGranularity" : "DAY", "intervals" : [ "2017-12-29/2017-12-30" ] }, "transformSpec" : { "transforms": [ { "type": "expression", "name": "raw_timestamp", "expression": "timestamp(timestamp)" } ] } }, "ioConfig" : { "type" : "index", "firehose" : { "type" : "ingestSegment", "dataSource" : "original_datasource", "interval" : "2017-12-29/2017-12-30", "dimensions" : [ ”kafka_part_key", ”dim1", ”dim2", ”met1", "raw_timestamp" ] } }, "tuningConfig" : { "type" : "index", "targetPartitionSize" : 20000000 } } }

×