Contenu connexe
Similaire à [AWS re:invent 2013 Report] Amazon Kinesis (20)
Plus de Amazon Web Services Japan (20)
[AWS re:invent 2013 Report] Amazon Kinesis
- 1. Amazon Kinesis
ストリーミング・データのリアルタイム処理
© 2013 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified, or distributed in whole or in part without the express consent of Amazon.com, Inc.
- 5. Amazon Kinesis – 概要
フルマネージドされたリアルタイム処理
毎時数MBから最大数TBの処理が可能
信頼性の高いストレージ、データ収集、分析を
提供
シャード単位で1,000 write (最大1MB/s),
20 read (最大2MB/s)と言った単位でスループッ
トに応じてプロビジョニング
サーバーログ、ソーシャルメディアストリーム、マーケット
データフィード、ウェブクリックストリーム、M2M等
キャパシティーの削除・追加をダイナミックに
実施可能
- 12. Twitter Trends Shard Processing Code
Class TwitterTrendsShardProcessor implements IRecordProcessor {
public TwitterTrendsShardProcessor() { … }
@Override
public void initialize(String shardId) { … }
@Override
public void processRecords(List<Record> records,
IRecordProcessorCheckpointer checkpointer) { … }
@Override
public void shutdown(IRecordProcessorCheckpointer checkpointer,
ShutdownReason reason) { … }
}
- 13. Twitter Trends Shard Processing Code
Class TwitterTrendsShardProcessor implements IRecordProcessor {
private Map<String, AtomicInteger> hashCount = new HashMap<>();
private long tweetsProcessed = 0;
@Override
public void processRecords(List<Record> records,
IRecordProcessorCheckpointer checkpointer) {
computeLocalTop10(records);
if ((tweetsProcessed++) >= 2000) {
emitToDynamoDB(checkpointer);
}
}
}