2017/8/4開催の「ストリームデータ処理技術勉強会」で発表した資料です。 https://futureofdata.connpass.com/event/60300/

1. Apache NiFi
流れるデータにもスキーマを
河村 康爾

2. 自己紹介
• Software Engineer @ Hortonworks
• Apache NiFi PMC
• 最近はApache AmbariやApache Atlasなどにも興味あり
• @ijokarumawak

3. 免責事項/Disclaimer
• 本資料の内容は2017/8/4現在のApache NiFiプロジェクトmaster
ブランチ(1.4.0-SNAPSHOT)を元に記載されており、一部未リリー
スの機能を含みます、該当部分にはその旨を明記してあります。
• This slide is written based on the contents in the master branch
(1.4.0-SNAPSHOT) of Apache NiFi project as of Aug 4th 2017, and
contains components those are not officially released yet.

4. よくあるNiFiの利用例
クラウド
オブジェクトストレージ
ストリーミング
処理エンジン
多種多様なプロトコル
データフォーマット
オンプレ/クラウド
地理的分散
さらにエッジ寄り

6. Record Reader/Writerの登場
Controller Service: Record Reader
Avro, CSV, Grok, Json, Scripted
Controller Service: Record Writer
Avro, CSV, FreeFormText, Json, Scripted
Processorの内部では
共通のRecordとして扱える
USE
USE
個別のフォーマット変換、ConvertXtoY…

7. RecordにはSchemaがあるので色々便利に

8. Q. どこでSchemaを意識するべき???
クラウド
オブジェクトストレージ
ストリーミング
処理エンジン
多種多様なプロトコル
データフォーマット
オンプレ/クラウド
地理的分散
さらにエッジ寄り

9. A. どこでも。
データをopaqueなバイナリデータとして単に流すところ以外はどこでも必
要になるでしょう。”Schema on Read”、流れるデータに関しても何か処理を
行う場合はその時点で必要になります。

10. そこで、Schema Registryという存在
• NiFiで利用できるSchema Registry
• AvroSchemaRegistry
• HortonworksSchemaRegistry
• 2017/8/4現在、SNAPSHOTに追加されているもの(未リリース)
• ConfluentSchemaRegistry
• NiFiだけでなく、他のソフトウェアでも共用できるSchema
Registryが重要になっている。

11. Hortonworks Schema Registryを使った例
8/31ハンズオン開催!!

12. OSSコミュニティに飛び込んでみませんか?
• NiFiの性質上、とても幅広い他の製品との連携ポイントがあり、多くのエ
ンジニアが参加しやすいプロジェクト
• NiFi利用中に発見した問題を報告してみる (JIRA, ML … etc)
• NiFiのJIRAを見て、解決できそうなチケットにPull Requestを投げてみる
• 例えば、特定の製品、データベース、クラウドに強い人
• まだNiFiプロジェクトに存在しないProcessorを作ってみる
• 自分が得意な製品との連携部分のPull Requestのレビューに参加してみる
• などなど、方法は様々！お気軽にどうぞ！

13. Thank you!