https://futureofdata.connpass.com/event/60300/

1. NiFi amateur struggled story
NiFi 素⼈が苦労した物語

2. Jun Ichinose Kozue Takusagawa
Joined SoftBank in 2013
Job category : IT designer (IT architect)
Specialized field : Application
Business content :
System requirement definition & type design
Software requirement definition

3. Initial investment
OUR HISTORY = Information Revolution History

4. A system divided for each business
(By regulation of Ministry of Internal Affairs and Communications)

5. Enterprise
Resources
Planning
Customer
Relationship
Management
Billing
Recommend
Payment
Analyze
Sales
Web
Contact
Center
supply chain
management
…
etc
…
etc

6. UnificationIndependent optimization
Development
Platform

7. Internet of Things
Gateway
In-house production engine : Chronos-Core
Internet
Companies
Sales
Web
Contact
Center
CRM Billing Payment SCM ERP
Analyz
e
Reco
mmen
d
Enterprise Systems
Enterprise
Systems
Carrier Systems
ESB
Data Store (In-Memory KVS)
Hardware (SDI/NVM)
Network (SDN/NFV)
Real-time Processing Engine
Collect Process Deliver
Devices
Development Platform
Companies
…
etc

8. Enterprise Service Bus
Custom
Environment
Custom
Environment
Sales
Web
Contact
Center
Enterprise
Resources Planning
Customer
Relationship
Management
Billing
supply chain
management
Analyze Recommend
Payment

9. Each application must be aware of the details of other
applications that must work together.
" Extremely high complexity
" Systems tightly coupled
" Poor maintainability
" Low flexibility
The service bus protects each application from the details of
other applications.
" Complexity contained by middleware
" Systems uncoupled
" High maintainability
" Maximizes re-use
Point to Point Interfaces
Enterprise Service Bus
Enterprise Service Bus
Enterprise
Resources
Planning
Analyze Recommend
supply chain
management
Sales
Web
Contact
Center
Billing Payment
Enterprise
Resources
Planning
Analyze Recommend
supply chain
management
Customer
Relationship
Management
Sales
Web
Contact
Center
Billing Payment
Customer
Relationship
Management

10.
Web Service
Application
Web Service
Application
Enterprise
Service Bus
Companies
Internet
Companies
Internet
Enterprise Service Bus
Routing-Info

11.
Web Service
Application
Web Service
Application
Enterprise
Service Bus
Companies
Internet
Companies
Internet
Enterprise Service Bus
Routing-Info

12.
Web Service
Application
Companies
Internet
Web Service
Application
Enterprise
Service Bus
Companies
Internet
IoT
Gateway
Enterprise Service Bus
Routing-Info
Routing-Engine

13. " Edit HTTP header
" Message conversion
NiFi Basic policy : Pass from right to left

16. NiFiを初めて業務システムに利⽤し
てみて共有したい３つのこと

17. システム要件
オンラインサイト利⽤率 No.1サイトマイグレーション
システム要件
スループット 345TPS
SLA 3秒
サービス提供 24h365d

18. システム構成
Web UI
Application
Web Service
Application
Enterprise Service Bus
Web Service
Application
(legacy)

19. 2017年6⽉にリリース完了
システム要件 システム全体
スループット 345TPS 達成
SLA 3秒 達成
サービス提供 24h365d 達成

20. NiFi採⽤の決め⼿
OSSであったこと
社内での実績があったこと
NiFi単体で、設計および実⾏環境が揃って取っ掛かりやすかった
開発期間が２ヶ⽉と短かった

21. 共有したい３つのこと
NiFiをどう使うか決めておくと良い
性能改善ポイント
スクリプト⾔語︓性能重視ならJythonは使わない
GCアルゴリズム︓サーバスペックに応じてチューニングするの
がよい

22. 共有したい３つのこと
NiFiをどう使うか決めておくと良い
性能改善ポイント
スクリプト⾔語︓性能重視ならJythonは使わない
GCアルゴリズム︓サーバスペックに応じてチューニングするのが
よい

23. Web UI
Application
Web Service
Application
Enterprise Service Bus
Web Service
Application
(legacy)
しがらみのない理想

24. Web UI
Application
Web Service
Application
Enterprise Service Bus
Web Service
Application
(legacy)
しがらみのない理想
Request/Resonseの要件がIF
毎に異なり吸収しきれない
サポートしている機能に
制限がある

25. Web UI
Application
Web Service
Application
Enterprise Service Bus
Web Service
Application
(legacy)
Web UI
Application
Web Service
Application
Enterprise Service Bus
Web Service
Application
(legacy)
しがらみのない理想
NiFi＝しがらみの吸収
Request/Resonseの要件がIF
毎に異なり吸収しきれない
サポートしている機能に
制限がある

26. 誰がやるの︖間に合わないよ︕戦争勃発
Web UI
Application
Web Service
Application
Enterprise Service Bus
Web Service
Application
(legacy)
画⾯にそのままMappingできる
Dataにして返却してほしいんだけど
HTTPHeader追加したいし、
他にも対応してほしいことあるんだけど
HTTPHeader︖それ以外の要件も整理終わってるの︖
サポートしていない
通信⽅式だから難しい

27. NiFiの役割を決めました
Web UI
Application
Web Service
Application
Enterprise Service Bus
Web Service
Application
(legacy)
業務ロジックは実装しない
ESBが対応しない・間に合わない機能を対応する
データマッピング
データルーティング

28. 共有したい３つのこと
NiFiをどう使うか決めておくと良い
性能改善ポイント
スクリプト⾔語︓性能重視ならJythonは使わない
GCアルゴリズム︓サーバスペックに応じてチューニングするのが
よい

29. ある⽇の事
今時1秒で画⾯表⽰されるのが普通じゃないの︖
そうだ︕そうだ︕
検討致します
（legacy連携もあるし、SLA３秒って⽅針あるのに…）

30. 試⾏錯誤の⽇々
対象パラメタ 性能向上
スクリプト⾔語 効果あり
GCアルゴリズム＋JVM設定 効果あり
スレッドプール数 若⼲効果あり
プロセッサ単位の個別スレッド数 若⼲効果あり
FlowFile(キュー)同時使⽤可能数 向上なし
swap off 向上なし

31. 試⾏錯誤の⽇々
対象パラメタ 性能向上
スクリプト⾔語 効果あり
GCアルゴリズム＋JVM設定 効果あり
スレッドプール数 若⼲効果あり
プロセッサ単位の個別スレッド数 若⼲効果あり
FlowFile(キュー)同時使⽤可能数 向上なし
swap off 向上なし

32. スクリプト⾔語
Jython, Groovy, javascript

33. スループット
Jython
Groovy
Javascript
0 70 140 210 280
単位︓TPS
1/2

34. 応答時間
Jython
Groovy
Javascript
0 100 200 300 400
単位︓msc
3倍

35. Jython
毎回解析しているので遅い
性能重視なら
Jythonは使わないほうが良い

36. GCチューニング
G1GC, CMS

37. 設定内容
JVM設定 G1GC ConcMarkSweepGC
Xms 1GB 2GB
Xmx 1GB 2GB
NewSize ー 1792MB
MaxNewSize ー 1792MB
MetaspaceSize ー 256MB
MaxMetaspaceSize ー 256MB
SurvivorRatio ー 8
MaxTenuringThreshold ー 15

38. 応答速度
最⼩応答時間
最⼤応答時間
平均応答時間
0 550 1100 1650 2200
G1GC CMS 単位︓msc
約3倍

39. GCの⽐較
G1GC CMS

40. CMSを適⽤し、JVM設定調整
システム要件のスループット
５倍を実現

41. NiFiへの要望

42. NiFiへの要望
Jythonの性能改善
Data Provenaceの集約機能
Data ProvenaceのON/OFF機能

43. NiFiへの要望
Jythonの性能改善
Data Provenaceの集約機能
Data ProvenaceのON/OFF機能

44. Jythonの性能改善
スループット
Jython
Groovy
Javascript
応答時間
Jython
Groovy
Javascript

45. Jython
毎回解析しているので遅い
Jythonでも性能が
出るように改善してほしい

46. NiFiへの要望
Jythonの性能改善
Data Provenaceの集約機能
Data ProvenaceのON/OFF機能

47. Data Provenanceの集約機能
データ確認のためには、
各インスタンスのData Provenanceを
個々に確認する必要がある
集約して⼀元管理したい

48. Data Provenanceの集約機能
個々 集約
全インスタンスのデータを⼀
元管理し確認したい

49. NiFiへの要望
Jythonの性能改善
Data Provenaceの集約機能
Data ProvenaceのON/OFF機能

50. Data ProvenanceのON/OFF機能
Data Provenanceの
⾮同期書込がリソースを利⽤しい
るため、緩やかに下降
Data ProvenanceをON/OFFす
ることで、リソース占有原因を制
御できるようにしたい
性能試験期間

51. ご清聴ありがとうございました