![自己紹介
山河 征紀
ウルシステムズ株式会社
マネージングコンサルタント
{
“分野” ： ”金融系”
“得技” ： [“分散処理”,
“インメモリー処理”]
“趣味” ： ”マラソン”
}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à 20181031 springfest spring data geode
Similaire à 20181031 springfest spring data geode (20)
Plus de Masaki Yamakawa
Plus de Masaki Yamakawa (12)
Dernier
Dernier (8)
20181031 springfest spring data geode
- 1. Spring Data for Apache Geodeで RDBいらずのアプリ開発をしよう！ 2018.10.31 Wed. Spring Fest 2018 #jsug #sf_21
- 2. 自己紹介 山河 征紀 ウルシステムズ株式会社 マネージングコンサルタント { “分野” ： ”金融系” “得技” ： [“分散処理”, “インメモリー処理”] “趣味” ： ”マラソン” }
- 12. Spring Data for Apache Geodeとは？ Part 2
- 13. Spring Data for Apache Geodeとは • Spring DataのUmbrellaプロジェクト 13 Springによる統一的な プログラミングモデルを提供 （APIを抽象化・共通化） 発生する例外を共通例外に変換 Repositoryインターフェースで 簡単にアクセス バックエンドが変わっても 簡単に変更できる Release Train KayよりSpring Data for Apache Geodeも追加
- 14. Spring Dataが分かれば簡単に使える • Apache Geodeだからといって難しい要素はなし 14 @Service public class UserService { @Autowired private UserRepository repository; public Customer createCustomer(Customer customer) { Customer newCustomer = repository.save(customer); return newCustomer; } public List<Customer> findAllCustomers() { return repository.findAll(); } } @Region(“User") public class User { @Id private Long id; private String username; private String email; private boolean isActive; … } Service実装（Repository利用クラス） Repository実装 @Repository public interface UserRepository extends CrudRepository<User, Long> { } Entity実装
- 15. Spring Data for Apache Geodeを使うメリット 15 リージョンを都度作らなくて良い （Entityから自動生成してくれる） Apache Geode特有の多くの面倒な設定をやってくれる バックエンドのデータストアを意識する必要がない 使い方がSpringユーザーに馴染む
- 16. Spring Data for Apache Geodeアーキテクチャー • Apache GeodeはAPPと同じプロセスのメモリーを使用してデータを管理する • Spring Data for Apache GeodeはGeodeへのアクセス方法を抽象化する • 他の構成も取れるけど、ほとんどはこの構成で良い 16 プロセス APP Spring Data for Apache Geode プロセス APP RDB Spring Data JPA RDBの場合 Spring Data for Apache Geodeの場合
- 17. 参考：Spring Data for Apache Geode アプリケーションタイプ • アノテーションを指定してApache Geodeのトポロジーを決定する 17 プロセス APP Spring Data for Apache Geode @PeerCacheApplication プロセス APP Spring Data for Apache Geode @CacheServerApplication プロセス APP Spring Data for Apache Geode @ClientCacheApplication 外部からのアクセス不可 外部からのアクセス可能 @SpringBootApplication @PeerCacheApplication public class GeodeApplication { … } @SpringBootApplication @CacheServerApplication public class GeodeApplication { … } @SpringBootApplication @ClientCacheApplication public class GeodeApplication { … } 外部からのアクセス可能
- 18. Spring Geode Starterで依存関係は簡単に解決 • 面倒な依存関係はSrping Geode Starterを使えば全て解決してくれる 18 <dependency> <groupId>org.springframework.geode</groupId> <artifactId>spring-geode-starter</artifactId> </dependency> dependencies { compile("org.springframework.geode:spring-geode-starter") } mavenの場合 gradleの場合
- 19. Spring Data for Apache Geodeでは どのようにアプリ開発を行うのか？ ～ 基礎編：データ登録＆検索 ～ Part 3
- 20. リージョン ≒ RDBテーブル • Apache Geodeはjava.util.Mapベースのリージョンと言われる論理的なデータのグループで データを管理する（RDBにおけるテーブルのイメージ） • Javaオブジェクトをそのまま管理するためO/Rマッパーは不要となる 20 JVM Region Key Value ABC GGG XYG Region … Region … @Region("User") public class User { @Id private Long id; private String username; private String email; private boolean isActive; ・・・ } データはJavaのヒープメモリ上 にJavaオブジェクトのまま管理 ・Key-Value形式 ・スキーマの概念はなくValueには任意のオブジェクトを格納
- 21. リージョンの作成 • 管理するデータ（Entity）に@Regionを付ける • @EnableEntityDefinedRegionsを付加することで自動的にリージョンが作成される 21 @Region(“User") public class User { @Id private Long id; private String username; private String email; private boolean isActive; … } @SpringBootApplication @PeerCacheApplication @EnableEntityDefinedRegions( basePackages = "example.geode") public class GeodeApplication { … }
- 22. データの取得・登録：Repositoryの作成（1） • CurdRepositoryを継承したインターフェースを作成するだけで基本的なCRUD操作は Spring Data for Apache Geodeが提供してくれる 22 @Repository public interface UserRepository extends CrudRepository<User, Long> { // 実装は不要 } @SpringBootApplication @PeerCacheApplication @EnableGemfireRepositories @EnableEntityDefinedRegions( basePackages = "example.geode") public class GeodeApplication { … }
- 23. データの取得・登録：Repositoryの作成（2） • 主要なCurdRepositoryメソッドの裏では、以下のRegionメソッドが実行される • パフォーマンスが悪い場合等は、この裏の動きをイメージしておくと良い 23 CrudRepositoryメソッド Regionメソッド save(S entity) put(K key, V value) saveAll(Iterable<S> entities) putAll(Map<? extends K,? extends V> map) findById(ID id), existsById(ID id) get(Object key) findAllById(Iterable<ID> ids) getAll(java.util.Collection<?> keys) findAll() OQL（SELECT * FROM /{RegionName}"） count() OQL（SELECT count(*) FROM /{RegionName}"） deleteById(ID id), delete(T entity) remove(Object key) deleteAll(Iterable<? extends T> entities) remove(Object key)の繰り返し or clear()
- 24. データの取得・登録：Repositoryの作成（3） • 自動実装されるメソッドの命名ルールについてもSpring Dataと同じ 24 Keyword Sample Logical result GreaterThan findByAgeGreaterThan(int age) x.age > $1 GreaterThanEqual findByAgeGreaterThanEqual(int age) x.age >= $1 LessThan findByAgeLessThan(int age) x.age < $1 LessThanEqual findByAgeLessThanEqual(int age) x.age ⇐ $1 IsNotNull, NotNull findByFirstnameNotNull() x.firstname =! NULL IsNull, Null findByFirstnameNull() x.firstname = NULL In findByFirstnameIn(Collection<String> x) x.firstname IN SET $1 NotIn findByFirstnameNotIn(Collection<String> x) x.firstname NOT IN SET $1 IgnoreCase findByFirstnameIgnoreCase(String firstName) x.firstname.equalsIgnoreCase($1) (No keyword) findByFirstname(String name) x.firstname = $1 Like findByFirstnameLike(String name) x.firstname LIKE $1 Not findByFirstnameNot(String name) x.firstname != $1 IsTrue, True findByActiveIsTrue() x.active = true IsFalse, False findByActiveIsFalse() x.active = false
- 25. データの取得・登録：キー以外で検索したい場合は？（1） • Apache Geodeはjava.uitl.Mapベースのため、キー以外での検索が通常は出来ない • キー以外で検索する場合はSQLライクなOQL（Object Query Language）を使用する • @QueryへOQLを設定すると、そのOQLが実行される 25 @Repository public interface UserRepository extends CrudRepository<User, Long> { @Query("SELECT * FROM /User u WHERE u.username IN SET $1") Collection<User> findByUsernamesAnnotated(Collection<String> usernames); @Query("SELECT * FROM /User u WHERE u.email like $1") Collection<User> findByEmailAnnotated(String email); }
- 26. データの取得・登録：キー以外で検索したい場合は？（2） • OQLでの特徴的な箇所は以下の通り 26 種別 例 特徴 リージョン名 SELECT * FROM /exampleRegion 先頭に”/”が必要 IN SELECT * FROM /exampleRegion portfolio WHERE portfolio.ID IN SET(1, 2) in set Order by制約 SELECT DISTINCT * FROM /exampleRegion WHERE ID < 101 ORDER BY ID distinct必須 Mapへのアクセス SELECT p.get('account') FROM /exampleRegion p SELECT p['account‘] FROM /exampleRegion p get使用 Arrayへのアクセス SELECT * FROM /exampleRegion p WHERE p.names[0] = 'aaa' 添え字使用 ネストしたCollectionへの アクセス SELECT p, pos FROM /exampleRegion p, p.positions.values pos WHERE pos.secId = 'VMW' FROMに複数指定 リージョンKeyへのアクセス SELECT * FROM /exampleRegion.keys k WHERE k.ID = 1 FROMにkeys指定 リージョンValueへのアクセス SELECT DISTINCT entry.value FROM /exampleRegion.entries entry WHERE entry.key = '1' データ集合の比較 SELECT * FROM /exampleRegion WHERE sp = set('20', '21', '22') Javaメソッドの使用 SELECT * FROM /exampleRegion p WHERE p.length > 1 SELECT DISTINCT * FROM /exampleRegion p WHERE p.positions.size >= 2 SELECT DISTINCT * FROM /exampleRegion p WHERE p.positions.isEmpty SELECT DISTINCT * FROM /exampleRegion p WHERE p.name.startsWith('Bo')
- 27. データの取得・登録：OQL使う場合はIndex設定が必須 • RDBと同じように検索を高速化する場合に使用する • Entityに@Indexedアノテーションを設定し、@EnableIndexingで有効化する 27 @SpringBootApplication @PeerCacheApplication @EnableGemfireRepositories @EnableEntityDefinedRegions( basePackages = "example.geode") @EnableIndexing public class GeodeApplication { … } @Region(“User") public class User { @Id private Long id; @Indexed private String username; @Indexed private String email; private boolean isActive; @Indexed(name = “UserAddressZipIndex", expression = “address.zipCoe", type = "FUNCTIONAL") private Address address; … }
- 28. データの取得・登録：OQLログ • Indexが使われているかどうかは分かり辛いため、ログ出力は必須 • Javaの起動時に以下のシステムプロパティを設定する 28 java -Dgemfire.Query.VERBOSE=true -jar xxx.jar [info 2018/10/20 06:17:19.848 JST <http-nio-8080-exec-1> tid=0x37] Query Executed in 4.113913 ms; rowCount = 52; indexesUsed(1) "SELECT * FROM /User u WHERE u.isActive = 'true'" [info 2018/10/20 06:17:39.366 JST <http-nio-8080-exec-5> tid=0x3b] Query Executed in 3.308953 ms; rowCount = 1; indexesUsed(1) "SELECT * FROM /User u WHERE u.username = 'testUser‘” システムプロパティ ログ出力の例
- 29. データの取得・登録：GemfireTemplate • Repositoryで提供される処理でやりたいことを満たせない場合はGemfireTemplateを使う 29 @Repository public class GemfireTemplateUserDao { @Autowired GemfireTemplate template; public User save(User user) { return template.put(user.getId(), user); } public User get(long id) { return template.get(id); } public void delete(long id) { template.remove(id); } public List<User> findByEmailAddress( EmailAddress emailAddress) { SelectResults<User> Users = template.find( “SELECT * FROM /User ” + "WHERE emailAddress = $1", emailAddress); return users.isEmpty() ? Null:users.asList(); } }
- 30. Spring Data for Apache Geodeでは どのようにアプリ開発を行うのか？ ～ 基礎編：データ永続化 ～ Part 4
- 31. プロセスがダウンした場合は？ • メモリー中のデータをディスクに永続化することも出来る • データファイルがあれば、プロセス起動に自動的にデータを読み取ってくれる 31 プロセス APP Spring Data for Apache Geode DAT 永続化するパターン 特定のメモリー中のデータを ディスクへ書き込み 全てのメモリーデータを永続化 メモリーにのらないものだけ永続化
- 32. ディスクへの永続化設定 • 永続化の設定は@EnableDiskStoreで指定する • 永続化の契機は、永続化パターン毎に別途設定する必要がある 32 @SpringBootApplication @PeerCacheApplication @EnableGemfireRepositories @EnableEntityDefinedRegions(basePackages = "example.geode") @EnableIndexing @EnableDiskStore( name = "GeodeDiskStore", autoCompact = true, compactionThreshold = 70, maxOplogSize = 512, diskDirectories = @DiskDiretory(location = "/absolute/path/to/geode/disk/files")) public class GeodeApplication { … }
- 33. データ永続化：全てのメモリーデータを永続化する場合 • serverRegionShortcutに永続化指定のあるタイプを選択する • 先に設定した@EnableDiskStoreの内容でデータを永続化してくれる 33 @SpringBootApplication @PeerCacheApplication @EnableGemfireRepositories @EnableEntityDefinedRegions( basePackages = "example.geode“, serverRegionShortcut = REPLICATE_PERSISTENT) @EnableIndexing @EnableDiskStore(name = "GeodeDiskStore", autoCompact = true, compactionThreshold = 70, maxOplogSize = 512, diskDirectories = @DiskDiretory( location = "/absolute/path/to/geode/disk/files")) public class GeodeApplication { … } PARTITION_PERSISTENT PARTITION_PERSISTENT_OVERFLOW PARTITION_REDUNDANT_PERSISTENT PARTITION_REDUNDANT_PERSISTENT _OVERFLOW REPLICATE_PERSISTENT REPLICATE_PERSISTENT_OVERFLOW 指定可能なserverRegionShortcut
- 34. データ永続化：メモリーにのらないものだけ永続化 • @EnableEvictionでメモリーからディスクにオーバーフローする際のポリシーを設定する 34 @SpringBootApplication @PeerCacheApplication @EnableGemfireRepositories @EnableEntityDefinedRegions( basePackages = "example.geode") @EnableIndexing @EnableDiskStore(name = "GeodeDiskStore", …) @EnableEviction(policies = { @EvictionPolicy(regionNames = { “User", "Order" }, maximum = 90, action = EvictionActionType.OVERFLOW_TO_DISK, type = EvictonPolicyType.HEAP_PERCENTAGE) }) public class GeodeApplication { … }
- 35. Spring Data for Apache Geodeでは どのようにアプリ開発を行うのか？ ～ 基礎編：トランザクション処理 ～ Part 5
- 36. Apache Geodeでトランザクション処理は本当に必要か？ • RDBのための設計から脱却することでトランザクションは不要となるケースがある • 本当にトランザクション処理が必要かを考える 36 注文番号 ユーザー名 住所 商品名 単価 数量 ・・・ 注文番号 ユーザーID 商品ID 数量 ・・・ ユーザーID ユーザー名 住所 ・・・ 商品ID 商品名 単価 ・・・ 正規化
- 37. RDBと同じようにトランザクション処理がでなくもない • 楽観ロックとなるため、競合が発生した場合は例外となる 37 CacheTransactionManager txManager = cache.getCacheTransactionManager(); try { // トランザクション開始 txManager.begin(); regionA.put("KEY", value1); regionB.put("KEY", value2); // コミット txManager.commit(); } catch (Exception e) { // ロールバック txManager.rollback(); throw e; } リージョンA リージョンB 成功 失敗 トランザクション リージョンAの処理も ロールバックできる Apache Geodeでのトランザクション処理
- 38. トランザクション処理はSpringのやり方に従う • RDBの場合と同様に@Transactionalを設定すれば良い • トランザクション処理を意識しなくても例外が発生した場合は自動的にロールバックされる 38 @Service public class UserService { @Autowired UserRepository userRepository; @Autowired OrderRepository orderRepository; @Transactional public void updateUser(User user, Order order) { userRepository.save(user); orderRepository.save(order); } } @Configuration @ImportResource("cache-config.xml") @EnableTransactionManagement public class ApplicationConfig { @Bean UserService userService() { return new userService(); } }
- 39. Spring Data for Apache Geodeでは どのようにアプリ開発を行うのか？ ～ 応用編：イベント処理 ～ Part 6
- 40. サービス間を疎結合にしたい • Apache Geodeなら非同期イベント処理が簡単にできる 40 注文 サービス 注文を 登録する 取引所へ 発注 注文受付 メール送信 注文 イベント 注文を 登録する 取引所へ 発注 注文受付 メール送信 オーケストレーション型のサービス Pub/Sub型でのサービス連携 （Apache Geode） Apache Geode
- 41. Apache GeodeはPub/SubもできるNoSQLデータベース • マイクロサービスではデータの変更イベントを基点にして複数のサービスを実行したい場合がある • Apache Geodeはデータを保持しつつ、非同期イベントをSubscriberへ配信する • Subscriberは事前に登録した条件に合致するイベントのみ取得する 41 JVM @CacheServerApplication 注文を 登録する Apache Geode 注文 イベント 取引所へ 発注 注文受付 メール送信 ・・・イベントは事前に登録し たもののみ取得される 取得対象 イベント登録 Subscriber JVM @ClientCacheApplication JVM @ClientCacheApplication JVM @ClientCacheApplication
- 42. JVM @CacheServerApplication JVM @ClientCacheApplication JVM @ClientCacheApplication JVM @ClientCacheApplication Continuous Query（1） • Continuous Queryを使うことで指定した条件でイベント処理ができる • Continuous QueryではOQLを登録しておき、結果が変更となった場合にイベントが取得 出来る 42 Apache Geode 注文 イベント 取引所へ 発注 注文受付 メール送信 ・・・ Subscriber SELECT * FROM /Order ord WHERE ord.productCd <> 'ABC' 特定銘柄の場合のみメール送信しない Continuous Query 全イベント 取得 注文を 登録する
- 43. Continuous Query（2） • 継続的クエリーを使う場合は@EnableContinousQueriesを設定して @ContinuousQueryにOQLを書く 43 @SpringBootApplication @ClientCacheApplication @EnableContinuousQueries public class GeodeApplication { ... } @Service class OrderService { @ContinuousQuery( name = “OrderChange”, query = “SELECT * FROM /Order WHERE …”) void orderChange(CqEvent event) { // 条件に合致した場合のイベント処理を実装 ... } }
- 44. Spring Data for Apache Geodeでは どのようにアプリ開発を行うのか？ ～ 超応用編：スケールアウトしやすい ～ Part 7
- 47. スケールアウトは単にノードを追加するだけ • 処理レイヤーとデータレイヤーを同時にスケールアウトするため、データ読み込みのみならず、書 き込みもスケールアウト可能 ・・・データベース ・・・ RDBの場合 Apache Geodeの場合 サービス 業務処理 キャッ シュ サービス 業務処理 キャッ シュ サービス 業務処理 キャッ シュ サービス 業務処理 Apache Geode サービス 業務処理 Apache Geode サービス 業務処理 Apache Geode スケール アウト 47
- 48. クラスターを組む場合はロケーターを指定 • コーディネーターの役割を持つロケーターを指定することでクラスターメンバーに入ることが出来る • ロケーターは組み込みモードで起動するか、gfshで別途起動する 48 @SpringBootApplication @PeerCacheApplication( name = “GeodeApplication", locators = "localhost[11235]") public class GeodeApplication { public static void main(String[] args) { … } @Configuration @EnableLocator static class LonerConfiguration { } } gfsh>start locator --name=MyLocator --port=11235 組み込みモードで起動する場合 gfshで単独プロセスとして起動する場合
- 49. TIPS：管理ツールの使用 • @EnableManagerを有効にすることで管理ツールであるgfshやPulseが使える 49 @SpringBootApplication @PeerCacheApplication() @EnableManager(start = true) public class GeodeApplication { … } gfsh pulse
- 50. スケールアウト：レプリケーション • スケールアウトするためにマスターデータはレプリケーションに設定する • 全プロセスに全データがあるので、データ読み取りにオーバーヘッドがない 50 レプリケーション（マスターデータ向き） ノードA ノードC ノードB ノードD データ A データ B データ C データ D データ A データ B データ C データ D データ A データ B データ C データ D データ A データ B データ C データ D 全ノードで 同一データを保持 @SpringBootApplication @PeerCacheApplication @EnableGemfireRepositories @EnableEntityDefinedRegions( basePackages = "example.app.domain“, serverRegionShortcut = REPLICATE) public class HogeApplication { … }
- 51. スケールアウト：パーティション • スケールアウトするためにトランザクションデータはパーティションに設定する • データが分散して保持されるため、大量データでもメモリーで管理できる 51 パーティション（トランザクションデータ向き） ノードA ノードC ノードB ノードD データ A データ C データ B データ D 複数ノードで データを分散保持 @SpringBootApplication @PeerCacheApplication @EnableGemfireRepositories @EnableEntityDefinedRegions( basePackages = "example.app.domain“, serverRegionShortcut = PARTITION_REDUNDANT) public class HogeApplication { … }
- 54. Spring Data for Apache Geodeサマリー Part 8
- 55. サマリー 55 Spring Data for Apache Geodeを使うことで 簡単に使えそう RDBのように検索やトランザクション処理も 出来なくはない マイクロサービスにも向いてそう おまけにスケールアウトが楽に出来る