Neo4j の「データ操作プログラミング」から「ビジュアライズ」まで

INTELLIGENCE, Ltd
©2012 INTELLIGENCE, Ltd. All Rights Reserved.
INTELLIGENCE, Ltd
©2012 INTELLIGENCE, Ltd. All Rights Reserved.
Neo4jの
「データ操作プログラミング」から
「ビジュアライズ」まで
2016.01.25
清田馨一郎

自己紹介
【名前】
清田馨一郎 (@seikei1874)
【所属】
キャリアDiv.
マーケティング企画統括部
データアナリティクス部
マーケティングテクノロジーグループ
【経歴】
2002年受託メインの会社に入社
PGから叩き上げでPMまで経験
大手企業の基幹システムからソーシャルゲーム開発まで幅広く経験
2014年4月からインテリジェンスへJOIN
部門内のKPI集計、見える化を進めるシステムの開発、運用を担当
石抱き

これから話す内容は、個人の見解であり、
所属する組織、団体の見解ではありません。
「At your own risk」でお願いします。
3 | 25-Jan-16 |

Neo4jの利用
サイト流入、回遊状況の集計
 一時的にNeo4jに格納し、集計を簡単にしている
サイト回遊状況の可視化
 まだ、実験段階
なぜ、Neo4jを利用したのか？
 遷移数が「不定」なので、RDBでは難易度が高いと思った
4 | 25-Jan-16 |

Rest API /
組み込み(Embedded) API
5 | 25-Jan-16 |

アーキテクチャ図
6 | 25-Jan-16 |
組み込みAPI REST API
JAVA
(もしくは、Scala、Groovy
などJAVA APIが利用できる
言語)
Neo4jサーバー
アプリケーション
プログラミング言語
REST API
クライアント
データファイル
Neo4j

REST APIと組み込みAPI
REST API
 Neo4jサーバを起動すれば、即利用可能
 REST APIなので、クライアンの言語、FWは問わない
 他サーバから呼べる
 HTTP通信、REST解析が行わるので、若干遅い
 基本は、こちらを利用する
組み込みAPI（EmbeddedAPI）
 JAVA API（JVMで動く言語から利用可）
 同じサーバからのみ
 Neo4jをデータストアとして利用し、大量、高速に処理したい
 ServerAPIを作成したい
7 | 25-Jan-16 |

集計できるまで
データ量
 1日分 120万件くらい（計測したい部分のみ）
 Mac Book Proで開発
最初
 Cypherで、CSVインポート
 丸一日でも終わらない
 1ページを1ノードとして作成したので、特定のノード間で、数万エッジと偏りが生じる
 終端ノードを取得する検索で、偏っていたエッジを全探索していた
ReTry（2回目）
 1PVを1ノードに変更
 13時間くらい
 終端ノードの検索が遅い
8 | 25-Jan-16 |

集計できるまで
 組み込みAPIを利用
 5時間くらい
 やはり、終端ノードを検索するクエリが遅い
 投入データの前処理で、ユーザ毎に時系列で並べ替える
 終端ノードの検索はしないで、追加した終端ノードを保持するように変更
 30分くらい
 更に並列処理化して、4,5分程度に収める
 最大で2億ノードくらいある状態でも実行したが処理速度は、それほど変わらなかった
9 | 25-Jan-16 |

Neo4j REST API
OGM(Object Graph Mapper)
 SDN4(Spring Data Neo4j)
http://projects.spring.io/spring-data-neo4j/
JavaのアプリケーションFWでは、一般的なSpringFrameworkのコンポーネント
OGMベース。GraphAwareの社員がフルコミットで開発している。
この社員はOGMのコミッターなので、Javaでの開発であれば、SDN4を選択すべき
GraphAware
 Neo4jに関することを主力とした英国のベンチャー
 Neo4j関連のOSSを多数公開している
http://graphaware.com/products/
 GraphAware Framework
https://github.com/graphaware/neo4j-framework/
10 | 25-Jan-16 |

Neo4j JDBC
 https://github.com/neo4j-contrib/neo4j-jdbc
JDBCドライバ経由で、REST APIと通信できる
アプリケーションでの利用は現実的で無く、
DBのビジュアルツールのドライバとして使用すべき
DataNucleus
 様々なDBのORMライブラリ群らしい
Py2Neo、neo4jPHPなど、様々な言語のFWがある
詳しくは、Neo4jデベロッパーサイト
 http://neo4j.com/developer/language-guides/
11 | 25-Jan-16 |

OGMのサンプルソース
12 | 25-Jan-16 |

OGM サンプル
src
└ main
├── java
│ └── jp
│ └── co
│ └── inte
│ ├── Neo4JOGMSample.java
│ ├── Neo4jSessionFactory.java
│ ├── domain
│ │ ├── nodes
│ │ │ ├── Movie.java
│ │ │ └── Person.java
│ │ └── relationships
│ │ ├── Acted.java
│ │ └── Directed.java
│ └── service
│ ├── GenericService.java
│ ├── PersonService.java
│ ├── Service.java
│ └── impl
│ └── PersonServiceImpl.java
└── resources
13 | 25-Jan-16 |

Neo4jOGMSample.java
14 | 25-Jan-16 |
/**
* 1956年生まれの俳優/女優の名前と、出演した映画のタイトルを出演します。
*/
public class Neo4JOGMSample {
public static void main(String... args) {
PersonService service = new PersonServiceImpl();
Iterable p = service.findByBorn(1956);
p.forEach(person -> {
System.out.print(person.getName());
// Personノードから「ACTED_IN」でリレーションシップされているMovieノードを取得
List acteds = person.getActed();
acteds.forEach( acted -> {
System.out.print(" : " + acted.getMovie().getTitle());
});
System.out.println();
});
}
}

Neo4jSessionFactory.java
15 | 25-Jan-16 |
import org.neo4j.ogm.session.Session;
import org.neo4j.ogm.session.SessionFactory;
public class Neo4jSessionFactory {
// Entityクラスがあるパッケージ名を渡す
private final static SessionFactory sessionFactory =
new SessionFactory("jp.co.inte.domain.nodes", "jp.co.inte.domain.relationships");
private static Neo4jSessionFactory factory = new Neo4jSessionFactory();
public static Neo4jSessionFactory getInstance() {
return factory;
}
private Neo4jSessionFactory() {
}
public Session getNeo4jSession() {
return sessionFactory.openSession("http://localhost:7474", "neo4j", "neo");
}
}

GenericService.java
16 | 25-Jan-16 |
public abstract class GenericService<T> implements Service<T> {
private static final int DEPTH_LIST = 0;
private static final int DEPTH_ENTITY = 2;
private Session session = Neo4jSessionFactory.getInstance().getNeo4jSession();
@Override
public Iterable<T> findAll() {
return session.loadAll(getEntityType(), DEPTH_LIST);
}
@Override
public T find(Long id) {
return session.load(getEntityType(), id, DEPTH_ENTITY);
}
public abstract Class<T> getEntityType();
}

PersonServiceImpl.java
17 | 25-Jan-16 |
public class PersonServiceImpl extends GenericService<Person> implements PersonService {
@Override
public Iterable<Person> findByBorn(int born) {
/**
* リレーションシップも返さないとNodeEntityクラスのRelationshipに値が入らないので注意
*/
String query = "MATCH (p:Person)-[a:ACTED_IN|DIRECTED]->() where p.born = {born} return p,a";
Session session = Neo4jSessionFactory.getInstance().getNeo4jSession();
Map<String, Integer> params = new HashMap<>();
params.put("born", born);
return session.query(getEntityType(), query, params);
}
@Override
public Class<Person> getEntityType() {
return Person.class;
}
}

ノードのドメイン
18 | 25-Jan-16 |
/*
* アノテーションでLABEL、ノードのプロパティ、リレーションシップタイプなどを指定します。
*/
@NodeEntity(label = "Movie")
public class Movie {
@GraphId
private Long id;
@Property(name = "title")
private String title;
@Property(name = "tagline")
private String tagline;
@Property(name = "released")
private Integer released;
@Relationship(type = "ACTED_IN", direction = "INCOMING")
private Person person;
/**
Getter、Setterは省略
**/
}

リレーションシップのドメイン
19 | 25-Jan-16 |
/*
* リレーションシップのエンティティでは、開始、終了ノードもアノテーションで指定できます。
*/
@RelationshipEntity(type = "ACTED_IN")
public class Acted {
@GraphId
private Long id;
@Property(name = "roles")
private List<String> roles;
@StartNode private Person person;
@EndNode private Movie movie;
/**
略
*/
}

Embedded API
サンプルソース
20 | 25-Jan-16 |

Embedded API
21 | 25-Jan-16 |
/**
* Neo4J起動
*/
GraphDatabaseService graphDatabaseService = new GraphDatabaseFactory()
.newEmbeddedDatabaseBuilder(Paths.get("").toFile())
.newGraphDatabase();
/**
* 実行中にNeo4j Shellで接続可能
*/
GraphDatabaseService graphDatabaseService = new GraphDatabaseFactory()
.newEmbeddedDatabaseBuilder(Paths.get("").toFile())
.setConfig(ShellSettings.remote_shell_enabled, "true")
.setConfig(ShellSettings.remote_shell_port, "5555")
.setConfig(ShellSettings.remote_shell_read_only, "true")
.newGraphDatabase();
// 終了
graphDatabaseService.shutdown();

22 | 25-Jan-16 |
/*
* Ctrl-Cなどの停止が発生した場合の処理
* Neo4Jへの接続を停止する。
*/
private static void registerShutdownHook(final GraphDatabaseService graphDatabaseService) {
Runtime.getRuntime().addShutdownHook(new Thread() {
@Override
public void run() {
graphDatabaseService.shutdown();
}
});
}
// 起動したNeo4jのインスタンスを渡す
registerShutdownHook(graphDatabaseService);

23 | 25-Jan-16 |
try (Transaction transaction = graphDatabaseService.beginTx()) {
// ノードの作成
Node startNode = graphDatabaseService.createNode(DynamicLabel.label("LABEL"));
Node endNode = graphDatabaseService.createNode(DynamicLabel.label("LABEL"));
// リレーションシップの作成
Relationship rel = startNode.createRelationshipTo(endNode, DynamicRelationshipType.withName("TYPE"));
// successs設定しないとプロパティを更新できない
transaction.success();
// プロパティの設定
startNode.setProperty("property", "value");
rel.setProperty("property", "value");
transaction.success();
}

24 | 25-Jan-16 |
for (Path path : traversal.traverse(node)) {
pages.add((String) path.endNode().getProperty("url"));
}
// トラバーサル
TraversalDescription traversal = graphDatabaseService.traversalDescription()
.relationships(DynamicRelationshipType.withName("TYPE"), Direction.OUTGOING)
.evaluator(path -> {
Node node = path.endNode();
// 特定のラベルを持っていなければ含まない
if (!node.hasLabel(DynamicLabel.label("LABEL"))) {
return Evaluation.EXCLUDE_AND_CONTINUE;
}
// 目的のプロパティを持っていたら、以降は枝切り
String url = (String) node.getProperty("url");
if (url.matches(".*HOGE.*")) {
return Evaluation.INCLUDE_AND_PRUNE;
}
return Evaluation.INCLUDE_AND_CONTINUE;
});

REST API
 Neo４Jサーバを起動すれば、即利用可能
 REST APIなので、クライアンの言語、FWは問わない
 他サーバから呼べる
 HTTP通信、REST解析が行わるので、若干遅い
 基本は、こちらを利用する
組み込みAPI（EmbeddedAPI）
 JAVA API（JVMで動く言語から利用可）
 同じサーバからのみ
 Neo4jをデータストアとして利用し、大量、高速に処理したい
 ServerAPIを作成したい
25 | 25-Jan-16 |

26 | 25-Jan-16 |
Server Plugin/
Unmanaged Extension

最初にまとめ
標準のREST APIとCypherの組み合わせで十分なことが多いが
パフォーマンスや、トラーバサルを細かく定義したい場合がある
Embedded APIを利用すればパフォーマンスの問題は解決できるが
Serverモードとの併用ができない
REST API経由でEmbedded APIが利用できるServer APIを自作する
Server APIは、「Server Plugin」「Unmanaged Extension」
「Unmanaged Extension」は、Neo4jの管轄外となる
 どのような影響があるが把握していないが、オフィシャルでは利用を推奨していない
「Unmanaged Extension」では、JSON以外で返せる
27 | 25-Jan-16 |

アーキテクチャ図
28 | 25-Jan-16 |
Neo4j サーバ
REST
クライア
ント
REST サーバ
(JAX-RS)
Neo4jのREST API
Unmanaged
Extension
Server Plugin
Embedded API データ
ファイル
HTTP
HTTP

Server Pluginの作成
Java。「org.neo4j.server.plugins.ServerPlugin」を継承する
継承先から渡される「GraphDatabaseService」を利用して処理する
ServerPluginから返せる値
 Node型
 Relationship型
 Path型
 Java プリミティブ型
 String型
 org.neo4j.server.rest.repr.Representation
ServiceLoaderなので、META-INF/services配下に
「org.neo4j.server.plugins.ServerPlugin」ファイルを作成し、
そのファイルにpluginにしたいクラスを記述する
$ cat src/main/resources/META-INF/services/org.neo4j.server.plugins.ServerPlugin
jp.co.inte.Sample
jarを作成して、${NEO4J_HOME}/pluginに配置する
29 | 25-Jan-16 |

30 | 25-Jan-16 |
import org.neo4j.graphdb.GraphDatabaseService;
import org.neo4j.graphdb.Result;
import org.neo4j.graphdb.Transaction;
import org.neo4j.server.plugins.Name;
import org.neo4j.server.plugins.PluginTarget;
import org.neo4j.server.plugins.ServerPlugin;
import org.neo4j.server.plugins.Source;
public class Sample extends ServerPlugin {
@Name("plugin_sample")
@PluginTarget(GraphDatabaseService.class)
public Long count(@Source GraphDatabaseService graphDb) {
Long count = 0L;
try(Transaction tx = graphDb.beginTx()) {
Result result = graphDb.execute("MATCH (n) return count(n) as cnt");
count = result.next();
count = (Long)ret.get("cnt");
}
return count;
}
}

31 | 25-Jan-16 |
$ curl http://localhost:7474/db/data/
{
"extensions" : {
"Sample" : {
"plugin_sample" : "http://localhost:7474/db/data/ext/Sample/graphdb/plugin_sample"
}
},
"node" : "http://localhost:7474/db/data/node", "node_index" :
"http://localhost:7474/db/data/index/node", "relationship_index" :
"http://localhost:7474/db/data/index/relationship", "extensions_info" :
"http://localhost:7474/db/data/ext", "relationship_types" :
"http://localhost:7474/db/data/relationship/types", "batch" :
"http://localhost:7474/db/data/batch", "cypher" : "http://localhost:7474/db/data/cypher",
"indexes" : "http://localhost:7474/db/data/schema/index", "constraints" :
"http://localhost:7474/db/data/schema/constraint", "transaction" :
"http://localhost:7474/db/data/transaction", "node_labels" :
"http://localhost:7474/db/data/labels", "neo4j_version" : "2.3.0"
}

Unmanaged Extensionの作成
32 | 25-Jan-16 |
package jp.co.inte;
import org.neo4j.graphdb.GraphDatabaseService;
import javax.ws.rs.*;
import javax.ws.rs.core.Context;
import javax.ws.rs.core.MediaType;
import javax.ws.rs.core.Response;
import java.nio.charset.Charset;
@Path("/helloworld")
public class UnmanagedPluginSample {
private final GraphDatabaseService graphDatabaseService;
public UnmanagedPluginSample(@Context GraphDatabaseService graphDatabaseService) {
this.graphDatabaseService = graphDatabaseService;
}
@GET
@Produces(MediaType.TEXT_PLAIN)
@Path("/{nodeId}")
public Response hello(@PathParam("nodeId") long nodeId) {
return Response.status(Response.Status.OK).entity(
("Hello World, nodeId=" + nodeId).getBytes( Charset.forName("UTF-8") )
).build();
}
}

Unmanaged Extensionの作成
「neo4j-server.properties」に呼び出したいExtensionを記述する
org.neo4j.server.thirdparty_jaxrs_classes=jp.co.inte=/sample/unmanage
この例では、パッケージ「jp.co.inte」にあるクラス群を
「/sample/unmanage」で呼ぶ定義。
サンプルコードのパスは「/sample/unmanage/helloworld」となる。
33 | 25-Jan-16 |

もう一度まとめ
標準のREST APIとCypherの組み合わせで十分なことが多いが
パフォーマンスや、トラーバサルを細かく定義したい場合がある
Embedded APIを利用すればパフォーマンスの問題は解決できるが
Serverモードとの併用ができない
REST API経由でEmbedded APIが利用できるServer APIを自作する
Server APIは、「Server Plugin」「Unmanaged Extension」
「Unmanaged Extension」は、Neo4jの管轄外となる
 どのような影響があるが把握していないが、オフィシャルでは利用を推奨していない
「Unmanaged Extension」では、JSON以外で返せる
34 | 25-Jan-16 |

ビジュアライゼーション
35 | 25-Jan-16 |

linkurious.js
https://github.com/Linkurious/linkurious.js
 フランスのベンチャーlinkurious(https://linkurio.us/)が提供している
Sigma.jsベースのJSライブラリ。
 REST API経由で、Cypherを実行してビジュアライズするJavaScriptが標準で用意
36 | 25-Jan-16 |

Gephi
https://gephi.wordpress.com/
 ネットワーク分析 GUIツール
 Neo4j Shell-toolsを利用すれば、Gephiで読み込めるデータ形式で出力可能
https://github.com/jexp/neo4j-shell-tools
37 | 25-Jan-16 |

Popoto.js
http://www.popotojs.com/
 d3.jsベースのJavaScriptライブラリ
 インタラクティブなデータ探索が可能
38 | 25-Jan-16 |

まとめ
まずは、REST API＋RESTフレームワークで検討しよう。
パフォーマンスがでなければ、Server Pluginを検討しよう。
Embeddedモードは最後の手段
 Neo4jをバッチ処理のみに使用するなら、Embeddedモード
ブラウザでビジュアライズしたければ、Linkrious.jsが良い
ネットワーク分析がしたければ、Gephi
39 | 25-Jan-16 |

お願い
知見、試してみた事の共有を是非！！
 GraphAware、DataNucleusの使い方
 ネットワーク分析
 Gephiの使い方
 Spark GraphXとNeo4jの関係性
– GraphXのデータストアにNeo4jが利用できる？
 複雑ネットワーク分析をNeo4jで。
– ネットワークの特徴量、類似性、伝播モデルなどなど
40 | 25-Jan-16 |

Neo4j の「データ操作プログラミング」から「ビジュアライズ」まで

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (8)

Similaire à Neo4j の「データ操作プログラミング」から「ビジュアライズ」まで

Similaire à Neo4j の「データ操作プログラミング」から「ビジュアライズ」まで (20)

Dernier

Dernier (7)