1. 2021年12月15日
MRS-J招待講演
汎用ニューラルネットワークポテンシャル
「PFP」による材料探索
入口 広紀1)
, 矢山 由洋2)
, 渡邊 卓2)
, 浅野 裕介1)
, 品川 幾3)
, 高本 聡3)
1)
（株）Preferred Computational Chemistry
2)
ENEOS（株）中央技術研究所
3)
（株）Preferred Networks
1

2. ● Introduction
- Materials InformaticsにおけるDFT計算の重要性
- DFT計算の課題
● Method
- Neural Network Potential
- NN構造の変遷（ANI-1, CGCNN etc.）
- 教師データ作成の課題
- Our NNP (PFP) の特徴
● Examples of PFP
- Bulk : BaTiO3
の相転移
- Bulk : LGPS固体電解質のLi拡散
- Adsorption : MOF空孔のH2
O吸着
- Reaction : FT反応触媒の金属種探索
● Summary
Contents
2

3. 化学 x AI で材料設計 → Materials Informatics
マテリアルズ・インフォマティクス（MI）
・ 材料開発に機械学習やAIを用いて 膨大な候補物質から有望材料を見出す技術
・ 研究者の経験や勘に頼る従来の手法から加速できる
・ 近年 各国でMI技術を使った材料開発が活発化
世の中の取組状況
材料探索の加速
MI活用
バーチャル実験
シミュレータ
～10回/月
実験
～10回/月
従来
数千回/月
米国 2011年 Materials Genome
Initiative（MGI）立上げ
低コスト・高速の材料開発を目指す
欧州 2015年 Novel Material Discovery
Laboratory（NOMAD）設立
中国 2015年 中国科学院・中国工学院が
連携して中国版MGIに着手
日本 2014年ごろから国家プロジェクト増加
（内閣府、文科省、経産省）
企業 素材メーカを中心に、単独あるいは
IT企業と連携しての取組みが増加
開発に時間がかかる
3

4. 一般的なMaterials Informatics
データ
ベース
AI・機械学習
モデル
計算
候補材料
X
特長
・理屈が分からなくてもモデルを作れる
課題
・学習外の物質の予測が困難
・広範囲・膨大なデータが必要
・データ収集コスト
4

5. 一般的なMaterials Informatics
データ
ベース
AI・機械学習
モデル
計算
候補材料
X
特長
・理屈が分からなくてもモデルを作れる
課題
・学習外の物質の予測が困難
・広範囲・膨大なデータが必要
・データ収集コスト
5

6. 計算化学手法（DFT）の重要性
● DFT計算が活用されている論文数は増加傾向
● 公開論文でDFT計算が活用されている割合は近年顕著に増加
#
of
literatures
w/
DFT
ratio
(%)
by Google Scholar
6

7. DFT計算 x 機械学習の事例
7
[1] Gómez-Bombarelli, R., Aguilera-Iparraguirre, J., Hirzel, T. et al., Nature Mater 15, 1120–1127 (2016).
[2] Zhong, M., Tran, K., Min, Y. et al., Nature 581, 178–183 (2020).
● CO2
還元触媒の探索 [2]
● 有機EL材料の探索 [1]
✓ 文献から候補抽出
→DFT理論予測
→実験候補の抽出
✓ コスト軽減のためDFT算出
の物性値推算モデルを構築
✓ t-SNEで吸着構造を分類することで
理想的な触媒組成・反応機構の考察
✓ 合計23万ものCu系触媒表面CO2
吸着
構造を計算・解析

8. ● DFTでは物質の電子密度を計算
→ 行列方程式を自己無頓着に解くため莫大な演算数をこなす
DFT (Density Functional Theory)の課題
→ 高速化をしたい
DFT計算は計算コストが高いことが課題
● ex. 一般的な計算機を使った場合、
- 固体触媒上での反応計算（100原子程度）：約２週間
- Liイオンの拡散計算（50原子程度）：約１カ月
8

9. 高速かつ良精度とされる計算化学手法
DFTB法 ReaxFF
ハミルトニアンの積分項をパラメータ化することで
DFTよりも高速
分子動力学法ベースの手法のためDFTよりも高速
[3] S. Manzhos, G. Giorgi, and K. Yamashita, Molecules 20, 3371 (2015). [4] K. Nishikawa, H. Akiyama, K. Yagishita, and H. Washizu, Jurnal Tribologi 21 63 (2019).
×公開パラメータの対応原子が限られる
×パラメータの作成・フィッティングが必要
×公開パラメータの対応原子が限られる
×パラメータの作成・フィッティングが必要
強束縛近似を用いたKSハミルトニアンの簡略化
ex. アモルファスTiO2
表面の酢酸吸着[3]
電荷・結合パラメータを加えた古典分子動力学法
ex. Cu/Cu2
O表面のベンゾトリアゾール分子吸着[4]
9

10. ここまでのまとめ
DFT計算 機械学習技術 Neural Network Potential
10
✓ Materials Informaticsが提唱され久しく、様々な事例が発表された
✓ 未知の材料領域へアプローチするために計算化学アプローチ（DFT）が注目されるが計
算コストが課題
✓ DFTに近い精度で高速計算するアプローチは汎用性に課題

11. 一般的なMaterials Informatics
データ
ベース
AI・機械学習
モデル
計算
候補材料
X
特長
・理屈が分からなくてもモデルを作れる
課題
・学習外の物質の予測が困難
・広範囲・膨大なデータが必要
・データ収集コスト
DFT x AI
高速化
11

12. Neural Network Potential (NNP)とは
原子座標 エネルギー、力
原子座標からエネルギー・力を求める際にDFTで行っていた複雑な電子状態
計算が不要
→ 原子座標を入力すれば瞬時にエネルギー、力を算出することができる技術
12
O
H
H
Neural Network

13. DFT計算を高速化する技術：Neural Network Potential
[5] J. S. Smith, O. Isayev, and A. E. Roitberg, Chem. Sci. 8, 3192 (2017).
メリット：高速
•量子化学計算手法(DFT)と比べ
圧倒的に高速
デメリット：
•精度面 ― 精度の評価が難しい
•教師データ取得が必要
–学習するためのデータ収集として、結局DFT計算が必要
–取得したデータの周辺しか予測できない
13

14. Neural Network Potential の進展
14
Graph NN
NN architecture
NNP Tutorial review (by Behler)
Constructing high‐dimensional neural network potentials: A tutorial review
ANI-1
ANI-1: an extensible neural network potential with
DFT accuracy at force field computational cost
ANI-1 Dataset
A data set of 20 million calculated off-equilibrium
conformations for organic molecules
ANI-1x
Less is more: sampling chemical space with active
learning
ANI-1ccx
Outsmarting Quantum Chemistry Through Transfer
Learning
SchNet
SchNet: A continuous-filter
convolutional neural network for
modeling quantum interactions
CGCNN
Crystal Graph Convolutional Neural
Networks for an Accurate and Interpretable
Prediction of Material Properties
2017
2015
2018
Dataset for NNP
2020
ANI-2x
Extending the Applicability of the ANI Deep
Learning Molecular Potential to Sulfur and
Halogens
MegNet
Graph Networks as a Universal Machine
Learning Framework for Molecules and
Crystals
Behler-Parrinello NN
OC20 Dataset
An Introduction to Electrocatalyst Design using
Machine Learning for Renewable Energy Storage

15. 原子座標をどう表現するのか：Behler-Parrinello Symmetry function
AEV: Atomic Environment Vector
対象とする原子の周辺環境を
数値化・ベクトル化
Rc：カットオフ半径
[6] J. Behler, International Journal of Quantum Chemistry 115,
1032 (2015).
1. radial symmetry functions：2体関係(距離)の表現 (G1
, G2
)
中心原子 i から半径 Rc 周辺までに
どのくらいの数の原子が存在するか
2. angular symmetry functions：3体関係(角度)の表現 (G3
, G4
)
中心原子 i から半径 Rc 周辺までに
どういった位置関係(角度)で原子 j, kが存在しているか
15

16. Behler-Parrinello系NNPの例：ANI-1[5]
16
ANI-1は各原子ごとにNNを構築
● 既往手法（semi-empirical, DFTB）と比べてDFTを最も良く再現している
● Heavy atom > 8 の系でも精度良くDFTを再現出来ている
● より多くの元素へ拡張するための課題
- 元素種ごとに別々にNeural Networkを用意する必要
- 入力次元が元素種組み合わせN2
に比例して増加
（教師データ必要数も増加）
[5] J. S. Smith, O. Isayev, and A. E. Roitberg, Chem. Sci. 8, 3192 (2017).

17. Graph Neural Network
17
● Graph Neural Network：グラフを入力でき、データの “つながり” の情報を学習
● グラフとは：頂点(node) x と辺(edge) e で構成
- Social Network（SNSの結びつきグラフ）、Citation Network（論文の引用を示
すグラフ）
- 商品Network（同時購入された商品を結ぶグラフ）
- Protein-Protein Association Network
- 有機分子 etc…

18. Graph Convolution Neural Network
18
• 画像の畳み込みに似た “グラフ畳み込み” 🡪 Graph Convolution を考えることで実現
画像分類
class label
物性値
Chemical property
CNN: Image Convolution
GNN: Graph Convolution

19. GNNを用いたNNPの例
• CGCNN[7]：周期境界条件のある系に対するグラフ構築方法を提案
• MEGNet[8]：孤立系（分子）・周期境界条件（固体）双方へのGNN適用を報告
[7] T. Xie and J. C. Grossman, Phys. Rev. Lett. 120, 145301 (2018). [8] C. Chen, W. Ye, Y. Zuo, C. Zheng, and S. P. Ong, Chem. Mater. 31, 3564 (2019).
19

20. ANI-1 Dataset：NNP構築に必要なデータ収集方法
20
[9] J. S. Smith, O. Isayev, and A. E. Roitberg, Sci. Data 4:170193 (2017).
• GDB-11データベース(最大11個のC, N, O, Fが含まれる分子を列挙)
のSubsetを使用
– C, N, Oのみに制限
– Heavy Atom は最大8個
• Normal Mode Sampling (NMS)で
一つの分子から多数の座標
conformationを生成
• 合計2200万データを取得
rdkitの
MMFF94
Gaussian09の
default method

21. DFT計算の公開DBは特定の系に注目したものになってしまう
→汎用性を目指すためには独自dataset作成が必要
教師データ
表面系
https://opencatalystproject.org/
https://materialsproject.org/
http://aflowlib.org/
https://pubchem.ncbi.nlm.nih.gov/
http://pubchemqc.riken.jp/
結晶系
分子系
QM9 [10]
[10] R. Ramakrishnan, P. O. Dral, M. Rupp,
and O. A. von Lilienfeld, Scientific Data 1,
140022 (2014).
21

22. 汎用なNeural Network Potential
教師データ
Neural Network
Architecture
[11] S. Takamoto et al., arXiv:2106.14583
様々な化学状態（結晶・分子・界面）を計算するために…
● 結晶構造、クラスター構造、表面構造、吸着構造、disordered構造等のDFT計算データを
独自に収集することが必要
● Neural Network の形状はGNNを採用
22

23. 第一原理計算結果 数千万を教師データ、独自に設計したGraph Neural Networkで学習モデルを構築
Our Neural Network Potential：PFPの概要
教師データ（数千万）
分子・結晶等様々な構造の第一原理計算結果
GNN
エネルギー
Matlantis予測値
学習・出力
エネルギー
DFT（教師データ）
Ex. molecule
Ex. cluster
Ex. slab
Ex. crystal
Ex. adsorption
Ex. disordered
23
TeaNet[12]をベースとして改良したNNを構築
RMSE < 0.05 eV/atom
MAE < 0.02 eV/atom
の高精度を達成
・TeaNetは内部で、スカラー・ベクトル・テンソル
それぞれの特徴量を更新しながら計算を進めていく
GNN
・PFPではエネルギー局面が滑らかになるように各種
チューニングを実施
[12] S. Takamoto, S. Izumi, and J. Li, arXiv:1912.01398

24. 約10万倍
高速
Our Neural Network Potential：PFPの性能
第一原理計算
Matlantis
2ヶ月
（外挿値）
0.3秒
0.1秒
2時間
第一
原理
計算
原子数
第一原
理計算
第一原理計算と比較し圧倒的高速
約2千万倍
高速
第一原理計算条件
・solver = QUANTUM ESPRESSO (PWscf)
・ver：6.4.1
・PP：Pt.pbe-n-kjpaw_psl.1.0.0.UPF
・Ecutoff：40 Ry (≒544 eV)
・Xeon Gold 6254 3.1GHz x 2 (36 cores)
・RAM：384 GB
Fcc Ptバルク構造一点計算時間
55元素に対応
Our NNP対応元素周期表
24

25. PFP計算事例紹介
25

26. BaTiO3
は約130℃において正方晶（Tetragonal）から立方晶（Cubic）へ相転移し誘電特性が変化することが
知られている[13]
→現象を再現するためには電子状態を適切に取り扱えるモデルであることが重要
【実施】BaTiO3
正方晶構造を初期構造としてMatlantis(PFP)でMD計算。温度ごとの格子定数変化を取得。
BaTiO3
結晶の相転移解析事例
26
PFP計算条件
原子数 320 (4x4x4 supercell)
MD 0.1 ns (1 x 105
steps)
Ensemble NPT (Berendsen)
Temperature 300 ~ 600 K
[13] Smith et al., J. Am. Chem. Soc., 130, 6955-6963 (2008)
Tetragonal
Cubic
400 K付近の
BaTiO3
相転移
を再現

27. LiBに関する計算事例 : イオン拡散
https://www.kek.jp/ja/newsroom/2016/06/22/1833/
Li10
GeP2
S12
系固体電解質は高イオン伝導度を示す結晶
構造としてよく知られており、次世代電池材料として
注目を集める。
既報データも多く[14,15]、PFPで再現検討を実施。
計算条件
原子数 50
MD 1 ns (2x106
steps)
Ensemble NVT (Langevin)
実行時間 46 h
平均二乗距離@523K 拡散係数
活性化Energy（meV）
PFP DFT[14] Exp[15]
230 210 242
[14] Mo et al. Chem.Mater. (2012) 24, 15-17
[15] Y. Kato, et. al. Nat. Energy 1, 16030.
• DFTおよび実験結果をよく再現
• 高速な計算により低温領域まで計算可能
https://matlantis.com/ja/cases/calculation004/
DFT[14]
PFP
27

28. 【PFP】 64.4 [kJ/mol]
【DFT[16]】 61.0 [kJ/mol]
多孔質材に関する計算事例 : MOF
28
[16] F. Bonino, et. al., Chem. Mater. 20, 4957 (2008).
https://matlantis.com/ja/cases/calculation002/
ゼオライトに代表されるようなナノサイズの微小細孔を持つ材料は
吸着材、分離膜、触媒材料として幅広い分野で利用されている。
【実施】 近年注目を集めるMetal-organic
frameworks（MOFs）への水分子吸着
エネルギーを計算
ΔE = 1/n (Eads
- EMOF
- nEH2O
)
MOF-74Niの構造
左：水分子吸着なし、右：水分子吸着あり
原子数：162 原子数：216

29. 石油合成触媒探索 Fischer-Tropsch process
Co+V触媒上でのC-O解離反応
Co触媒の一部元素置換による活性化エネルギー変化
（Coのみの基準を1.0）
良
1.0
0.0
0.8
0.6
0.4
0.2
メタン化反応
活性化エネルギー比較
DFT[18] vs. PFP
29
● Fischer-Tropsch機構の律速過程CO解離反応を促進する高性能触媒
組成を探索
● およそ9,300回の反応経路解析（ NEB）スクリーニングを実施
● Co/V系で活性化エネルギーの低減を確認
→実験事実[17]と合致
[17] K. Shimura, T. Miyazawa, T. Hanaoka, and S. Hirata, Applied Catalysis A: General 494, 1 (2015).
[18] B. Zijlstra, et al., Catalysis Today 342, 131 (2020).

30. ● 汎用的に扱えるDFT高速化手法としてPreFerred Potentialを開発
● 同一学習モデルで分子・結晶・界面をDFTと同等の精度でシミュレーションが
可能になった
● 従来のDFTでは計算コストの都合で回避されてきた「大規模スクリーニング」
「大規模原子系」のシミュレーションが現実的なものになった
まとめ
30
PFPはPFCCよりクラウドサービス“Matlantis”として提供中

31. 31