"Marsface Project: 火星および太陽系惑星群の擬似不自然構造物探索" at PyCon mini Sapporo http://sapporo.pycon.jp/2015/ Keywords Machine Learning, Object Recognition, Face Detection, Artificial Intelligence (AI) ディープラーニング, 深層学習, 機械学習, 画像認識, 物体認識, 顔認識, 人工知能

1. Hideki Tanaka PyCon mini Sapporo
Marsface Project
火星および太陽系惑星群の擬似不自然構造物探索
x

2. 初開催おめでとうございます！
[PyCon Sapporo]

3. 「Pythonの魅力をもっと多くの人に知ってほしい」
「札幌でもPythonを広めたい」
[PyCon Sapporo]

5. PyConは合コンではありません！
#pyconsap

6. @atelierhide

7. ?=@atelierhide

8. = Photographer@atelierhide

9. © Hideki Tanaka

10. © Hideki Tanaka

11. = Lens Designer@atelierhide

13. ハードウェア開発の現場で
人気の言語と言えば…

14. エクセル方眼紙！

16. = Pythonista@atelierhide

17. PyCon mini Sapporoという
イベントでゲストスピーカーを
探しておりまして…
@syachi

18. @syachi
PyCon JP 2014 に参加したのですが、
その時のセッションが
とても印象に残っており…

19. PyCon JP 2014
[PyCon JP 2014]

20. Hideki Tanaka PyCon JP 2014
Deep Learning for Image Recognition
in Python
x

21. 世界初！
人口知能によるアイドルグループ！

22. その名も…

23. JKC48

24. （じんこうちのう48）
JKC48

25. Deep Learningによる
アイドル顔の判定

26. JKC48がきっかけで
札幌に来ました…

27. = Organizer@atelierhide

29. http://pydatatokyo.connpass.com/
[PyData.Tokyo]
[PyCon JP 2014]

30. @PyDataTokyo Organizers
@iktakahiro@madyagi
@atelierhide@kaita

31. CodeZineで連載中！
[CodeZine]

32. ここからが本題…

33. Marsface Project とは？

34. 1976

35. NASAが撮影した火星の画像の中に
奇妙なものが発見された

36. [Face on Mars]

37. 2001

38. 火星の人面岩は光学的な錯覚
によるものと判明

39. [Face on Mars]

40. 本当に錯覚だったのか？

42. [Pareidolia]

43. Marsface Detector
Marsobject Detector Pseudo-artificial
Structures
Satellite
Images

44. @marsfaceproject

45. Image: CC BY: International Space Apps Challenge Tokyo on Flickr

46. International Space Apps Challenge
(https://2015.spaceappschallenge.org/)
[ISAC]
[ISAC]

47. 19,000枚以上の宇宙画像が使い放題！
(Supported by NASA)
[NASA/JPL]

48. 我々の計算資源
32 compute instances
10 TB of storage
1 billion storage transactions
10 shared websites/10 shared mobile services
100 million service bus messages
100 GB SQL database
2 TBs network egress/month
$40,000 相当の計算資源が1年間使い放題！
（Supported by Microsoft Azure Research Award Program）

49. Marsface Detector とは？

50. Marsface Detector
Marsobject Detector Pseudo-artificial
Structures
Satellite
Images

51. 先行研究: [Geoface Project]
Google Maps 上の人面構造物を探索
(Kazutaka Kurihara, EC 2010)

52. Haar-like 特徴を使った顔検出
[OpenCV]
OpenCV-Python bindings

53. [Face on Mars]

54. たくさんの誤検出

55. マーにとっての誤検出とは？

56. 面白くないもの

57. 面白さは定量化できるのか？

58. まだ出来ていないので…

59. Human Computation

60. Human Computation
（人力作業）

62. [LROC]

63. [LROC]

64. [LROC]

65. [LROC]

66. [LROC]
“Face on Moon South Pole”

67. [LROC]
3.0km
“Face on Moon South Pole”

68. [Wikipedia]
http://en.wikipedia.org/wiki/Face_on_Moon_South_Pole
[Wikipedia]

69. 宇宙旅行のお土産に！

70. 宇宙ガチャ！

71. http://make.dmm.com/item/116196/
[DMM]

72. Other Discoveries…
OpenCV or LibCCV (Surf-based detector)
+ Human Computation…

73. 人力作業はつらい

74. ならばどうする？

75. 謝礼を払ってやってもらう

76. https://www.upwork.com/
[Upwork]

77. 400枚の画像があります
顔を見つけてください
$5

78. インド在住のAさん

79. バングラデシュ在住のBさん

80. 世界中の英知を結集した結果
結構うまくいきました！

81. わかったこと
謝礼があってもつらいものはつらい…
(人は2-3時間で飽きる)

82. Google Sheets を使って
作業状況をリアルタイムで確認！

83. Marsobject Detector とは？

84. Marsface Detector
Marsobject Detector Pseudo-artificial
Structures
Satellite
Images

85. 科学技術計算でなぜ Python？

86. [SciPy]

87. [SciPy]

88. [SciPy]

89. Deep Learning
input output
hidden × n

90. [Kaggle]

91. Dog or Cat?

92. [Kaggle]

93. >96%
Accuracy
with Deep Learning

94. Accuracy: 98.5% with Deep Learning!!!
[Kaggle]

95. ImageNet Large Scale Visual Recognition Challenge 2012
Method
SuperVision
SuperVision
ISI
Team Name
Error
(5 guesses)
7 CNNs
5 CNNs
Fisher Vectors
15.3%
16.4%
26.2%
Image classification with 1000 categories

96. Convolutional Neural Networks (CNNs)
[SuperVision]
Input Convolutional Layers Fully
Connected
Output
Cat

97. Core
Language
Binding
Theano/Pylearn2
cuda-convnet
OverFeat
DeCAF
Caffe
Python
C++
Lua
Python
C++
-
Python
Python
-
Python
Pre-trained
Models
Framework
×
×
○
○
○
Deep Learning Frameworks
ImageNet

98. [Model Zoo]

99. Obj.
Tabby Cat
Tiger Cat
Egyptian Cat
Red Fox
Lynx
Scores
0.31
0.21
0.13
0.13
0.07
[Notebook]

100. Obj.
Orangutan
Chimpanzee
Car Mirror
Gorilla
Hippopotamus
Scores
0.23
0.10
0.07
0.04
0.03
[Cat & Dog]

101. [Selective Search]
Search over position,
scale, aspect ratio
Grouping parts of
image at different scales
Sliding Window Selective Search
Segmentation as Selective Search for Object Recognition

102. R-CNN
(Regions with Convolutional Neural Network Features)
Selective Search(MATLAB) + CNNs(C++)
[R-CNN]

103. “Happy Face Creator”

104. Lizard?

105. African Grey

106. Golf Ball…

108. [EC2014]

110. マーの紹介は以上ですが…

111. One more thing…

112. [PyCon JP]
[PyCon JP 2015]

113. セカイノカオ by チーム・カオ
Hideki Tanaka PyCon JP 2015x

114. [MOT]

115. © Hideki Tanaka

116. Pythonを使って面白いアイデアを
実現しよう！

117. ありがとうございました！

118. References
[PyCon Sapporo] http://sapporo.pycon.jp/2015/
[PyCon JP 2014] https://flic.kr/p/pdgj7S
[PyData.Tokyo] http://pydatatokyo.connpass.com/
[CodeZine] http://codezine.jp/article/detail/8315
[Face on Mars] http://en.wikipedia.org/wiki/Cydonia_%28region_of_Mars%29
[Pareidolia] https://en.wikipedia.org/wiki/Pareidolia
[ISAC] https://2015.spaceappschallenge.org/
[NASA/JPL] http://www.jpl.nasa.gov/spaceimages/
[Geoface Project] https://sites.google.com/site/geofaceproject/

119. References
[OpenCV] https://github.com/kylemcdonald/AppropriatingNewTechnologies/wiki/
Week-2
[LROC] http://target.lroc.asu.edu/q3/
[Wikipedia] http://en.wikipedia.org/wiki/Face_on_Moon_South_Pole
[DMM] http://make.dmm.com/item/116196/
[Upwork] https://www.upwork.com/
[SciPy] https://speakerdeck.com/jakevdp/the-state-of-the-stack-scipy-2015-keynote
[Kaggle] https://www.kaggle.com/c/dogs-vs-cats
[SuperVision] A. Krizhevsky, I. Sutskever, and G. Hinton. Imagenet classification
with deep convolutional neural networks. NIPS, 2012.

120. References
[Model Zoo] http://caffe.berkeleyvision.org/model_zoo.html
[Notebook] http://nbviewer.ipython.org/github/BVLC/caffe/blob/master/examples/
00-classification.ipynb
[Cat & Dog] http://netgeek.biz/archives/25449
[Selective Search] Jasper R. R. Uijlings, Koen E. A. van de Sande, Theo Gevers,
Arnold W. M. Smeulders. Selective Search for Object Recognition. IJCV, 2013.
[R-CNN] R. Girshick, J. Donahue, T. Darrell, and J. Malik. Rich feature hierarchies
for accurate object detection and semantic segmentation. CVPR, 2014.
[PyCon JP 2015] https://pycon.jp/2015/ja/
[MOT] http://www.mot-art-museum.jp/exhibition/whoseplaceisithis.html