続・本当にあった怖い話クローラ編

続・本当にあった怖い話
- クローラ編 -
Yukino Ikegami
2016/10/22 PyLadies Tokyo 2nd anniversary

自己紹介
 名前: 池上有希乃
 Python歴: 6年
 IO株式会社でみんなの顔文字キーボード
作ってます！

背景
 機械学習でWebページのカテゴリを推定したい
 まずは学習用のデータ集めから
 某検索APIを使ってWebページをtxt形式で収集する
クローラを作って動かした
 Pythonで100行くらいの簡単な使い捨てクローラ
 時間がかかるので回したまま退社

出社したら
 会社のMacにログインできない！？
 パスワード忘れたのかと何回やってもだめ
 どういうこと！？

なんとトロイが！
 収集したサイトのうち1つにトロイの木馬が仕込ん
であった！
 アンチウイルスソフトが反応して情シス部門が
アカウントをロックしたらしい
 しかもアダルトサイトだったので二重につらい……

反省点
 クロールしたデータはそのままじゃなくてDBに保
存するべきだった
 JavaScriptの部分を削るか本文抽出してから保
存するべきだった

まとめ
 雑なクローラを回して迷惑をかけてしまった
 使い捨てだからといって手を抜かない
 検索APIを過信しすぎない

Recommandé