此為我在 Taichun.py 2016.01.09 聚會分享的投影片： http://www.meetup.com/Taichung-Python-Meetup/events/227386858/

1. =>
Half hour of code:
Joe @ Taichun.py 2016.01.09

2. • PyConTW
HoC
•
•
• …

3. •
• HTTP / HTML / CSS / JS python
•
• DEMO
•

4. Crawler

5. CRAWLER

6. Crawler
•
• JS
•
• JS
•
• JS
•
• JS
•
• BUG
•
•
HoC

7. Crawler
•
• JS
•
• JS
•
• JS
•
• JS
•
• BUG
•
•

8. Crawler
•
• JS
•
• JS
•
• JS
•
• JS
•
• BUG
•
•

9. C 299
#
# …

10. =>
@

11. STEP 1:
• 1.1
• whois
•
• Python whois module
• online service
• cmd tools

12. STEP 1:
• 1.2
• robot.txt sitemap.xml
• ….
•
• HTTP GET
• Python robotparser module parse
•

13. STEP 1:
• 1.3
•
•
• Python builtwith module
• Browser

14. STEP 1:
• 1.4 (optional)
•
•
• google: Kali Linux

15. STEP 2:
• 2.0
• XD
• HoC
•
• Python requests module
• curl … httpie
• API

16. STEP 3:
•
•
• pattern …
• regular expression
• Python re module regex101
•
•

18. STEP 3:
•
•
• BeautifulSoup lxml parse
• HoC
• BeautifulSoup parser: html.parser / lxml / lxml-
xml / html5lib
•
• parser

20. STEP 3:
•
• BJ4
• http -b www.google.com | hxnormalize -x
| hxselect -c 'title'

22. STEP 3:
•
•
• scrapely “train / learn”
• scrapy =>
• scapy =>
•
•

23. … train http lib

24. •
• HTTP
• parse

25. =>
@

26. STEP 1:
•
•
• View Source Code vs Element View (chrome)

27. STEP 2:
• python
pyquery

28. – JS render

29. STEP 2 :
•
•
• javascript implement
•
• JS render
• WebView
•
• headless

30. STEP 2 :
• JS render
• WebView
• Python Binding
• PyQt or PySide … ( )
•
• Selenium Python
• headless
• Phantomjs( Casperjs) Slimerjs …

31. •
•
•
…
• solution

32. CAPTCHA
=>
@

33. •
• img alt
• OCR
• pytesseract or pytesser
• xx learning + ….
• XD captcha
•

34. IP
=>
@

35. • proxy
• Python

36. DER
=>
@

37. • python threading /
multiprocessing coroutine module
• browser automation
• cookies handoff

38. BLOCK
@
@
IE ONLY
@
SPIDERTRAP
@
HEADLESS MODE JS EVENT

39. • crawler
•
• scrapy

40. XD
<=

41. =>
@

43. 1/24 14:00
GLIACLOUD DAVID
X

44. •
• K-12
• /
• /
• /
•
• GAE (python)
• backbone.js / react.js
• AWS
• SCRUM