Le document fournit un guide technique sur l'utilisation de divers modules Python pour le crawling et le scraping web, notamment des outils comme 'whois', 'requests', et 'BeautifulSoup'. Il détaille les étapes à suivre, y compris l'analyse des fichiers robots.txt, l'utilisation de regex pour le traitement de modèles, et les méthodes pour contourner des obstacles comme les CAPTCHA. Enfin, il mentionne des solutions pour le rendu JavaScript et l'automatisation du navigateur.

1. =>
Half hour of code:
Joe @ Taichun.py 2016.01.09

2. • PyConTW
HoC
•
•
• …

3. •
• HTTP / HTML / CSS / JS python
•
• DEMO
•

4. Crawler

5. CRAWLER

6. Crawler
•
• JS
•
• JS
•
• JS
•
• JS
•
• BUG
•
•
HoC

7. Crawler
•
• JS
•
• JS
•
• JS
•
• JS
•
• BUG
•
•

8. Crawler
•
• JS
•
• JS
•
• JS
•
• JS
•
• BUG
•
•

9. C 299
#
# …

10. =>
@

11. STEP 1:
• 1.1
• whois
•
• Python whois module
• online service
• cmd tools

12. STEP 1:
• 1.2
• robot.txt sitemap.xml
• ….
•
• HTTP GET
• Python robotparser module parse
•

13. STEP 1:
• 1.3
•
•
• Python builtwith module
• Browser

14. STEP 1:
• 1.4 (optional)
•
•
• google: Kali Linux

15. STEP 2:
• 2.0
• XD
• HoC
•
• Python requests module
• curl … httpie
• API

16. STEP 3:
•
•
• pattern …
• regular expression
• Python re module regex101
•
•

18. STEP 3:
•
•
• BeautifulSoup lxml parse
• HoC
• BeautifulSoup parser: html.parser / lxml / lxml-
xml / html5lib
•
• parser

20. STEP 3:
•
• BJ4
• http -b www.google.com | hxnormalize -x
| hxselect -c 'title'

22. STEP 3:
•
•
• scrapely “train / learn”
• scrapy =>
• scapy =>
•
•

23. … train http lib

24. •
• HTTP
• parse

25. =>
@

26. STEP 1:
•
•
• View Source Code vs Element View (chrome)

27. STEP 2:
• python
pyquery

28. – JS render

29. STEP 2 :
•
•
• javascript implement
•
• JS render
• WebView
•
• headless

30. STEP 2 :
• JS render
• WebView
• Python Binding
• PyQt or PySide … ( )
•
• Selenium Python
• headless
• Phantomjs( Casperjs) Slimerjs …

31. •
•
•
…
• solution

32. CAPTCHA
=>
@

33. •
• img alt
• OCR
• pytesseract or pytesser
• xx learning + ….
• XD captcha
•

34. IP
=>
@

35. • proxy
• Python

36. DER
=>
@

37. • python threading /
multiprocessing coroutine module
• browser automation
• cookies handoff

38. BLOCK
@
@
IE ONLY
@
SPIDERTRAP
@
HEADLESS MODE JS EVENT

39. • crawler
•
• scrapy

40. XD
<=

41. =>
@

43. 1/24 14:00
GLIACLOUD DAVID
X

44. •
• K-12
• /
• /
• /
•
• GAE (python)
• backbone.js / react.js
• AWS
• SCRUM