Au programme : • introduction aux tests unittaires • lancer les tests : unittest de base, py.test, nose, pytest, etc. • tox pour lancer les test dans des virtualenvs • l'intégration continue avec python (jenkins, travis, etc.) • les tests en prod : healthchecks au cœur de l'application

1. Python Meetup octobre 2016
les tests en python

2. Introduction
Meetup Python Nantes - mai 2016
( ) Arthur Lutz Logilab @arthurlutz @logilab

3. Plan
introduction aux tests unittaires
lancer les tests : unittest de base, py.test, nose, pytest, etc.
tox pour lancer les test dans des virtualenvs
l'intégration continue avec python (jenkins, travis, etc.)
les tests en prod : healthchecks au cœur de l'application

5. introduction aux tests
unitaires
TDD - test driven developpement - dévelopement piloté par les
tests
test unitaire
passer des prints et vérification humaine à un point OK/not OK
documenter des exemples d'usage de son code
https://en.wikipedia.org/wiki/Test-driven_development
https://fr.wikipedia.org/wiki/Test_driven_development
https://fr.wikipedia.org/wiki/Test_unitaire

6. En python
module unittest
ne pas utiliser assert (assertTrue à la place)
https://docs.python.org/3.5/library/unittest.html
assertEqual(a, b)
assertNotEqual(a, b)
assertTrue(x)
assertFalse(x)

7. Écrire un test
classes héritant de unittest.TestCase
toutes les methodes commencant par test sont considérées
comme un test unittaire

8. Exemple (de la doc)
import unittest
class TestStringMethods(unittest.TestCase):
def test_upper(self):
self.assertEqual('foo'.upper(), 'FOO')
def test_isupper(self):
self.assertTrue('FOO'.isupper())
self.assertFalse('Foo'.isupper())
def test_split(self):
s = 'hello world'
self.assertEqual(s.split(), ['hello', 'world'])
# check that s.split fails when the separator is not a string
with self.assertRaises(TypeError):
s.split(2)
if __name__ == '__main__':
unittest.main()

9. Avant / après les tests
def setUp()
def tearDown()
setUpClass et tearDownClass
setup_method et teardown_method
setup_function et teardown_function
https://en.wikipedia.org/wiki/Test_fixture#Software

10. Extensions
couvertures de tests (pycoverage, python-coverage, etc.)
linters (pychecker, pylint, flake8, etc.)
doctests https://docs.python.org/2/library/doctest.html
https://en.wikipedia.org/wiki/Fuzz_testing

11. Mock
mock or not to mock (or where to mock?)
unittest.mock :
https://en.wikipedia.org/wiki/Mock_object
https://docs.python.org/3/library/unittest.mock.html
>>> from unittest.mock import MagicMock
>>> thing = ProductionClass()
>>> thing.method = MagicMock(return_value=3)
>>> thing.method(3, 4, 5, key='value')
3
>>> thing.method.assert_called_with(3, 4, 5, key='value')

12. Mock encore
decorator @patch
context manager with Patch...
quelques exemples d'assertions
assert_called_with
assert_called_once_with
assert_any_call
assert_has_calls
assert_not_called
reset_mock

13. Ne pas mocker
postgresql à la demande :
Python fixtures and daemon managing tools for functional testing:
http://faitout.fedorainfracloud.org/
https://github.com/jd/pifpaf

14. platform specific 1/2
django
cubicweb - populate DB
test with real live database
https://docs.djangoproject.com/en/1.10/topics/testing/
https://factoryboy.readthedocs.io/en/latest/
https://docs.cubicweb.org/book/devrepo/testing.html
https://docs.cubicweb.org/book/devrepo/testing.html#testing-
on-a-real-life-database

15. platform specific 2/2
salt
from salttesting import TestCase
infrastructure:
testinfra :
https://docs.saltstack.com/en/latest/topics/development/tests/unit.html
http://testinfra.readthedocs.io/en/latest/

16. Selenium
http://www.seleniumhq.org/
https://github.com/SeleniumHQ/selenium/tree/master/py
pip install selenium

17. Selenium exemple
import unittest
from selenium import webdriver
class AfpyTestCase(unittest.TestCase):
def setUp(self):
self.browser = webdriver.Firefox()
self.addCleanup(self.browser.quit)
def testPageTitle(self):
self.browser.get('http://nantes.afpy.org/')
self.assertIn('Python-Nantes', self.browser.title)
if __name__ == '__main__':
unittest.main(verbosity=2)

18. lancer les tests
unittest de base
unit2
pytest (logilab-common)
py.test (next pytest)
nose & nose2
etc
https://wiki.python.org/moin/PythonTestingToolsTaxonomy

19. unittest.main
En bas de chaque fichier python :
Pour le lancer :
if __name__ == '__main__':
unittest.main()
# python test_this.py

20. pytest (logilab-common)
historique
testlib - extension de unittest
pytest - lanceur de tests
selection tags avec des decorateurs (tags)
supprimé au profit de nouveaux projets

21. unit2
unittest2 est un backport python2 du nouveau unittest python3
unit2 == python -m unittest2
unit2 discover

22. py.test
py.test (bientôt pytest)
http://docs.pytest.org/en/latest/
$ pip install pytest

23. py.test
py.test
py.test -x : s'arrête à la première erreur
py.test --maxfail=3 : s'arrête au bout de 3 erreurs

24. py.test selection
py.test test_module.py
py.test test_mod.py::test_func
py.test test_mod.py::TestClass::test_method

25. py.test affichage
py.test --tb=long # the default informative traceback formatting
py.test --tb=native # the Python standard library formatting
py.test --tb=short # a shorter traceback format
py.test --tb=line # only one line per failure

26. py.test avancé
markers
fixtures
parametrisation
py.test --fixtures
plugins pip search pytest (ou apt-cache search pytest)
http://docs.pytest.org/en/latest/mark.html
http://docs.pytest.org/en/latest/fixture.html
http://docs.pytest.org/en/latest/parametrize.html

27. nose & nose2
Commandes :
nosetests
nose2
https://nose.readthedocs.io/en/latest/
https://github.com/nose-devs/nose2

28. tox pour lancer les test dans
des virtualenvs
https://tox.readthedocs.io/en/latest/
# content of: tox.ini , put in same dir as setup.py
[tox]
envlist = py26,py27
[testenv]
deps=pytest # install pytest in the venvs
commands=py.test # or 'nosetests' or ...

29. tox est amour
Slides :
Vidéo :
http://tox.jehaisleprintemps.net/#/
http://video-pyconfr2015.paulla.asso.fr/108_-
_Bruno_Bord_-_tox_est_amour.html

30. Accélerer tox : caches
server pypi local :
dans docker (avec apt-cacher-ng et squid)
http://doc.devpi.net/latest/
https://github.com/ebar0n/proxy-cache

31. L'intégration continue avec
python
(monopole avec github ?)
(tests sous windows)
etc.
hudson
jenkins
apycot
travis
bitbucket pipelines
drone.io
appveyor

32. Jenkins
Python Plugin :
Shining Panda :
https://wiki.jenkins-
ci.org/display/JENKINS/Python+Plugin
https://wiki.jenkins-
ci.org/display/JENKINS/ShiningPanda+Plugin

33. Matrix Project
Matrix Project pour plusieurs environnements :
jenkins-job-builder (description de vos projets en YAML) :
https://wiki.jenkins-ci.org/display/JENKINS/Matrix+Project+Plugin
http://docs.openstack.org/infra/jenkins-job-
builder/project_matrix.html

34. Junit / xUnit
fichiers XML de description des tests réussis ou non
il existe aussi des formats xml pour la couverture de tests
(Corbetura, etc.)
https://en.wikipedia.org/wiki/XUnit

35. Quand lancer les tests ?
Sur chaque pull request ?
sur chaque tête
avant un push ? avant un commit ?
sur l'ensemble ?
sur quel sous-ensemble ?

36. les tests en prod :
healthchecks au cœur de
l'application

37. Inspirations
pyconfr 2015 : Benoit Bryon, Peopledoc
Kelsey Hightower - healthz: Stop reverse engineering applications
and start monitoring from the inside
Vidéo :
Code :
https://blog.notmyidea.org/pyconfr-2015-hospital-des-tests-en-
prod.html
https://vimeo.com/173610242
https://github.com/kelseyhightower/app-healthz

38. healthchecks - principe
lancer des tests directement au coeur de l'application en
production
complément de la supervision traditionnelle
permet de différentier entre "le process tourne" et
"le service répond"
particulièrement utile pour le déploiement continue et la
répartission de charge dynamique

39. healthchecks en python
https://github.com/python-hospital/hospital
https://github.com/danielfrg/django-hospital
https://github.com/healthchecks/healthchecks
https://github.com/ludia/pyramid_health

40. Fin
Des questions ?
Des ajouts ?
Présentation :
Contact :
http://slides.logilab.fr/2016/meetup_python_nantes_tests/
@arthurlutz @logilab