A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, DevTools Event, 2017.06.12.)

Nagy Gáspár
coach • trainer • bdd addict • creator of specflow
@gasparnagy • gaspar@specsolutions.eu
A tesztelés szerepe folyamatos kihelyezést
használó projektekben
Microsoft, DevTools Event • 2017. 06. 12.

Copyright © Gaspar NagyCopyright © Gaspar Nagy
Témák
• Mi is az a folyamatos kihelyezés?
• Mit jelent a minőség?
• Hogyan lehet a minőség biztosítását támogatni Visual Studio 2017 környezettel?

A te csapatod kihelyez
folyamatosan?

Folyamatos integráció
(Continuous Integration, CI)
Folyamatos szállítás
(Continuous Delivery, CD)
Folyamatos kihelyezés
(Continuous Deployment, CD)
„éles”

Folyamatos integráció
(Continuous Integration, CI)
Biztosítja hogy a független feljesztések jól működő egységet alkossanak
• Fájl-szintű konfliktusok feloldása
• Fordíthatóság, kódépítés (build)
• Unit tesztek
• ...

Folyamatos szállítás
(Continuous Delivery, CD)
Biztosítja hogy az alkalmazás folyamatosan potenciálisan telepíthető/kihelyezhető
állapotban legyen (a kihelyezés manuális folyamat/döntés)
• CI +
• Telepíthetőség (Deployment)
• Automatizált elfogadási tesztek
(Acceptance Tests)
• ...

Folyamatos kihelyezés
(Continuous Deployment, CD)
Biztosítja hogy az alkalmazás folyamatosan aktuális legyen
• CD +
• Teljesen* automatizált ellenőrzés
• Automatizált nem-funkcionális tesztek
• ...
• Megfelelő környezet (pl. SaaS)
• Magabiztosság
„éles”

Lehet mindent automatizálni?

Teljesen* automatizált ellenőrzés a CD-ben
• Nem feltétlenül az a cél, hogy mindent automatizáljunk
• Vannak területek, ahol ez nehezen lehetséges, pl. Usability
• A cél az hogy az automatizált tesztek elég magabiztosságot biztosítsanak a
kihelyezéshez
• A manuális tesztelés folyamatosan dolgozik, és a felmerülő hibákat gyorsan lehet
javítani és a javított változatot kihelyezni

A folyamatos kihelyezés egy stratégia

Mit jelent a minőség?

A minőség a Maslow-piramis alapján (Adzic)
Forrás: https://gojko.net/2012/05/08/redefining-software-quality/

Minőségi kritériumok egy felosztása
Funkcionális
• Megfelelően
működik
• Megfelelőek az
elvárások
• Dokumentáltak
az elvárások
Használhatósági
• Biztonságos
• Gyors
• Kényelmes
• Szép
Stratégiai
• Architektúra
• Kód minőség
• Integrálhatóság
• Flexibilitás

A SpecFlow, nyílt forráskódú eszközzel
BDD = Behavior Driven Development (Viselkedés-alapú
szoftverfejlesztés)
Demo: BDD-stílusú funkcionális
tesztek

Funkcionális tesztelés Visual Studio 2017
környezetben
• Funkcionális tesztelésnél a tesztek leírása, érthetősége kiemelt jelentőségű
• A tesztek jelentik a specifikációt („Executable Specification”)
• A funkcionális tesztek legtöbbször komplex integrációs tesztek
• A tesztek megvalósításához „unit” teszt rendszereket használhatunk, amelyek az
adapter infrastruktúrán keresztül beépülnek a Visual Studio-ba és a TFS/VSTS-be
• Az adapter infrastruktúra lehetőséget ad a teszt definíciók tágabb értelmezésére,
lásd SpecFlow

A Visual Studio 2017 (Enterprise) Web Load & Performance Testing
infrastruktúra használatával
Demo: Webes teljesítmény
tesztek

Webes teljesítmény tesztek
• Automatizált teljesítmény tesztekkel biztosítani lehet a megfelelő sebességet
• A folyamatosan futtatott teljesítmény tesztek segítenek idejében kiszűrni az olyan
módosításokat, amelyek rontják a teljesítményt
• A teljesítmény tesztek nem funkcionális tesztek: kevés, megfelelő fókuszú
teljesítmény teszt tud leginkább hatékony lenni
• Kis fifikával a funkcionális tesztjeinkből is nyerhetünk ki teljesítmény adatokat:
mérjük és naplózzuk az „act” („when”) időket!

Kód lefedettség (Code Coverage)
Kód metrikák (Code Metrics)
Kód analizáció (Code Analysis)
Folyamatos tesztfuttatás (Live Testing)
Demo: Stratégiai minőség
biztosításának eszközei VS2017-ben

Kód lefedettség (Code Coverage)

Kód metrikák (Code Metrics)

Kód analizáció (Code Analysis)

Folyamatos tesztfuttatás (Live Testing)

Stratégiai minőség biztosításának eszközei
• A stratégiai minőséget sokféle módon lehet (és kell) biztosítani
• A legfontosabb a megfelelő csapat-kultúra kialakítása és a szakmai támogatás
• A Visual Studio eszközei ehhez adhatnak támogatást – különösen ha
automatizáltan beépülnek az integrációs folyamatba
• Kód lefedettség (Code Coverage) – felderíthetőek a „fehér foltok”, program vagy teszt hibák
• Kód metrikák (Code Metrics) – visszajelzést haphatunk a kód általános állapotáról, hot-
spotjairól
• Kód analizáció (Code Analysis) – általános, és csapat-szintű konvenciók, szabályok betartását
ellenőrizhetjük

A Unit teszt vajon mi?

bddaddict.com

Forrás: http://gasparnagy.com/2017/02/balancing-scenarios-and-unit-tests-case-study-with-specflow/
Scenario
Srv-UI
Funkcionális
Használhatósági
Stratégiai
Edge
case
Argument
check
Ext call
timeout

A unit teszt nem cél, hanem eszköz

Funkcionális
Használhatósági
Stratégiai
Scenario
Srv-UI
Edge
case
Argument
check
Ext call
timeout

Scenario
Srv-UI
Funkcionális
Használhatósági
Stratégiai
Edge
case
Argument
check
Ext call
timeout

Útravaló
• A folyamatos kihelyezés egy stratégia, amelynek segítségével a teljes feljelsztési
folyamat stabilabbá és hosszú távon is fentarthatóvá tehető
• A folyamatos kihelyezés egyik alappillére a minőség automatizált biztosítása
• A minőségbiztosítás a fejlesztési kultúra kialakításánál kezdődik, de a fejlesztői és
alkalmazás-életciklus kezelő rendszerek hatékonyan tudják ezt támogatni

Tesztelés támogatása Visual Studio 2017
segítségével
Funkcionális
• Unit teszt
rendszerek
• Teszt adapter
infrastruktúra
• Integrált specifikus
tesztrendszerek,
mint pl. SpecFlow
Használhatósági
• Web Load &
Performance
Testing
• TFS/VSTS Scripted
Tests
• TFS/VSTS
Exploratory
Testing
Stratégiai
• Code Coverage
• Code Metrics
• Code Analysis
• Live Tesing

Nagy Gáspár
coach • trainer • bdd addict • creator of specflow
@gasparnagy • gaspar@specsolutions.eu
Kérdések?

A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, DevTools Event, 2017.06.12.)

Recommandé

Recommandé

Contenu connexe

Similaire à A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, DevTools Event, 2017.06.12.)

Similaire à A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, DevTools Event, 2017.06.12.) (20)

Plus de Gáspár Nagy

Plus de Gáspár Nagy (18)

A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, DevTools Event, 2017.06.12.)