Forráskódtárak gráfalapú statikus analízise

1. Forráskódtárak gráfalapú statikus analízise Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Hibatűrő Rendszerek Kutatócsoport Stein Dániel

2. Projekt résztvevői 2 Lucz Tamás Soma – Honfi Dávid – Vörös András Stein Dániel – Szárnyas Gábor Lippai Ádám

3. Tartalom 1. Problémakör 2. Eszközök 3. Felhasználási lehetőségek 4. Neo4j tanulságok, példák 3

4. Folytonos integráció (FI) Continuous Integration (CI) – Több fejlesztő együttműködése – Integrációs problémák megelőzése – Például – Jenkins – Hudson – Travis CI 4 Verziókezelés Fordítás Fejlesztés Egység- és integrációs teszt

5. 5 Apple, https://blog.codecentric.de/en/2014/02/curly-braces/

6. 5 Apple, https://blog.codecentric.de/en/2014/02/curly-braces/

7. 5 hupsz Apple, https://blog.codecentric.de/en/2014/02/curly-braces/

8. Statikus analízis – Nincs szükség a program fordítására és futtatására – Alaki és strukturális jellegű szabályellenőrzést végzünk – FI mellett vagy részeként alkalmazandó – Egy lehetséges módja a kódanalízis, kódmintaillesztés 6 Verziókezelés Fordítás Fejlesztés Egység- és integrációs teszt Kódanalízis

9. Statikus analízis – Nincs szükség a program fordítására és futtatására – Alaki és strukturális jellegű szabályellenőrzést végzünk – FI mellett vagy részeként alkalmazandó – Egy lehetséges módja a kódanalízis, kódmintaillesztés 6 Verziókezelés Fordítás Fejlesztés Egység- és integrációs teszt Kódanalízis

10. Statikus analízis – Nincs szükség a program fordítására és futtatására – Alaki és strukturális jellegű szabályellenőrzést végzünk – FI mellett vagy részeként alkalmazandó – Egy lehetséges módja a kódanalízis, kódmintaillesztés 6 Verziókezelés Fordítás Fejlesztés Egység- és integrációs teszt Kódanalízis – Java – FindBugs – PMD – CheckStyle

11. Statikus analízis – Nincs szükség a program fordítására és futtatására – Alaki és strukturális jellegű szabályellenőrzést végzünk – FI mellett vagy részeként alkalmazandó – Egy lehetséges módja a kódanalízis, kódmintaillesztés 6 Verziókezelés Fordítás Fejlesztés Egység- és integrációs teszt Kódanalízis – Java – FindBugs – PMD – CheckStyle – JavaScript – ESLint – Facebook Infer, Flow – Tern – TAJS

12. – A kódanalízis időigényes folyamat – Nagy projektekre (100k+ LOC) lassú, nem alkalmazható FI-szerű ütemezéssel Megoldandó probléma 7 egységteszt kódanalízis ☼ ☆☾☆

13. – A kódanalízis időigényes folyamat – Nagy projektekre (100k+ LOC) lassú, nem alkalmazható FI-szerű ütemezéssel – Átmeneti megoldás: tömbösítés Megoldandó probléma 7 egységteszt kódanalízis ☼ ☆☾☆ egységteszt kódanalízis

14. – A kódanalízis időigényes folyamat – Nagy projektekre (100k+ LOC) lassú, nem alkalmazható FI-szerű ütemezéssel – Átmeneti megoldás: tömbösítés Minél hamarabb, minél gyorsabban eredményt kell adni. Megoldandó probléma 7 egységteszt kódanalízis ☼ ☆☾☆ egységteszt kódanalízis

15. Megoldandó probléma – Memóriakorlátba ütközhetünk... – globális szabályok – a struktúrát memóriában tárolva (in-memory megközelítés) – nagy méretű kódbázisok ellenőrzésekor. – Inkrementalitás hiánya – Kötegelt feldolgozás – Kisebb módosítás is teljes feldolgozást indukál 8

16. A bemutatott megoldás – Inkrementalitás elvét alkalmazzuk – Kötegelt feldolgozás helyett – A módosítás hatásával frissítjük az eredményt – A memóriában egyszerre csak a minimálisan szükséges részleteket tároljuk 9 kódanalizátor Δ2.-1.1.

17. VCS Workspace Abstact Syntax Tree Abstract Semantic Graph Well-formedness Rules Query Execution Database Main.js | ++---- Dependency.js | +++++- FIterator.js | ---- Parser.js | ++ Automatic Well-formedness Rule Evaluation Manual Execution and Data Extraction Querying and Transformation . discoverer ChangeProcessor.js CommandParser.js FileIterator.js iterators DepCollector.js FileDiscoverer.js InitIterator.js Main.js whitepages ConnectionMgr.js DependencyMgr.js neo4jValidation Report <!> <?> <.> Module declaration declarators items binding init left right Architektúra áttekintés 10

21. Kódfeldolgozás lépései 21 tokenizer forráskód tokenek AST ASG parser scope analyzer tokenizer forráskód tokenek AST ASG parser scope analyzer

22. Kódfeldolgozás lépései 22 tokenizer forráskód tokenek AST ASG parser scope analyzer

23. Kódfeldolgozás lépései 23 tokenizer forráskód tokenek AST ASG parser scope analyzer Utasítások sorozata adott nyelven formalizálva.

24. Kódfeldolgozás lépései 24 tokenizer forráskód tokenek AST ASG parser scope analyzer Utasítások sorozata adott nyelven formalizálva.

25. Kódfeldolgozás lépései 25 tokenizer forráskód tokenek AST ASG parser scope analyzer

26. Kódfeldolgozás lépései 26 tokenizer forráskód tokenek AST ASG parser scope analyzer token – a legrövidebb, még jelentéssel rendelkező karaktersorozat

27. Kódfeldolgozás lépései 27 tokenizer forráskód tokenek AST ASG parser scope analyzer token – a legrövidebb, még jelentéssel rendelkező karaktersorozat

28. Kódfeldolgozás lépései 28 tokenizer forráskód tokenek AST ASG parser scope analyzer Token Token típus VAR (Keyword) IDENTIFIER (Ident) ASSIGN (Punctuator) NUMBER (NumericLiteral) DIV (Punctuator) NUMBER (NumericLiteral) token – a legrövidebb, még jelentéssel rendelkező karaktersorozat

29. tokenizer forráskód tokenek AST ASG parser scope analyzer Kódfeldolgozás lépései 13 Module VariableDeclarationStatement VariableDeclaration VariableDeclarator BindingIdentifier name = `foo` BinaryExpression operator = `Div` LiteralNumericExpression value = 1.0 LiteralNumericExpression value = 0.0 declaration declarators items binding init left right

30. tokenizer forráskód tokenek AST ASG parser scope analyzer Kódfeldolgozás lépései 13 Abstract Syntax Tree (AST) – A tokenek sorozatának – nyelvtani struktúrájának – fa reprezentációja. Module VariableDeclarationStatement VariableDeclaration VariableDeclarator BindingIdentifier name = `foo` BinaryExpression operator = `Div` LiteralNumericExpression value = 1.0 LiteralNumericExpression value = 0.0 declaration declarators items binding init left right

31. tokenizer forráskód tokenek AST ASG parser scope analyzer Kódfeldolgozás lépései 13 Module VariableDeclarationStatement VariableDeclaration VariableDeclarator BindingIdentifier name = `foo` BinaryExpression operator = `Div` LiteralNumericExpression value = 1.0 LiteralNumericExpression value = 0.0 declaration declarators items binding init left right

32. tokenizer forráskód tokenek AST ASG parser scope analyzer Kódfeldolgozás lépései 14 Module declaration declarators items binding init left right

33. tokenizer forráskód tokenek AST ASG parser scope analyzer Kódfeldolgozás lépései 14 Module declaration declarators items binding init left right

34. tokenizer forráskód tokenek AST ASG parser scope analyzer Kódfeldolgozás lépései 14 Module declaration declarators items binding init left right GlobalScope variables references children declarations node astNode

35. tokenizer forráskód tokenek AST ASG parser scope analyzer Kódfeldolgozás lépései Abstract Semantic Graph (ASG) – Gráf, nem feltétlenül fa. – Szintaktikai struktúra mellett szemantikai információt is hordoz. – Tartalmaz keresztéleket → – A részkifejezések akár közösek is lehetnek. 14 Module declaration declarators items binding init left right GlobalScope variables references children declarations node astNode

36. tokenizer forráskód tokenek AST ASG parser scope analyzer Kódfeldolgozás lépései 14 Module declaration declarators items binding init left right GlobalScope variables references children declarations node astNode

37. AST vs ASG 15

38. AST vs ASG 15

39. Gráfmintaillesztés 16 VariableDeclarator BindingIdentifier name = `foo` BinaryExpression operator = `Div` LNExpression value = 1.0 LNExpression value = 0.0

40. Gráfmintaillesztés – Gráfminta – Deklaratív, – gráfszerű formalizmus – feltételek kifejezésére. 16 VariableDeclarator BindingIdentifier name = `foo` BinaryExpression operator = `Div` LNExpression value = 1.0 LNExpression value = 0.0

41. Gráfmintaillesztés – Gráfminta – Deklaratív, – gráfszerű formalizmus – feltételek kifejezésére. 16 VariableDeclarator BindingIdentifier name = `foo` BinaryExpression operator = `Div` LNExpression value = 1.0 LNExpression value = 0.0 binding be right

42. Gráfmintaillesztés – Gráfminta – Deklaratív, – gráfszerű formalizmus – feltételek kifejezésére. 16 VariableDeclarator BindingIdentifier name = `foo` BinaryExpression operator = `Div` LNExpression value = 1.0 LNExpression value = 0.0 binding be right

43. Gráfmintaillesztés – Gráfminta – Deklaratív, – gráfszerű formalizmus – feltételek kifejezésére. 16 BindingIdentifier name = `foo` Gráfmintalekérdezés Cyphernyelven nullávaltörténőosztás keresésére binding Mintaillesztés eredménye

44. Folyamat áttekintés 17

45. Folyamat áttekintés 17 központi verziókezelő rendszer fejlesztői munkaállomás Git,VisualStudioCode

46. Folyamat áttekintés 17 központi verziókezelő rendszer fejlesztői munkaállomás tokenizer forráskód tokenek AST ASG parser scope analyzer Git,VisualStudioCode ShapeSecurityShift

47. Folyamat áttekintés 17 központi verziókezelő rendszer transzformáció fejlesztői munkaállomás tokenizer forráskód tokenek AST ASG parser scope analyzer Git,VisualStudioCode ShapeSecurityShift Java,Cypher

48. Folyamat áttekintés 17 központi verziókezelő rendszer transzformáció fejlesztői munkaállomás tokenizer forráskód tokenek AST ASG parser scope analyzer gráf adatbázis Git,VisualStudioCode ShapeSecurityShift Java,Cypher Neo4j

49. Folyamat áttekintés 17 központi verziókezelő rendszer transzformáció fejlesztői munkaállomás tokenizer forráskód tokenek AST ASG parser scope analyzer feldolgozás gráf adatbázis Git,VisualStudioCode ShapeSecurityShift Java,Cypher Neo4j

50. Folyamat áttekintés 17 központi verziókezelő rendszer transzformáció fejlesztői munkaállomás tokenizer forráskód tokenek AST ASG parser scope analyzer feldolgozás gráf adatbázis Git,VisualStudioCode ShapeSecurityShift Java,Cypher Neo4j

51. Felhasználás statikus analízis – Lokális hibaminták keresése (linter hibák) – nélküli keresése – Többször változtatott – Nem használt változó – Globális lekérdezések – Elérhetetlen kódrészlet – Keretrendszer – Tetszőlegesen bővíthető – Cégszintű szabályok – Egyszerűbben használható (nem visitor mintás megoldás) 18

52. Felhasználás transzformáció Control Flow Graph (CFG) – A program futása során – elérhető összes utasítássorozat – gráf reprezentációja. 19

53. Felhasználás transzformáció Control Flow Graph (CFG) – A program futása során – elérhető összes utasítássorozat – gráf reprezentációja. 19 utasítás

54. Felhasználás transzformáció Control Flow Graph (CFG) – A program futása során – elérhető összes utasítássorozat – gráf reprezentációja. 19 utasítás utasítás

55. Felhasználás transzformáció Control Flow Graph (CFG) – A program futása során – elérhető összes utasítássorozat – gráf reprezentációja. 19 utasítás utasítás if

56. Felhasználás transzformáció Control Flow Graph (CFG) – A program futása során – elérhető összes utasítássorozat – gráf reprezentációja. 19 utasítás utasítás if feltétel

57. Felhasználás transzformáció Control Flow Graph (CFG) – A program futása során – elérhető összes utasítássorozat – gráf reprezentációja. 19 utasítás utasítás utasítás utasítás if feltétel

58. Felhasználás transzformáció Control Flow Graph (CFG) – A program futása során – elérhető összes utasítássorozat – gráf reprezentációja. 19 utasítás utasítás utasítás utasítás if utasítás feltétel

59. Felhasználás transzformáció Control Flow Graph (CFG) – A program futása során – elérhető összes utasítássorozat – gráf reprezentációja. 19 utasítás utasítás utasítás utasítás hiba if utasítás feltétel

60. Felhasználás transzformáció Control Flow Graph (CFG) – A program futása során – elérhető összes utasítássorozat – gráf reprezentációja. 19 utasítás utasítás utasítás utasítás utasítás hiba if utasítás feltétel

61. Felhasználás transzformáció Control Flow Graph (CFG) – A program futása során – elérhető összes utasítássorozat – gráf reprezentációja. 19 utasítás utasítás utasítás utasítás utasítás hiba if utasítás feltétel

62. Felhasználás transzformáció Control Flow Graph (CFG) – A program futása során – elérhető összes utasítássorozat – gráf reprezentációja. 19 utasítás utasítás utasítás utasítás utasítás hiba if kész utasítás feltétel

63. hiba Felhasználás tesztgenerálás – Lefutási esetek vizsgálata – Megadott feltételek mellett – elérhető az adott utasítás? – Melyik a legrövidebb út oda? – Teszt paraméterek előállítása 20 utasítás utasítás utasítás utasítás utasítás if kész feltétel utasítás

75. Felhasználás típusanalízis – Dinamikus nyelvek támogatása – Python – JavaScript / ECMAScript 21

76. Felhasználás típusanalízis – Dinamikus nyelvek támogatása – Python – JavaScript / ECMAScript 21 http://marijnhaverbeke.nl/blog/tern.html

77. Felhasználás impakt analízis – A folytonos integrációhoz igazodva – Különböző branch-ek kezelése – Branch-en belüli változások követése – Fájlszintű inkrementális kiértékelés – Fejlesztők számára differenciális visszajelzés 22

78. Miért Neo4j? +++ – Gyors prototipizálás – Tranzakciók támogatása – Fejlett tooling -- – Nem skálázható – Csak diszk-alapú működés 23

79. Észrevételek MERGE – MATCH or CREATE – Kényelmi szempontból nagyszerű – Cserébe drága – Lehetséges megoldások: – MERGE-ök ritkítása – Lekérdezések szétszedése – Létrehozás, ha még nincs – MERGE helyett MATCH – Megelőzés – Adatok felvételekor előkészítés 24

80. Észrevételek MERGE 25 3 1

81. Észrevételek if-then-else – Nincs rá Cypher nyelvi elem – Trükközéssel oldható meg – Naggggggyon lassú – Megoldás: – Két kisebb, diszjunkt eset 26

82. Észrevételek if-then-else – Nincs rá Cypher nyelvi elem – Trükközéssel oldható meg – Naggggggyon lassú – Megoldás: – Két kisebb, diszjunkt eset 26

83. Észrevételek if-then-else 27

84. Észrevételek if-then-else 28 ∞ vs 15 sec

85. Észrevételek if-then-else 28 ∞ vs 15 sec

86. Észrevételek elérhetőség – A korlátozás nélküli tranzitív lezárt nem gyors – A mintázatra illeszkedő tranzitív lezárt trükközéssel megoldható 29 A B *

89. Összefoglalás – Forráskódelemző keretrendszer – Globális hibaminták keresése – Közel valós idejű visszajelzés – Típusanalízis – Tesztgenerálás – Megközelítés dinamikus és nem dinamikus nyelvekhez – Neo4j-t használva – Tárolás – Transzformáció – Verziókezelés – Mintaillesztés – Metaadat-tár 30

90. Köszönetnyilvánítás – Dr. Ráth István Zoltán – Ujhelyi Zoltán – Izsó Benedek MTA-BME Lendület Kiberfizikiai Rendszerek Kutatócsoport 31

Forráskódtárak gráfalapú statikus analízise

Recommandé

Recommandé

Contenu connexe

Similaire à Forráskódtárak gráfalapú statikus analízise

Similaire à Forráskódtárak gráfalapú statikus analízise (20)

Forráskódtárak gráfalapú statikus analízise