Télécharger pour lire hors ligne
![const { categoriesApi } = require('../../onlineListing/yelster’);
class CategoryService {
find(country, language) {
return categoriesApi.findOnServer(country, language);
}
}
module.exports = CategoryService;
describe('CategoryService', () => {
const proxyquire = require('proxyquire');
let service;
beforeEach(() => {
const categoriesApi =
jasmine.createSpyObj('categoriesApi', [’findOnServer’])
.and
.returnValue(Promise.resolve([]));
const CategoryService = proxyquire('../../../../../src/lib/service/category/CategoryService', {
'../../onlineListing/yelster': { categoriesApi }
});
service = new CategoryService();
});
});
Source
Test
P.42](https://image.slidesharecdn.com/retourxpnodejssnowcamp2020-200127094400/85/Developper-sereinement-avec-Node-js-42-320.jpg)
![TypeScript
• Aucune vérification au runtime
• Utilisation de `io-ts`
const categoryQueryValidator = t.type({
categoryId: t.string,
country: t.string,
});
// validation succeeded
// => Right({"categoryId":"1","country":"fr" })
categoryQueryValidator.decode({ categoryId:"1", country:"fr" })
// validation failed
// => Left([...])
categoryQueryValidator.decode({ categoryId:1, country:"fr" })
P.50](https://image.slidesharecdn.com/retourxpnodejssnowcamp2020-200127094400/85/Developper-sereinement-avec-Node-js-49-320.jpg)
![Docker image
• DockerFile naif
FROM node:10.14.1-jessie
ENV SRC_PATH /app
WORKDIR $SRC_PATH
RUN mkdir -p $SRC_PATH
COPY . $SRC_PATH
RUN yarn install
RUN yarn build
EXPOSE 8020
CMD ["node", "src/api-start.js"]
P.59](https://image.slidesharecdn.com/retourxpnodejssnowcamp2020-200127094400/85/Developper-sereinement-avec-Node-js-58-320.jpg)
![Docker image
• DockerFile naïf
• Problèmes
- Image volumineuse
- Téléchargement des dépendances à chaque
modification de code
1,21 Go
FROM node:10.14.1-jessie
ENV SRC_PATH /app
WORKDIR $SRC_PATH
RUN mkdir -p $SRC_PATH
COPY . $SRC_PATH
RUN yarn install
RUN yarn build
EXPOSE 8020
CMD ["node", "src/api-start.js"]
P.60](https://image.slidesharecdn.com/retourxpnodejssnowcamp2020-200127094400/85/Developper-sereinement-avec-Node-js-59-320.jpg)
![Multi-stage builds
# Runtime image
FROM node:10.14.0-alpine as production
ENV API_PATH /usr/bridge/bridge-api-pm
WORKDIR $API_PATH
COPY --from=production-builder $API_PATH .
EXPOSE 8020
CMD ["node", "-r", "tsconfig-paths/register", "src/api-start.js"]
P.64](https://image.slidesharecdn.com/retourxpnodejssnowcamp2020-200127094400/85/Developper-sereinement-avec-Node-js-63-320.jpg)
![Multi-stage builds
# Runtime image
FROM node:10.14.0-alpine as production
ENV API_PATH /usr/bridge/bridge-api-pm
WORKDIR $API_PATH
COPY --from=production-builder $API_PATH .
EXPOSE 8020
CMD ["node", "-r", "tsconfig-paths/register", "src/api-start.js"]
P.65
143 Mo](https://image.slidesharecdn.com/retourxpnodejssnowcamp2020-200127094400/85/Developper-sereinement-avec-Node-js-64-320.jpg)
![Gracefull shutdown
• Fermeture des connexions
process.on('SIGTERM', () => {
logger.info('Got SIGTERM. Graceful shutdown start');
Bluebird.each(
[
{ name: 'Http Server', closable: () => http.stop() },
{ name: 'Amqp', closable: () => amqp.close() },
{ name: 'Database', closable: () => db.disconnect() },
],
({ name, closable }) =>
Bluebird.try(closable).catch((error: Error) =>
logger.error('Unable to close properly', { name,
error }),
),
)
.finally(() => logger.close());
});
P.67](https://image.slidesharecdn.com/retourxpnodejssnowcamp2020-200127094400/85/Developper-sereinement-avec-Node-js-66-320.jpg)
![[2015] Laravel yet another framework](https://cdn.slidesharecdn.com/ss_thumbnails/laravel-yetanotherframework-150219033352-conversion-gate02-thumbnail.jpg?width=640&height=640&fit=bounds)
Développer sereinement avec Node.js
- 1. Développer sereinement • GaëtanMaisse & Julien Giovaresco Snowcamp 2020 avec
- 2.
- 3.
- 4.
- 5.
- 7.
- 8.
- 9.
- 10.
- 11. Technos modernes Node.js •MongoDB P.11
- 12. Technos modernes Node.js •MongoDB • Mongoose P.12
- 13. Technos modernes Node.js •MongoDB • Mongoose • Express P.13
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20. P.20 Revue de code PullRequest
- 21. P.21 Revue de code PullRequest • Code Owner
- 22. On met enprod ? oui non P.22
- 23. On met enprod ? oui non P.23
- 24. Avril 2016 Mise en production (6APIs) Décembre 2015 Début de la V3 P.24
- 25.
- 26. 1er bug (6 APIs) Décembre 2015 Débutde la V3 P.26 Avril 2016 Mise en production (6 APIs)
- 27. 1er bug (6 APIs) Décembre 2015 Débutde la V3 P.27 Avril 2016 Mise en production (6 APIs) Avril 2016
- 28.
- 29.
- 30.
- 31.
- 32. • Passer lesattributs dans chaque méthode • Async Hooks API (experimental) • ¯_(ツ)_/¯ P.32 Comment ajouter des attributs à tous les logs ?
- 33. Logging • Identification deséléments qui peuvent aider au debug (différents identifiants….) • Convention pour les nommer de la même façon • Librairie interne - Partage de la configuration du Logger à tous nos projets - Outillage permettant de respecter les conventions P.33
- 34. 1er refactoring (8 APIs) Avril 2016 Miseen production (6 APIs) P.34 Avril 2016 1er Bug (6 APIs) Juin 2016
- 35. P.35 Refactoring Renommage de variable-> Extraction de classe
- 36. Linter PR & Revuede code Tests unitaires P.36
- 37. Avec tous cestests, linters, CI, process Tout va bien se passer ! P.37
- 38.
- 39. Une des raisons? L’écriture de nos tests P.39
- 40.
- 41. const { categoriesApi} = require('../../onlineListing/yelster’); class CategoryService { find(country, language) { return categoriesApi.findOnServer(country, language); } } module.exports = CategoryService; Source P.41
- 42. const { categoriesApi} = require('../../onlineListing/yelster’); class CategoryService { find(country, language) { return categoriesApi.findOnServer(country, language); } } module.exports = CategoryService; describe('CategoryService', () => { const proxyquire = require('proxyquire'); let service; beforeEach(() => { const categoriesApi = jasmine.createSpyObj('categoriesApi', [’findOnServer’]) .and .returnValue(Promise.resolve([])); const CategoryService = proxyquire('../../../../../src/lib/service/category/CategoryService', { '../../onlineListing/yelster': { categoriesApi } }); service = new CategoryService(); }); }); Source Test P.42
- 43. Tests P.43 • Ajout detests d’intégration • Migration à Jest - Snapshot testing - Options : onlyChanged, watch failed - Parallel workers
- 44. 1ere Api enTS (12 APIs) Avril 2016 1er Bug (6 APIs) P.44 Juin 2016 1er refactoring (8 APIs) Février 2018
- 45.
- 46. TypeScript • Typage statiquepermettant un feedback immédiat : - Pour notre code de production - Pour le code des librairies externes - Pour nos tests • Fonctions de refactoring des IDE • Lib TS -> Api JS • Lib JS -> Api TS P.46
- 47. "Avoir des typesc’est bien. Avoir des types juste c’est mieux." Développeur Anonyme P.48
- 48. TypeScript • Chaque APIexpose un package de types publics • Utilisés par les autres APIs et les applications fronts, pour le typage : - Des paramètres de requêtes HTTP - Des contenus des messages RabbitMQ P.49
- 49. TypeScript • Aucune vérificationau runtime • Utilisation de `io-ts` const categoryQueryValidator = t.type({ categoryId: t.string, country: t.string, }); // validation succeeded // => Right({"categoryId":"1","country":"fr" }) categoryQueryValidator.decode({ categoryId:"1", country:"fr" }) // validation failed // => Left([...]) categoryQueryValidator.decode({ categoryId:1, country:"fr" }) P.50
- 50. TypeScript • Aucune vérificationau runtime • Utilisation de `io-ts` export type GetCategoryQueryAttributes = t.TypeOf<typeof categoryQueryValidator>; P.51
- 51. Amélioration DX (16 APIs) Juin 2016 1errefactoring (8 APIs) P.52 Février 2018 1ere Api en TS (12 APIs) Juillet 2018
- 52.
- 53.
- 54.
- 55. Linter P.56 ESLint • CommitLint• Prettier
- 56. Linter P.57 ESLint • CommitLint• Prettier • Husky 🐶
- 57. Amélioration Run (18 APIs) Février 2018 1ereApi en TS (12 APIs) P.58 Juillet 2018 Amélioration DX (16 APIs) Octobre 2018
- 58. Docker image • DockerFilenaif FROM node:10.14.1-jessie ENV SRC_PATH /app WORKDIR $SRC_PATH RUN mkdir -p $SRC_PATH COPY . $SRC_PATH RUN yarn install RUN yarn build EXPOSE 8020 CMD ["node", "src/api-start.js"] P.59
- 59. Docker image • DockerFilenaïf • Problèmes - Image volumineuse - Téléchargement des dépendances à chaque modification de code 1,21 Go FROM node:10.14.1-jessie ENV SRC_PATH /app WORKDIR $SRC_PATH RUN mkdir -p $SRC_PATH COPY . $SRC_PATH RUN yarn install RUN yarn build EXPOSE 8020 CMD ["node", "src/api-start.js"] P.60
- 60.
- 61. Multi-stage builds # Builderimage FROM node:10.14.1-jessie as builder ARG NPM_TOKEN ENV TEST_PATH /usr/bridge/bridge-api-pm WORKDIR $TEST_PATH COPY .npmrc package.json yarn.lock ./ RUN echo "//solocal.jfrog.io/solocal/api/npm/npm/:_authToken=${NPM_TOKEN}" >> .npmrc && yarn install --pure-lockfile COPY . $TEST_PATH RUN yarn build-all CMD yarn ci-validate && yarn codecov -f coverage-jest/lcov.info && yarn sonar P.62
- 62. Multi-stage builds # Runtimeassets builder temp image FROM node:10.14.0-alpine as production-builder ARG NPM_TOKEN ENV API_PATH /usr/bridge/bridge-api-pm WORKDIR $API_PATH COPY .npmrc package.json yarn.lock ./ RUN echo "//solocal.jfrog.io/solocal/api/npm/npm/:_authToken=${NPM_TOKEN}" >> .npmrc && yarn install --pure-lockfile --prod --ignore-scripts COPY --from=builder $API_PATH/tsconfig.json . COPY --from=builder $API_PATH/dist/config config COPY --from=builder $API_PATH/dist/src src COPY --from=builder $API_PATH/dist/packages packages COPY --from=builder $API_PATH/dist/migrations migrations COPY --from=builder $API_PATH/dist/seeds seeds COPY --from=builder $API_PATH/seeds/data seeds/data RUN find . -name "*.test.js*" -delete && find . -name "*.ts" -delete P.63
- 63. Multi-stage builds # Runtimeimage FROM node:10.14.0-alpine as production ENV API_PATH /usr/bridge/bridge-api-pm WORKDIR $API_PATH COPY --from=production-builder $API_PATH . EXPOSE 8020 CMD ["node", "-r", "tsconfig-paths/register", "src/api-start.js"] P.64
- 64. Multi-stage builds # Runtimeimage FROM node:10.14.0-alpine as production ENV API_PATH /usr/bridge/bridge-api-pm WORKDIR $API_PATH COPY --from=production-builder $API_PATH . EXPOSE 8020 CMD ["node", "-r", "tsconfig-paths/register", "src/api-start.js"] P.65 143 Mo
- 65. Unhandled rejection • Warninglorsqu’une promesse en erreur n’est pas catchée • Forcer l’arrêt du process Node dans ce cas • Log pour aider au debug process.on('unhandledRejection', error => { logger.logUnhandledRejection(error); throw error; }); P.66
- 66. Gracefull shutdown • Fermeturedes connexions process.on('SIGTERM', () => { logger.info('Got SIGTERM. Graceful shutdown start'); Bluebird.each( [ { name: 'Http Server', closable: () => http.stop() }, { name: 'Amqp', closable: () => amqp.close() }, { name: 'Database', closable: () => db.disconnect() }, ], ({ name, closable }) => Bluebird.try(closable).catch((error: Error) => logger.error('Unable to close properly', { name, error }), ), ) .finally(() => logger.close()); }); P.67
- 67. Inversify.js (20 APIs) Juillet 2018 Amélioration DX (16APIs) P.68 Octobre 2018 Amélioration Run (18 APIs) Janvier 2019
- 68. Inversify JS P.69 A powerfuland lightweight inversion of control container for JavaScript & Node.js apps powered by TypeScript. https://inversify.io/
- 69. Inversify JS P.70 // ninja.ts import{ injectable, inject } from 'inversify' @injectable() export class Ninja implements INinja { constructor( @inject(IKatana) private readonly katana: IKatana, @inject(IShuriken) private readonly shuriken: IShuriken ) { this.katana = katana; this.shuriken = shuriken; } } // inversify.config.ts import { Container } from 'inversify' import { INinja, Ninja } from './ninja' import { IKatana, Katana } from './katana' import { IShuriken, Shuriken } from './shuriken' export const container = new Container() container.bind<INinja>(INinja).to(Ninja) container.bind<IKatana>(IKatana).to(Katana) container.bind<IShuriken>(IShuriken).to(Shuriken)
- 70. Nest.JS (23 APIs) Octobre 2018 Amélioration Run (18APIs) P.71 Janvier 2019 Inversify (20 APIs) Juin 2019
- 71. Nest js P.72 • Mêmeprincipes qu’Angular (module, service, ioc) • TypeScript (utilisation massive de decorators) • REST et Messaging • Enfin un framework Node digne de ce nom https://nestjs.com/
- 72. Nest js P.73 • Assezjeune • Il reste quelques bugs mais rien de bloquants https://nestjs.com/
- 73.
- 74.
- 75. Les + • Légèreté -Utilise peu de mémoire - Rapide à démarrer • Evolution rapide de Node.JS (V8) • Outils intéressants - Prettier - Linters P.76
- 76. Les - P.77 • SansTS ne pas se lancer dans une application d’envergure • Ecosystème « amateur » : log, doc api, gestion dépendance • Apprentissage potentiellement compliqué : - Asynchronisme - Debug - Profiling • Bibliothèque standard limitée
- 77.
- 78.
Notes de l'éditeur
- #2 GAETAN & JULIEN
- #4 JULIEN
- #5 JULIEN
- #11 Pourquoi Node.js /JS ? Même language Front et Back Apprentissage rapide pour les devs non web
- #12 Pourquoi Mongo? Bonne perf en lecture Aggregation pratique pour faire des stats ? S’intègre bien avec JS, la creation des endpoints api qui lisent de la data très simplement (spoiler alert: fausse bonne idée)
- #13 Pourquoi Mongoose ? Schema qui permet de valider les models
- #14 Pourquoi Express ? - LA référence à l’époque
- #15 GAETAN
- #16 On partait de 0 donc on a bien fait attention à tester correctement nos apis. Nous avons choisi Jasmine comme framework. Il a l’avantage d’être tout en un. Contrairement à Mocha qui demande une librairie pour les expectations (chai par ex) et une autre pour jouer avec des mocks (sinon).
- #19 ESLint Assure le respect de standard (single quote, point virgule en fin d’instruction, …) Evite les mauvaises pratiques (ex éviter de faire crasher l’application sur IE8 à cause des virgules sur le dernier élément d’un objet/tableau)
- #27 JULIEN
- #29 Et là le 1er bug arrive sans prévenir. On regarde nos logs dans Kibana et on ne comprend rien. On n’arrive pas à suivre ce qui se passe en prod. Vu que Node.JS est mono threadé les logs sont « mélangés » il est donc difficile de s’y retrouver.
- #30 Et là le 1er bug arrive sans prévenir. On regarde nos logs dans Kibana et on ne comprend rien. On n’arrive pas à suivre ce qui se passe en prod. Vu que Node.JS est mono threadé les logs sont « mélangés » il est donc difficile de s’y retrouver.
- #34 Partager
- #35 GAETAN
- #39 Pas de verif des variables Les tests qui etaient toujours verts (alors que tout était casse)
- #41 Nous avons utilisé la lib proxyquire pour nous aider à « remplacer des dépendances des modules ». Ça nous a aidé à nous passer d’inversion de dépendance.
- #43 Nous avions tous une expérience différente sur les tests unitaires. Certains plus que d’autres, les tests ont été écrit après l’implémentation et dans l’idée de mocker toutes les dépendances. Ça combinait avec l’objectif de 100% de coverage, on s’est retrouvé à écrire pas mal de tests mais on était fier de cette couverture !
- #44 Manque de test d’integration => ajout quand le projet était encore en JS Migration vers Jest : - Snapshot testing -> super utile pour faire du refactoring - --onlyChanged ou watch avec seulement les tests failed MAIS TOUJOURS pas de typage
- #49 Ne pas se reposer sur Typescript pour les donnees en entree d’API IO-TS
- #51 Ne pas se reposer sur Typescript pour les donnees en entree d’API IO-TS
- #52 Ne pas se reposer sur Typescript pour les donnees en entree d’API IO-TS
- #53 JULIEN
- #54 Remplacement par TSLint
- #55 TSLint bientôt déprécié
- #56 CommitLint pour garantir les standards sur la forme des commits ne fait pas tout reste à la charge du dev de réfléchir à comment synthétiser son commit
- #57 Prettier plus de querelle de clocher pour savoir s’il faut mettre des points virgules… S’occupe de formater les fichers automatiquement
- #58 Husky Permet de configurer facilement des hook GIT. Exemple: exécution du ESLint et Prettier sur pre-commit (impossible de committer un fichier mal formaté) Exécution de Commitlint sur commit-msg (contrôle le message écrit par le dev) Ça n’empêche de configurer la CI pour s’assurer que tout va bien dans le cas où le dev by-pass ces validations
- #68 K8S peut tuer des pods quand il veut. On veut s’assurer qu’on ferme l’application correctement
- #69 GAETAN
- #72 GAETAN
- #74 Scope request non testable Bug injection avec des symbols
- #75 GAETAN
- #77 Légèreté Les apis utilisent peu de mémoire Elles sont rapides à démarrer ce qui est très pratique dans notre environnement élastique
- #78 gestion dépendance -> monté de version mineur mais en fait non