A presentation at Sunny Tech 2023 in in Montpellier, France by Antoine Ceol
© ZENIKA 2021 All rights reserved - Proprietary & confidential Flaky tests Ces 🐛 qui nous empoisonnent la vie
Voici une représentation de la pyramide des tests de Mike Cohn Chaque couche peut avoir sa propre boucle de feedback. Plus on descend, plus c’est facile de comprendre pourquoi c’est cassé Plus on remonte et plus c’est compliqué!
On vit un monde magnifique, on créé des fonctionnalités en TDD, parfois on avait pas prévu qqch et ca casse. On corrige, et puis parfois ça se corrige tout seul…et puis ca répète et puis c’est la cata
Patatras ⛈ Les tests sont imprévisible ⛈ On a plus le contrôle ⛈ On perd l’idempotence qui régit tout l’équilibre des tests
Le comic sans ms, ça fait peur 🫣
Principalement sur les e2e/acceptance On tombe principalement sur des faux negatifs. Principalement ce sont:
Les différence d’environnement peuvent poser des problêmes: Setup/installation (OS, ecran, version java/node/python) Ressources (RAM) Variables d’environnement Docker peut aider pour ça (mais ne règle pas tout)
Un test peut en impacter un autre (mais ne devrait pas) Les données peuvent être par exemple:
BDD
RAM
Système de fichier Cache
Tri dans le code et/ou dans le test
Tri dans le test/tri dans le code
On peut tester le contenu sans l’ordre
Le random n’est l’est pas toujours autant qu’on l’espère Problèmes avec des bibliothèque (par exemple Faker) pour l’unicité
Les règles du SEMVER ne sont pas toujours respectés. Exemple: Ua-parser-js (publication de version avec du cryptomining)
Les dates et les fuseaux horaires, le cauchemar des devs! Les dates changent en permanence, ce qui semble être fixe ne l’est pasPB sur des dates, décalage horaires/heure d’été il faut mocker la date Il faut mocker la timezone
En asynchrone, on peut être dans les temps et on peut ne pas… Si on attend pas la résolution de l’asynchrone on ne sais pas quand le code sera exécuté (possible que ca fonctionne)
En runnant et rerunnant les tests, sur tout pleins d’environnements! Avec des outils: Circle-ci Gitlab-ci Datadog Les CI permettent de repérer les flaky et donner de nombreuses informations pertinentes.
Les tests Flakys Ces 🐛 qui nous empoisonnent la vie Antoine Ceol twitter @boombaprealm github @aceol
“Ça marche sur mon poste”, on l’a tou.te.s dit ou au moins pensé 🥴. Le problème est que ça doit fonctionner partout ou au moins sur les environnement controllés. Des fois ça ne marche pas, et c’est très frustrant, et des fois ça marche…mais pas tout le temps.
Je vous invite et faire un focus sur les flakys 🐛, ces tests qui passent du vert au rouge, du rouge au vert, au grés du temps. On verra ensemble comment ils apparaissent, leurs causes et origines et comment les identifier au plus vite afin d’éviter de perdre (beaucoup) de temps et de réduire la frustration de l’équipe
The following resources were mentioned during the presentation or are useful additional information.
for free. You
can too.