Un opérateur Kubernetes en Java avec Quarkus

A presentation at Snowcamp 2023 in January 2023 in Grenoble, France by Stéphane Philippart

Slide 1

Un opérateur Kubernetes en Java avec Quarkus Stéphane Philippart - Horacio Gonzalez 2023-01-25

Slide 2

Merci à nos sponsors e toil «E « » con o l F » 2023

Slide 3

Qui sommes-nous ? Et qui est OVHcloud ?

Slide 4

Stéphane Philippart 🏷 DevRel@OVHCloud 🥑 🦄 🎉 🏷 Co-créateur de TADx (meetups Agile, Dev, DevOps) 🏷 Souvent la tête dans le cloud ☁ 🐦 @wildagsx 📝 https://philippart-s.github.io/blog 🐙 https://github.com/philippart-s/ 🌏 https://www.linkedin.com/in/philippartstephane/ ��

Slide 5

Horacio Gonzalez @LostInBrittany Espagnol perdu en Bretagne Flutter

Slide 6

OVHcloud Web Cloud & Telcom 30 Data Centers in 12 locations 1 Million+ Servers produced since 1999 Private Cloud 34 Points of Presence on a 20 TBPS Bandwidth Network 1.5 Million Customers across 132 countries Public Cloud 2200 Employees worldwide 3.8 Million Websites hosting Storage 115K Private Cloud VMS running 1.5 Billion Euros Invested since 2016 300K Public Cloud instances running P.U.E. 1.09 Energy efficiency indicator 380K Physical Servers running in our data centers 20+ Years in Business Disrupting since 1999 Network & Security

Slide 7

Disclaimer ➡ Explications simplifiées pour que lʼon parle le même langage ➡ Pas des Ops / Expert Kubernetes ➡ Développeurs ��

Slide 8

Mais c’est quoi un opérateur Kubernetes ? Comment ils aident à maîtriser la complexité de Kubernetes

Slide 9

K8s aide à dompter les microservices

Slide 10

Mais on fait quoi des cas complexes ?

Slide 11

Surtout à l’échelle… Beaucoup de clusters avec énormément de déploiements

Slide 12

Et cela était juste notre cas Nous utilisons Kubernetes mais nous opérons aussi une plateforme Kubernetes managée

Slide 13

Bâtie sur notre Public Cloud basé sur Openstack

Slide 14

Nous avions besoin de dompter la complexité

Slide 15

Helm était une première réponse

Slide 16

Mais les chartes Helm ne font que la configuration Opérer une plateforme c’est plus que gérer les installs et les mises à jour

Slide 17

Kubernetes c’est surtout de l’automatisation Comment automatise-t-on les opérateurs humains ?

Slide 18

Opérateurs Kubernetes Une version Kubernetes de l’opérateur humain

Slide 19

Comment construit-on des opérateurs Éléments basiques Kubernetes : Contrôleurs & Resources Customisées

Slide 20

Kubernetes Controllers Toujours un oeil sur les ressources

Contrôleurs Kubernetes

Slide 21

Une boucle de contrôle Surveille l’état du cluster et fait les changements pour le rapprocher de l’état souhaité

Slide 22

Une boucle de réconciliation Cherche à réconcilier l’état présent avec l’état souhaité

Slide 23

Custom Resource Definitions* On étend l’API Kubernetes

Définitions de ressources customisées ��

Slide 24

On étend l’API Kubernetes �� En définissant des nouveaux types de ressources

Slide 25

🧩 Custom Resource Definition et Custom Resource ➡ Custom Resource Definition = CRD ➡ “Sorte” de schéma / classe pour les objets Kubernetes ➡ Custom Resource : CR ➡ Sorte “dʼobjet instanciant la classe (CRD)” ��

Slide 26

Opérateur Kubernetes Automatisation des opérations ��

Slide 27

Un opérateur pour les gouverner tous ➡ API + CRD (et CR) + Contrôleur ➡ Gère une et une seule application (déployée ou non dans Kubernetes) ➡ Essaie de maintenir lʼétat de lʼapplication avec ce qui est déclaré dans la CR �� ⚡ 👀

Slide 28

C’est quoi donc un opérateur Kubernetes ? ��

Slide 29

Exemple : des bases de données Des choses comme ajouter une instance à un pool, faire des backups, du sharding…

Slide 30

Ils encodent la connaissance dans des CRDs et des contrôleurs

Slide 31

Des contrôleurs customisés pour des ressources customisées Ils implémentent et gèrent des Custom Resources avec une logique de réconciliation customisée

Slide 32

Le modèle de capacités des opérateurs Mesurer la maturité de l’opérateur

Slide 33

☝One more thing ! ➡ Un opérateur nʼest quʼun Pod qui exécute une application ➡ Il peut donc être développé avec nʼimporte quel langage ➡ Il suffit dʼappeler les API Kubernetes ou dʼutiliser un client compatible source

Slide 34

Le Framework Opérateur Framework open source pour accélérer le développement d’un opérateur

Slide 35

L’Operator SDK Trois façons différentes de construire des opératurs

Slide 36

L’Operator SDK et le Modèle de Capacité

Slide 37

Mais je suis un dev Java! Puis-je coder un opérateur ? Facilement ? ��

Slide 38

☕ Alors en java ? �� 🔗 Java Operator SDK

Slide 39

✨ Les principales fonctionnalités du Framework ➡ Client Kubernetes Fabric 8 pour manipuler les ressources Kubernetes ➡ Création (scaffolding) du squelette applicatif pour le mode Quarkus ➡ Facilitation de la génération des CRD et du contrôleur (annotations) ➡ Gestion de la boucle de réconciliation ➡ Exécution locale avec debugger possible ➡ Intégration avec Spring Boot et Quarkus ➡ Packaging de lʼopérateur simplifié ��

Slide 40

Les différents composants ��

Slide 41

Quarkus SUPERSONIC / SUBATOMIC / JAVA ��

Slide 42

Cloud Computing �� C. Dustin

Slide 43

�� microprofile.io

Slide 44

JakartaEE �� Aeira G

Slide 45

Rapide au démarrage �� Chris Liverani

Slide 46

Empreinte mémoire raisonnable �� Fredy Jacob

Slide 47

Build first �� Randy Fath

Slide 48

Faciliter le développement �� Fotis Fotopoulos

Slide 49

JVM & GraalVM �� huffingtonpost.fr

Slide 50

Extensions �� Edge2Edge Media

Slide 51

Command Line Interface �� Gabriel Heinzer

Slide 52

Pourquoi ajouter Gitpod ? Parce que nous voulons vous faciliter la vie !

Slide 53

Laissez-moi vous raconter une histoire Ton prochain projet From: Boss boss@mycompany.com To: Dev dev@mycompany.com Coucou Dev ! Lundi prochain, vous commencez un nouveau projet avec Big Customer. Vous serez dans une équipe construisant un système avec une architecture distribuée, utilisant le stockage Redis & MariaDB, des applications en Go, Python et Java, un bus événementiel RabbitMQ, … Et voilà votre nouvel ordinateur portable, un bon cette fois, il dispose de 8 Go de RAM !

Slide 54

Les conteneurs ont changé la donne Utiliser la même architecture sur le laptop de dev et en prod

Slide 55

Même pour des architectures complexes

Slide 56

Mais un laptop reste un laptop Ces containers demandent beaucoup de RAM et CPU

Slide 57

Sans parler du temps de mise en route L’installation et la configuration ne sont pas triviales…

Slide 58

Dans l’idéal, je voudrais un IDEaaS Integrated Development Environment as a Service

Slide 59

Gitpod est un IDEaaS open source Environnements de dev automatisés et éphémères sur le Web

Slide 60

Un IDE complet dans le navigateur Un IDE sur le Web 🌍 ● Eclipse Theia → VS Code ● Remote ● Workspaces

Slide 61

Il est plus qu’un IDE Un IDE n’est qu’un élément constitutif de un environnement de dev basé sur le cloud

Slide 62

Sans avoir besoin d’un laptop surpuissant ● Low cost ultraportable laptop ● Chromebook ● iPad / Tablette Android*

L’expérience est encore un peu décevante dans certains cas…

Slide 63

Les projets Gitpod se basent sur Git Il peut se connecter sur : ● N’importe quelle version de Gitpod: ○ GitLab ○ GitHub ○ BitBucket ● Versions on-premises ou open source ○ Votre propre dépôt Git privé

Slide 64

Gitpod - comment y accéder ? ● Gitpod.io ou Gitpod self hosted ● À partir dʼun dépôt Git ○ Ajout de https://gitpod.io/# ● Extension navigateur ● Intégration plus poussée sur Gitlab

Slide 65

Anatomie dʼun projet Gitpod ● Une image 🐳 Docker par défaut : gitpod/workspace-full ● Deux fichiers 📝 de configuration : .gitpod.dockerfile .gitpod.yml

Slide 66

Projects & Workspaces ● Un workspace est un environnement 🐳 Docker complet ● Des workspaces multiples pour chaque projet ○ Par exemple pour des branches ou des commits spécifiques ● Les workspaces sont peuvent être partagés ● Communication possible entre workspaces

Slide 67

D’autres use-cases Des autres exemples avec Gitpod

Slide 68

Préparation d’environnements d’équipe La nouvelle équipe arrive lundi De : Patron boss@mycompany.com À : Chef de projet pm@mycompany.com Salut chef de projet ! Votre équipe Shiny Project arrivera lundi prochain. Vous aurez 15 développeurs dans l’équipe, et ils doivent être productifs dès le premier jour. Un lot de 15 ordinateurs portables et 3 serveurs a été envoyé par DHL à votre bureau, veuillez vous assurer qu’ils sont installés et fonctionnent d’ici lundi matin. Passe un bon weekend!

Slide 69

Permettre de tester des fonctionnalités Le client X veut tester la fonctionnalité De : Patron boss@mycompany.com À : Chef de projet pm@mycompany.com Salut chef de projet ! Le client X a demandé de tester la nouvelle fonctionnalité sur laquelle travaille votre équipe. J’ai pointé vers le dépôt Git, mais ils ne sont pas intéressants pour lire du code, ils veulent le tester ! Je leur ai dit que vous leur enverriez un moyen de tester d’ici lundi. Passe un bon weekend!

Slide 70

Plateforme d’apprentissage Cours sur OVHcloud Managed Kubernetes De : Partenaire training@partner.com À : Horacio Gonzalez horacio.gonzalez@ovhcloud.com Salut Horacio ! Comme expliqué par téléphone, nous aimerions que vous suiviez une formation OVHcloud Managed Kubernetes pour notre organisation. Nous devons être entièrement basés sur le Web, les participants ne pourront rien installer sur leurs ordinateurs (même pas kubectl, helm ou tout autre outil). Les participants n’auront que leurs navigateurs et leurs identifiants API OVHcloud.

Slide 71

Une plateforme prête à utiliser pour K8s https://github.com/LostInBrittany/gitpod4k8s

Slide 72

Codez pour les nuages, dans les nuages

Slide 73

Vous avez un workshop à préparer… Félicitations Horacio De : Big Conference organization@bigconference.com À : Horacio Gonzalez horacio.gonzalez@gmail.com Salut Horacio ! Nous sommes heureux de vous annoncer que votre atelier “Toi aussi apprends à développer un opérateur Kubernetes en Java avec Quarkus” a été accepté à la Big Conference 2023. Vous aurez 20-50 participants physiquement dans la salle. L’intégration est essentielle dans cette configuration, assurez-vous que les participants puissent facilement créer un environnement de travail en quelques minutes, même avec un mauvais réseau ou des ordinateurs pas tout récents.

Slide 74

WORKSHOP

Slide 75

Préparons le poste de travail Mettons en oeuvre Gitpod

Slide 76

⚙ .gitpod.yml & .gitpod.Dockerfile .gitpod.yml .gitpod.Dockerfile

Slide 77

👋 Hello, World ! 🌏 With Quarkus Un projet simple avec Quarkus ��

Slide 78

👋 Hello, World ! 🌏 With Quarkus 👉 Prise en main de la CLI Quarkus pour initialiser le projet 👉 Création dʼun service “Hello, World !” 👉 Création du test unitaire 👉 Packaging 👉 Release GitHub et ajout de lʼarchive (JAR) ��

Slide 79

👋 Hello, World ! 🌏 With Quarkus �� 🔗 https://github.com/k8s-operator-workshop/hello-world-from-quarkus 🔗 https://github.com/k8s-operator-workshop/hello-world-from-quarkus-solution

Slide 80

👋 Operator Hello World ! 🌏 Notre premier opérateur Kubernetes ��

Slide 81

⚙ Quelques configurations utiles 🔗 see: https://github.com/k8s-operator-workshop/workshop-instructions/blob/main/attendees-instructions.md

Slide 82

👋 Operator Hello World ! 🌏 ��

Slide 83

👋 Operator Hello World ! 🌏 👉 Prise en main de la CLI pour initialiser le projet 👉 Utilisation de la CLI pour créer lʼAPI / CRD 👉 Modification de la CRD (classe Java) 👉 Modification du reconciler pour prise en compte des évènements sur la CR 👉 Tests avec création / suppression dʼune CR 🔗 https://github.com/k8s-operator-workshop/workshop-operator-hello-world 🔗 https://github.com/k8s-operator-workshop/workshop-operator-hello-world-solution ��

Slide 84

🐙 GitHub release watcher 🔀 Un opérateur qui fait vraiment quelque chose ��

Slide 85

🐙 GitHub release watcher 🔀 ��

Slide 86

🐙 GitHub release watcher 🔀 👉 Création du projet 👉 Définition de la CR (Spec et Status) 👉 Création dʼun service Quarkus 👉 Gestion dʼun événement externe (méthode pooling) 👉 Packaging et déploiement dans Kubernetes 👉 Gestion de la sécurité 🔗 https://github.com/k8s-operator-workshop/workshop-operator-release-detector 🔗 https://github.com/k8s-operator-workshop/workshop-operator-release-detector-solution ��

Slide 87

Questions / Feedbacks https://ovh.to/4tu9xGG

Slide 88

Kahoot -> livre Aurélie + dʼautres pour les 3 premiers + vouchers

Slide 89

🔗 Liens - https://github.com/k8s-operator-workshop https://gitpod.io/ https://javaoperatorsdk.io/ https://sdk.operatorframework.io/ https://kubernetes.io/docs/concepts/extend-kuber netes/api-extension/custom-resources/ - https://kubernetes.io/docs/concepts/architecture/ controller/ - https://quarkiverse.github.io/quarkiverse-docs/qu arkus-operator-sdk/dev/index.html