[Re2o] Nouvelle API et gros changements pour le client API

Salut, salut, Ceci est un long mail pour parler un peu de la nouvelle API qui va prochainement arriver dans Re2o et des changements qui viennent avec. Je vous préviens il y a plein d'infos et de détails donc je vous conseille de vous posez avant de lire ce mail. Bonne lecture ! Commencons par parler de l'API côté server Re2o. Tout d'abord pour ceux qui ne passent pas leur vie sur #re2o (askip, ça existe mais je suis pas sûr), je vais décrire où en est actuellement la situation et les problèmes liés à l'API actuelle: 1) Actuellement,*les endpoints de l'API ont été fait un peu l'arrache* aux moments et aux endroits où on en avait besoin. Par exemple les premiers endpoints commencent par "/machines/rest/..." parce que les premières données nécessaires étaient des infos dans l'app "machines" puis des endpoints en "/users/rest/..." sont apparus parce qu'on utilisait des infos dans l'app "users". Bref vous l'aurez compris, les endpoints ne sont pas a des endroits logiques et un peu difficile à trouver donc à utiliser (et puis c'est pas parce qu'on avait écrit rest dans l'url que l'API était REST ...) 2) *Les infos exposées sont celles dont on avait besoin uniquement et dans un format qui nous arrangeait* donc autant dire que c'est pas vraiment utilisable pour autre chose. Ce qui fait que si quelqu'un voudrait dev un script utilisant les infos de Re2o via l'api, bah il faut commencer par ajouter les endpoints dans Re2o ce qui est sacrément décourageant. 3) On utilise django-rest-framework pour gérer l'api, sérialiser les infos, ... (c'est probablement le package le plus courant pour gérer une api avec Django). Sauf que *les quelques endpoints utilisent vraiment les trucs les plus basiques et assez salement* parce que ça suffisait et que personne n'avait fait l'effort d'apprendre comment fonctionnait django-rest-framework (qui a une courbe d'apprentissage assez violente il faut le dire). Bref autant dire que le peu d'api qui existait n'était pas vraiment utilisable. Je me suis donc lancé dans le projet de refaire l'api et je vous annonce donc qu'il va bientôt avoir une nouvelle app "api" dans re2o qui exposera tous les modèles de Re2o de façon REST, systèmatique et uniforme (ex : des urls en "/api/<model>/<id>" ou encore des opérations basés sur les méthodes HTTP "GET", "POST", ...). Pour plus de détails, je vous invite a aller voir la documentation à partir de https://gitlab.federez.net/federez/re2o/wikis/API/Raw-Usage (puis vous balader dans la section API du wiki pour plus d'infos). Et oui on a commencé à écrire de la doc ;). Pour les détails de l'implémentation, la MR est encore en phase de review : https://gitlab.federez.net/federez/re2o/merge_requests/172 <https://gitlab.federez.net/federez/re2o/merge_requests/172> Pour ceux qui craignent de voir leur prod cassée à cause d'un changement d'API, sachez qu'on essaye de le faire le plus en douceur possible: 1) on ajoute les endpoints dans Re2o (ça c'est la MR et ce que j'ai décrit au-dessus) SANS supprimer les anciens endpoints. 2) Pendant que les gens pull Re2o avec la nouvelle API, on dev les script utilisant la nouvelle API 3) Les gens pullent ces scripts utilisant la nouvelle API (génération de DNS, DHCP, ...) 4) Quand on a la confirmation que plus personne utilise l'ancienne API (il y a suffisament peu d'instance en prod pour qu'on puisse se permettre de faire comme ça), on vire l'ancienne API. Passons maintenant au second sujet, un peu plus récent: le client API. En effet qui dit "nouvelle API" dit "re2o-tools doit utiliser cette API" et donc dit aussi "refaire pas mal de choses dans re2o-tools" qui commencait à présenter plusieurs soucis. Selon moi, il y a en particulier: 1) *Tous les services sont dans le même projet*, ce qui veut dire que si tu veux ajouter un service qui n'est utilisé que dans ton asso, bah tu te retrouves à l'ajouter partout (dans ton dns, dans ton dhcp, chez les autres assos, ...) ce qui a aussi pour conséquence que tu te retrouves avec des dépendances qui ne font pas de sens. Par exemple actuellement il faut python3-mongodb pour faire tourner re2o-tools (parce qu'un des services l'utilise) et honnêtement c'est un peu dommage quand tu veux juste générer des fichiers de zone DNS. 2) *Le manager est devenu trop complexe*. C'est un truc qui marche bien mais son code est assez violent pour un projet dont le but c'est de récupérer quelques infos depuis l'API et de faire trois actions basiques avec ces infos. Une des idées primaire de ce manager était justement de pouvoir gérer plusieurs services en même temps (lequels regen, forcer la regen de certains, ...) mais bon soyons hônnetes, en pratique tout le monde n'utilise qu'un seul service à la fois. Personne ne fait tourner en prod un DNS, un DHCP, un server mail et un contrôleur de bornes Wi-Fi sur la même machine ... En quand bien même quelqu'un voudrait le faire, ce serait plus simple et plus propre d'avoir plusieurs fois re2o-tools dans des dossiers séparés. En termes de perf, c'est pareil et tu évites de mélanger les fichiers et les conf tout en t'assurant que si la génération d'un service plante, ça ne plante pas les autres. Bref, virez-moi ce manager overkill. 3) *Le code est parfois dégueulasse*. Faut dire ce qui est, le code marche mais c'est loin d'être le plus beau. Je parles d'expérience puisque je vais prendre un example que j'ai écrit. Dans le code pour générer les fichiers de DNS, il y a une partie pour générer les fichiers de reverse que j'ai écrite. Bon si on oublie le fait que j'ai appris plein de trucs en python depuis (notament à moins réinventer la roue), je reste impressioné de voir que l'algo que j'ai pondu marche nickel mais je dois bien être le seul puisqu'à chaque fois il me faut 5-10 minutes pour recomprendre les 30 lignes de codes en question. Donc ça s'appelle un code moche et pas maintenanable quand seul l'auteur le comprend (et pas sans efforts en plus). Bref une nouvelle API était l'occasion de revoir en profondeur tous ces problèmes. Et j'ai donc commencer à faire un POC de ce que ça pouvait donner. Bien que le résultat ne soit pas terminé, ça marche assez bien. Les résultats sont dispo à https://gitlab.federez.net/re2o. By the way vous verrez que cette URL mène à un nouveau groupe que j'ai commencé sur le gitlab de FedeRez dédié à Re2o (d'où le nom du groupe ^^) parce que je ne trouvais pas normal que je soit "owner" du groupe FedeRez (dans lequel est Re2o actuellement) sous prétexte que je dev Re2o. Bon rassurez vous, si je voulais faire une connerie je l'aurais déjà faite mais bon sur le principe, je trouve pas ça super. Alors autant profiter de faire des projets from scratch pour commencer ce nouveau groupe. (j'avais prévenu qu'il y avait plein de nouveauté dans ce mail). Pour ce qui est du nouveau fonctionnement des services j'ai écrit un bout de doc là (https://gitlab.federez.net/federez/re2o/wikis/API/API-Client) (désolé pour la piètre qualité du schéma). Le principe est d'abord d'avoir un client API qui facilite grandement l'utilisation de l'API (gestion de l'authentification, des URLs, du formats des réponses, ...). Bref simplifier tout ça. Et surtout proposer un truc que tout le monde peut utiliser de façon indépendante des autre projets. C'est de là qu'est venue l'idée d'utiliser une "API en couche". L'idée est d'avoir une couche facile à utiliser (= le client API dont on parle) mais qui cache plein de choses (et donc ne permet pas une utilisation ultra pécise) et si nécessaire, il est toujours possible "d'enlever une couche" et d'utiliser directement la lib requests de python ou encore l'API REST avec un autre language que python mais à vous de réimplémenter les trucs compliqués. Sur le groupe Re2o, il y a un projet "Re2o API client" qui est donc ce client API en question. Ce code là est quasi complet, il y a sans doute des ajustements à faire mais dans l'ensemble il ne bougera pas trop je pense. Les autres projets sont justement les POC pour remplacer re2o-tools (DHCP, DNS et ML pour l'instant) en utilisant le client API comme submodule git (à terme avoir un package python serait encore mieux mais chaque chose en son temps). Tout d'abord, vous verrez qu'ils sont dans des projets séparés, ce qui était (toujours selon moi) un problème de re2o-tools. Vous verrez que les codes de ces projets sont bien plus simples que ceux de re2o-tools (mais pas commenté, oui je sais). Bien qu'il n'y ait pas encore tout le sucre qui consiste à vérifier les fichiers générés sont corrects, la base du script fonctionne et génère les fichiers. Ils pourraient presque être déjà utilisés en prod. \o/ En résumé, (parce qu'il faut bien un résumé à la fin de ce roman) les nouveautés sont : 1) Une nouvelle API RESTful qui permet d'accéder à l'ensemble des données de Re2o 2) Un nouveau client API qui a pour but de simplifier grandement l'utilisation de la nouvelle API et faire en sorte de ne pas se prendre la tête pour dev un nouveau service 3) Un nouveau groupe dédié à Re2o sur le gitlab (je suis encore le seul membre mais il est publique est je propose d'y transférer les gens si l'idée de ce groupe convient à tout le monde) 4) Je sais pas faire des infos concises et des mails courts (mais ça c'est pas nouveau) ;) N'hésitez pas à me faire part de vos avis si ces changements sont bien ou pas. Perso je suis assez content de la tournure que ça prend et je trouve la base plus saine mais bon j'ai pas un avis très neutre. Et enfin pour ceux qui ont lus jusque là, sachez que la version 2.7 se rapproche à grand pas et ne devrait plus trop tarder à être annoncée. Voilà merci de votre attention, Bon baisers de Russie d'Allemagne Maël "MoaMoaK" Kervella