Cours
Code digicomp : AIOBS1
LLMOps et observabilité des LLM
Description de la formation
Téléchargez au format PDF- Instrumenter une application LLM avec OpenTelemetry et standards LLM observability
- Construire un pipeline d'évaluation continue (correctness, hallucination, toxicity)
- Détecter et alerter sur la dérive de qualité et de coûts
- Intégrer l'observabilité LLM dans une stack d'observabilité unifiée
Module 1
Paysage LLMOps : enjeux, outils, standards émergents
Module 2
Instrumentation : OpenTelemetry GenAI, traces, métriques applicatives
Module 3
Évaluation : LLM as judge, métriques objectives, golden datasets
Module 4
Détection de dérive : qualité, latence, coûts, dépendances
Module 5
Stack unifiée : VictoriaMetrics, Grafana, intégration avec l'observabilité existante
Lab final
Instrumentation complète d'un assistant RAG et tableau de bord d'exploitation
Les participantes et participants auront accès à une stack complète préinstallée, une application RAG fonctionnelle et des dérives simulées.
Cette formation s'adresse aux ML engineers, SRE IA, équipes plateforme IA. Elle est particulièrement adaptée aux équipes opérant des assistants en production dans des environnements à forte exigence de traçabilité.
Les participantes et participants doivent avoir une expérience opérationnelle préalable sur un déploiement LLM ou pipeline RAG.