Ce produit n'est pas pris en charge par le
site Datadog que vous avez sélectionné. (
).
Essayez de prendre en main Agent Observability dans le Learning Center
Apprenez à surveiller les performances, les coûts, les traces, l'utilisation des jetons et les erreurs de votre application LLM pour identifier et résoudre les problèmes.
Présentation
Avec Agent Observability, vous pouvez surveiller, dépanner et évaluer vos applications basées sur LLM, telles que les chatbots. Vous pouvez rechercher la cause profonde des problèmes, surveiller les performances opérationnelles et évaluer la qualité, la confidentialité et la sécurité de vos applications LLM.
Chaque requête traitée par votre application est représentée sous forme de trace sur la page Agent Observability dans Datadog.
Une trace peut représenter :
- Une inférence LLM individuelle, incluant les jetons, les informations d’erreur et la latence
- Un workflow LLM prédéfini, qui est un regroupement d’appels LLM et de leurs opérations contextuelles, telles que des appels d’outils ou des étapes de prétraitement
- Un workflow LLM dynamique exécuté par un agent LLM
Chaque trace contient des spans représentant chaque choix effectué par un agent ou chaque étape d’un workflow donné. Une trace donnée peut également inclure les entrées et sorties, la latence, les problèmes de confidentialité, les erreurs, et plus encore. Pour plus d’informations, consultez Termes et concepts.
Dépannage avec le traçage de bout en bout
Visualisez chaque étape de vos chaînes et appels d’application LLM pour localiser les requêtes problématiques et identifier la cause profonde des erreurs.
Surveillez les métriques opérationnelles et optimisez les coûts
Surveillez le coût, la latence, les performances et les tendances d’utilisation de toutes vos applications LLM avec des dashboards prêts à l’emploi.
Évaluez la qualité et l’efficacité de vos applications LLM
Comprenez ce que les utilisateurs demandent à votre application LLM, identifiez les lacunes de couverture et surveillez la qualité des réponses au fil du temps avec Patterns — un clustering hiérarchique automatisé des sujets de votre trafic de production.
Protégez les données sensibles et identifiez les utilisateurs malveillants
Analysez et masquez automatiquement toute donnée sensible dans vos applications d’IA et identifiez les injections de prompt, parmi d’autres évaluations.
Visualisez les anomalies mises en évidence sous forme d’insights
Agent Observability Insights offre une expérience de surveillance qui aide les utilisateurs à identifier les anomalies dans leurs métriques opérationnelles — telles que la durée et le taux d’erreur — et leurs évaluations prêtes à l’emploi (OOTB).
La détection des singularités est effectuée sur des dimensions clés :
Ces valeurs aberrantes sont analysées sur la semaine écoulée et automatiquement mises en évidence dans la fenêtre temporelle correspondante sélectionnée par l’utilisateur. Cela permet aux équipes de détecter de manière proactive les régressions, les dérives de performance ou les comportements inattendus dans leurs applications LLM.
Utilisez les intégrations avec Agent Observability
Le SDK Agent Observability pour Python s’intègre à des frameworks tels qu’OpenAI, LangChain, AWS Bedrock et Anthropic. Il trace et annote automatiquement les appels LLM, capturant la latence, les erreurs et les métriques d’utilisation des jetons, sans modification de code.
Datadog propose diverses fonctionnalités d'intelligence artificielle (IA) et d'apprentissage automatique (ML). Les
intégrations IA/ML sur la page Integrations et sur la Datadog Marketplace sont des fonctionnalités Datadog à l'échelle de la plateforme.
Par exemple, APM propose une intégration native avec OpenAI pour surveiller votre utilisation d'OpenAI, tandis qu'Infrastructure Monitoring propose une intégration avec NVIDIA DCGM Exporter pour surveiller les charges de travail IA intensives en calcul. Ces intégrations sont différentes de l'offre Agent Observability.
Pour plus d’informations, consultez la documentation sur l’instrumentation automatique.
Tarification
Agent Observability est mesuré et facturé en fonction du nombre de spans LLM ingérés : Un span LLM représente une requête unique adressée à un fournisseur LLM ; un workflow d’agent peut donc produire plusieurs spans LLM. Pour connaître les tarifs, consultez la page de tarification d’Agent Observability.
Prêt à commencer ?
Consultez la documentation de configuration pour obtenir des instructions sur l’instrumentation de votre application LLM ou suivez le guide de traçage d’une application LLM pour générer une trace à l’aide du SDK Agent Observability pour Python.
Pour aller plus loin
Documentation, liens et articles supplémentaires utiles:
