Dynatrace migliora l’osservabilità delle applicazioni AI aziendali

Dynatrace ha annunciato un’estensione delle sue funzionalità di osservabilità delle applicazioni di GenAI aziendali. Questa evoluzione, spiega una nota, consente ai team delle aziende clienti di accedere a informazioni complete per garantire l’affidabilità, le prestazioni, la sicurezza e la conformità delle loro applicazioni di AI.

Più in dettaglio, precisa la nota, le evoluzioni della piattaforma Dynatrace sono le seguenti:

• Analytics del modello LLM migliorati: oltre a monitorare i KPI standard come gli errori di input e output, i tempi di risposta e il consumo di token, le capacità predittive di Dynatrace Davis AI rilevano i cambiamenti nel comportamento d’uso per prevedere e anticipare le variazioni di costo associate all’utilizzo di LLM. Questo aiuta i team a comprendere le prestazioni del modello e le opportunità di ottimizzazione.
• Controllo di input e output del LLM: Dynatrace protegge la qualità dell’input e dell’output delle applicazioni di AI per contribuire a creare fiducia nell’AI. Ciò consente di riconoscere le allucinazioni del modello, identificare i tentativi di abuso del LLM, come l’injection di prompt dannosi, prevenire la fuga di informazioni di identificazione personale (Personally Identifiable Information – PII) e di rilevare il linguaggio tossico.
• Tracciamento multi-modello: Dynatrace mappa le dipendenze tra più LLM che lavorano in concerto con pipeline di Retrieval Augmented Generation (RAG) o strutture agentiche per fornire osservabilità end-to-end dell’intero sistema, non solo delle singole parti componenti. Questo consente di verificare che le dipendenze interagiscano senza problemi per offrire esperienze utente finali ottimali.
• Integrazioni AI responsabili: Dynatrace aiuta le organizzazioni a governare l’AI tracciando ogni input e output senza campionamento per fornire un audit trail di monitoraggio e osservabilità, compresa la documentazione dei dati utilizzati per l’addestramento di un determinato modello. Attraverso Dynatrace Grail, tutti i dati possono essere interrogati in tempo reale e archiviati per future consultazioni.

La nota di Dynatrace cita poi Stephen Elliot, vicepresidente del gruppo IDC, I&O e Cloud Operations: “L’osservabilità dei dati e dei LLM è un requisito essenziale per costruire e distribuire soluzioni di AI affidabili, degne di fiducia ed economiche. Queste capacità forniscono gli insights per garantire che i modelli funzionino come previsto, soddisfino gli obiettivi aziendali e forniscano risultati all’organizzazione. Permettono di ottenere visibilità e rilevamento di anomalie, incongruenze e alterazioni, e di garantire che i dati utilizzati per addestrare ed eseguire i modelli siano accurati, completi e rappresentativi del mondo reale”.

“Gran parte della nostra base clienti sta portando in produzione applicazioni di AI. L’osservabilità dell’AI è fondamentale per il ROI, la governance e la esplicabilità”, dichiara nel comunicato Alois Reitbauer, Chief Technology Strategist di Dynatrace. “Dynatrace offre l’osservabilità dell’AI con insight in tempo reale che consentono ai dati e ai sistemi di lavorare insieme senza sforzo”.