La soluzione Google Cloud di AI Edge per il test e il benchmarking del machine learning (ML) on-device su larga scala.
L'ottimizzazione del rendimento del modello ML su diversi dispositivi mobili può essere complicata. I test manuali sono lenti, costosi e spesso inaccessibili alla maggior parte degli sviluppatori, inducendo incertezze sulle prestazioni dei modelli reali. Google AI Edge Portal risolve il problema consentendo il benchmarking dei modelli LiteRT su una vasta gamma di dispositivi mobili, aiutando gli sviluppatori a trovare le configurazioni migliori per il deployment di modelli di ML su larga scala.
Ottimizzazione del deployment di ML mobile
Semplifica e accelera i cicli di test nel diverso panorama hardware: valuta facilmente il rendimento del modello su centinaia di dispositivi mobili rappresentativi in pochi minuti.
Garantisci in modo proattivo la qualità del modello e identifica in anticipo i problemi: individua variazioni o regressioni delle prestazioni specifiche dell'hardware (ad esempio su determinati chipset o dispositivi con limitazioni di memoria) prima del deployment.
Abbassa i costi di test dei dispositivi e accedi all'hardware più recente: esegui test su una flotta eterogenea e in continua crescita di dispositivi fisici (attualmente oltre 100 modelli di dispositivi di vari OEM Android) senza le spese e la complessità della gestione del tuo laboratorio.
Sfrutta la potenza dell'analisi dei dati e della business intelligence: Google AI Edge Portal fornisce dati e confronti approfonditi sul rendimento, fornendo la business intelligence necessaria per ottimizzare in modo sicuro il modello e convalidare l'idoneità al deployment.
Benchmark di esempio:
In che modo Google AI Edge Portal ti aiuta a eseguire il benchmarking dei tuoi modelli LiteRT
Carica e configura: carica il file del modello tramite l'interfaccia utente o indicalo nel tuo bucket Google Cloud Storage.
Seleziona gli acceleratori: specifica i test su CPU o GPU (con fallback automatico su CPU). Il supporto dell'NPU è previsto per le release future.
Seleziona dispositivi: scegli i dispositivi di destinazione dal nostro ampio pool utilizzando i filtri (livello del dispositivo, brand, chipset, RAM) o seleziona elenchi selezionati con comode scorciatoie.
Crea un nuovo job di benchmark su più di 100 dispositivi. (Nota: la GIF è accelerata e modificata per brevità)
Da qui, invia il job e attendi il completamento. Quando è tutto pronto, esplora i risultati nella dashboard interattiva:
Confronta le configurazioni: visualizza rapidamente le differenze tra le metriche sul rendimento (ad es. la latenza media, la memoria di picco) quando utilizzi acceleratori diversi su tutti i dispositivi testati.
Analisi dell'impatto dei dispositivi: scopri il rendimento di una configurazione del modello specifica nell'intervallo di dispositivi selezionati. Utilizza istogrammi e diagrammi a dispersione per identificare rapidamente le variazioni di prestazioni legate alle caratteristiche del dispositivo.
Metriche dettagliate: accedi a una tabella dettagliata e ordinabile che mostra metriche specifiche (tempo di inizializzazione, latenza di inferenza, utilizzo della memoria) per ogni singolo dispositivo, oltre alle relative specifiche hardware.
Visualizza i risultati del benchmark nella dashboard interattiva. (Nota: la GIF è accelerata e modificata per brevità)
Partecipa all'anteprima privata di Google AI Edge Portal
Google AI Edge Portal è disponibile in anteprima privata per i clienti Google Cloud inclusi nella lista consentita. Durante questo periodo di anteprima privata, l'accesso viene fornito senza costi, in base ai termini dell'anteprima.
Questa anteprima è ideale per gli sviluppatori e i team che creano applicazioni ML mobile con LiteRT e che hanno bisogno di dati di benchmarking affidabili su diversi hardware Android e sono disposti a fornire feedback per contribuire a definire il futuro del prodotto. Per richiedere l'accesso, compila il nostro modulo di registrazione qui per esprimere il tuo interesse. L'accesso viene concesso tramite la lista consentita.