Cosa devono sapere le startup nel campo della sanità digitale sulla legge UE sull’intelligenza artificiale

Il 13 marzo la legge sull’intelligenza artificiale (AI) dell’Unione Europea (UE) è stata approvata dalla stragrande maggioranza dei parlamentari europei.

L’atto rappresenta un punto di svolta a livello globale, essendo la prima legge in assoluto a mettere i sistemi di intelligenza artificiale sotto il microscopio. Stabilisce la legge per lo sviluppo e l’utilizzo dell’intelligenza artificiale, distribuendo pesanti multe e una lunga lista di cose da fare per gli outfit che si dilettano nell’intelligenza artificiale. È interessante notare che ciò non colpisce solo le aziende europee ma anche quelle al di fuori dell’UE se i loro sistemi di intelligenza artificiale vengono utilizzati in Europa.

Ma cosa significa questo per le aziende sanitarie che sviluppano prodotti IA?

Da quando la legge è entrata in vigore, tutte quelle storie sugli incidenti legati all’intelligenza artificiale sono ora un grattacapo legale. Le aziende che sviluppano e implementano sistemi di intelligenza artificiale ad alto rischio sosterranno un onere normativo particolarmente pesante. Tuttavia, indipendentemente dalla categoria di rischio, è saggio che tutte le aziende coinvolte nell’intelligenza artificiale implementino misure di conformità all’intelligenza artificiale.

La conformità dell’IA è una supervisione completa implementata internamente dei sistemi di intelligenza artificiale, garantendo che aderiscano ai requisiti legali e alle norme etiche durante tutto il loro sviluppo, implementazione e utilizzo.

La conformità dell’IA dovrebbe comprendere:

• Valutazione normativa per garantire il rispetto delle leggi durante lo sviluppo, l’implementazione e l’uso dei sistemi di intelligenza artificiale. Ciò include non solo il rispetto delle leggi sull’IA ma anche, ad esempio, il rispetto delle norme del Regolamento generale sulla protezione dei dati (GDPR) e delle norme sul copyright.
• Standard etici, tra cui equità, trasparenza, responsabilità e rispetto per la privacy degli utenti. La conformità etica implica l’identificazione dei pregiudizi nei sistemi di intelligenza artificiale, la prevenzione delle violazioni della privacy e la riduzione al minimo di altri rischi etici.

L’EU AI Act propone una categorizzazione del rischio

Tale categorizzazione dei sistemi di intelligenza artificiale aiuta a comprendere quali requisiti devono essere soddisfatti in base al rischio inaccettabile, elevato, limitato e minimo.

Rischio inaccettabile : questa categoria include , ad esempio, l’identificazione biometrica e la categorizzazione dei pazienti, i sistemi di classificazione sociale o anche le applicazioni vocali che incoraggiano comportamenti a rischio. Vale la pena ricontrollare il modello per assicurarsi che non suggerisca di provare esercizi inappropriati per il paziente, che potrebbero non prendere in considerazione fattori di salute secondari come le ernie.

Rischio elevato: ciò potrebbe comportare dispositivi medici, applicazioni che affrontano problemi cronici o offerta di cure e chirurgia robotica.

Requisiti per i fornitori di sistemi di IA ad alto rischio

R: I fornitori di IA ad alto rischio devono istituire un sistema di gestione del rischio durante tutto il ciclo di vita del sistema di IA ad alto rischio. Ad esempio, nella fase di sviluppo di un sistema di IA diagnostico medico, i rischi potenziali potrebbero includere diagnosi errate che potrebbero danneggiare il paziente. Per risolvere questo problema, gli sviluppatori potrebbero implementare procedure di test rigorose, condurre studi clinici approfonditi e collaborare con professionisti medici per garantire l’accuratezza e l’affidabilità del sistema di intelligenza artificiale.

Durante l’implementazione e il funzionamento, potrebbero essere stabiliti un monitoraggio continuo e cicli di feedback per rilevare e affrontare tempestivamente eventuali rischi emergenti o problemi di prestazioni.

B: I fornitori devono garantire la governance dei dati verificando che i set di dati di formazione, convalida e test siano pertinenti, sufficientemente rappresentativi e, nella migliore misura possibile, privi di errori e completi per lo scopo previsto.

Ad esempio, nello sviluppo di un’app di salute digitale progettata per diagnosticare le condizioni della pelle utilizzando l’intelligenza artificiale, garantire la governance dei dati implica verificare che i set di dati di formazione, convalida e test includano immagini diverse e complete di varie condizioni della pelle in diversi dati demografici.

I set di dati dovrebbero provenire da fonti affidabili, come database medici o cliniche, per garantire accuratezza e pertinenza. Inoltre, i set di dati dovrebbero essere attentamente curati per eliminare errori e incoerenze, come immagini con etichette errate o scarsa qualità delle immagini, che potrebbero influire sulla capacità dell’IA di diagnosticare efficacemente le condizioni della pelle. Questo rigoroso processo di governance dei dati aiuta a migliorare l’accuratezza e l’affidabilità dell’app nel fornire consigli diagnostici agli utenti.

C: Devono sviluppare la documentazione tecnica per dimostrare la conformità e fornire alle autorità le informazioni necessarie per valutare tale conformità.

La documentazione tecnica potrebbe includere:

• Architettura di sistema: diagrammi dettagliati e descrizioni dell’infrastruttura dell’app, incluso il modo in cui i dati dell’utente vengono raccolti, elaborati e archiviati in modo sicuro.
• Politiche di gestione dei dati: documentazione che descrive come vengono gestiti i dati dell’utente durante l’intero ciclo di vita dell’app, inclusi metodi di raccolta dei dati, protocolli di crittografia e politiche di conservazione dei dati.
• Algoritmi AI: descrizioni degli algoritmi AI utilizzati nell’app per analizzare i dati dell’utente e generare consigli sugli esercizi, comprese informazioni su come gli algoritmi sono stati addestrati e convalidati.
• Misure di privacy e sicurezza: documentazione che descrive in dettaglio le funzionalità di privacy e sicurezza dell’app, come meccanismi di consenso dell’utente, controlli di accesso e misure per prevenire accessi non autorizzati o violazioni dei dati.
• Conformità alle normative: prova della conformità alle normative e agli standard pertinenti, come l’HIPAA (Health Insurance Portability and Accountability Act) negli Stati Uniti o il Regolamento generale sulla protezione dei dati (GDPR) nell’UE, comprese eventuali certificazioni o audit condotti per verificare la conformità.

D: I fornitori di sistemi di IA ad alto rischio devono incorporare capacità di tenuta dei registri nel sistema di IA ad alto rischio per registrare automaticamente gli eventi rilevanti per identificare i rischi a livello nazionale e le modifiche sostanziali durante tutto il ciclo di vita del sistema.

Per incorporare funzionalità di tenuta dei registri, il sistema potrebbe registrare automaticamente vari eventi, come:

• Interazioni con i pazienti: registrazione di ogni istanza in cui il sistema di intelligenza artificiale fornisce una diagnosi o una raccomandazione basata sull’input del paziente o sui dati medici.
• Aggiornamenti di sistema: registrazione di eventuali aggiornamenti o modifiche apportate agli algoritmi o al software AI per migliorare le prestazioni o risolvere i problemi.
• Risultati diagnostici: documentazione dei risultati di ciascuna diagnosi fornita dal sistema di intelligenza artificiale, incluso se la diagnosi era accurata o se erano necessari ulteriori test o interventi.
• Eventi avversi: annotare eventuali casi in cui la diagnosi o la raccomandazione del sistema di intelligenza artificiale ha portato a esiti avversi o danni al paziente.
• Prestazioni del sistema: tenere traccia dei parametri prestazionali del sistema IA, come tassi di precisione, tassi di falsi positivi/negativi e tempi di risposta, nel tempo.

E: Fornire agli operatori a valle istruzioni chiare per l’uso per facilitare la loro conformità.

Ad esempio, se il sistema di intelligenza artificiale è progettato per assistere i radiologi nell’interpretazione delle scansioni di immagini mediche, le istruzioni per l’uso potrebbero includere:

1. Procedure dettagliate per l’accesso e il login al sistema di intelligenza artificiale in modo sicuro, compresi i requisiti di autenticazione e i livelli di accesso degli utenti in base a ruoli e responsabilità.
2. Linee guida per l’immissione dei dati dei pazienti e il caricamento delle scansioni di immagini mediche nell’interfaccia del sistema AI, garantendo la conformità alle normative sulla privacy dei dati come l’HIPAA (Health Insurance Portability and Accountability Act) o il Regolamento generale sulla protezione dei dati (GDPR).
3. Istruzioni su come interpretare e convalidare i risultati del sistema di IA, compresi i criteri per valutare il livello di confidenza del sistema nelle sue previsioni e raccomandazioni.
4. Protocolli per documentare l’uso del sistema di intelligenza artificiale nelle cartelle cliniche dei pazienti, inclusi eventuali risultati, raccomandazioni o avvisi rilevanti generati dal sistema.
5. Raccomandazioni per integrare il sistema di intelligenza artificiale nei flussi di lavoro clinici e nei processi decisionali esistenti, riducendo al minimo le interruzioni e garantendo una collaborazione continua tra gli operatori sanitari e la tecnologia di intelligenza artificiale.
6. Risorse e materiali di formazione per educare gli operatori sanitari sulle capacità, sui limiti e sui potenziali rischi associati all’utilizzo del sistema di intelligenza artificiale, sottolineando l’importanza della formazione continua e dello sviluppo delle competenze.

F: Implementare meccanismi robusti per la supervisione e l’intervento umano per garantire che i sistemi di intelligenza artificiale non sostituiscano il giudizio umano nel prendere decisioni mediche critiche.

Ad esempio, si consideri un sistema di intelligenza artificiale ad alto rischio progettato per assistere gli operatori sanitari nella diagnosi del cancro della pelle sulla base di immagini dermatologiche. Per garantire la supervisione e l’intervento umano, potrebbero essere implementati i seguenti meccanismi:

1. Avvisi di supporto decisionale: il sistema di intelligenza artificiale potrebbe essere programmato per segnalare i casi in cui la sua affidabilità diagnostica scende al di sotto di una certa soglia o in cui la diagnosi non è conclusiva. In tali casi, il sistema spingerebbe l’operatore sanitario a rivedere i risultati dell’IA ed esercitare il proprio giudizio clinico.
2. Revisione della seconda opinione: il sistema di IA potrebbe offrire agli operatori sanitari la possibilità di richiedere una seconda opinione a uno specialista umano o a un gruppo di esperti in casi di incertezza o disaccordo tra la diagnosi dell’IA e la valutazione iniziale del fornitore.
3. Tracce di controllo e registrazione: il sistema di intelligenza artificiale potrebbe mantenere tracce di controllo dettagliate del suo processo decisionale, inclusa la logica alla base di ogni raccomandazione diagnostica, i dati di input utilizzati per l’analisi e qualsiasi aggiustamento apportato da revisori umani. Queste informazioni verranno registrate per la revisione e la verifica da parte degli operatori sanitari.
4. Funzionalità di override di emergenza: in situazioni urgenti o pericolose per la vita in cui è richiesta un’azione immediata, il sistema di intelligenza artificiale potrebbe includere una funzione di override di emergenza che consente agli operatori sanitari di ignorare le raccomandazioni dell’IA e prendere decisioni in base al loro giudizio clinico.
5. Monitoraggio e feedback continui: il sistema di intelligenza artificiale potrebbe incorporare meccanismi per il monitoraggio e il feedback continui, in cui gli operatori sanitari possono segnalare discrepanze, errori o esiti avversi riscontrati durante l’utilizzo del sistema. Questo ciclo di feedback faciliterebbe il miglioramento continuo e il perfezionamento degli algoritmi dell’IA.

G: Progettare il sistema di IA ad alto rischio per raggiungere livelli adeguati di accuratezza, robustezza e sicurezza informatica.

Nel contesto dello sviluppo di un sistema di intelligenza artificiale ad alto rischio per la diagnosi di malattie cardiovascolari nelle applicazioni sanitarie digitali, il raggiungimento di livelli adeguati di accuratezza, robustezza e sicurezza informatica è fondamentale per garantire la sicurezza dei pazienti e l’integrità dei dati. Ecco come potrebbe essere implementato:

• Precisione: il sistema di intelligenza artificiale dovrebbe essere sottoposto a rigorosi processi di convalida e test utilizzando set di dati diversi e rappresentativi di immagini cardiache, cartelle cliniche e risultati clinici. Dovrebbero essere condotti perfezionamenti e ottimizzazioni continui degli algoritmi di intelligenza artificiale per migliorare l’accuratezza diagnostica nel tempo. Ad esempio, il sistema potrebbe raggiungere un elevato livello di precisione sfruttando tecniche di deep learning addestrate su un ampio set di dati di ecocardiogrammi, elettrocardiogrammi e altre modalità di imaging cardiaco.
• Robustezza: il sistema di intelligenza artificiale dovrebbe essere progettato per funzionare in modo affidabile in varie condizioni e scenari del mondo reale, comprese le differenze nella demografia dei pazienti, nella qualità delle immagini e nelle manifestazioni della malattia. La robustezza può essere ottenuta incorporando tecniche come l’aumento dei dati, l’assemblaggio di modelli e l’addestramento antagonista per migliorare la resilienza del sistema al rumore, agli artefatti e alle incertezze nei dati di input. Inoltre, il sistema dovrebbe includere meccanismi di sicurezza e procedure di gestione degli errori per mitigare l’impatto di guasti o malfunzionamenti imprevisti.
• Sicurezza informatica: proteggere i dati dei pazienti e garantire la riservatezza, l’integrità e la disponibilità delle informazioni sanitarie è fondamentale per il funzionamento sicuro di un sistema di intelligenza artificiale. Dovrebbero essere implementate solide misure di sicurezza informatica per tutelarsi da accessi non autorizzati, violazioni dei dati e minacce informatiche. Ciò può includere la crittografia dei dati sensibili sia inattivi che in transito, l’implementazione di controlli di accesso e meccanismi di autenticazione, controlli di sicurezza regolari e test di penetrazione.

H: Stabilire un sistema di gestione della qualità per garantire il rispetto dei requisiti normativi.

1. Controllo dei documenti: gestisci tutti i documenti di sviluppo in termini di accuratezza e accessibilità.
2. Gestione del cambiamento: valutare e approvare rigorosamente le modifiche al sistema per mantenere la sicurezza e l’efficacia.
3. Gestione del rischio: identificare, valutare e mitigare i rischi durante tutto il ciclo di vita del sistema.
4. Formazione: fornire formazione al personale sullo sviluppo del software, sui principi di qualità e sulle normative.
5. Audit: condurre regolari audit interni ed esterni per garantire la conformità e il miglioramento continuo.

Un esempio di come potrebbe apparire il piano d’azione finale. Immagine gentilmente concessa da Ilya Pavlov.

Requisiti di rischio limitato

L’uso dell’intelligenza artificiale è considerato a rischio limitato se vengono soddisfatti i requisiti di trasparenza. Ad esempio, quando si utilizzano i chatbot, ora sarà necessario rendere noto che la persona sta interagendo con una macchina e non con una vera infermiera.

I contenuti creati dall’intelligenza artificiale devono essere opportunamente etichettati come generati artificialmente . Lo stesso requisito si applica ai contenuti audio e video creati utilizzando i deepfake. Pertanto, è sufficiente indicare all’utente in qualsiasi modo disponibile che sta attualmente interagendo con l’intelligenza artificiale.

Requisiti di rischio minimi o assenti

La legge consente l’uso gratuito dell’IA con un rischio minimo. Ciò include, ad esempio, videogiochi con supporto AI (ovvero gamification non correlata al trattamento nell’app) o filtri antispam. Il rischio minimo non è regolamentato.

Ulteriori responsabilità sono specificatamente delineate per i fornitori di General Purpose AI (GPAI). GPAI è un modello di intelligenza artificiale, anche autonomo, addestrato su una grande quantità di dati, sufficientemente versatile e in grado di eseguire con competenza un’ampia gamma di compiti. L’esempio più noto è ChatGPT.

In cosa differisce la GPAI dall’intelligenza artificiale normale?

Esempio di un’app che utilizza l’intelligenza artificiale regolare: un’applicazione diagnostica a raggi X assiste i medici nell’analisi delle immagini a raggi X, aiutando a rilevare determinate patologie o malattie come il cancro ai polmoni o l’artrosi. Utilizza modelli convenzionali di apprendimento automatico, come le reti neurali convoluzionali, per addestrarsi al rilevamento di anomalie nei raggi X.

Esempio di un’app che utilizza GPAI: un’applicazione per la gestione della salute e del benessere fornisce consigli personalizzati per uno stile di vita sano e aiuta a gestire le condizioni croniche. Utilizza un modello GPAI per analizzare i dati degli utenti, come anamnesi, attività fisica, sonno e indicatori nutrizionali, nonché il feedback degli utenti, per offrire raccomandazioni personalizzate e supportare salute e benessere.

Entrambi questi esempi dimostrano l’applicazione dell’intelligenza artificiale nel settore sanitario, ma l’applicazione del modello GPAI offre maggiore flessibilità e la capacità di fornire raccomandazioni e supporto personalizzati.

In parole povere, l’intelligenza artificiale tradizionale è abile nel riconoscere modelli, mentre l’intelligenza artificiale generativa eccelle nella creazione di modelli. Mentre l’intelligenza artificiale tradizionale può analizzare i dati e riportarne i risultati, l’intelligenza artificiale generativa può sfruttare gli stessi dati per generare risultati completamente nuovi.

Quali requisiti derivano dall’uso di GPAI?

1. Tutti i fornitori di modelli GPAI devono fornire documentazione tecnica, istruzioni per l’uso dei modelli, rispettare le leggi sul copyright e descrivere pubblicamente il contenuto utilizzato per addestrare l’IA.
2. I fornitori di modelli GPAI con licenze aperte devono rispettare le leggi sul copyright e pubblicare dati di formazione riepilogativi a meno che non pongano rischi sistemici.
3. Tutti i fornitori di modelli GPAI, aperti o chiusi, che presentano rischi sistemici devono anche condurre valutazioni dei modelli, monitorare e segnalare incidenti gravi che coinvolgono modelli di intelligenza artificiale e garantire la protezione della sicurezza informatica.

Il mancato rispetto delle norme legali prescritte può comportare pesanti sanzioni fino a 35 milioni di euro o al 7% del fatturato globale.

Conclusione

Per attuare un approccio orientato al rischio, la legge stabilisce le seguenti regole:

• Vieta i sistemi di intelligenza artificiale che comportano rischi inaccettabili. L’uso di tali sistemi può essere consentito solo in circostanze eccezionali, per scopi di applicazione della legge su ordine del tribunale (ad esempio, riconoscimento facciale in tempo reale per la ricerca di un bambino scomparso).
• Identifica un elenco di sistemi di intelligenza artificiale con elevati livelli di rischio e stabilisce requisiti chiari per tali sistemi e per le aziende che li sviluppano e li implementano.
• Richiede valutazioni di conformità prima di mettere in funzione sistemi di IA con elevati livelli di rischio o di immetterli sul mercato.
• Specifica i requisiti di trasparenza per i sistemi di IA con rischio limitato e deregolamenta completamente l’IA con rischio minimo.

Riproduzione MobiHealthNews