Controllo magnetico dei plasmi tokamak attraverso l'apprendimento con rinforzo profondo

Dec 21, 2023

Natura volume 602, pagine 414–419 (2022)Citare questo articolo

182k accessi

131 citazioni

2389 Altmetrico

Dettagli sulle metriche

La fusione nucleare mediante confinamento magnetico, in particolare nella configurazione tokamak, rappresenta un percorso promettente verso l'energia sostenibile. Una delle sfide principali è modellare e mantenere un plasma ad alta temperatura all’interno del recipiente del tokamak. Ciò richiede un controllo ad anello chiuso ad alta dimensionalità, alta frequenza mediante bobine di attuatori magnetici, ulteriormente complicato dai diversi requisiti in un’ampia gamma di configurazioni del plasma. In questo lavoro, introduciamo un'architettura precedentemente non descritta per la progettazione del controller magnetico del tokamak che impara autonomamente a comandare l'intero set di bobine di controllo. Questa architettura soddisfa gli obiettivi di controllo specificati ad alto livello, soddisfacendo allo stesso tempo i vincoli fisici e operativi. Questo approccio ha una flessibilità e una generalità senza precedenti nella specificazione del problema e produce una notevole riduzione dello sforzo di progettazione per produrre nuove configurazioni del plasma. Produciamo e controlliamo con successo una serie diversificata di configurazioni del plasma sul Tokamak à Configuration Variable1,2, comprese forme allungate e convenzionali, nonché configurazioni avanzate, come la triangolarità negativa e le configurazioni a "fiocco di neve". Il nostro approccio consente di ottenere un tracciamento accurato della posizione, della corrente e della forma di queste configurazioni. Dimostriamo anche "goccioline" sostenute sul TCV, in cui due plasmi separati vengono mantenuti simultaneamente all'interno del vaso. Ciò rappresenta un notevole progresso per il controllo del feedback del tokamak, mostrando il potenziale dell’apprendimento per rinforzo per accelerare la ricerca nel campo della fusione, ed è uno dei sistemi reali più impegnativi a cui è stato applicato l’apprendimento per rinforzo.

I Tokamak sono dispositivi a forma di toro per la ricerca sulla fusione nucleare e sono uno dei principali candidati per la generazione di energia elettrica sostenibile. Una delle principali direzioni di ricerca è studiare gli effetti della modellazione della distribuzione del plasma in diverse configurazioni3,4,5 per ottimizzare la stabilità, il confinamento e lo scarico di energia e, in particolare, per informare il primo esperimento di combustione del plasma, ITER. Confinare ciascuna configurazione all'interno del tokamak richiede la progettazione di un controller di feedback in grado di manipolare il campo magnetico6 attraverso il controllo preciso di diverse bobine accoppiate magneticamente al plasma per ottenere la corrente, la posizione e la forma del plasma desiderate, un problema noto come problema di controllo magnetico del tokamak. .

L'approccio convenzionale a questo problema di controllo multivariato, non lineare e variabile nel tempo consiste nel risolvere innanzitutto un problema inverso per precalcolare un insieme di correnti e tensioni della bobina feedforward7,8. Quindi, un set di controller PID indipendenti, a ingresso singolo e uscita singola è progettato per stabilizzare la posizione verticale del plasma e controllare la posizione radiale e la corrente del plasma, i quali devono essere tutti progettati per non interferire reciprocamente6. La maggior parte delle architetture di controllo sono ulteriormente potenziate da un circuito di controllo esterno per la forma del plasma, che prevede l'implementazione di una stima in tempo reale dell'equilibrio del plasma9,10 per modulare le correnti della bobina feedforward8. I controller sono progettati sulla base della dinamica del modello linearizzato e la pianificazione del guadagno è necessaria per tenere traccia degli obiettivi di controllo variabili nel tempo. Sebbene questi controllori siano generalmente efficaci, richiedono un notevole impegno ingegneristico, impegno di progettazione e competenza ogni volta che la configurazione del plasma target viene modificata, insieme a calcoli complessi in tempo reale per la stima dell’equilibrio.

Un approccio radicalmente nuovo alla progettazione dei controller è reso possibile utilizzando l'apprendimento per rinforzo (RL) per generare controller con feedback non lineare. L'approccio RL, già utilizzato con successo in diverse applicazioni impegnative in altri settori11,12,13, consente la definizione intuitiva di obiettivi prestazionali, spostando l'attenzione su ciò che dovrebbe essere raggiunto, piuttosto che su come. Inoltre, RL semplifica notevolmente il sistema di controllo. Un singolo controller poco costoso dal punto di vista computazionale sostituisce l’architettura di controllo nidificata e una ricostruzione dello stato internalizzata elimina la necessità di una ricostruzione dell’equilibrio indipendente. Questi vantaggi combinati riducono il ciclo di sviluppo del controller e accelerano lo studio di configurazioni alternative del plasma. In effetti, l'intelligenza artificiale è stata recentemente identificata come una "opportunità di ricerca prioritaria" per il controllo della fusione14, basandosi sui successi dimostrati nella ricostruzione dei parametri della forma del plasma15,16, accelerando le simulazioni utilizzando modelli surrogati17,18 e rilevando imminenti interruzioni del plasma19. RL, tuttavia, non è stato utilizzato per la progettazione del controller magnetico, il che è impegnativo a causa delle misurazioni e dell'attuazione ad alta dimensione, degli orizzonti temporali lunghi, dei rapidi tassi di crescita dell'instabilità e della necessità di dedurre la forma del plasma attraverso misurazioni indirette.