White paper: Utilizzo della CFD per i data center
Hai bisogno del parere di un esperto?
Virtualizzazione: un forte aumento della densità termica
Potenziamento delle infrastrutture digitali: virtualizzazione e AI
La domanda globale di infrastrutture digitali sta crescendo in modo esponenziale, trainata dall’ascesa del cloud, dell’AI, dell’IoT e delle applicazioni ad alta intensità di dati. In questo contesto, i data center svolgono un ruolo essenziale: ospitano i server, le apparecchiature di archiviazione e le reti necessarie per elaborare e distribuire le informazioni.
Allo stesso tempo, il carico termico dei data center è aumentato notevolmente. La miniaturizzazione delle apparecchiature, la massiccia virtualizzazione dei server e la proliferazione delle applicazioni di intelligenza artificiale generano molto più calore per unità rispetto al passato. Mentre un tempo era sufficiente una capacità di raffreddamento di 5 kW per rack, oggi molti server superano i 10 kW per rack e alcune installazioni raggiungono i 45 kW.
In questo contesto di intensificazione del calore, il controllo dei flussi d’aria e del raffreddamento diventa fondamentale e si pone una domanda centrale:
"Il sistema di condizionamento dell'aria è in grado di gestire il 100% del carico termico, anche in condizioni di degrado?"
Conseguenze economiche e materiali
Le sfide termiche nei data center possono avere conseguenze significative e multidimensionali. Una cattiva gestione del calore può portare a un aumento significativo dei costi operativi, legati al consumo di energia e alla manutenzione correttiva.
Può anche ridurre la durata di vita delle apparecchiature IT, poiché i componenti elettronici sono sensibili alle variazioni di temperatura e al surriscaldamento ripetuto. Questo aumenta il rischio di guasti improvvisi all’hardware o di interruzioni del servizio, che possono avere un impatto sulla continuità aziendale e generare costi elevati per le operazioni.
Infine, questi problemi termici possono limitare la capacità di aumentare i carichi di lavoro IT, bloccando i progetti di espansione e il ramp-up delle infrastrutture.
I metodi di calcolo termico convenzionali, basati su formule semplificate o tabelle Excel, non sono sufficienti per anticipare il comportamento dei sistemi in condizioni critiche, come guasti all’aria condizionata, interruzioni di corrente o manutenzione dei rack, rendendo questi rischi ancora più difficili da controllare.
Per affrontare queste sfide, la simulazione digitale CFD (Computational Fluid Dynamics) è uno strumento strategico. Consente di modellare con precisione i flussi d’aria, la pressione, la distribuzione termica e le configurazioni di raffreddamento,anticipando gli scenari più critici. Grazie a questo approccio, è possibile progettare e gestire data center più affidabili e ottimizzati, evitando qualsiasi rischio di surriscaldamento o malfunzionamento.
Sfide termiche nei data center
Il controllo della temperatura in un data center è un esercizio complesso che deriva da molteplici interazioni: architettura dell’edificio, densità del carico IT, dinamiche del flusso d’aria, tecnologie di raffreddamento e cambiamenti operativi.
Densificazione dei carichi di lavoro IT
I server moderni, in particolare quelli progettati per applicazioni di calcolo intensivo come l’intelligenza artificiale (AI) o il calcolo ad alte prestazioni (HPC), possono dissipare diverse decine di kilowatt per rack. Questa elevata densità di apparecchiature genera un carico termico significativo nei data center, richiedendo sistemi di raffreddamento particolarmente performanti e con un margine di errore notevolmente ridotto. Con l’aumento della potenza, aumentano anche i rischi di hot spot e di ricircolo dell’aria calda .
La densificazione dei server richiede quindi non solo un dimensionamento preciso degli impianti di raffreddamento, ma anche una gestione attiva dei flussi d’aria e un controllo termico rigoroso per garantire un ambiente stabile e sicuro per le apparecchiature.
Formazione di punti caldi
I punti caldi sono aree in cui la temperatura supera le soglie raccomandate dagli standard ASHRAE e possono verificarsi a causa di una cattiva distribuzione del flusso d’aria, diostacoli fisici, del posizionamento dei rack, di unità di raffreddamento mal calibrate, di variazioni di carico o di modifiche al layout come l’aggiunta di altri server o rack.
Anche nei centri con carichi termici ridotti, questi squilibri termici hanno un impatto diretto sull’affidabilità e sulla durata delle apparecchiature. I componenti elettronici, in particolare i processori e la memoria, sono sensibili alle variazioni di temperatura e possono subire una riduzione delle prestazioni e della durata. Inoltre, le temperature localmente elevate aumentano il rischio di guasti improvvisi all’hardware, che possono portare a costosi tempi di inattività.
Spesso invisibili senza strumenti specializzati, questi punti caldi richiedono interventi difficili da prevedere. La simulazione CFD (Computational Fluid Dynamics) è uno strumento fondamentale per individuare, anticipare e prevenire queste aree critiche, ottimizzando la circolazione dell’aria e la gestione termica nei data center.
Simulazione CFD - Punti caldi nei corridoi
Ricircolo dell'aria calda
Il ricircolo dell’aria in un data center è il fenomeno per cui l‘aria calda esaurita dai server ritorna nel corridoio freddo prima di essere stata adeguatamente raffreddata. Questo fenomeno interrompe il flusso di calore previsto e può avere un impatto significativo sul funzionamento e sull’efficienza del sistema di raffreddamento .
Quando l’aria calda si mescola con l’aria fredda proveniente dal corridoio freddo, la temperatura all’ingresso dei rack aumenta. I server ricevono quindi aria già riscaldata, il cheriduce l’efficienza del raffreddamento e può causare variazioni termiche significative. Questa mancanza di raffreddamento aumenta anche il rischio di punti caldi, che possono compromettere l’affidabilità e la durata delle apparecchiature.
Il ricircolo porta anche a un consumo eccessivo delle unità di condizionamento. I sistemi devono fornire più aria fredda per compensare il flusso misto, il che aumenta il consumo energetico e riduce l’efficienza complessiva del data center.
Le cause di questo fenomeno possono essere molteplici. Corridoi poco sigillati, ad esempio l’assenza di spazzole o di pannelli di chiusura nelle baie, permettono all’aria calda di uscire verso il corridoio freddo. Anche un confinamento mal progettato, come corridoi freddi o caldi aperti o parzialmente divisi, favorisce il ritorno dell’aria calda. Infine, un flusso d’aria insufficiente, che non permette all’aria calda di essere espulsa in modo efficiente, contribuisce ad aumentare il ricircolo.
Simulazione CFD - Ricircolo dell'aria calda negli impianti
Di fronte all’incertezza o al rischio di punti caldi, molti operatori scelgono di raffreddare eccessivamente la stanza. Di conseguenza, le unità HVAC funzionano a una potenza superiore a quella effettivamente necessaria, aumentando il PUE (Power Usage Effectiveness) e i costi energetici, a volte in modo significativo. La sfida è raffreddare esattamente ciò che serve, dove serve, senza sprechi. Per questo motivo, una gestione rigorosa dell’architettura dei corridoi, unita a un dimensionamento adeguato dei flussi d’aria, è essenziale per limitare il ricircolo e mantenere condizioni di raffreddamento ottimali in un data center.
Controllo della temperatura e dell'umidità
La temperatura e l’umidità sono fattori essenziali per garantire il funzionamento affidabile e a lungo termine di un data center. Una temperatura troppo elevata accelera l’usura dei componenti elettronici, riduce l’efficienza dei sistemi di archiviazione e aumenta il rischio di guasti. Al contrario, un’umidità eccessiva può causare la formazione di condensa sui circuiti, con conseguenti cortocircuiti e perdita di dati. Al contrario, un’umidità troppo bassa favorisce l’elettricità statica, che puòdanneggiare i componenti sensibili.
Il controllo dell’umidità è quindi un fattore chiave per la protezione delle infrastrutture digitali. Ha un impatto diretto sulla sicurezza delle apparecchiature, sulla durata dei server e sulla stabilità dei sistemi di archiviazione dei dati critici. Negli ambienti ad alta densità di calcolo, come i centri che ospitano server per l’intelligenza artificiale o il calcolo ad alte prestazioni, la gestione precisa della temperatura e dell’umidità diventa ancora più critica. Il minimo squilibrio può aumentare il rischio di surriscaldamento, di ricircolo dell’aria calda o di guasti all’hardware, con un impatto sia sulla continuità del servizio che sul consumo energetico.
La messa a punto di questi parametri non solo aiuta a prevenire gli incidenti, ma anche a ottimizzare l’efficienza energetica del centro, evitando un raffreddamento eccessivo o poco mirato, che consumerebbe energia inutile senza alcun beneficio reale in termini di protezione delle apparecchiature.
Avviare gli incendi
I data center presentano rischi specifici di incendio legati all’alta concentrazione di apparecchiature elettriche ed elettroniche e alle forniture elettriche ad alta potenza. Un guasto hardware, un cortocircuito, un surriscaldamento locale o un guasto all’alimentazione possono portare rapidamente a un incendio. Sebbene i materiali utilizzati siano generalmente conformi agli standard di sicurezza, la combustione dei componenti elettronici genera fumi densi, tossici e corrosivi che rappresentano un grave pericolo per le persone e le apparecchiature.
Oltre al rischio di propagazione dell’incendio, il rapido accumulo di fumo caldo può compromettere gravemente la visibilità nei locali, complicare la risposta delle squadre di emergenza e portare a un rapido aumento della temperatura ambientale. In un ambiente confinato come un data center, questi fenomeni possono verificarsi in pochi minuti, rendendo particolarmente critici il controllo dei flussi d’aria e il dimensionamento dei sistemi di estrazione del fumo.
In questo contesto, la simulazione numerica con la CFD è uno strumento essenziale per analizzare e prevedere il comportamento di un edificio in caso di incendio. Può essere utilizzata per modellare la propagazione del fumo, le variazioni di temperatura e l’influenza dei flussi aeraulici generati dalla ventilazione o dall’estrazione del fumo. In particolare, la CFD può essere utilizzata pervalutare l’efficacia dei sistemi di estrazione del fumo,identificare le aree in cui il fumoristagna e verificare che le vie di fuga rimangano percorribili.
L’obiettivo principale di queste simulazioni è garantire condizioni di intervento accettabili per i servizi di emergenza, assicurando una visibilità sufficiente e temperature compatibili con il loro intervento. La CFD viene utilizzata per verificare che l’estrazione dei fumi venga attivata in modo da limitarne efficacemente l’accumulo, facilitarne l’evacuazione verso l’esterno e mantenere condizioni termiche controllate per tutta la durata dell’intervento. Queste analisi aiutano a migliorare la sicurezza, a limitare i danni materiali e a convalidare la conformità degli impianti ai requisiti di sicurezza antincendio.
Simulazione CFD: uno strumento indispensabile
Che cos'è la simulazione CFD?
La fluidodinamica computazionale(CFD) è un metodo di simulazione digitale per modellare il comportamento dei fluidi e i fenomeni termici associati. Utilizzando un software specializzato, l’ingegnere costruisce un modello tridimensionale dell’oggetto da studiare, definisce le condizioni al contorno, sceglie i modelli fisici rilevanti (convezione, conduzione, irraggiamento, trasferimento di calore, dinamica del flusso, ecc.
Segue una fase di iterazioni: in base ai risultati ottenuti, il modello viene adattato per rappresentare meglio i fenomeni fisici reali. L’obiettivo della modellazione CFD è comprendere, analizzare e ottimizzare il comportamento termico e fluidico di un sistema, al fine di fornire una soluzione affidabile ai problemi di progettazione o di funzionamento individuati.
I risultati delle simulazioni sono uno strumento decisionale: possono essere utilizzati per migliorare la progettazione iniziale di un impianto, identificare i colli di bottiglia eottimizzare le prestazioni operative.
Uno strumento di comprensione e visualizzazione
La gestione termica è fondamentale nei data center. Un rapido aumento della temperatura dovuto a un guasto di raffreddamento può portare a guasti simultanei delle apparecchiature, minacciando la continuità del servizio. A differenza delle tradizionali misurazioni a campione, la CFD offre una visione globale e predittiva, consentendo dianticipare i problemi prima che si verifichino.
- Visualizzare l’invisibile
La CFD rende visibili e quantificabili fenomeni aeraulici e termiciche non possono essere osservati direttamente a occhio nudo. In particolare, evidenzia le traiettorie dei flussi d’aria, le zone di ricircolo dell’aria calda, i gradienti di temperatura, le zone di surriscaldamento localizzato e gli effetti della turbolenza e delle variazioni di pressione. Questa capacità di visualizzazione tridimensionale è uno strumento particolarmente importante nel contesto dei data center, dove i flussi sono molto complessi e la prototipazione fisica su larga scala è irrealistica, se non impossibile. La CFD fornisce quindi una comprensione dettagliata del comportamento termico della sala, consentendo dianticipare i malfunzionamenti prima di qualsiasi modifica o implementazione in loco.
- Uno strumento di previsione e ottimizzazione
La CFD fornisce agli ingegneri uno strumento decisionale che consente loro divalutare e confrontare virtualmentediverse configurazioni prima di implementarle in loco. In particolare, possonoprevedere l’impatto dell’aggiunta o dell’aumento dei carichi IT, analizzare l’efficacia delle strategie di contenimento dei corridoi caldi e freddi e prevedere il comportamento aeraulico e termico del sistema in situazioni di degrado, come il guasto di un’unità di raffreddamento. Questo approccio garantisce la convalida delle soluzioni tecniche senza interrompere il servizio, limitando i rischi operativi ed evitando i costi aggiuntivi associati a scelte progettuali inadeguate o a correzioni a posteriori.
- Riduzione dei costi e prestazioni energetiche
La simulazione CFD è una leva importante per l’ottimizzazione tecnica ed economica dei data center. Permette infatti di orientare con precisione gli effettivi requisiti di raffreddamento e di evitare il sovradimensionamento delle apparecchiature, riducendo così gli investimenti inutili in infrastrutture aggiuntive. Ottimizzando la distribuzione dei flussi d’aria e l’efficienza dei sistemi di raffreddamento, contribuisce anche a ridurre in modo significativo il consumo energetico delle installazioni HVAC, limitando al contempo il raffreddamento eccessivo. In molti casi, questa messa a punto consente diaumentare la capacità IT senza la necessità di nuove infrastrutture.
Applicazioni tipiche della CFD nei data center
La CFD può essere utilizzata per simulare un’ampia gamma di scenari critici:
- Distribuzione dell’aria nei corridoi freddi e caldi,
- Pressione sotto il pavimento rialzato,
- Temperatura intorno ai sistemi,
- Prestazioni delle unità CRAC/CRAH,
- Contenimento efficace,
- Impatto di un guasto all’unità di raffreddamento
- Conseguenza di una variazione di carico
- Confronto tra diverse configurazioni di raffreddamento
Queste analisi possono essere utilizzate per prendere decisioni informate sulla progettazione e sul funzionamento dei data center, offrendo un livello di precisione irraggiungibile dalle sole sonde termiche o dall’esperienza empirica.
Software CFD per centri dati
Il mercato offre una varietà di software per la simulazione di flussi e fenomeni termodinamici: ANSYS, Autodesk CFD, XFlow, OpenFOAM, Phoenics, FlowVision, STAR-CD, TileFlow, Sigma6Room, Gas Dynamics Tool, ecc.
Alcuni strumenti, come TileFlow o Sigma6, incorporano librerie specifiche per i data center (ventilatori, unità di condizionamento, piastrelle perforate, apparecchiature IT), semplificando la modellazione per gli ingegneri meno esperti. Tuttavia, la qualità delle analisi dipende in larga misura dall’esperienza dello specialista CFD, che deve essere in grado di adattare correttamente i modelli e interpretare i risultati in modo rigoroso.
Processo di realizzazione di uno studio CFD
Raccolta dati
La raccolta dei dati è la fase iniziale e decisiva di qualsiasi studio CFD, in quanto condiziona direttamente l’ affidabilità e la rilevanza delle future simulazioni numeriche.
Questa fase si basa principalmente sull’analisi di informazioni tecniche, come planimetrie, caratteristiche delle apparecchiature, diagrammi del flusso d’aria, potenza dissipata e dati operativi nominali. Queste informazioni vengono utilizzate per caratterizzare le velocità dell’aria, i livelli di pressione, i campi di temperatura e le portate, oltre che per identificare gli ostacoli, i percorsi di flusso preferenziali e le potenziali zone di perdita.
Questa fase di analisi è essenziale per stabilire una base di modellazione coerente, definire correttamente le ipotesi e parametrizzare le condizioni al contorno, evidenziando i primi punti critici che possono avere un impatto sulle prestazioni termiche e aerauliche del sistema.
Creare il modello 3D
La creazione di un modello tridimensionale è una fase fondamentale dello studio CFD, in quanto consente di rappresentare fedelmente il data center sotto forma di gemello digitale da utilizzare per i calcoli. Questo modello 3D viene creato con strumenti di progettazione assistita dal computer (CAD) e incorpora tutti gli elementi geometrici che influiscono sul flusso d’aria e sul trasferimento di calore.
Le dimensioni e il volume della stanza sono definiti con precisione, così come la disposizione dei rack dei computer e degli armadietti per le telecomunicazioni, al fine di riprodurre gli effettivi percorsi di circolazione dell’aria. Il pavimento tecnico viene modellato tenendo conto della sua altezza, della posizione e del tasso di perforazione delle lastre, che determinano il modo in cui viene immessa l’aria fredda. L’impianto di condizionamento viene integrato con le sue caratteristiche funzionali, tra cui le portate, le velocità e le direzioni dei flussi d’aria, nonché il tipo di ventilatori e l’orientamento dell’aria di mandata. Vengono presi in considerazione anche gli ostacoli che possono disturbare il flusso, come le canaline o le strutture accessorie.
Questa modellazione dettagliataevita le ipotesi semplificative o il sovradimensionamento comunemente utilizzato in assenza di CFD e fornisce una base realistica per prevedere con precisione le condizioni termiche e aerauliche del data center, riducendo il rischio di una progettazione non ottimale.
Condizioni limite
Le condizioni al contorno nella fluidodinamica computazionale (CFD) sono un elemento fondamentale della modellazione, poiché traducono matematicamente l’interazione tra il dominio computazionale e il suo ambiente fisico. Esse definiscono, ai confini del dominio della mesh, i valori imposti o le relazioni funzionali di quantità conservate come velocità, pressione, temperatura o flusso di calore.
A seconda della natura fisica del problema, si applicano diversi tipi di condizioni al contorno: condizioni di tipo Dirichlet che impongono un valore fisso (ad esempio la velocità o la temperatura), condizioni di tipo Neumann che impongono un gradiente o un flusso, oppure condizioni miste che combinano le due cose. Gli ingressi e le uscite del flusso sono generalmente caratterizzati da profili di velocità, flusso di massa o pressione, mentre le pareti solide possono essere modellate come aderenti (condizione di non scivolamento), isoterme o adiabatiche. I modelli di turbolenza richiedono anche condizioni specifiche per le quantità turbolente, coerenti con il regime di flusso previsto.
La scelta e l’implementazione rigorosa di queste condizioni sono essenziali per garantire la stabilità numerica, la convergenza della soluzione e la rappresentatività fisica dei risultati, poiché qualsiasi incoerenza potrebbe portare a errori significativi o a soluzioni non fisiche.
Maglia
La simulazione matematica dei flussi d’aria e dei processi di trasferimento del calore comporta la risoluzione numerica di una serie di equazioni differenziali parziali non lineari del secondo ordine.
Poiché il modello numerico dello spazio è composto da un numero infinito di punti, è impossibile risolvere le equazioni differenziali parziali, anche numericamente. La struttura viene quindi scomposta in un numero finito di punti, ottenendo una scomposizione della geometria in forme semplici. Tutti questi nodi ed elementi costituiscono la maglia del modello.
Il software esegue un’interrogazione topologica completa della geometria di analisi e determina le dimensioni e la distribuzione della maglia su ogni bordo, superficie e volume del modello. La curvatura geometrica, i gradienti e la vicinanza alla geometria vicina vengono presi in considerazione quando si assegnano le dimensioni degli elementi e si distribuisce la maglia. La maglia viene poi sistematicamente messa a punto dagli ingegneri incaricati degli studi nelle zone di studio specifiche con gradienti elevati.
La mesh viene generata automaticamente in base alla geometria del modello e alle condizioni al contorno utilizzando algoritmi(metodo di avvezione di tipo Petrov-Garlerkin 5) che definiscono la soluzione di convergenza ottimale.
La maglia prodotta è di tipo ibrido. Gli elementi di questo tipo di maglia vengono generati senza alcun vincolo sulla loro disposizione, consentendo di generare geometrie complesse pur mantenendo una buona qualità degli elementi. La maglia generata combina una miscela di elementi di diverso tipo, tetraedrici, prismatici o piramidali in 3D. Combina i vantaggi delle mesh strutturate e non strutturate.
In ognuno di questi volumi, le equazioni di conservazione sono espresse sotto forma di equazioni algebriche. Questo insieme di volumi finiti viene definito maglia.
Analisi e ottimizzazione
L’analisi e l’ottimizzazione dei risultati è la fase finale dello studio CFD, che consente di trasformare i dati numerici in leve concrete per migliorare il sistema.
I risultati dei calcoli possono essere utilizzati in una serie di visualizzazioni, come mappe di calore, campi di velocità, sezioni trasversali verticali o orizzontali e animazioni che rappresentano le traiettorie e le interazioni del flusso d’aria. Queste rappresentazioni facilitano l’identificazione di aree critiche, come punti caldi, ricircoli indesiderati, squilibri di flusso o perdite di efficienza della ventilazione.
Sulla base di queste analisi, si possono proporre azioni correttive, come la riorganizzazione delle apparecchiature, la regolazione delle portate e delle direzioni dei flussi d’aria, la modifica della disposizione delle piastrelle perforate o l’ottimizzazione del posizionamento dei sistemi di condizionamento. Gli scenari di simulazione possono essere iterati per confrontare diverse configurazioni e convergere verso una soluzione che offra un funzionamento termico e aeraulico ottimale e affidabile che soddisfi i requisiti operativi del data center.
Sommario
I software di simulazione CFD sono in grado di rappresentare accuratamente il flusso dei fluidi, sia liquidi che gassosi, e tutti i fenomeni fisici associati, in particolare il trasferimento di calore. Basati sulla modellazione termodinamica, questi strumenti offrono un’analisi approfondita del flusso d’aria e del comportamento termico, rendendo possibile la progettazione di sistemi ad alte prestazioni e lamessa a punto di impianti esistenti, in particolare in ambienti complessi come i data center.
Senza l’uso della CFD, una valutazione affidabile della distribuzione delle temperature e dei flussi d’aria in una sala computer rimarrebbe largamente approssimativa. Queste grandezze sono il risultato dell’interazione di numerosi parametri, come il carico termico dissipato dalle apparecchiature informatiche, la disposizione e le prestazioni delle unità di condizionamento, le temperature dei fluidi di trasferimento del calore, l’altezza e la configurazione del pavimento tecnico, la disposizione delle griglie di mandata e di ritorno e il tipo e le caratteristiche dei ventilatori.
Integrando simultaneamente tutti questi fattori, la simulazione CFD è diventata uno strumento essenziale per comprendere, prevedere e controllare il comportamento termico e aeraulico di un data center, garantendo allo stesso tempo scelte progettuali e migliorando l’efficienza energetica complessiva.
Scopri di più su questo argomento:
Le nostre soluzioni specifiche per i data center:
Studio sull’accumulo termico
Per saperne di più
Ingegneria CFD per i centri dati
Per saperne di più
Simulazione CFD esterna per i data center
Per saperne di più
Simulazione di incendio nei centri dati
Per saperne di più
Studio termico dei locali tecnici
Per saperne di più
Ottimizzazione energetica e calcolo del PUE dei data center
Per saperne di più
Audit, diagnosi e modellazione 3D dei data center esistenti
Per saperne di più
Studio dell’impatto dei centri dati sulle isole di calore urbane
Per saperne di più
Progettare il gemello digitale del tuo data center
Per saperne di più
Messa in funzione: studio e modellazione CFD dei banchi di carico
Per saperne di più
Ingegneria dei centri dati
Nata in Francia, EOLIOS Ingénierie è la società di consulenza di riferimento per la simulazione termica e aeraulica dei data center in Europa e nel mondo. L’azienda supporta operatori, progettisti e proprietari di progetti in ogni fase della vita di un data center: progettazione, ottimizzazione, ristrutturazione o ampliamento.
Combinando competenze scientifiche all’avanguardia, strumenti di simulazione di ultima generazione e una conoscenza approfondita dell’ecosistema dei data center, EOLIOS Ingénierie è un partner di fiducia per garantire la disponibilità, la sicurezza e le prestazioni energetiche delle infrastrutture IT, anticipando al contempo i problemi di sostenibilità.
EOLIOS
PARIGI – LONDRA – MILANO – MUNICH – MADRID – VARSAVIA – CASABLANCA – EMIRATI ARABI UNITI – USA
