Deep Learning con LSTM per la manutenzione predittiva

L’ammontare di dati estratti dai processi di produzione è cresciuto esponenzialmente grazie alla proliferazione della sensoristica. Se correttamente processati ed analizzati, i dati possono rivelare importanti informazioni sui processi manifatturieri, sui sistemi di produzione e sulle attrezzature. Il buon mantenimento delle attrezzature aziendali è una chiave importante per il successo di un’azienda, influenzando i tempi operativi delle macchine stesse e la loro efficienza. Per questo, eventuali guasti a macchinari e attrezzature devono essere prontamente identificati e gestiti, evitando shutdown improvvisi. Per ovviare questo problema sono adottati interventi di quattro categorie di manutenzione:

• Correttiva: l’intervento è fatto al verificarsi del problema e può causare disagi e problemi di qualità e sicurezza;
• Preventiva: la manutenzione è fatta a scadenza (temporale o ciclica), evitando il verificarsi del guasto, ma incrementando i costi, i fermi e le sostituzioni di componenti ancora in buono stato;
• Su condizione: i sensori rilevano parametri macchina e al raggiungimento di soglie segnalano la necessità della manutenzione; in genere richiedono molto impegno per essere efficaci e aggiornati;
• Predittiva: si applicano tecniche statistiche e di intelligenza artificiale sui dati storici dei sensori e delle operazioni di manutenzione; questi approcci richiedono basi di dati e conoscenze di algoritmi di apprendimento, ma grazie alle loro prestazioni numerosi metodi di Machine Learning si sono affermati negli anni come strumenti efficaci per applicazioni di manutenzione predittiva. [1]

Attualmente l’industria sta attraversando quella che gli esperti chiamano “la quarta rivoluzione industriale”, un percorso indirizzato verso una fase nota come industria 4.0. Questa rivoluzione sta portando rapidamente all’integrazione, all’interno degli ambienti di produzione, di tecnologie materiali e immateriali. Non solo le tecnologie digitali consentono uno scambio più veloce e più targettizzato di informazioni tra persone, macchinari e prodotti, ma consentono di raccogliere grandi quantitativi di dati su diverse attrezzature in diversi punti della fabbrica. Questi dati possono contenere informazioni riguardo processi, eventi e allarmi occorsi in una linea di produzione industriale. Applicando approcci analitici basati su questi dati, è possibile trovare chiavi di interpretazione utili nell’ottica di prendere decisioni strategiche ottenendo vantaggi come la riduzione dei costi di manutenzione, la riduzione del numero di fault sui macchinari, la riduzione dei tempi di stop per le riparazioni, una miglior gestione dei prezzi di ricambio, una crescita nella produzione e un miglioramento nella sicurezza delle postazioni di lavoro. [4]

Generalmente i framework per la manutenzione predittiva consistono di due fasi interconnesse: la predizione del system residual useful life time (RUL) e il conseguente decision making.

La necessità di automatizzare queste due fasi ha determinato l’ascesa del Deep Learning come soluzione più popolare tra le ultime tendenze di ricerca. In questo senso, è possibile proporre un framework basato sul Deep Learning, e in particolare su reti Long Short-Term Memory (LSTM).

Reti neurali ricorrenti con Long Short-Term Memory

Le LSTM sono una delle architetture studiate a partire dalle reti neurali ricorrenti (RNN) che ha ricevuto più attenzione negli ultimi anni. [5] Uno dei vantaggi principali delle LSTM è la capacità di apprendere da lunghe sequenze temporali e conservarne la memoria. Applicare le LSTM per sistemi di prognostica consente di poter monitorare tutto lo storico del processo di degradazione e di conseguenza predire correttamente il RUL.

L’idea alla base dell’architettura LSTM è quella che ad ogni time step alcuni gate sono utilizzati per controllare il passaggio di informazioni lungo le sequenze che sono in grado di catturare dipendenze sul lungo termine più accuratamente. In una LSTM, ad ogni step, l’hidden state è aggiornato dallo stesso dato al time step, dall’hidden state al precedente time step, dall’input gate, dal forget gate, dall’output gate e da una cella di memoria. Le equazioni di aggiornamento sono definite come segue: [6]

La capacità di risolvere il problema della scomparsa del gradiente rende le LSTM ottime architetture per applicazioni di forecasting, ma anche, ed è il caso del modello proposto di seguito, di classificazione.

Predizione del RUL in finestre di tempo variabili

La maggior parte dei framework per la predizione del RUL ha un grosso limite: si concentra sulla sua predizione in maniera strettamente dipendente dall’orizzonte temporale per cui si sta cercando di stimare il valore, portando così a possibili errori in fase di valutazione delle decisioni da prendere sulla base dei valori ottenuti. Una predizione fatta all’inizio del ciclo di vita di una macchina, infatti, ha un orizzonte troppo breve per poter consentire decisioni strategiche. Per questo, seppur in maniera contro intuitiva, il modello proposto utilizza le LSTM non per fare forecasting ma considerando il problema come fosse un compito di classificazione. In particolare, il modello stima la probabilità che il sistema fallisca durante certi intervalli di tempo. Questo può essere visto come la probabilità che il RUL del sistema appartenga a diverse classi, dove ogni classe corrisponde a una diversa finestra temporale.

Assumendo che durante le loro operazioni sono monitorati componenti dello stesso tipo da sensori ciascuno, i dati di monitoraggio acquisiti per ogni componente i = 1, 2, …, N, durante il suo ciclo di vita possono essere espressi come una matrice:

Durante il training dell’algoritmo, la rete LSTM prende la sequenza di misurazioni X_i , i = 1, 2, …, N per apprendere a quale finestra temporale appartenga il RUL.

Dopo la normalizzazione e il corretto labeling dei dati, il classificatore LSTM riceve i dati tramite un layer di input che richiede l’utilizzo di tensori 3D riportanti: numero di sample, numero di time step e numero di feature. L’hidden layer, in questo modello, contiene due livelli LSTM rispettivamente seguiti da un livello di droput, prima di arrivare al livello finale, un classico livello fully-connected.

L’output del classificatore identifica la probabilità che un’osservazione appartenga a una delle 3 classi: Deg0, Deg1, Deg2, ognuna delle quali rappresentante una finestra temporale ben precisa e determinabile liberamente dal manager a seconda delle esigenze e degli orizzonti che vuole monitorare.

Un modello di questo tipo è stato testato con successo su alcune simulazioni messe in piedi dalla NASA. È stato osservato come osservazioni prese all’inizio del ciclo di vita di un macchinario riportino alti valori di RUL, collocandolo quindi nel primo intervallo Deg0 e attribuendo bassissime probabilità a un RUL appartenente alla classe Deg2. [8]

Applicazioni

Framework simili, basati su tecniche statistiche e di deep learning come le LSTM, hanno trovato spazio in numerosi ambiti applicativi del mondo industriale:

• Areonautica: sistemi prognostici ibridi basati su PCA (Principal Component Analysis), CART (Classification adn Regression Trees) e MARS (Multivariate Adaptive Regression Splines) sono stati utilizzati nel settore dell’aeronautica per la stima del RUL dei motori; [9]
• Macchinari Rotativi: sistemi basati su wavelets per la detection di guasti e malfunzionamenti hanno trovato impiego nel monitoraggio di macchine rotative nel settore manifatturiero; [10]
• Energia: integrazioni di EEMD (Ensemble Empirical Mode Decomposition) e ICA (independent Component Analysis) sono stati impiegati nel settore energetico per la diagnosi dei parametri strutturali degli alberi intermedi di trasmissione nelle turbine eoliche; [11]
• Macchine Fresatrici: strumenti basati sulla predizione del RUL degli utensili di macchine fresatrici hanno avuto diverse applicazioni tramite l’impiego di sensori wireless per il monitoraggio di operazioni di fresatura. [12]

In conclusione

I sistemi di manutenzione predittiva sono strumenti fondamentali nelle mani di manager oculati che riescono a prendere decisioni fondamentali per l’andamento delle loro linee produttive, evitando cali e interruzioni non necessarie intervenendo in anticipo sulla base delle stime sui valori di RUL. I framework basati su reti con architetture LSTM riescono a migliorare sensibilmente le performance ottenibili tramite l’uso di modelli più classici basati sul forecasting. Stimando la probabilità che il valore di RUL appartenga a un dato intervallo, riescono a limitare le decisioni scorrette alle prime fasi di vita di un macchinario, quelle dove non ci sono sufficienti dipendenze temporali da apprendere.

In conclusione, è possibile riassumere i principali benefici e criticità legati ad un approccio alla manutenzione predittiva basato su Deep Learning e LSTM:

• Pros
  • Possibilità di apprendere da sequenze temporali anche molto indietro nel tempo
  • Ottime performance una volta superate le prime fasi di vita di un macchinario monitorato
  • Superamento del forecasting, con possibilità di stimare la probabilità che il valore di RUL appartenga ad un certo intervallo
  • Decision making facilitato dalla disponibilità di informazioni più granulari anticipate
• Contro
  • Necessità di sufficienti dati di apprendimento

References

[1] Mobley, R. K. (2002). An introduction to predictive maintenance. Elsevier.

[2] Scheffer, C., & Girdhar, P. (2004). Practical machinery vibration analysis and predictive maintenance. Elsevier.

[3] Nguyen, K. T., & Medjaher, K. (2019). A new dynamic predictive maintenance framework using deep learning for failure prognostics. Reliability Engineering & System Safety, 188, 251-262.

[4] Carvalho, T. P., Soares, F. A., Vita, R., Francisco, R. D. P., Basto, J. P., & Alcalá, S. G. (2019). A systematic literature review of machine learning methods applied to predictive maintenance. Computers & Industrial Engineering, 137, 106024.

[5] Ketkar, N., & Santana, E. (2017). Deep Learning with Python (Vol. 1). Berkeley, CA: Apress.

[6] Zhao, R., Yan, R., Wang, J., & Mao, K. (2017). Learning to monitor machine health with convolutional bi-directional LSTM networks. Sensors, 17(2), 273.

[7] Zhang, J., Wang, P., Yan, R., & Gao, R. X. (2018). Long short-term memory for machine remaining life prediction. Journal of manufacturing systems, 48, 78-86.

[8] Ramasso, E., & Saxena, A. (2014, September). Review and analysis of algorithmic approaches developed for prognostics on CMAPSS dataset.

[9] Lasheras, F. S., Nieto, P. J. G., de Cos Juez, F. J., Bayón, R. M., & Suárez, V. M. G. (2015). A hybrid PCA-CART-MARS-based prognostic approach of the remaining useful life for aircraft engines. Sensors, 15(3), 7062-7083.

[10] Yan, R., Gao, R. X., & Chen, X. (2014). Wavelets for fault diagnosis of rotary machines: A review with applications. Signal processing, 96, 1-15.

[11] Wang, J., Gao, R. X., & Yan, R. (2014). Integration of EEMD and ICA for wind turbine gearbox diagnosis. Wind Energy, 17(5), 757-773.

[12] Zhang, C., Yao, X., Zhang, J., & Jin, H. (2016). Tool condition monitoring and remaining useful life prognostic based on a wireless sensor in dry milling operations. Sensors, 16(6), 795.