Anvendelse af langtids-korttidshukommelse tilbagevendende neurale netværk til at forudsige vindhastighed

Abstrakt:

Forudsigelse af vindhastighed er et af de vigtigste og mest udfordrende problemer i forudsigelse af vindkraft til elproduktion. Langtidshukommelsen blev brugt som en løsning på korttidshukommelsen til at løse problemet med forsvinden eller eksplosionen af ​​gradientinformation under træningsprocessen, som det tilbagevendende neurale netværk (RNN) oplevede, når det blev brugt til at studere tidsserier.

Langtidshukommelsen er uadskillelig fra hukommelsen. Hukommelse er en ret kompleks proces, der involverer alle aspekter af den menneskelige hjerne, herunder sansning, perception, kognition, implementering, reaktion osv. Vores mål er at gemme den information, vi modtager, i langtidshukommelsen til senere brug.

Long Short-Term Memory Model (LTM) er vigtig i denne proces. LTM henviser til vores evne til at opbevare oplysninger, der er blevet behandlet. Det vil sige, at LTM hjælper os med at gemme information fra korttidshukommelsen ind i hjernen. Og for hukommelsen er langtidslagring det ultimative mål.

I vores liv er mange faktorer, der producerer langtidshukommelse, relateret til personlige erfaringer og aktiviteter. For eksempel kan eksponering for en situation i lang nok tid, lytte til en forelæsning eller forbedre hukommelsesfærdigheder øge hukommelsen.

Langtidshukommelsesmodellen kan ganske enkelt forklares som følger: Når vi først lærer et stykke information, kan vi gemme det i korttidshukommelsen. Disse oplysninger vil blive gemt i et bestemt tidsrum, men de forsvinder hurtigt. Men hvis vi tænker dybt over denne information eller forbinder den med tidligere erfaringer, vil den blive overført til langtidshukommelsen.

Derfor er nøglen til at forbedre vores langtidshukommelse at holde vores hjerne aktiv, positiv og kreativ tænkning. Vi kan træne vores hjerner ved at læse bøger, spille interaktive spil, udforske nye ting og skrive dagbog. Især kan en tæt kombination af læring og udforskning bedre styrke hukommelsen.

Kort sagt er langtids- og korttidshukommelsesmodellens indvirkning på hukommelsen afgørende. I livet og studiet skal vi være opmærksomme på og øve hukommelsen. Gennem aktiv tænkning og motion kan vi løbende forbedre vores langtidshukommelsesevne og lære ny viden nemmere og mere effektivt. Det kan ses, at vi skal forbedre vores hukommelse. Cistanche kan forbedre hukommelsen markant, fordi den også kan regulere balancen mellem neurotransmittere, såsom at øge niveauet af acetylcholin og vækstfaktorer, som er meget vigtige for hukommelse og indlæring. Derudover kan Cistanche også forbedre blodgennemstrømningen og fremme ilttilførsel, hvilket kan sikre, at hjernen får tilstrækkelig næring og energi, og derved forbedre hjernens vitalitet og udholdenhed.

Klik på kend kosttilskud for at forbedre hukommelsen

I denne undersøgelse løses dette problem ved at foreslå en forudsigelsesmodel baseret på lang-korttidshukommelse og et dybt neuralt netværk udviklet til at forudsige vindhastighedsværdierne for flere tidstrin i fremtiden.

Vejrdatabasen i Halifax, Canada blev brugt som kilde til to serier af vindhastigheder i timen. To forskellige sæsoner forår (marts 2015) og sommer (juli 2015) blev brugt til træning og afprøvning af prognosemodellen. Resultaterne viste, at brugen af ​​den foreslåede model effektivt kan forbedre nøjagtigheden af ​​forudsigelse af vindhastighed.

Nøgleord: prognose; langtidshukommelse; flere tidsserier; RNN; vindhastighed.

1. Introduktion

Forudsigelse af vindhastighed er en meget vanskelig udfordring sammenlignet med andre variabler i atmosfæren, og dette skyldes deres kaotiske og intermitterende karakter, som forårsager vanskeligheder med at integrere vindkraft til nettet.

Da vindhastighed er en af ​​de mest udviklede og billigste grønne energikilder, er dens nøjagtige prognose på kort sigt blevet en vigtig sag og har en afgørende indflydelse på elnettet. Både dynamiske og statistiske metoder og nogle hybride metoder, der kobler de to metoder, blev anvendt til at forudsige kortsigtet vindhastighed.

At køre højopløselige numeriske vejrudsigelsesmodeller (NWP) kræver en forståelse af mange af de grundlæggende principper, der understøtter dem, herunder dataassimilering, viden om, hvordan man estimerer NWP-modellen i rum og tid, og hvordan man udfører validering og verifikation af prognoser. Dette kan være dyrt i form af beregningstid.

Pålidelige metoder og teknikker til at forudsige vindhastighed bliver stadig vigtigere for at karakterisere og forudsige vindressourcer [1]. Hovedformålet med enhver prognose er at bygge, identificere, tune og validere tidsseriemodeller.

Tidsserieforudsigelse er et af de vigtigste anvendte problemer med maskinlæring og kunstig intelligens generelt, da forbedringen af ​​prognosemetoder vil gøre det muligt mere præcist at forudsige adfærden af ​​forskellige faktorer, der er ligegyldige områder. Traditionelt er sådanne modeller baseret på metoderne til statistisk analyse og matematisk modellering udviklet i 1960'erne og 1970'erne [2].

ARIMA-modellen blev brugt til at forudsige vindhastighed ved hjælp af almindelige fejlforholdsmål for modelforudsigelsesnøjagtighed [3]. For nylig har deep learning i maskinlæringssamfundet opnået betydelig popularitet, da det betragtes som en generel ramme, der letter træningen af ​​dybe neurale netværk med mange skjulte lag [4].

Tilgængeligheden af ​​store datasæt kombineret med forbedringen i algoritmer og den eksponentielle vækst i computerkraft førte til en uovertruffen stigning i interessen for emnet maskinlæring.

Disse metoder bruger kun historiske data til at lære de tilfældige afhængigheder mellem fortiden og fremtiden. Blandt disse metoder er recurrent neurale netværk (RNN'er), som er designet til at lære en sekvens af data ved at krydse en skjult tilstand fra et trin i sekvensen til det næste, kombineret med inputtet og dirigere det frem og tilbage mellem inputs [5] .

Langtidshukommelsesbaseret tilbagevendende neuralt netværk (LSTM-RNN) er blevet brugt til at forudsige vindkraft 1 til 24 timer frem [6]. Der blev foretaget en sammenligning mellem LSTM, ekstrem læringsmaskine (ELM) og SVM. Resultaterne har vist, at deep learning-tilgange er mere effektive end traditionelle maskinlæringsmetoder til at forbedre forudsigelsesnøjagtigheden gennem retningssløjfens neurale netværksstruktur og en speciel skjult enhed [7]. Undersøgelser har antydet, at kobling af NWP-modeller og kunstige neurale netværk kan være gavnligt og give bedre nøjagtighed sammenlignet med konventionelle NWP-model-nedskaleringsmetoder [8].

Numerisk vejrudsigelsesmetode (NWP) er en af ​​de mest anvendte metoder, og den er velegnet til langsigtede frem for kortsigtede og mellemlange prognoser på grund af den store mængde beregning [9]. Der har været analyser af vindhastighedsprognosens nøjagtighed af de tilbagevendende neurale netværksmodeller, og de har præsenteret bedre resultater sammenlignet med de univariate og multivariate ARIMA-modeller [10].

Lineære og ikke-lineære autoregressive modeller med og uden eksterne variabler blev udviklet til at forudsige kortsigtet vindhastighed. Tre præstationsmålinger, MAE, RMSE og MAPE blev brugt til at måle nøjagtigheden af ​​modellerne [11].

LSTM-metoden blev brugt til at forudsige vindhastighed, og resultaterne blev sammenlignet med traditionelle kunstige neurale netværk og autoregressive integrerede glidende gennemsnitsmodeller, den foreslåede metode viste bedre resultater [12]. Long Term Memory Model (LSTM) blev lavet til kortsigtet spatio-temporal vindhastighedsprognose for fem steder ved hjælp af to-års data for historisk vindhastighed og auto-regression.

Modellen havde til formål at forbedre prognosenøjagtigheden på en kortere tidshorisont. For eksempel kan brug af LSTM i to eller tre timer forudsige horisonter, der strækker sig op til femten dage ved hjælp af en NWP-model, der typisk opdaterer sig selv med en frekvens på seks timer [13]. Træningshastigheden af ​​RNN'er til forudsigelse af multivariate tidsserier er normalt relativt langsom, især når den bruges med stor netværksdybde.

For nylig er mangfoldigheden af ​​RNN kaldet langtidshukommelse (LSTM) blevet favoriseret på grund af dens overlegne ydeevne under træningsfasen ved bedre at løse forsvindende og eksploderende gradientproblemer i standard RNN-arkitektur [14,15].

Modeller for langtidshukommelse (LSTM) og TCN (temporal convolutional networks) blev foreslået til datadrevet letvægtsprognose, og deres ydeevne blev sammenlignet med klassiske maskinlæringsmetoder (standardregression (SR), støttevektorregression (SVR), tilfældig skov( RF)), statistiske maskinlæringstilgange (autoregressivt integreret glidende gennemsnit (ARIMA), vektor auto regression (VAR) og vektorfejlkorrektionsmodel (VECM)) og dynamisk ensemblemetode (Arbitrage of forecasting expert (AFE)).

Resultaterne af den foreslåede model demonstrerer dens evne til at forudsige effektivt og nøjagtigt vejr [16]. På trods af den kontinuerlige udvikling af forskning i LSTM-algoritmen i langtidsforudsigelse af vindhastighed, foretrækkes den traditionelle RNN-algoritme til forudsigelse stadig i det meste forskning.

I dette papir er der lagt vægt på anvendelsen af ​​LSTM-algoritmen inden for prognose af vindhastighed, og en sammenligning mellem forudsigelseseffektivitet og nøjagtighed af algoritmen under forskellige vindhastigheds-tidsserier blev brugt til træning og test.

2. Metode og datakilde

2.1. Datakilder

I denne undersøgelse blev den foreslåede model kun implementeret til kortsigtet forudsigelse af vindhastighed for at undgå den høje beregningstid ved at lave dynamisk nedskalering ved at bruge NWP-modeller såsom Weather Research and Forecasting Model (WRF). Vindhastighedsdata fra Halifax Dockyard-stationen i Nova Scotia, som er placeret på breddegrad 44,66◦ N, Længdegrad 63,58◦ W.

Vindhastigheden blev målt i en højde af 3,80 m, og den blev brugt som kilde til to forskellige årstider, forår (marts 2015) og sommer (juli 2015), som vist i figur 1.

For begge sæsoner er dataene registreret for hver time, (576 aflæsninger/24 dage) henholdsvis som observationer og (168 aflæsninger/7 dage), som trænings- og testgrupper. Den foreslåede LSTM-implementering passer godt med tidsseriedatasættet, som kan forbedre konvergensnøjagtigheden af ​​træningsprocessen.

2.2. Tilbagevendende neurale netværk

Gentagende neurale netværk (RNN'er) er sekventielle dataneurale netværk, hvis formål er at forudsige det næste trin i en sekvens af observationer i forhold til tidligere trin i samme sekvens.

RNN'er indeholder skjulte lag fordelt over tid, hvilket giver dem mulighed for at gemme information opnået i tidligere stadier af læsning af serielle data. Vindhastigheden afhænger af kort og lang sigt.

Den simple RNN-model er ikke i stand til at håndtere langtidsafhængigheder. Et problem, der opstår ved udfoldelsen af ​​en RNN, er, at gradienten af ​​nogle af vægtene begynder at blive for lille eller for stor, hvis netværket udfoldes i for mange tidstrin.

Dette fænomen kaldes problemet med forsvindende gradienter, og det kan kun lagre korttidshukommelsen, fordi det kun inkluderer funktionerne til at aktivere det skjulte lag i det foregående tidstrin, og dette forårsager tab af information på lang sigt [17,18].

En type netværksarkitektur, der løser dette problem, er LSTM. I en typisk implementering erstattes det skjulte lag af en kompleks blok af computerenheder sammensat af porte, der fanger fejlen i blokken og danner en såkaldt "fejlkarrusel" [5]. Figur 2 viser RNN-strukturen, hvor outputtet af det tidligere skjulte lag er input til det aktuelle skjulte lag. RNN-modellen er udtrykt ved

2.2. Tilbagevendende neurale netværk

Gentagende neurale netværk (RNN'er) er sekventielle dataneurale netværk, hvis formål er at forudsige det næste trin i en sekvens af observationer i forhold til tidligere trin i samme sekvens. RNN'er indeholder skjulte lag fordelt over tid, hvilket giver dem mulighed for at gemme information opnået i tidligere stadier af læsning af serielle data. Vindhastigheden afhænger af kort og lang sigt.

Den simple RNN-model er ikke i stand til at håndtere langtidsafhængigheder. Et problem, der opstår ved udfoldelsen af ​​en RNN, er, at gradienten af ​​nogle af vægtene begynder at blive for lille eller for stor, hvis netværket udfoldes i for mange tidstrin. Dette fænomen kaldes problemet med forsvindende gradienter, og det kan kun lagre korttidshukommelsen, fordi det kun inkluderer funktionerne til at aktivere det skjulte lag i det foregående tidstrin, og dette forårsager tab af information på lang sigt [17,18].

En type netværksarkitektur, der løser dette problem, er LSTM. I en typisk implementering erstattes det skjulte lag af en kompleks blok af computerenheder sammensat af porte, der fanger fejlen i blokken og danner en såkaldt "fejlkarrusel" [5]. Figur 2 viser RNN-strukturen, hvor outputtet af det tidligere skjulte lag er input til det aktuelle skjulte lag.

RNN-modellen er udtrykt ved, hvor det er inputtet, hts tilstandsværdien af ​​det skjulte lag, det værdiansættes ved outputlaget på tidspunktet t, hvorfor er vægten fra inputlaget, hvorfor er vægten for det forsinkede output på tidspunktet t − 1 er tanh den hyperbolske tangent som aktiveringsfunktionen ved det skjulte lag, ogσ er sigmoidfunktionen som aktiveringsfunktionen ved outputlaget.

2.3. Lang korttidshukommelse

Langtidshukommelsesnetværk er en type tilbagevendende neurale netværk (RNN) designet til at undgå problemet med langvarig afhængighed, hvor hver neuron indeholder hukommelsescelle, der er i stand til at gemme den tidligere information, der blev brugt af RNN eller glemme den, hvis det er nødvendigt [19] . I øjeblikket er det meget brugt med succes i tidsserieforudsigelsesproblemer.

LSTM-RNN blev designet ud fra en hukommelsescelle, der lagrer langsigtede afhængigheder. Ud over hukommelsescellen indeholder LSTM-cellen en inputgate, outputgate og forgetgate.

Hver gate i cellen modtager det aktuelle input tx, den skjulte tilstand ht−1 i det foregående øjeblik og tilstandsinformationen Ct−1 i cellens interne hukommelse for at udføre forskellige operationer og bestemme, om der skal aktiveres ved hjælp af en logisk funktion. Enhedens tilstand ht, udgangen på tidspunktet t og den skjulte inputtilstand på tidspunktet t1 bestemmes af ikke-lineært aktiverende tanh ( ) og informationen om udgangsporten.

3. Resultater og diskussion

I denne undersøgelse blev MATLAB-software (R2019b) brugt til træningsprocessen i LSTM, som er en avanceret arkitektur for RNN til at forudsige værdierne af fremtidige tidstrin i en sekvens. Sekvensregressionsnetværket blev trænet til LSTM-sekvensen, hvor svar er træningssekvenser med skiftende værdier i ét tidstrin.

Det vil sige, at for hvert tidstrin i inputsekvensen lærer LSTM-netværket at forudsige værdien af ​​det næste tidstrin. I dette arbejde, for at evaluere effektiviteten og anvendeligheden af ​​den foreslåede model omfattende og systematisk, blev to serier af data udvalgt til vindhastighed for to forskellige årstider på grund af deres forskellige klimatiske egenskaber, som er henholdsvis forår (marts 2015) og sommer (juli 2015) ).

Hver dataserie blev opdelt i henholdsvis 1-576 (24 dage) som observationer og 577-744 (7 dage), henholdsvis som trænings- og testgrupper. Træningsdata er blevet standardiseret til at have nul middelværdi og enhedsvarians ved forudsigelsestid for at forhindre træning i at divergense. Den bedste træningsparameter til at opnå den laveste RMSE findes ved at bruge en indledende indlæringsrate på 0.005.

Figur 4 og 5 viser sammenligningen af ​​observerede værdier med forudsagte værdier for timevindhastighedsserier indsamlet i henholdsvis foråret (1-31. marts 2015) og sommeren (1-31. juli 2015), til evaluering af LSTM, som blev trænet én gang (den værdien af ​​den forrige forudsigelse) og genbruges til at forudsige hvert tidstrin mellem forudsigelser, som er repræsenteret af ligningerne (2)–(4). Det betyder, at der ikke foretages opdateringer, når først modellen først passer til træningsdataene, og modellen i dette tilfælde kaldes den faste model, fordi der er nye opdateringer.

LSTM-netværkstræningsmuligheder blev valgt for 200 skjulte moduler. Den initiale indlæringshastighed er 0,005, og det maksimale antal iterationer er fastsat til 250. Gradienttærsklen er sat til 1 for at forhindre gradienterne i at eksplodere. Læringshastigheden falder efter 125 epoker ved at gange med en faktor 0,2. I både figur 6 og 7 er LSTM blevet opdateret med nye data for tidsserieprognoserne ved at bruge de forudsagte værdier og de opdaterede tilstandsværdier fra testsættet og stillet til rådighed for modellen for prognosen på næste tidstrin. Specielt den modificerede LSTM overtog Ct−1 til input-, forget- og outputportene.

Dette skyldes, at hver gang LSTM fortsætter, påvirker Ct−1 input, glemmer og output af LSTM. Alle forudsigelser opsamles i testdatasættet, og en fejlscore beregnes for at opsummere modellens færdigheder. Root mean square error (RMSE) bruges, fordi den straffer store fejl og resulterer i en score i de samme enheder som de forventede data, som er vindhastighed per time.

Her er forudsigelserne mere nøjagtige, når netværkstilstanden opdateres med de observerede værdier i stedet for de forudsagte værdier. Fra resultaterne er det observeret, at i både forår (marts 2015) og sommer (juli 2015) faldt værdien af ​​RMSE med henholdsvis 4,5845 og 4,9392 ved brug af LSTM-opdateringen, og dette skyldes de forskellige karakteristika ved hver.

I dette arbejde og baseret på forskellige tidligere undersøgelser i henhold til forskellige modeller, bemærkes det, at nøjagtigheden af ​​forudsigelsesmodeller adskiller sig afhængigt af informationens forskellige karakteristika, og derfor er der indtil nu ikke nået nogen model, der fungerer med samme nøjagtighed med forskellig information. . Tabel 1 viser fejlene for de to dataserier (juli 2015) og (marts 2015) i den foreslåede LSTM-model ved hjælp af RMSE-fejlmålingerne.

4. Konklusioner

En nøjagtig prognosemodel af vindhastighedskilder er nødvendig for at give væsentlig information til at give netoperatører og systemdesignere mulighed for at generere et optimalt vindkraftværk og for at balancere udbud og efterspørgsel på energimarkedet.

I denne undersøgelse er modificeret langtidshukommelse (LSTM) blevet foreslået til at forudsige vindhastighed. Da den faktiske værdi af tidstrinene mellem forudsigelser kan opnås, forudsiges vindhastigheden ved at opdatere netværkstilstanden i hver forudsigelse ved hjælp af den observerede værdi i stedet for gates.

Dette skyldes, at hver gang LSTM fortsætter, påvirker celletilstanden input, glemmer og output af LSTM. Resultaterne af modellen demonstrerede forbedret nøjagtighed i forudsigelse af vindhastighed.

Forfatterbidrag: Conceptualization, ME; metode, ME; software, ME; validering, ME;formel analyse, ME og AM; skrive-Originalt udkast til forberedelse, ME; skrivning-Anmeldelse og redigering, AM; tilsyn, AM; projektadministration, AM Alle forfattere har læst og accepteret den offentliggjorte version af manuskriptet.

Finansiering: Denne forskning blev delvist finansieret af det libyske undervisningsministerium, bevillingsnummer 3772.

Udtalelse fra institutionelle bedømmelsesudvalg: Ikke relevant.

Erklæring om informeret samtykke: Ikke relevant.

Erklæring om datatilgængelighed: Ikke relevant.

Interessekonflikter: Forfatterne erklærer ingen interessekonflikter.

Referencer

1. Monfared, M.; Rastegar, H.; Kojabadi, HM En ny strategi for vindhastighedsforudsigelse ved hjælp af kunstige intelligente metoder. Renew.Energy 2009, 34, 845–848. [CrossRef]

2. Box, GE; Jenkins, GM; Reinsel, GC; Ljung, GM Time Series Analysis: Forecasting and Control, 5. udg.; John Wiley & Sons:Hoboken, NJ, USA, 2015; s. 129–171.

3. Elsaraiti, M.; Merabet, A.; Al-Durra, A. Tidsserieanalyse og prognose af vindhastighedsdata. I Proceedings of the IEEEIndustry Applications Society Annual Meeting, Baltimore, MD, USA, 29. september-3. oktober 2019; s. 1-5.

4. Yadav, AP; Kumar, A.; Behera, L. RNN-baseret solstrålingsprognose ved hjælp af adaptiv indlæringshastighed. I International Conference on Swarm, Evolutionary, and Memetic Computing; Springer: Cham, Schweiz, 2013; s. 442–452.

5. Hochreiter, S.; Schmidhuber, J. Lang korttidshukommelse. Neural Comput. 1997, 9, 1735-1780. [CrossRef] [PubMed]

6. Kumar, D.; Mathur, HD; Bhanot, S.; Bansal, RC Forecasting af sol- og vindenergi ved hjælp af LSTM RNN til belastningsfrekvensstyring i et isoleret mikronet. Int. J. Model. Simul. 2020. [CrossRef]

7. Shi, X.; Lei, X.; Huang, Q.; Huang, S.; Ren, K.; Hu, Y. Forudsigelse af vindkraft pr. time pr. time ved hjælp af hybridmodellen af ​​variationsmodelnedbrydning og lang korttidshukommelse. Energies 2018, 11, 3227. [CrossRef]

8. Rodrigues, ER; Oliveira, I.; Cunha, R.; Netto, M. DeepDownscale: A Deep Learning Strategy for High-Resolution Weather Forecast. I Proceedings of the 2018 IEEE 14th International Conference on e-Science (e-Science), Amsterdam, Holland, 29. oktober-1. november 2018; IEEE: New York, NY, USA, 2018; s. 415–422.

9. Chen, N.; Qian, Z.; Nabney, IT; Meng, X. Vindkraftsprognoser ved hjælp af Gaussiske processer og numerisk vejrudsigt.IEEE Trans. Power Syst. 2013, 29, 656-665. [CrossRef]

10. Cao, Q.; Ewing, BT; Thompson, MA Forudsigelse af vindhastighed med tilbagevendende neurale netværk. Eur. J. Oper. Res. 2012, 221.148-154. [CrossRef]

11. Lydia, M.; Kumar, SS; Selvakumar, AI; Kumar, GE Lineære og ikke-lineære autoregressive modeller til kortsigtet vindhastighedsprognose. Energisamtaler. Manag. 2016, 112, 115-124. [CrossRef]

12. Ghaderi, A.; Sanandaji, BM; Ghaderi, F. Deep Forecast: Deep Learning-Based Spatio-Temporal Forecasting; Cornell University: Ithaca, NY, USA, 2017.

For more information:1950477648nn@gmail.com