Microsoft Word - Deep Learning vs traditionelle modeller_Abdel Hai_Final.Del 2

For at forberede dataene til maskinlæringsmodeller blev følgende dataforbehandlingsteknikker udført.

Data og hukommelse er tæt forbundet. I det moderne samfund modtager vi en stor mængde information og data hver dag, herunder tekst, billeder, videoer osv. Hvordan man effektivt behandler og organiserer disse data kræver, at vi har en stærk hukommelse.

På den ene side kan data give os hukommelsesstøtte. Når vi for eksempel lærer ny viden, kan vi hurtigere og bedre forstå og mestre videnspunkter ved at huske relevante data og fakta. Denne form for læringsmetode kan hjælpe os med at opbygge en stærk hukommelse og bevare evnen til at kontrollere viden i lang tid.

På den anden side kan data også hjælpe os med at træne og forbedre hukommelsen. Gennem forskellige hukommelsestræningsmetoder kan vi fleksibelt bruge data til at gennemføre hukommelsestræning, til en vis grad forbedre vores hukommelsesevne og dermed bedre tilpasse os samfundsudviklingen og arbejdets og livets behov.

Det kan ses, at forholdet mellem data og hukommelse er meget tæt og vigtigt. Kun ved aktivt og effektivt at behandle og udnytte data kan vi bedre udnytte vores hukommelseskapacitet og opnå bedre resultater. Derfor bør vi aktivt behandle forholdet mellem data og hukommelse, lave relevant træning og applikationer og konstant forbedre vores evner. Det kan ses, at vi skal forbedre hukommelsen, og Cistanche deserticola kan forbedre hukommelsen markant, fordi Cistanche deserticola også kan regulere balancen af ​​neurotransmittere, såsom at øge niveauet af acetylcholin og vækstfaktorer. Disse stoffer er meget vigtige for hukommelse og indlæring. Derudover kan Kød også forbedre blodgennemstrømningen og fremme ilttilførsel, hvilket kan sikre, at hjernen får tilstrækkelige næringsstoffer og energi, og derved forbedre hjernens vitalitet og udholdenhed.

Klik på kender måder at forbedre hjernens funktion

Kategoriske træk var en varm kodet; kontinuerlige og diskrete funktioner blev normaliseret ved hjælp af min-maxnormalization-teknikker32 defineret som:

Der var forskelligt antal optagelser i hvert møde for hver af de følgende funktioner. Følgende statistiske værdier blev således beregnet i stedet. For diastoliske og systoliske blodtryk beregnede vi minimum-, maksimum- og middelværdier.

For BMI blev minimum, maksimum, middelværdi og varianskoefficient brugt. Disse statistiske værdier blev normaliseret og brugt som funktioner. Desuden var antallet af funktioner forskellige ved møder på grund af det forskellige antal laboratorietests, diagnoser og procedurer. Et møde kan have flere diagnoser og/eller procedurekoder eller ingen.

For at afhjælpe dette og forene dimensionaliteten af ​​funktionsvektorer, blev følgende datarepræsentationsteknikker brugt til at forbedre indlæringen af ​​modellerne. Til diagnose og procedurekoder brugte vi repræsentationen af ​​one-hot-kodninger, hvor hver værdi blev sat til 0 eller 1, hvilket angiver, om der eksisterede en adiagnose-/procedurekode eller ej for hvert møde. Vi modificerede denne datarepræsentationsteknik lidt til laboratorietest, fordi hver test havde et tilknyttet resultat.

Derfor erstattede vi 1, som indikerede, at der eksisterer en kode, med laboratorieresultatet. Laboratorieresultater blev normaliseret ved hjælp af ligning 1. Fordi resultaterne var af forskellige enheder og mål, overvejede vi minimum og maksimum for hver laboratoriekode separat ved normalisering af laboratorieresultater. Denne teknik skabte et højdimensionelt sparsomt array på grund af de mange unikke koder.
Derefter brugte vi Singular Value Decomposition (SVD)-algoritmen til at lære en indlejring og reduceret dimensionalitet.SVD blev brugt, da den ikke antager en kvadratisk matrix som input og er bedre til sparsomme data.33 Laboratorietests blev reduceret til 50 komponenter, procedure koder blev reduceret til 45 komponenter, og diagnosekoder blev reduceret til 25 komponenter.

Forskellige komponenter blev undersøgt, og summen af ​​variansforholdet blev observeret for at bestemme det optimale antal komponenter for at reducere dimensionalitet. Alle træk blev sammenkædet i en trækvektor for hvert møde. SVD blev anvendt på hvert møde separat for at reducere og forene dimensioner; dimensionen af ​​møder blev reduceret til 50 funktioner pr. møde.

Derefter sammenkædede vi alle møder for en given patient i en funktionsvektor, der var ordnet sekventielt efter indlæggelsesdato. Klassefordelingen var 27.511 patienter uden genindlæggelse (negativ klasse) og 9.130 patienter, der blev genindlagt (positiv klasse).

Eksperimentelle tilgange

Vi udførte omfattende eksperimenter ved at bruge EPJ-dataene til at løse følgende mål:

- Forudsige om patienter med diabetes vil blive genindlagt inden for 30 dage

- Sammenlign ydeevnen af ​​de anvendte DL-metoder med flere traditionelle modeller

- Analyser, hvor mange tidligere møder (dvs. historiske data) inden for 2 år, der er optimalt til at forudsige genindlæggelse

- Evaluer effekterne af at inkorporere alle laboratorietests i dataene i forhold til at lære fra en delmængde af test valgt af en domæneekspert

I denne undersøgelse tager DL-modeller som input en 3-3-dimensionel tensor � x � x � for at repræsentere f funktioner for hver af e møder for p patienter. I modsætning hertil er data i traditionelle modeller typisk repræsenteret som en 2-dimensionel matrix, hvor alle træk ved alle møder svarer til en enkelt patient sammenkædet i en lang trækvektor.

Dimensionaliteten af ​​hvert møde blev reduceret og forenet til 50 funktioner, og er derfor i en dyb model � af størrelse 50. I en traditionel model består trækvektor af alle møder og er derfor af størrelse � x 50.

Patienter har forskellige antal møder, hvilket resulterer i uensartede dimensioner; derfor blev featurevektorer polstret med 0s for at opnå en samlet form. Datarepræsentation brugt som input for DL ​​og traditionelle modeller er illustreret på henholdsvis venstre og højre panel i figur 1.
For at modellere heterogene sekventielle data udviklede vi 2 varianter af DL-modeller og sammenlignede begge versus flere traditionelle modeller, der blev brugt som basislinjer. DL-modeller, der blev brugt i vores undersøgelse, var: 1) 1-way Long Short-Term Memory (LSTM) netværk, som er en variant af Recurrent Neural Network (RNN), der er i stand til at lære ordensafhængige insekventielle data32; og 2) Bidirectional Gated Recurrent Unit (GRU), som er en anden variant af RNN.

Traditionelle modeller brugt som basislinjer var: 1) Random Forest (RF), en ensemblemetode til klassificering og regression; under træning konstruerer den flere beslutningstræer;30 RF opnår ofte den avancerede ydeevne i eksisterende litteratur om forudsigelser ved hjælp af medicinske data. 2) Multi-layer Perceptron (MLP), en simpel neural netværksmodel, der ikke tager højde for tidsmæssig information.

MLP består af flere lag af perceptron, udfører backpropagation-læring og anvender en ikke-lineær aktiveringsfunktion.31 3) Logistic Regression (LR), en fortolkelig model, der ofte bruges i den eksisterende litteratur af genindlæggelsesforudsigelser og anvendt på medicinske data; og 4) AdaBoost, som er mindre tilbøjelig til overfitting, da dets inputparametre ikke er optimeret i fællesskab.

DL-modellerne blev implementeret ved hjælp af "Keras" Python-biblioteker, et højt niveau API af "TensorFlow". "Scikit-learn"-biblioteket blev brugt til at implementere traditionelle modeller i Python.

Arkitekturen af ​​den foreslåede model, LSTM, omfatter 128 neuroner, et sekventielt lag, et omformningslag, der blev brugt til at omforme inputtet til en 3-dimensionel tensor, og et maskeringslag med en maskeværdi på 0 bruges til at springe de tidstrin over, hvor dataene manglede.

Da udfyldning med 0s blev udført for at forene dimensioner, blev maskinglayeren brugt til at undgå enhver beregning med de manglende værdier i alle lag efter maskeringslaget, hvorfor der ikke blev taget højde for manglende værdier under indlæringen.

Derudover blev der tilføjet et dropout mellem de skjulte og outputlag. Brug af denne teknik til tilfældigt at vælge en given procentdel, der skal falde, er en almindelig regulariseringsteknik, der hjælper modellen med at lære generelle mønstre i data.

RNN er en variant af neurale netværk, som består af skjulte neuroner, der er i stand til at analysere tidsmæssige EHR-data.32 RNN omfatter den samme struktur som det grundlæggende neurale netværk, men neuroner i samme lag er forbundet, hvilket gør det muligt for en neuron at lære af det samme nabolag, ud over at lære af output fra de foregående lag og inputdata. Således inkluderer RNN-neuroner to kilder til input, nutiden og den nyere fortid. Læringsprocessen er defineret som:

For at beregne værdien �" af en skjult neuron, �, anvendes en ikke-lineær transformationsfunktion, ReLU, på den vægtede �værdi af dens venstre skjulte neuron �"#$ og den vægtede � værdi af dens input �".

Forudsigelser beregnes ved hjælp af asigmoid funktion af den vægtede sum af alle skjulte neuroner med tilføjet bias �. Ulempen ved RNN er, at den lider af problemet med forsvindende gradient, hvilket betyder, at vægte forbliver uændrede, hvilket gør det svært for modellen at konvergere, og derfor har modellen svært ved at lære.

For at løse dette blev der indført et LSTM-lag, hvor sigmoidneuroner af RNN erstattes med en mere kompleks korttidshukommelsesstruktur. LSTM deler den samme vægt på tværs af lag, hvilket reducerer antallet af parametre, som netværket beregner.

GRU'en er en alternativ løsning til at undgå gradientproblem. Den erstatter den simple neuron med en gated enhed, som har færre parametre end LSTM neuronerne, fordi den mangler en output gate.33

For more information:1950477648nn@gmail.com