Et nyt fuzzy DBNet til medicinsk billedsegmentering, del 1

Abstrakt:Når læger er trætte, laver de ofte diagnostiske fejl. På samme måde kan farmaceuter også begå fejl ved udlevering af medicin. Derfor spiller objektsegmentering en afgørende rolle i mange sundhedsrelaterede områder, såsom symptomanalyse i biomedicinsk billeddannelse og lægemiddelklassificering. Imidlertid bruger mange traditionelle deep-learning-algoritmer en enkelt visning af et billede til segmentering eller klassificering. Når billedet er sløret eller ufuldstændigt, kan disse algoritmer ikke segmentere det patologiske område eller formen af ​​stofferne nøjagtigt, hvilket så kan påvirke efterfølgende behandlingsplaner. Derfor foreslår vi Fuzzy DBNet, som kombinerer det dobbelte sommerfugle-netværk og det fuzzy ASPP i et deep-learning-netværk og behandler billeder fra begge sider af et objekt samtidigt. Vores eksperimenter brugte multi-kategori pille- og lungerøntgendatasæt til træning. Den gennemsnitlige terningskoefficient for vores foreslåede model nåede 95,05% i multi-pille segmentering og 97,05% i lunge segmentering. Resultaterne viste, at vores foreslåede model klarede sig bedre end andre state-of-the-art netværk i begge applikationer, hvilket viser, at vores model kan bruge flere visninger af et billede til at opnå billedsegmentering eller identifikation.

Cistanche kan fungere som en anti-trætheds- og udholdenhedsforstærker, og eksperimentelle undersøgelser har vist, at afkog af Cistanche tubulosa effektivt kunne beskytte leverhepatocytter og endotelceller beskadiget i vægtbærende svømmemus, opregulere ekspressionen af ​​NOS3 og fremme hepatisk glykogen syntese og udøver således anti-træthedseffektivitet. Phenylethanoid-glycosid-rigt Cistanche tubulosa-ekstrakt kunne signifikant reducere serum-kreatinkinase, lactat-dehydrogenase og lactat-niveauer og øge hæmoglobin- (HB) og glukoseniveauer i ICR-mus, og dette kunne spille en anti-træthedsrolle ved at mindske muskelskaden og forsinkelse af mælkesyreberigelsen til energilagring i mus. Compound Cistanche Tubulosa-tabletter forlængede den vægtbærende svømmetid betydeligt, øgede leverglykogenreserven og sænkede serumurinstofniveauet efter træning hos mus, hvilket viste dens anti-træthedseffekt. Afkog af Cistanchis kan forbedre udholdenheden og fremskynde elimineringen af ​​træthed hos motionsmus og kan også reducere forhøjelsen af ​​serumkreatinkinase efter belastningsøvelser og holde ultrastrukturen af ​​skeletmuskulaturen hos mus normal efter træning, hvilket indikerer, at det har virkningerne for at øge fysisk styrke og anti-træthed. Cistanchis forlængede også signifikant overlevelsestiden for nitritforgiftede mus og forbedrede tolerancen over for hypoxi og træthed.

Klik på ekstrem træthed

【For mere info:george.deng@wecistanche.com / WhatsApp:8613632399501】

1. Introduktion

Der har været talrige tilfælde, hvor billedsegmentering i medicin er blevet implementeret primært fordi fortolkning af medicinske billeder fra CT- og MR-scanninger kræver betydelig medicinsk viden og tid. Derudover afslører statistikker, at medicinske fejl bidrager til 7000-9000 dødsfald årligt i USA [1]. For at løse disse problemer er der derfor blevet foreslået adskillige teknologiske løsninger. For eksempel U-Net udviklet af Ronneberger et al. [2] bruges til segmentering af biomedicinske billeder. DoubleU-Net ansat af Debesh Jha et al. [3] bruges i procedurer såsom koloskopi. Den er primært bygget på U-Net og VGG-19, sammensat af to indkodere og dekodere. Tilsvarende beskriver Chin et al. [4] brug Mask R-CNN deep learning-algoritmen til at segmentere stemmebåndene og glottis-regionerne fra strubehovedvideoer, hvilket hjælper læger med diagnosticering og behandling.

Blandt lungebilledgenkendelse, Jakub et al. påpeget, at resultaterne af røntgenbilleder af sygdomslæsioner let lukkes af blodkar. Selvom maskinlæringsmetoder til lungebilledgenkendelse kan hjælpe med at reducere byrden på medicinsk personale, er deres nøjagtighed kun 91 % [5]. Derudover har deep-learning-modellen til identifikation af lungesygdom vist sig at være overlegen i forhold til traditionelle maskinlæringsmetoder [6,7]. Derfor brugte vi deep learning til billedgenkendelse. I tilfælde af pneumothorax thoracostomi skal lægen se på røntgenbilledet af thorax for at finde den gennemskinnelige pleuralinje, der overlapper ribbenene. Fordi dette billede er tilbøjeligt til at blive sløret fra vævsoverlapning, er traditionel billedgenkendelse ikke effektiv [8], især fordi luft samler sig på forsiden af ​​kroppen i stedet for i toppen, hvilket gør det vanskeligt for læger at fortolke pneumothorax-områder. Fordi de indledende symptomer på mange lungelæsioner ikke er tydelige, og lungerne har komplekse patologiske karakteristika [9], har mange forskere foreslået dyb-læringsmetoder til at forbedre diagnose nøjagtighed og effektivitet [10]. Laura et al. [11] foreslog et komplekst netværk til lungebilledgenkendelse, og deres eksperiment viste en høj nøjagtighed for teksturgenkendelse. Derfor kan en kompleks netværksmetode udtrække vigtige funktioner. Alhassan et al. [12] brugte ensemble learning-metoden til at opdage lungebetændelse i røntgenbilleder af thorax med en forbedret nøjagtighed på 93 %. Baseret på ensembleindlæringsegenskaberne bruges metoden til at forbedre modelidentifikationsnøjagtigheden. Mohammad et al. [13] foreslog en dyb-læringsmodel til at hjælpe med tidlig opdagelse af COVID-19, som hjalp medicinsk personale med at reducere deres arbejdsbyrde. Til segmentering af lungebilleder har Feidao et al. [14] foreslog en tre-terminal opmærksomhedsmekanisme til automatisk at fremhæve målområdet og forbedre lungesegmenteringsydelsen. Som følge heraf bruges et opmærksomhedsportmodul til at forbedre træningseffekten af ​​modellen. Disse modeller brugte dog ikke røntgenbilleder af brystet fuldt ud. Der er to måder at tage lungerøntgenbilleder på: anteroposterior og posteroanterior. Anteroposterior lungerøntgenbilleder tages fra brysthulen; posteroanterior lungerøntgen tages fra ryggen. Eksisterende deep-learning-modeller kan kun indtaste ét billede ad gangen til genkendelse [15]. Derfor er modellen muligvis ikke i stand til at identificere placeringen af ​​læsionen, da kun den ene side af røntgenbilledet er input [16]. Derfor brugte vi dyb-læringsmetoder til identifikation af lungebilleder.

Blandt pillebilledgenkendelse er størstedelen af ​​eksisterende klassificeringsmetoder kun afhængig af enkeltsidet information, men i nogle tilfælde kan mange typer piller ikke klassificeres. For eksempel kan den samme type pille have forskellige former, når de ses fra forskellige vinkler; nogle piller kan kun have bogstaver på den ene side; og dem med lignende former og farver kan også udgøre en udfordring. I sådanne tilfælde er modellen muligvis ikke i stand til at klassificere en gruppe piller nøjagtigt. På grund af pandemien strømmer et stort antal mennesker til hospitaler hver dag, hvilket fører til en betydelig stigning i pilleforbrug og medicinske fejl [17,18]. For at løse disse problemer har Ou et al. [19] foreslog en to-trins dyb-læringsarkitektur til at opdage og efterfølgende klassificere 1000 typer piller. Derudover er forbedring af medicinkendskab og at give patienter tilstrækkelig information blevet vigtige emner for at undgå medicinspild og skadelige bivirkninger [20]. Udseendebaseret pilleidentifikation er dog stadig en skræmmende opgave for patienterne. Wang et al. [21] brugte GoogLeNet Inception Network til at træne dybdelærende arkitektur og billedforbedringsteknikker ved at fokusere på farve, form og markeringer, men det kan kun identificere en enkelt type pille, hvilket er dens store fejl. Den samtidige identifikation af flere typer piller kan imødekomme offentlighedens behov bedre. Inden for segmentering af pillebilleder har Kwon et al. [22] brugte Mask R-CNN, og de træningsdatasæt, de brugte, indeholdt kun 27 typer piller, som hver havde forskellige former og farver. I virkeligheden har mange flere typer piller dog et lignende udseende. For at passe til virkelighedens behov blev 93 typer piller brugt til at træne vores model. De havde lignende former og farver og varierede hovedsageligt i forskellige aftryk, hvilket gjorde vores model mere anvendelig til kliniske behov. Ved pilleobjektdetektion har Lu et al. [23] foreslog mange objektdetektionsmetoder. Selvom disse modeller registrerede pillernes position, er kortet kun 87%. Derudover har tidligere forskere ikke effektivt behandlet problemer i pille-identifikation, herunder deres tilfældige placering og tilstedeværelsen af ​​flere piller i et billede. Pillens rotationsvinkel er også svær at bestemme og standardisere for hver pilleklasse.

Til computersyn bruger andre tilfælde ubemandede luftfartøjer (UAV'er) kombineret med dyb læring, Keiller et al. [24] studerede planteklassificering fra rumlige og spektrale perspektiver ved hjælp af RGB og spektrale UAV-billeder baseret på 2D-CNN-teknologi.

Nuværende metoder til billedsegmentering bruger for det meste et enkelt billede som input. Når et enkelt billede af lav kvalitet indlæses i modellen, opstår der problemer med upræcis objektsegmentering og klassificering. På det medicinske område, på grund af de komplekse karakteristika ved billeder, har Akinobu et al. [25] foreslog BtrflyNet for at identificere knoglemetastaser, som kan acceptere to inputbilleder samtidigt. De eksperimentelle resultater viste, at det kan øge succesraten for modeltræning. Denne model er dog kun anvendelig til knoglemetastasebilleder. Baseret på dette papir forbedrede vi BtrflyNet for at foreslå Fuzzy DBNet, som har opnået fremragende resultater inden for pillebillede og lungebillede.

2. Materialer og metoder

2.1. Datasæt

I dette papir blev der brugt thorax røntgen- og pilledatasæt. Bryst røntgendata blev opnået fra NIH thorax røntgendatasæt [26] indeholdende 112.120 billeder, hvorfra vi udtog 72.324 af både anteroposterior (AP) og posteroanterior (PA) visninger af de samme patienter. Vi parrede derefter AP-billederne med deres tilsvarende PA-billeder, hvilket resulterede i i alt 267.105 AP-PA-par efter forstærkning.

Pilledatasættet omfatter 93 kategorier med i alt 1238 billeder: runde, ovale, rektangulære, trekantede og i forskellige farver. For at fange begge sider af hver pille blev der taget billeder, efter at pillerne var spredt på en gennemsigtig plade og fotograferet direkte fra oven og neden. Datasættet blev derefter opdelt i 80 % til træning, 10 % til test og 10 % til validering. For at forbedre modellens nøjagtighed anvendte vi AutoAugment-skemaet [27] til at diskretisere hver operationsstørrelse (M) fra [0, 10] til dataforøgelse, hvilket resulterede i et øget datasæt på 2476 billeder.

Datasættet var den væsentligste begrænsning af vores model. For det første skulle vores inputbilleder være dobbeltsidede, ikke kun generelle billeder, men også billeder, der penetrerede objekter, såsom røntgenstråler. For det andet krævedes faste overensstemmelser mellem objektpositioner i billederne. For at løse dette gjorde vores team en indsats for at justere pillernes positioner mellem deres dobbeltsidede billeder under indsamlingen af ​​datasættet.

Det er vigtigt at bemærke, at lungerøntgendatasættet, der blev brugt i denne undersøgelse, blev leveret af NIH, mens pilledatasættet blev fanget af vores teams fotografering.

2.2. Forbehandling af data

For at hjælpe farmaceuter med pilleklassificering blev 93 typer piller kommenteret. Vi brugte VGG image Annotator [28] til at mærke hver enkelt med sit navn i 93 forskellige kategorier. Vi mærkede kanten af ​​pillen og konverterede de mærkede data til en JSON-fil som grundsandheden for træningsdataene. Forbehandlingsalgoritmen kan findes i Algoritme A1.

2.3. Fuzzy DBNet

Dette papir foreslår en ny deep-learning-arkitektur, Fuzzy Double-Butterfly Network (DBNet), hvor to billeder med komplementære egenskaber kan indtastes for at udføre billedsegmentering. Den består hovedsageligt af tre dele: dobbelt-sommerfugle-encoder-decoder-arkitektur, Fuzzy Atrous Spatial Pyramid Pooling (ASPP) blok og en opmærksomhedsport, som vist i figur 1.

En trænet VGG 19 blev brugt til at kode den første sommerfuglearkitektur til at udtrække billedfunktioner for at spare træningstid og forhindre overfitting. Mellem de to sommerfugleformede indkodere og dekodere var der to sammenkædede blokke, der forbandt to sæt Fuzzy ASPP-blokke, og derved udvekslede billedernes forskellige karakteristika. Derefter blev det oprindelige resultat output af den første sommerfugleformede arkitektur multipliceret med det originale billede som vist i multiplikationsblokken i figur 1. Dette forbedrede egenskabens vægtfylde for at opnå en mere præcis segmentering. Fuzzy DBNet-algoritmen kan findes i Algoritme A2.

Fuzzy ASPP kombinerede ASPP med fuzzy teori og blev placeret mellem koderen og dekoderen af ​​de to sommerfugle-netværk. Figur 2 viser strukturen af ​​Fuzzy ASPP.

I Fuzzy Pooling-delen blev en klokkeformet medlemsfunktion brugt til at fuldføre operationen, og resultaterne af hver pooling-patch blev dynamisk justeret. Algoritme A3 viser den dynamiske justeringsalgoritme. Hovedformålet var at reducere andelen af ​​træk påvirket af usikkerhedsfaktorer. Fuzzy ASPP-algoritmen kan findes i Algoritme A4.

I overspringsforbindelserne blev der brugt en opmærksomhedsmekanisme til at eliminere støjende og irrelevante svar ved at bruge funktioner udtrukket fra grovere feature maps. Det reducerede effektivt støj og unødvendige funktioner i modellen og forbedrede dens ydeevne og nøjagtighed. Figur 3 viser opbygningen af ​​opmærksomhedslågen.

3. Resultat

3.1. Eksperimentindstilling

Træningsvalideringen og testningen af ​​den foreslåede model blev udført på en computer med en 8-core CPU (Intel Xeon W-3223), 64 GB hukommelse, en GPU (RTX 3090) med 24 GB grafikhukommelse, og 10.496 CUDA-kerner. Implementeringen blev udført ved hjælp af PyTorch-rammeværket. Tabel 1 viser hyperparametrene anvendt til alle eksperimenter.

Den totale tabsfunktion (LDC) kombinerer det gennemsnitlige terningtab (LavgDice) med det kategoriske krydsentropitab (LCCE) og beregnes som følger:

hvor N er antallet af prøver og C er antallet af klasser. Da outputtet af netværket var multi-klasse billeder, beregnede vi LCCE ved hjælp af ligning (3). Derefter beregnede vi LDice for hver klasse ved hjælp af ligning (2). Det var muligt at nulstille alle pixels i Ppred, der ikke var aktive i Ptrue. For aktiverede pixels blev forudsigelser med lav konfidens for det meste straffet, mens højere forudsigelsesværdier opnåede højere terningskoefficienter. Derfor lærte modellen genstande af forskellige klasser og størrelser gennem LDice og LCCE.

3.2. Indeks for præstationsevaluering

I denne undersøgelse brugte vi tre målinger til at evaluere modellens ydeevne: pixelvis nøjagtighed, gennemsnitlig terningskoefficient (Terning) og gennemsnitlig skæringspunkt over forening (mig). Disse indikatorer er vist i følgende formel.

hvor Xi betegner grundsandhedsværdierne, og Yi betegner de forudsagte værdier. TP, FP, TN og FN viser sagnumrene for henholdsvis sande positive, falske positive, sande negative og falske negative. Pixel-mæssig nøjagtighed målte procentdelen af ​​korrekt identificerede pixels i billedet; Terningresultatet målte overlapningen mellem den forudsagte segmentering og grundsandheden; og MIOU målte den forudsagte segmentering med grundsandheden. Disse målinger blev valgt, fordi de gav et omfattende overblik over modellens ydeevne og gav mulighed for meningsfulde sammenligninger med andre modeller på området. Højere værdier for disse metrics indikerede bedre modelydelse.

3.3. Segmentering af lungerøntgenbilleder

Vi udførte eksperimenter for at træne den foreslåede metode og validerede modellen ved at bruge et valideringssæt. Som vist i figur 4 nåede træningstabet af Fuzzy DBNet på lungerøntgendatasættet konvergens omkring den 100. epoke og opnåede fuldstændig konvergens omkring den 300.

På lungerøntgendatasættet valgte vi et sæt billeder som eksempler til modeltestning. Det omfattede seks billeder: anterior-posterior og posteroanterior råbilleder, de tilsvarende jordsandhedsbilleder og de segmenterede resultater. Disse billeder er vist i figur 5.

Vi sammenlignede outputtet fra Fuzzy DBNet og dets grundsandhed på testdataene ved hjælp af gennemsnitlig terningskoefficient, mIoU og pixelmæssig nøjagtighed for at måle modellens ydeevne. Resultaterne er vist i tabel 2.

Vi valgte to sæt lungerøntgenbilleder fra segmenteringsresultaterne af vores testsæt som eksempler. I figur 6 var segmenteringens fuldstændighed af vores model meget bedre end for BtrflyNet. I figur 7, da de originale lungebilleder var slørede, var segmenteringsydelsen af ​​DoubleU-Net dårlig, mens vores model segmenterede lungerne nøjagtigt.

【For mere info:george.deng@wecistanche.com / WhatsApp:8613632399501】