Del 1: Transsakkadisk integration er afhængig af en begrænset hukommelsesressource

for flere oplysninger:ali.ma@wecistanche.com

Venligst klik her til del 2

Klik for atcistanche fordele og bivirkninger for hukommelsen

Sakkadiske øjenbevægelser forårsager storstilede transformationer af billedet, der falder på nethinden. I stedet for at starte visuel behandling på ny efter hver saccade, kombinerer det visuelle system post-sakkadisk information med visuel input fra før saccade. Det er afgørende, at det relative bidrag fra hver informationskilde vægtes efter dens præcision, i overensstemmelse med principperne for optimal integration. Vi begrundede, at hvis præ-sakkadisk input opretholdes i en ressourcebegrænset butik, såsom visuelt arbejdehukommelse, vil dens præcision afhænge af antallet af lagrede genstande, såvel som deres opmærksomhedsprioritet. Observatører estimerede farven på stimuli, der ændrede sig umærkeligt under en saccade, og vi undersøgte, hvor rapporter faldt på kontinuumet mellem præ- og post-sakkadiske værdier. Bias mod den post-sakkadiske farve steg med den indstillede størrelse af den præ-sakkadiske visning, hvilket er i overensstemmelse med en øget vægtning af det post-sakkadiske input, da præcisionen af ​​den præ-sakkadiske repræsentation faldt. I et andet eksperiment undersøgte vi, om det er transsakkadiskhukommelseressourcer allokeres fortrinsvis til opmærksomhedsprioriterede emner. En pilemarkering indikerede, at ét præ-sakkadisk element var mere tilbøjeligt til at blive valgt til rapporten. Som forudsagt øgede gyldige signaler responspræcision og skæve responser mod den præ-sakkadiske farve. Vi konkluderer, at transsakkadisk integration er afhængig af en begrænsethukommelseressource, der er fleksibelt fordelt mellem præ-sakkadiske stimuli.

Fordi menneskets synsstyrke er højest i fovea og falder som en funktion af excentricitet, flytter vi ofte vores øjne for at bringe objekter af interesse ind i fovealt syn med høj skarphed (Yarbus, 1967). Men retter vores blik mod ét sted

betyder nødvendigvis at trække det fra andre. For at understøtte detaljeret og stabil sceneopfattelse på tværs af øjenbevægelsesinducerede forskydninger er det blevet foreslået, at information fra tidligere fikseringer kan bruges til at supplere nuværende foveal input i en proces kendt som transsakkadisk integration (Irwin & Andrews, 1996).

Fordi transsakkadisk integration er afhængig af information fra den nyere fortid for at lette ydeevne i nutiden, er en intuitiv hypotese, at visuelt arbejdehukommelsebidrager til processen (Aagten-Murphy & Bays, 2019; Irwin, 1991; Prime, Vesia, & Crawford, 2011). Arbejdshukommelse refererer til korttidslagring, der er i stand til at opretholde en begrænset mængde information i en aktiv tilstand for at gøre den tilgængelig for kognitiv behandling (Baddeley & Hitch, 1974). Ideen om, at visuel arbejdshukommelse også kan understøtte perceptuelle processer, er ikke ny, da den allerede har været involveret i at løse tvetydig perception (Kang, Hong, Blake, & Woodman, 2011; Scocchia, Valsecchi, Gegenfurtner, & Triesch, 2013) , visuel søgning (Desimone & Duncan, 1995) og sekventielle stimulusforstyrrelser (Bliss, Sun, & D'Esposito, 2017; Fritsche, Mostert, & de Lange, 2017).

Præ-sakkadisk objektinformation vedligeholdes i drifthukommelsekunne – med passende transformationer for at tage højde for det retinale skift induceret af saccaden (Bays & Husain, 2007; Bridgeman, Van der Heijden, & Velichkovsky, 1994; Burr & Morrone, 2011) – tjene som en yderligere informationskilde til at forbedre posten -sakkadisk opfattelse. Tidligere forskning dvs. som et vægtet gennemsnit tager højde for den relative pålidelighed af hvert input (Oostwoud Wijdenes, Marshall, & Bays, 2015). Ved at udligne et gennemsnit af uafhængig støj kan den resulterende integrerede percept udvise større præcision end hver kilde alene (Ganmor, Landy, & Simoncelli, 2015; Wolf & Schutz, 2015).

På trods af dens intuitivitet, direkte bevis for en involvering af visuelt arbejdehukommelsei transsakkadisk integration er sparsom. Flere undersøgelser har undersøgt effekten af ​​mellemliggende saccader på arbejdshukommelsesopgaver. Prime, Tsotsos, Keith og Crawford (2007) observerede ingen forskel i en forandringsdiskriminationsopgave mellem forhold, hvor blikposition blev opretholdt eller ændret mellem efterfølgende stimuluspræsentationer, hvilket tyder på, at saccader i sig selv hverken hæmmer driften af ​​visuelt arbejde.hukommelseog erstatte det heller ikke med en separat transsakkadisk butik. Men to undersøgelser, der bruger metoder, der er følsomme overforhukommelsepræcision (Melcher & Piazza, 2011; Schut, Van der Stoep, Postma, & Van der Stigchel, 2017; Shao et al., 2010) fandt ud af, at det at gøre en saccade til en visuel genstand, der var irrelevant forhukommelseopgave forringede efterfølgende genkaldelsespræcision for hukommelsesarrayet, med en ydeevnenedsættelse svarende til at øge den indstillede størrelse af arbejdshukommelsens indhold med ét element (Schut et al., 2017). Dette tyder på, at allokeringen af ​​hukommelsesressourcer til saccade-målet er obligatorisk.

transsakkadisk integration, men er også i overensstemmelse med brugen af ​​visuelt arbejdehukommelseat facilitere andre perceptuelle eller kognitive processer, fx at lette visuel søgning (Oh & Kim, 2004; Woodman & Luck, 2004) eller opmærksomhedsforskydninger efter saccaden (Hollingworth & Matsukura, 2019).

Til dato, det mest direkte bevis, der understøtter involvering af arbejdehukommelsei transsakkadisk integration kommer fra en undersøgelse af Stewart og Schütz (2018). Som i tidligere undersøgelser observerede disse forfattere transsakkadiske præstationsfordele i estimeringen af ​​en enkelt stimulus, der var tæt på forudsigelserne baseret på optimal integration af præ- og post-sakkadisk input. Men når de placerede den samme opgave inden for vedligeholdelsesperioden for en typisk et-element visuel arbejdehukommelseopgave, fandt de ingen signifikant præstationsfordel i forhold til det bedste individuelle syn på stimulus (præ- eller post-sakkadisk). Med andre ord, indførelse af en visuel arbejdshukommelsesbelastning afskaffede beviset for transsakkadisk integration. Selvom dette resultat stærkt tyder på tilgængeligheden af ​​arbejdehukommelseer vigtigt for at opnå fordelene ved integration, lader dobbeltopgavedesignet dens nøjagtige rolle være usikker. Derudover er konstateringen af, at en hukommelsesbelastning af én genstand næsten fuldstændigt afskaffede transsakkadisk integration, uventet i betragtning af den omfattende dokumentation for, at flere elementer kan opretholdes samtidigt i arbejdethukommelse(se også Melcher, 2009; Melcher & Fracasso, 2012 for dokumentation for, at andre transsakkadiske effekter har større kapaciteter end én).

Et af de definerende træk ved visuelt arbejdehukommelseer, at den information, den kan rumme, er meget begrænset (Alvarez & Cavanagh, 2004; Cowan, 1998; Luck & Vogel, 1997). I analoge rapportopgaver manifesterer denne grænse sig som et fald i genkaldelsestrohed, efterhånden som antallet af elementer i hukommelsen stiger (Ma, Husain, & Bays, 2014; Schneegans, Taylor, & Bays, 2020; van den Berg, Shin, Chou, George , & Ma, 2012; Zhang & Luck, 2008). Derudover arbejderhukommelseallokering er fleksibel, så ressourcer kan fortrinsvis rettes til bestemte emner baseret på adfærdsprioritet (Bays, 2014; Bays & Husain, 2008; Oberauer & Lin, 2017; Schmidt, Vogel, Woodman, & Luck, 2002; Yoo, Klyszejko, Curtis , & Ma, 2018). I denne undersøgelse har vi undersøgt, hvordan fordelingen af ​​arbejdethukommelsetil præ-sakkadiske genstande påvirker transsakkadisk integration. For at opnå et følsomt og graderet skøn over arbejdethukommelseallokering brugte vi den relative vægtning af præ- og post-sakkadisk input i estimeringen af ​​en vares farve som vores primære præstationsmål. Baseret på tidligere undersøgelser (Ganmor, Landy, & Simoncelli, 2015; Oostwoud Wijdenes et al., 2015; Wolf & Schutz, 2015), forventede vi, at denne vægtning afspejlede den relative pålidelighed af før- og post-sakkadisk information.

Eksperiment 1:

Her undersøgte vi, om transsakkadisk integration afhænger af en begrænset ressource ved at manipulere præ-sakkadisk sætstørrelse. Hvis rollen som visuel arbejdehukommelsei transsakkadisk integration er at gemme præ-sakkadisk input, ville vi forvente, at kvaliteten af ​​den information, der er tilgængelig for integration, falder, efterhånden som antallet af elementer i det præ-sakkadiske billede stiger. For at teste denne forudsigelse præsenterede vi observatører med en til fire farvede diske i deres perifere syn, før de fik dem til at udføre en vandret saccade forbi stimulus-arrayet. Under saccaden forsvandt alle skiverne undtagen én, og farven på den resterende skive ændrede sig lidt. Deltagerne blev bedt om at rapportere farven på denne disk, og vi brugte fordelingen af ​​deres svar i forhold til de præ- og post-sakkadiske farver til at vurdere vægten tildelt hvert input. Fordi farveændringen var lille og skete, mens øjet bevægede sig, forventede vi, at deltagerne stort set ikke var klar over det. Vi testede denne antagelse i en struktureret debriefing efter eksperimentet.

Metoder

Deltagere

Fjorten deltagere (9 kvinder) i alderen mellem 20 og 35 år (gennemsnitlig=24.7) deltog i eksperiment 1.

Figur 1. Eksempel på forsøgssekvens i forsøg 1 (ikke i skala), for et forsøg med sætstørrelse tre. Stiplede røde cirkler repræsenterer blikfikseringer. Den stiplede røde pil repræsenterer saccade-vektoren. Stimulus ændrede sig, så snart blikket krydsede skærmens lodrette midterlinje. Farveændringen er overdrevet til illustrative formål.

Deltagerne rapporterede om normal eller korrigeret til normal synsstyrke. Normalt farvesyn blev sikret ved en screeningstest (Ishihara, 1972) udført før undersøgelsen. Deltagerne var naive med hensyn til formålet med eksperimentet og kompenserede med en betaling på £10/time. Eksperimenterne blev godkendt af Cambridge Psychology Research Ethics Committee.

Informeret samtykke blev opnået i overensstemmelse med Helsinki-erklæringen.

Apparater og stimuli

Stimuli blev præsenteret på en 27 tommer Asus ROG PG279Q-skærm (144 Hz opdateringshastighed, 2560 × 1440 pixels, ULMB-tilstand og overclocking deaktiveret)

i en synsafstand på 60 cm. Baggrunden på skærmen var sort (0,3 cd/m2) under hele forsøget. Øjenposition blev sporet online ved hjælp af en skrivebordsmonteret EyeLink 1000 (SR Research). Stimulusgenerering og -præsentation blev implementeret i Matlab ved hjælp af Psychophysics Toolbox (Kleiner, Brainard, & Pelli, 2007). Brugerdefineret kode brugte pc-chipsættets High Precision Event Timer til at synkronisere skærmen og eye tracker, som blev samplet asynkront ved 1000 Hz. Vi målte en gennemsnitlig inputforsinkelse (defineret som intervallet mellem en softwareanmodning om at opdatere skærmen og 90 procent af den ønskede luminansændring gennemført) på ca. 11 ms, i overensstemmelse med værdier, der tidligere er rapporteret for denne skærm (Fabius, Fracasso, Nijboer, & Van der Stigchel, 2019; Zhang et al., 2018).

Design og procedure

Forsøgssekvensen er illustreret i figur 1. Hvert forsøg begyndte med præsentationen af ​​en grå fikseringsprik (diameter 0,5 graders synsvinkel, 71,3 cd/m2) mod en ensartet sort baggrund (0 .3 cd/m2). Afhængigt af saccaderetningen så fikseringsprikken ud 6 grader til enten venstre eller højre for skærmens midte. Fire bogstaver (A, B, C og D) blev præsenteret ved de mulige stimulussteder, placeret på en imaginær cirkel med 4 graders radius centreret på fikseringsprikken, i vinkelpositioner (–60 grader, –20 grader plus 20 grader , og plus 60 grader) hvor

0 grader er i vandret retning mod midten af ​​skærmen. Efter at fikseringen var blevet holdt inden for 2 grader fra fikseringsprikken i en periode på

500 ms fremkom en anden prik (sakkademålet) ved en vandret forskydning (og dermed krævet saccadeamplitude) på 12 grader fra det første fikseringspunkt. Dette punkt indikerede det sted, hvortil observatørerne skulle saccade, når de modtog signalet. Bemærk, at det ikke var muligt at arrangere de fire stimulusplaceringer til at være samtidigt lige langt fra både de præ-sakkadiske og post-sakkadiske fikseringspunkter. Vi valgte at gøre alle fire positioner lige langt fra præ-sakkadisk fiksering, med det resultat, at A- og D-positionerne var længere fra det post-sakkadiske fikseringspunkt end B og C (10,0 grader vs.

Efter 500 ms yderligere fiksering blev bogstaverne erstattet af en, to, tre eller fire farvede skiver (1 grad i diameter). Farver blev tilfældigt tegnet fra en cirkel i CIELAB-rummet (L=74, oprindelse ved a=b=0, radius 40). For sætstørrelser 1-3 blev ubesatte positioner valgt tilfældigt, opvejet på tværs af forsøg og fyldt med grå pladsholderprikker (0,3 grader i diameter) for at reducere rumlig usikkerhed. Dette præ-sakkadiske display blev præsenteret i 1000 ms. Efter yderligere 1000 ms forsvandt den oprindelige fikseringsprik, og der blev afspillet et bip på samme tid,

opfordre deltageren til at foretage en øjenbevægelse til saccade-målet så hurtigt som muligt.

Når blikket krydsede skærmens lodrette midterlinje, blev alle på nær én af de præ-sakkadiske genstande (placering modvægtet på tværs af forsøg) erstattet af pladsholderprikker. Farven på det resterende (dvs. post-sakkadiske) emne skiftede enten med uret (CW) eller mod uret (CCW) med 25 grader på farvecirklen. Retningen af ​​dette skift blev valgt tilfældigt. Det post-sakkadiske element blev vist indtil 300 ms efter, at saccade offset blev detekteret af eye tracker-softwaren.

post-sakkadisk genstand, dukkede et farvehjul (5 grader i diameter; tilfældigt roteret) op omkring den post-sakkadiske fikseringsprik. Et bogstav, der angiver positionen af ​​den post-sakkadiske genstand, blev vist i midten af ​​hjulet. Deltagerne blev bedt om at klikke på den farve på hjulet, der bedst matchede den huskede farve på emnet angivet med bogstavet. Bogstaverne blev brugt som en ikke-maskerende cue for at angive, hvilket element der skulle rapporteres; Selvom bogstavet altid indikerede det element, der forblev synligt efter saccaden, viste pilottest, at deltagerne ofte var uvidende om, at et af emnerne blev vist i længere tid end farvehjulet, blev det centrale bogstavsignal erstattet med en disk (1 grad i diameter) ), der indikerede farven under den aktuelle museposition. Efter at et svar var registreret, blev hjulet erstattet af den præ-sakkadiske fikseringsprik, hvilket påbegyndte det næste forsøg.

2 grader fra den præ-sakkadiske fikseringsprik på noget tidspunkt før saccaden, hvis en saccade ikke var blevet påbegyndt 500 ms efter forsvinden af ​​den præ-sakkadiske fikseringsprik, hvis saccaden landede længere end

2,5 grader fra det post-sakkadiske fikseringspunkt, hvis saccaden tog længere tid end 150 ms, eller hvis et blink blev rapporteret, før farvehjulet dukkede op. Når et forsøg blev afbrudt, blev der vist en feedbackmeddelelse for

2 sekunder i skærmens centrum, og et forsøg med den samme eksperimentelle tilstand blev tilføjet til slutningen af ​​blokken.

Observatører gennemførte 480 vellykkede forsøg fordelt på fire blokke med hver 120 forsøg. Inden for hver blok blev den indstillede størrelse og placering af det rapporterede element tilfældigt interleaves. Hver session startede med en øvelsesblok, hvor deltagerne blev trænet i øjenbevægelseskomponenten i eksperimentet. I denne øveopgave blev farverapporten erstattet af feedback om, hvorvidt saccaden havde opfyldt alle eksperimentelle krav. Fejlmeddelelser blev forklaret verbalt af forsøgslederen, når de blev udløst. Øvelsen fortsatte, indtil deltagerne var sikre på det oculomotoriske aspekt af opgaven.

Analyse

De primære mål af interesse var bias og spredning af farveresponser i forhold til den præ- og post-sakkadiske farve af det probede emne. Vi estimerede disse som henholdsvis den cirkulære middelværdi og den cirkulære standardafvigelse (SD). Til dette formål roterede og afspejlede vi de rapporterede farveværdier, således at 0 grader svarende til den præ-sakkadiske farve og positive værdier var i retning af den post-sakkadiske farve.

Fordi svar blev afspejlet på halvdelen af ​​forsøgene, blev enhver overordnet CW- eller CCW-responsbias opvejet og kunne ikke have påvirket beregningen af ​​det cirkulære gennemsnit; en sådan responsbias ville imidlertid have en tendens til at oppuste estimater af

cirkulær SD. For at løse dette, efter at have roteret svarene, men før vi reflekterede dem for at gøre den post-sakkadiske farve positiv (som beskrevet ovenfor), trak vi den overordnede responsbias fra hver deltager, beregnet som det cirkulære middel over forsøg. Denne operation blev kun anvendt ved estimering af cirkulær SD, men bemærk, at den ikke ville have nogen effekt på estimater af det cirkulære middelværdi.

Statistiske test af hypoteser blev udført ved hjælp af Bayesiansk ANOVA og Bayesiansk t-test i JASP (JASP Team, 2020) med standardprioriteringer. Resultaterne er med en BF10 på fem indikerer, at styrken af ​​bevis for en forskel er fem gange større end styrken af ​​bevis for ingen forskel. Omvendt indikerer en BF01 på fem den samme styrke af beviser, der ikke favoriserer nogen forskel.