Die Verarbeitung von Konturen im visuellen Kortex des - E-LIB
Transcrição
Die Verarbeitung von Konturen im visuellen Kortex des - E-LIB
„Die Verarbeitung von Konturen im visuellen Kortex des Menschen.“ Dissertation zur Erlangung des Grades eines Doktors der Naturwissenschaften (Dr. rer. nat.) vorgelegt von: Mark Matthias Schira dem Fachbereich 2 (Biologie/Chemie) der Universität Bremen angefertigt in der Arbeitsgruppe von: PD Dr. Stephan-Axel Brandt Betreuer an der Universität Bremen: Prof. Dr. Manfred Fahle Übersicht über die Publikationen und Manuskripte Die vorliegende Disputation beruht kumulativ auf den folgenden Publikationen und Manuskripten, die in internationalen neurowissenschaftlichen Fachzeitschriften veröffentlich wurden oder werden. 1. Schira MM, Fahle M, Donner TH, Kraft A, Brandt SA (2004). Differential contribution of early visual areas to the perceptual process of contour processing. Journal of Neurophysiology 91: 1716-1721. 2. Schira MM, Fahle M, Kraft A, Brandt SA (2004). Modality specific contour integration in human early visual areas. Eingereicht bei NeuroImage. 3. Schira MM, Fahle M, Brandt SA., Spang K (2004). Electrophysiology of different contour modalities. Eingereicht bei Vision Research. Eigenanteil Die Untersuchungen, auf denen die hier vorliegende Dissertation beruht, habe ich selbstständig geplant und durchgeführt. Die enthaltenen Manuskripte habe ich eigenhändig verfasst und mich dabei mit den jeweils genannten Mitautoren abgesprochen. Inhaltsverzeichnis 1 Einführung und Grundlagen ............................................................... 1 1.1 Die Erkennung von Objekten und ihre biologische Relevanz....................................... 1 1.2 Geschichte und Stand der Forschung ............................................................................ 2 1.2.1 Rezeptive Felder und Retinotopie: grundlegende Organisationsprinzipien ............ 3 1.2.2 Kontextuelle Modulation in V1 ............................................................................... 4 1.2.3 Die Rolle von V2 ..................................................................................................... 7 1.3 Ziel dieser Untersuchung............................................................................................... 8 2 Methodik........................................................................................... 10 2.1 Visuelle Reizmuster..................................................................................................... 10 2.1.1 Kontur definiert durch Orientierung...................................................................... 10 2.1.2 Kontur definiert durch Bewegung ......................................................................... 10 2.1.3 Kontur definiert durch Farbe oder Luminanz ........................................................ 11 2.2 Kontrolle von Aufmerksamkeit ................................................................................... 11 2.3 Visuell evozierte Potentiale (VEP).............................................................................. 12 2.4 Funktionelle Kernspintomographie ............................................................................. 13 2.4.1 Prinzip und Technik............................................................................................... 13 2.4.2 Die Technik des retinotopen Kartierens ................................................................ 14 3 Zusammenfassung der einzelnen Untersuchungen......................... 17 3.1 Die Bedeutung verschiedener visueller Areale für die Verarbeitung orientierungsdefinierter Konturen............................................................................... 17 3.2 Konturspezifische Modulation früher visueller Areale. .............................................. 18 3.3 Psychophysik und Elektrophysiologie ........................................................................ 19 4 Zusammenfassung........................................................................... 21 5 Manuskripte der Originalarbeiten ..................................................... 22 5.1 „Differential contribution of early visual areas to the perceptual process of contour processing“................................................................................................................... 22 5.2 „Modality specific contour integration in human early visual areas“ ........................ 39 5.3 „Electrophysiology of different contour modalities“ .................................................. 59 6 Literatur ............................................................................................ 76 1 Einführung und Grundlagen 1.1 Die Erkennung von Objekten und ihre biologische Relevanz Das visuelle System von Primaten hat während der Evolution eine bemerkenswerte Leistungsfähigkeit bei der Wahrnehmung und Erkennung von Objekten entwickelt. Objekte in der Umwelt zu identifizieren, ist im alltäglichen Leben von Primaten von lebenswichtiger Bedeutung. Wenn sich ein Primat schnell durch die Baumwipfel bewegt, bewegen sich auch die Abbilder der umgebenden Objekte auf seiner Netzhaut. Die Geschwindigkeit und Richtung dieser Bewegung hängen von der Entfernung und relativen Position der Objekte zum wahrnehmenden Tier ab. Auch wenn die entstehenden Bewegungsmuster auf der Netzhaut des Tieres sehr komplex sind, stellen sie doch ein besonders geeignetes Merkmal zur Trennung von Objekten und zu ihrer Lokalisation im Raum dar. Neben Bewegung stellt die Oberflächenbeschaffenheit oder Textur ein weiteres objektkennzeichnendes Merkmal dar. Gefahrenquellen, z.B. Schlangen, sind oft gut getarnt und von ihrer Umgebung nur schwer zu unterscheiden. Eine Schlange, die unbewegt im Gewirr von Ästen und Blättern lauert, fügt sich zwar perfekt in ihre Umgebung ein, unterscheidet sich aber von einem Ast durch die Textur ihrer Oberfläche. Vereinfacht hat die Haut einer Schlange eine wabenförmige Schuppenstruktur, ein Ast hingegen eine aus vielen mäandrierenden Linien bestehende Rindenstruktur. Ein weiteres Merkmal für die Identifikation von Objekten ist die Farbe. Der Farbumschwung einer reifenden Frucht von grün zu rot ist, hinsichtlich der Änderung im Frequenzspektrum des reflektierten Lichtes, nicht so deutlich wie es uns erscheint. Es ist vielmehr unser visuelles System, das darauf eingestellt ist, dieses überlebenswichtige Merkmal zu entdecken. Diese Fähigkeit ist eine ganz spezifische Anpassung an den Lebensraum Baumgipfel und die Ernährung von Früchten. Andere Säugetiere, aber auch Menschen mit einer Rot-Grün-Blindheit haben diese Fähigkeit nicht. Die Entdeckung und Integration von Konturen ist für die oben aufgeführten Aufgaben von zentraler Bedeutung. Konturen können also definiert sein durch Farbe, Bewegung oder Textur. Sie können real vorhanden oder auch nur wahrscheinlich oder vermutetet sein. Ziel dieser Arbeit war es zu untersuchen, welche Teile des visuellen Kortex des Menschen die Verarbeitung von Konturen leisten. Es ging dabei insbesondere darum, Unterschiede in der Verarbeitung von Konturen aufzuzeigen, die durch unterschiedliche Merkmale, wie z. B. Luminanz- oder Farbkontrast, Bewegung oder Textur definiert sind. 1 1.2 Geschichte und Stand der Forschung Anfang des vergangenen Jahrhunderts beschäftigten sich die Gestaltpsychologen, z. B. Max Wertheimer und Wolfgang Köhler, mit der visuellen Wahrnehmung. Sie formulierten eine Reihe von Gesetzmäßigkeiten bei der Wahrnehmung von visuellen Mustern, so z. B. das „Gesetz des gemeinsamen Schicksals“. Dieses Gesetz beschreibt, dass Elemente, z. B. Punkte oder Linien, gruppiert werden, wenn sie sich in eine gemeinsame Richtung bewegen oder gemeinsam verschwinden oder auftauchen. Die Gestaltpsychologen beschäftigten sich weniger mit den Detailprozessen der visuellen Verarbeitung, sondern vielmehr mit Regeln zur Wahrnehmung des Ganzen. „Es gibt Zusammenhänge, bei denen nicht, was im Ganzen geschieht, sich daraus herleitet, wie die einzelnen Stücke sind und sich zusammensetzen, sondern umgekehrt, wo - im prägnanten Fall - sich das, was an einem Teil dieses Ganzen geschieht, bestimmt ist von inneren Strukturgesetzen dieses seines Ganzen.“ So formulierte Max Wertheimer die Grundthese seiner Gestalttheorie (Wertheimer, 1925). Dieser gedankliche Ansatz war geprägt von der Ansicht, das Gehirn würde nur als Ganzes funktionieren. Demzufolge wäre der Beitrag einzelner Gehirnzellen kaum verstehbar und für sich genommen scheinbar erratisch. In den Jahren 1965-1970 konnten Hubel und Wiesel in einer Reihe grundlegender Arbeiten am visuellen System von Katzen zeigen, dass diese Grundannahme allenfalls teilweise stimmt. Sie leiteten mit feinen Elektroden die elektrische Aktivität von einzelnen Nervenzellen im visuellen Kortex von Katzen ab. Dabei gelang es ihnen, zwei grundlegende Konzepte von der Funktionsweise dieser Nervenzellen zu entwickeln: das Konzept des rezeptiven Feldes und damit verbunden das Konzept der retinotopen Organisation (Hubel und Wiesel, 1959; 1962). Diese Konzepte gelten noch bis heute als die elementaren Funktionsprinzipen des visuellen Kortex’ von Säugetieren. Verbunden mit der Technik der Einzelzellableitungen setzte sich eine neue Grundauffassung durch: Neurone, die visuelle Information verarbeiten, werden als Filter aufgefasst, die Informationen aus einem bestimmten Teil des Gesichtsfeldes nach einfachen Eigenschaften wie Orientierung, Bewegung, stereoptische Disparität und Raumfrequenz sortieren. Es entstehen dadurch die so genanten Eigenschaftskarten im primären visuellen Kortex V1 (Hubel, 1988). Einzelzellableitungen stellen auch heute noch einen wesentlichen Bestandteil moderner Forschung am visuellen System dar. Mit ihr wurden und werden noch heute die wesentlichen Erkenntnisse und Grundlagen gewonnen, auf denen die hier vorgestellte Arbeit basiert. Seit einiger Zeit wird eine weitere Technik, die funktionelle Kernspintomographie (fMRT) verwendet. Diese Technik ermöglicht es, nicht invasiv Gehirnprozesse menschlicher 2 Probanden in vivo zu untersuchen. Dabei ist sowohl die zeitliche (Sekunden statt Millisekunden) als auch die räumliche (Millimeter statt Mikrometer) Auflösung deutlich niedriger als bei Einzelzellableitungen. Dafür kann aber das gesamte Gehirn zugleich untersucht werden statt nur einzelner oder einiger weniger Neurone. 1.2.1 Rezeptive Felder und Retinotopie: grundlegende Organisationsprinzipien Die Neurone des visuellen Kortex haben ein so genanntes rezeptives Feld. Das bedeutet, sie antworten nur auf Reize, die in einem ganz bestimmten Teilbereich des Gesichtsfeldes, dem rezeptiven Feld, liegen. Diese rezeptiven Felder der Neurone sind im primären visuellen Kortex klein, z. Β. im Bereich um die Fovea üblicherweise deutlich unter 1° Sehwinkel (Zeki, 1978). Außerdem ist der visuelle Kortex retinotop organisiert (Hubel und Wiesel, 1962). Das bedeutet, dass im visuellen Kortex die Nachbarschaftsbeziehungen der Retina und damit auch des Gesichtsfeldes erhalten bleiben. Visuelle Informationen die aus zwei benachbarten Teilen der Retina stammen, werden auch im visuellen Kortex in unmittelbarer Nachbarschaft verarbeitet. Dabei werden die visuellen Reize des linken Gesichtsfeldes, also der nasalen Hälfte der linken Retina und der temporalen Hälfte der rechten Retina, in die rechte Kortexhälfte geleitet. Die Signale der beiden anderen Retinahälften werden analog dazu in die linke Kortexhälfte geleitet (Abbildung 1.1a). Durch diese retinotope Organisation seiner Neuronen enthält der primäre visuelle Kortex eine komplette, wenn auch verzerrte Abbildung des Gesichtsfeldes. Es gibt allerdings nicht nur eine komplette retinotope Abbildung des Gesichtsfeldes, sondern mehrere. An das primäre visuelle Areal V1 schließen sich zumindest beim Rhesusaffen (Macaca mulatta) weitere retinotope Areale an (Abbildung 1.1b). Diese wiederholten Abbildungen sind nicht redundant, sondern stellen eine teilweise aufeinander aufbauende, teilweise parallele Folge von Arealen mit immer höherer Spezialisierung der extrahierten Eigenschaften dar (Zeki, 1978). Die funktionelle Anatomie beim Menschen ist zwar zur Zeit noch wesentlich unklarer, allerdings scheint sich bisher die Hypothese zu bestätigen, dass die Organisation beim Menschen der beim Affen vergleichbar ist. Ein zentrales Instrument zum Vergleich der Strukturen beim Menschen und beim Rhesusaffen ist die retinotope Organisation (Denys et al., 2004; Ejima et al., 2003). Da die rezeptiven Felder mit zunehmendem Abstand eines Areals von V1 immer größer werden, wird dieser Nachweis zunehmend schwieriger. 3 (a) (b) Fovea 9 11 5 7 1 3 2 4 6 10 8 12 Gesichtsfeld links primärer visueller Kortex (V1) 4 8 3 7 12 11 rechts 10 9 6 2 5 1 Sulcus calcarinus Sulcus calcarinus Abbildung 1.1: (a) Schema der Retinotopie. Die visuelle Reizinformation wird retinotop auf den primären visuellen Kortex (V1) übertragen. Beim Menschen ist der primäre visuelle Kortex am occipitalen Pol des Gehirns. Die Abbildung ist nicht maßstabsgetreu, der Maßstab bzw. die Größe des verarbeitenden Kortexareals pro Sehwinkel nimmt von der Fovea zur Peripherie ab (aus Kandel et al., 2000). (b) Karte des visuellen Kortex eines Rhesusaffen. Es gibt eine Vielzahl visueller Areale beim Affen, die alle mehr oder weniger deutlich retinotop organisiert sind (aus Felleman et al., 1997). 1.2.2 Kontextuelle Modulation in V1 Neuere Erkenntnisse aus Einzelzellableitungen weisen im Sinne der Gestaltpsychologie darauf hin, dass das Gesamtbild die Einzelheiten beeinflusst und nicht nur das Gesamtbild aus den Einzelheiten zusammengesetzt wird. So wurde in jüngerer Zeit das klassische Konzept des rezeptiven Feldes erweitert und relativiert. Es konnte gezeigt werden, dass die Aktivität in manchen V1-Neuronen nicht nur davon abhängt, was in ihren rezeptiven Feldern passiert, sondern auch davon in welchem Kontext der Inhalt der rezeptiven Felder zum Gesamtbild steht (Lamme, 1995; Lamme et al., 1998; Rossi et al., 2001). Wenn ein Reizmuster innerhalb eines rezeptiven Feldes zu einer Figur gehörte, kam es zu einer leichten Erhöhung der Aktionspotentialrate gegenüber einer Situation, in der das gleiche Muster zum Hintergrund des Gesamtbildes gehörte. Diese kontextbezogene Modulation der V1-Zellantwort trat nicht unmittelbar nach Reizpräsentation auf, sondern erst nach einer gewissen Verzögerung von ca. 100 ms nach Präsentationsbeginn und 30 – 40 ms nach Beginn der Antwort in V1 (Abbildung 1.2). 4 Abbildung 1.2: Kontextuelle Modulation nach Lamme. Auf der linken Seite sind die Reizmuster, auf der rechten ist die Aktionspotentialrate (Frequenz) eines V1-Neurons abgebildet. In der oberen und unteren Zeile enthält das rezeptive Feld (Kreis) das identische Teilmuster, dennoch kommt es in der unteren Bedingung (rezeptives Feld in der Figur) zu einer Erhöhung der Aktionspotentialrate (grau unterlegt) gegenüber der oberen Bedingung (aus Lamme et al. 1996). Weiter konnte gezeigt werden (Kapadia et al., 1995; 2000), dass die Aktionspotentialrate eines V1-Neurons auf einer Linie durch kollinear flankierende Linien verstärkt wird, obwohl die flankierenden Linien außerhalb des rezeptiven Feldes der Zelle lagen (Abbildung 1.3). Wenn die flankierenden Linien leicht parallel versetzt waren, nahm dieser Effekt schnell ab, orthogonale Linien dagegen senkten die Antwort der Zelle sogar. Dieser Befund ließ sich auch psychophysisch zeigen. Kollinear flankierende Garbormuster erhöhten bei menschlichen Versuchspersonen die Kontrastsensitivität (Polat und Sagi, 1993; Kapadia et al., 1995). 5 + Abbildung 1.3: Der Effekt collinear flankierender Linien auf V1-Neurone. Im oberen Drittel der Abbildung sind drei Reizmuster zu sehen. Das schwarze Kästchen zeigt Größe und Position des rezeptiven Feldes an, die Balkendiagramme die mittlere Aktionspotentialrate eines exemplarischen V1-Neurons für das gezeigte Reizmuster bei einer Kontraststärke von 20% bzw. 30% (aus Kapadia et al. 2000). Aus den beiden Kontrastintensitäten wird deutlich, dass es sich nicht um eine unspezifische Erhöhung der Antwort handelt, sondern um einen Effekt der insbesondere bei niedrigen Kontrasten zu einer erhöhten Sensibilität führt. Diese und ähnliche Befunde führten zu einer Konkretisierung des Konzepts des rezeptiven Feldes zum „klassischen rezeptiven Feld“. Im strengen Wortsinn sind Neurone in V1 rezeptiv für Reize aus einem sehr großen Teil des Gesichtsfeldes. Allerdings nur dann, wenn diese Reize den Kontext des Teilmusters, der im sehr kleinen klassischen rezeptiven Feld des Neurons liegt, verändern. Der Begriff klassisches rezeptives Feld verdeutlicht, dass es sich nur um den vergleichsweise kleinen Bereich handelt, auf den das Neuron unmittelbar reagiert, so wie es auch Hubel und Wiesel (1959) beschrieben haben. Für den Bereich jenseits des klassischen rezeptiven Feldes, aus dem ein Neuron seine kontextuelle Information bezieht, gibt es noch keinen einheitlichen Begriff. Vorgeschlagen wurden unter anderem „integratives Feld“ (Chavane et al., 2000) oder „Kontextfeld“ (Lamme und Roelfsema, 2000). Das Kontextfeld stellt allerdings nicht das gesamte Gesichtsfeld dar, sondern ebenfalls nur einen Teilbereich (Lamme und Roelfsema, 2000). Kontextuelle Modulationen sind für diese Arbeit von grundlegender Bedeutung. Sie sind eine Vorraussetzung dafür, dass eine Zelle Konturen integrieren kann, die größer sind als ihr klassisches rezeptives Feld. 6 1.2.3 Die Rolle von V2 Nach V1 ist V2 das größte und am besten untersuchte Areal des visuellen Kortex von Primaten. Die Charakteristika von V2- und V1-Neuronen unterscheiden sich auf den ersten Blick nur geringfügig. Die rezeptiven Felder in V2 sind größer (Burkhalter und Van Essen, 1986) und die Eigenschaften, die ein Neuron aus seinem rezeptiven Feld extrahiert, sind komplexer. So gibt es eine Reihe von Neuronen in V2, deren Aktionspotentialrate sich bei der Präsentation eines bestimmten Winkels erhöht (Hegde und Van Essen, 2000; 2003), während V1-Neurone meist nur orientierungsspezifisch reagieren. Eine bemerkenswerte Eigenschaft von V2 ist, dass Neurone, die selektiv auf Orientierung reagieren, nicht nur auf reale z. B. durch Luminanz begründete Konturen antworten, sondern auch auf illusorische oder verdeckte Konturen (Lee und Nguyen, 2001; von der Heydt und Peterhans, 1989). Mit einer Kombination aus optischer Bildgebung und Einzelzellableitungen konnte gezeigt werden, dass V1 und V2 unterschiedlich auf Konturen reagieren, die durch versetzte Linien definiert waren (Ramsden et al., 2001). Die durch den Linienversatz definierte Kontur stand in einem 45°-Winkel zu den realen Linien (Abbildung 1.4). Dabei antworteten in V2 Neurone auf die durch Gitterversatz definierten Konturen, in V1 allerdings antworteten nur Neurone mit einer Orientierungspräferenz parallel zum Gitter. Einige Studien berichteten auch für V1-Neurone eine Sensibilität für illusorische Konturen, allerdings fanden Studien, die V1 und V2 vergleichen, solche Neurone in V1 viel seltener als in V2 (Bakin et al., 2000; Marcus und Van Essen, 2002). Abbildung 1.4: Beispiel eines Reizmusters mit einer durch Linienversatz definierten Kontur (aus Ramsden et al. 2001). Ein weiterer Aspekt, der an V2-Neuronen untersucht wird, ist die Konturzugehörigkeit. Jede Kontur „gehört“ zu einem der beiden Objekte, die sie trennt. Bei einem hellen Quadrat auf dunklem Hintergrund gehören die vier Kanten zu dem Quadrat, welches den Hintergrund verdeckt (siehe Abbildung 1.5b). Durch geschickte Wahl der Reizmuster kann dieselbe im 7 klassischen rezeptiven Feld des Neurons liegende Luminanzkontur (also z.B. rechts hell nach links dunkel) entweder zum linken oder zum rechten Objekt gehören (Abbildung 1.5c). In V2 konnte für einige Neurone gezeigt werden, dass sie eine Präferenz dafür haben, dass diese Kontur zum linken Objekt gehört (Zhou et al., 2000). Ein ähnlich komplexes Verhalten konnte für V1-Neurone bisher nicht gezeigt werden. Abbildung 1.5: Kantenzugehörigkeit (Border ownership). (a) Rubin's Vase (Rubin, 1915). Dieses wohlbekannte, doppeldeutige Bild illustriert die Neigung des visuellen Systems Kontrastkanten als eine ein Objekt umschreibende (und andere Objekte verdeckende) Kontur zu interpretieren und daher einem Objekt zuzuweisen. In diesem Beispiel kommt es immer wieder zu einer Veränderung der Wahrnehmung und die Kontur wird abwechselnd der Vase oder den Gesichtern zugewiesen. (b) Isolierte und von einer anderen Eigenschaft umschlossene Regionen werden grundsätzlich als Figur vor einem Hintergrund wahrgenommen. (c) Hier werden anstatt eines Rechtecks und eines L-förmiges Gebildes zwei überlappende Rechtecke wahrgenommen. Damit „vermutet“ das visuelle System eine weitere (aber verdeckte) abschließende Kontur des hellen Rechteckes und dass das dunkle Rechteck vor dem hellen liegt. 1.3 Ziel dieser Untersuchung Die breite und detaillierte Basis des heutigen Forschungsstandes zur Verarbeitung von Konturen beruht größtenteils auf Ergebnissen von Einzelzellableitungen beim Affen. Diese Arbeiten legen die Vermutung nahe, dass die Verarbeitung von Konturen im wesentlichen in den frühen visuellen Arealen V1 und V2 stattfindet (Bakin et al., 2000; Burkhalter und Van Essen, 1986; Lamme, 1995; Marcus und Van Essen, 2002; von der Heydt und Peterhans, 1989). Ergebnisse aus fMRT Untersuchungen zur Wahrnehmung von Konturen und Objekten konzentrieren sich jedoch meist auf höhere visuelle Areale z.B. der Lateralen Occipitalen Region (LOR) (Mendola et al., 1999; Kourtzi et al., 2003; Stanley und Rubin, 2003). Ziel dieser Arbeit war es, mit fMRT die Verarbeitung von Konturen in den frühen visuellen 8 Arealen V1 bis MT+ zu untersuchen und die Ergebnisse in die aus Einzelzelluntersuchungen gewonnen Erkenntnise einzuordnen. Im einzelnen sollten folgende Fragestellungen beim Menschen bearbeitet werden: 1. Welche Areale des visuellen Kortex leisten die Verarbeitung von Konturen. Insbesondere: Lässt sich eine Aufgabenteilung zwischen dem primären visuellen Kortex V1 und dem sich daran anschließenden Areal V2 feststellen? 2. Unterscheiden sich die beteiligten Areale bei der Verarbeitung verschiedener Konturmerkmale? 3. Lässt sich mit fMRT eine kontextuelle Modulation im Inneren einer Figur nachweisen, also eine Figurantwort im Sinne von Lamme et al. (1995)? Zur Beantwortung dieser Fragen wurden Reizmuster entwickelt, die es durch kleine Variationen der Reizeigenschaften ermöglichen, bei weitgehend konstanten physikalisch Eigenschaften verschiedene Konturmodalitäten zu erzeugen. Die Verarbeitung dieser Reizmuster wurde an gesunden Versuchspersonen untersucht. Dazu wurde in erster Linie fMRT verwendet, aber auch psychophysische Methoden sowie Elektrophysiologie. 9 2 Methodik Die Methoden der einzelnen Teile dieser Arbeit sind detailliert in den entsprechenden Manuskripten (Kapitel 5) geschildert. Hier sollen daher nur die allgemeinen Funktionsprinzipien der verwendeten Techniken erläutert werden. 2 1 Visuelle Reizmuster Die in allen hier vorgestellten Untersuchungen verwendeten Reizmuster setzten sich aus Rotatoren zusammen. Ein Rotator bestand aus 3 einzelnen, auf einer Linie liegenden Punkten (Abbildung 2.1a), bei denen die beiden äußeren um den mittleren rotierten. Zusammen führten sie zu einer mit einer rotierenden Linie vergleichbaren Wahrnehmung. Gegenüber einer Linie hat ein Rotator den Vorteil, dass er Luminanzartefakte auf einem Schirm mit diskreten Pixeln grundsätzlich vermeidet. Die in dieser Untersuchung verwendeten Reizmuster setzten sich stets aus 13x13 solcher Rotatoren zusammen, die ein Feld bildeten. Dieses Feld war entweder homogen (Abbildung 2.1c) oder ein Teil der Rotatoren unterschied sich von den umliegenden und bildete somit eine Figur auf einem Grund (Abbildung 2.1b&e). Die Eigenschaften, mit denen sich die Rotatoren der Figur von denen des Hintergrundes unterschieden, variierten, so dass sich verschiedene Konturmodalitäten erzeugen ließen. 2.1.1 Kontur definiert durch Orientierung Um eine Kontur, die durch Orientierung definiert ist, zu erzeugen, rotierten die Figurrotatoren mit gleicher Geschwindigkeit und Drehrichtung, jedoch mit einer Phasenverschiebung gegenüber den Rotatoren des Hintergrundes. Innerhalb der Hintergrund- und der Figurrotatoren war die Phasenlage dagegen synchron. Dadurch unterschieden sich die Figur- und die Hintergrundrotatoren durch ihre Orientierung und zwar zu jedem Zeitpunkt in der gleichen Weise (Abbildung 2.1c). Durch die Bewegung der Rotatoren unterschieden sich die einzelnen Rotatorgruppen über die gesamte Präsentationszeit des Reizmusters im Durchschnitt jedoch nicht, da in der Summe alle Orientierungen vorkamen. 2.1.2 Kontur definiert durch Bewegung Bei der durch Bewegung definierten Kontur waren die Phasenlagen der Rotatoren zufällig (Abbildung 2.1d). Die Figur- und die Hintergrundrotatoren unterschieden sich in ihrer Rotationsgeschwindigkeit. In den ersten 200 ms der Reizpräsentation rotierten 10 beispielsweise die Figurrotatoren doppelt so schnell wie die Hintergrundrotatoren. Nach 200 ms, 400 ms und 600 ms wechselten die Rotatorgruppen ihre Rotationsgeschwindigkeit (bei einer Reizdauer von insgesamt 800 ms), so dass sich jede der Rotatorgruppen zweimal schnell und zweimal langsam drehte. Somit unterschieden sich die Rotationsgeschwindigkeiten zu jedem Zeitpunkt der Präsentation des Reizmusters. Im Durchschnitt rotierten jedoch beide Rotatorgruppen gleich schnell. (a) (b) (c) (d) (e) Abbildung 2.1 (a) Ein Rotator. (b) Kontur definiert durch Orientierung. (c) Homogenes Kontrollmuster passend zur durch Orientierung definierten Kontur. (d) Kontur definiert durch Bewegung. Die Phasenlage der Rotatoren ist zufällig, daher ist in einem Standbild die Kontur nicht zu erkennen. (e) Kontur definiert durch Farbe. 2.1.3 Kontur definiert durch Farbe oder Luminanz Eine weitere Möglichkeit zwei unterscheidbare Rotatorgruppen zu erhalten, war die Verwendung verschiedener Lunimanz oder Farbe für die Rotatoren (Abbildung 2.1e). Das passende homogene Reizmuster als Kontrolle enthielt auch verschiedene Luminanzen oder Farben, allerdings zufällig verteilt. 2.2 Kontrolle von Aufmerksamkeit Die Erkennung von Konturen ist Teil des Prozesses der Wahrnehmung von Objekten. Das freie, natürliche Explorieren der Umgebung ist meist mit Aufmerksamkeit verknüpft. Dabei lenken neu entdeckte Objekte die Aufmerksamkeit des Betrachters auf sich, aber man setzt auch gezielt Aufmerksamkeit ein, um schwer zu entdeckende Objekte zu identifizieren (Egly und Homa, 1984; Egly et al., 1994). Dies führt zu einem komplexen Wechselspiel von willkürlicher und unwillkürlicher Aufmerksamkeit. Einige fMRT-Studien konnten zeigen, dass bereits visuell-räumliche Aufmerksamkeit alleine zu einer Modulation des fMRTSignals führt (Brefczynski und DeYoe, 1999) und sogar zu Fehlinterpretationen von fMRT Daten führen kann (Huk et al., 2001). 11 Um zu verhindern, dass verschiedene Reizmuster die Aufmerksamkeit beeinflussen, wurde in dieser Untersuchung eine Aufgabe zur Kontrolle der Aufmerksamkeit eingesetzt. Es wurde dazu eine Aufgabe verwendet, die Braun (1994) einführte. Dabei sollten die Versuchspersonen für fünf zentral präsentierte Buchstaben (gedrehte Ts oder Ls) entscheiden, ob es sich um eine homogene Gruppe (also nur Ts oder nur Ls) handelt, oder ob es sich um eine Mischung aus den beiden Buchstaben handelt. Diese zentrale Aufmerksamkeitsaufgabe ist genau untersucht und bindet die Aufmerksamkeit einer Versuchsperson sehr effektiv (Braun, 1994; Lee et al., 1999). 2.3 Visuell evozierte Potentiale (VEP) Wie schon Alessandro Volta (1745-1827) feststellte, benutzen Nervenzellen Strom für die Übertragung ihrer Impulse. Die gleichzeitige, synchrone Übertragung von Nervenzellimpulsen kann sich zu messbaren elektrischen Potentialen aufaddieren, die dann mittels am Kopf befestigter Elektroden aufgezeichnet werden können. Diese Aufzeichnung bezeichnet man als Elektroencephalogramm (EEG). Hans Berger beschrieb dieses Phänomen zum ersten Mal beim Menschen(Berger, 1927). Genauere Analysen bei simultaner intrazellulärer-, extrazellulärer- und Skalpableitungen zeigten, dass die Ursache des EEG synchrone Hyper- und Depolarisierungen ausgedehnter Dendritenbäume insbesondere von Pyramidenzellen ist (Creutzfeldt und Houchin, 1974). Extrazelluläre Ausgleichströme, die von diesen synchronen Hyper- und Depolarisierungen ausgelöst werden, führen letztendlich zu auf der Kopfhaut messbaren Potentialänderungen. Die Präsentation eines visuellen Reizes löst eine deutliche Potentialänderung aus, die oftmals schon als Einzelereignis im EEG zu erkennen ist. Sind die verwendeten Reize visueller Natur, so spricht man von visuell evozierten Potentialen (VEP). Um geringe Potentialänderungen sichtbar zu machen, die bei der Verarbeitung eines Reizmusters entstehen, wiederholt man einen Stimulus mehrfach und mittelt das abgeleitete EEG jeweils zum Zeitpunkt des Präsentationsbeginns. Da die nicht mit der Reizverarbeitung zusammenhängenden Komponenten des EEG nicht mit der Reizdarbietung korreliert sind, werden sie dabei herausgemittelt. Die verbleibenden Komponenten werden als ereigniskorrelierte Potentiale (EKP) bezeichnet. Die räumliche Auflösung von EKPs ist zwar sehr gering, allerdings erlauben sie es, neuronale Prozesse mit hoher zeitlicher Auflösung zu untersuchen. 12 2.4 Funktionelle Kernspintomographie Die Kernspintomographie ist derzeit die Methode der Wahl zur Erfassung der Hirnanatomie in vivo. Sie erlaubt es ohne schädigende Nebenwirkungen Hirnfunktionen am lebenden Subjekt abzubilden. Da sie die zentrale Methode der hier zusammengefassten Untersuchungen darstellt, soll sie etwas ausführlicher beschrieben werden. 2.4.1 Prinzip und Technik Funktionelle Magnet Resonanz Tomographie (fMRT) ermöglicht es, nicht invasiv (Belliveau et al., 1991; Frahm et al., 1992; Kwong et al., 1992) aktivierte Gehirnareale mit hoher räumlicher Auflösung (~1 mm) und guter zeitlicher Auflösung (wenige Sekunden) zu lokalisieren. Sie basiert darauf, dass die kernspintomographisch messbare Zeitkonstante T2* des Hirngewebes von der Menge und dem Oxygenierungsgrad des dieses Gewebe durchfließenden Blutes abhängt. Die meisten MR-Verfahren nutzen dabei den BOLD-Kontrast („blood-oxygenationlevel-dependent“), um Änderungen der Desoxihämoglobinkonzentration als Folge kortikaler Aktivität zu messen. Diese Konzentrationsänderung ist von physiologischen Vorgängen abhängig, die bisher nur unvollständig verstanden sind (Villringer und Dirnagl, 1995). Folgende Grundannahmen können allerdings als gesichert gelten (Heeger et al., 2000): 1. Regionale Hirndurchblutung ist an den metabolischen Bedarf gekoppelt. 2. Der Metabolischer Bedarf wird durch die synaptische Aktivität bestimmt. 3. Die Synaptische Aktivität hängt von der Feuerrate präsynaptischer Neurone ab. 4. Präsynaptische Neurone sind vorwiegend Teil eines lokalen Neuronenverbundes. Eine Steigerung der lokalen Aktivität von Kortexgewebe führt zu einer Kette von Reaktionen: Die gesteigerte Aktivität führt zu einem erhöhten metabolischen Bedarf dieses Gewebes, infolgedessen sinkt sehr lokal der Oxygenierungsgrad des Blutes. Zeitlich sehr eng gekoppelt steigt dann aber die Durchblutung des lokalen Gewebes, so dass der vermehrte Sauerstoffbedarf des Gewebes überkompensiert wird. Der lokale Gehalt an desoxygeniertem Blut sinkt, die T2*-Konstante des Gewebes steigt lokal an. Die T2*-Konstante lässt sich im Kernspintomographen mit verschiedenen Messsequenzen ermitteln. Für die fMRT werden in der Regel Gradientenecho-MR-Sequenzen, wie z.B. echoplanare (EPI-) Bildgebungssequenzen verwendet, da sie die T2*-Konstante recht sensitiv ermitteln und außerdem sehr schnell sind. Mit solchen Sequenzen lassen sich 13 die T2*-Konstanten für verschiedene Orte im gesamten Gehirn, je nach gewünschter räumlicher Auflösung, in ca. 1 bis 4 Sekunden messen. Durch wiederholte Messung wird für verschiedene Orte des Gehirnes der Zeitverlauf dieser T2*-Konstante ermittelt. Mit statistischen Testverfahren wird dann ein Zusammenhang zwischen dem Zeitverlauf der T2*-Konstante und einer von der Versuchsperson durchgeführten Aufgabe ermittelt und die entsprechenden Bildpunkte der aktivierten Areale über eine Farbkodierung visualisiert. Das gemessene Signal entspricht dabei also nicht der eigentlichen elektrischen Aktivität von Gehirnzellen, sondern ist Ausdruck der damit gekoppelten Blutflussantwort. Der weitere Erfolg dieses Verfahrens hängt davon ab, ob es gelingt, eine quantitative Beziehung zwischen dem BOLD-Signal und der mittleren Feuerrate (oder einem anderen Parameter der elektrischen Aktivität) der Neuronenpopulation herzustellen (Wandell, 1999; Heeger et al., 2000). Untersuchungen weisen auf eine erstaunlich einfache Beziehung hin: Das BOLDSignal scheint in den Arealen V1 und MT direkt proportional zur mittleren Feuerrate zu sein (Boynton et al., 1996; Heeger et al., 2000; Rees et al., 2000). Die fMRT ist also eine zuverlässige, vergleichsweise einfach anwendbare und vor allem nicht invasive Untersuchungsmethode, die inzwischen breite Anwendung und große Bedeutung bei der Erforschung von Hirnfunktionen und -struktur beim Menschen erlangt hat. 2.4.2 Die Technik des retinotopen Kartierens Für die kernspintomographischen Messungen dieser Arbeit ist die Technik der retinotopen Kartierung eine grundlegende Vorraussetzung. Deshalb wurde im Rahmen dieser Arbeit diese seit 1995 bekannte Technik (Sereno et al., 1995; Engel et al., 1997) weiterentwickelt. Es wurden Messprotokolle und visuelle Reizmuster entwickelt, die an den Versuchsaufbau der Arbeitsgruppe und den verwendeten Kernspintomographen angepasst sind. Ziel der entwickelten Verfahren war es, die individuelle funktionelle Anatomie der visuellen Areale jeder einzelnen Versuchspersonen zu ermitteln, denn die genaue Ausdehnung und Position der „retionotopen Karten“ sind bei jedem Menschen etwas verschieden (Dougherty et al., 2003). Wie bereits unter 1.2.1 beschrieben, gibt es auf dem visuellen Kortex mehrere retinotope Abbildungen des Gesichtsfeldes. Wenn man in einem Teilbereich des Gesichtsfeldes ein visuelles Reizmuster präsentiert, erhält man in den korrespondierenden Teilbereichen des visuellen Kortex eine mit fMRT messbare BOLD-Antwort. Dieses einfache Prinzip ist die Grundlage dafür, dass die individuelle retinotope Organisation des visuellen Kortex einer 14 Versuchsperson ermittelt werden kann. Wichtige Vorraussetzungen sind dabei, dass die Versuchspersonen während der Messung ihre Augen nicht bewegen, sondern auf einen Fixationspunkt schauen. Außerdem müssen Reflexionen im Versuchsaufbau vermieden werden, so dass wirklich nur der gewünschte Teil des Gesichtsfeldes stimuliert wird. In den unter 3.1 und 3.2 geschilderten Untersuchungen wurden zwei Protokolle zur retinotopen Kartierung eingesetzt: Ein Protokoll zur Kartierung der Meridiane und ein Protokoll zur Kartierung der Exzentrizität, also des Abstandes eines Gesichtsfeldpunktes von der Fovea (Abbildung 2.2). Bei der Meridiankartierung werden zwei Reizmuster gezeigt, die abwechselnd den horizontalen Meridian und den vertikalen Meridian visuell mit einem flackernden Schachbrettmuster stimulieren. Durch die funktionelle Anatomie ist es damit möglich die frühen visuellen Areale V1, V2, V3/Vp, V3a und V4v voreinander zu unterscheiden (DeYoe et al., 1996). 15 (a) (c) (b) Sulcus calcarinus Abbildung 2.2 Exzentrizitätskartierung. Die im Rahmen dieser Arbeit entwickelte und verwendete Exzentrizitätskartierung. (a) Das Schema der retinotopen Projektion nach Kandel (vgl. Abbildung 1.1). (b) Die verwendeten Reizmuster. Zur Kartierung der Exzentrizität bekamen die Versuchpersonen drei verschieden große Reizmuster (1-2,5° Sehwinkel; 2,53,5°; 3,5-8°) gezeigt und wurden angewiesen auf den Fixationspunkt (rot) zu schauen. Da die drei verwendeten Reizmuster jeweils nur in einem Teilbereich des Gesichtsfeldes visuelle Information zur Verarbeitung enthielten, wurde auch nur der jeweils korrespondierende Teilbereich des visuellen Kortex aktiviert. Die verwendeten Exzentrizitäten und die rechteckige Form der Reizmuster waren eine spezielle Anpassung an die unter 2.1 beschriebenen Reizmuster. (c) Auschnitt aus einer Rekonstruktion der linken Kortexoberfläche einer einzelnen Versuchsperson. Der Ausschnitt enthält nur den occipitalen Pol, der den primären visuellen Kortex enthält, das Bild zeigt eine mediale Ansicht. Die mit Falschfarben in rot, grün und dunkelblau markierten Gebiete sind das Resultat einer Exzentrizitätskartierung. Dabei korrespondieren die Farben mit den Balken unter den Reizmustern aus Teil (b). Somit markieren die Farbe Rot jene Teile des visuellen Kortex dieser Versuchsperson, in denen Reizmuster zwischen 1 und 2,5° Sehwinkel verarbeitet werden 16 3 Zusammenfassung der einzelnen Untersuchungen. Diese Dissertation besteht aus drei Arbeiten, die "peer reviewed" in internationalen neurowissenschaftlichen Fachzeitschriften veröffentlich wurden oder werden. 3.1 Die Bedeutung verschiedener visueller Areale für die Verarbeitung orientierungsdefinierter Konturen Diese Untersuchung behandelte drei Fragestellungen: 1. Ist es möglich, mit der fMRT eine Modulation des BOLD-Signals als Folge von Konturverarbeitung nachzuweisen, auch wenn die Versuchspersonen mit einer konturunabhängigen, anspruchsvollen Aufgabe abgelenkt werden? 2. Folgt die räumliche Verteilung dieser Modulation der retinotopen Organisation? a) Findet sie daher nur in jenen Bereichen statt, die die Kontur verarbeiten? b) Gibt es darüber hinaus auch in den Breichen, die retinotop von einer Kontur eingeschlossen sind, also die Figur/Objekt-Fläche repräsentieren, eine messbare Modulation des BOLD-Signals? Dies würde einer kontextbezogenen BOLD-Modulation analog zu der von Lamme (Lamme et al. 1995) beschriebenen Modulation der Aktionspotentialrate entsprechen. 3. Führt eine durch Orientierung definierte Kontur in allen untersuchten Arealen zu vergleichbaren BOLD-Signalen, oder lassen Unterschiede auf eine spezifische Rollenverteilung der verschiedenen Areale bei der Konturwahrnehmung schließen? Dazu wurden die in Abschnitt 2.1.1 beschriebenen Reizmuster 6 naiven Versuchspersonen im Rahmen einer kernspintomographischen Untersuchung präsentiert. Die Versuchspersonen wurden allerdings instruiert, die in Abschnitt 2.2 skizzierte zentrale Aufmerksamkeitsaufgabe durchzuführen und wurden nicht über die gleichzeitig präsentierten Reizmuster mit durch Orientierung definierten Konturen informiert. Dies führte dazu, dass die Versuchspersonen das eigentliche Ziel der Experimente nicht durchschauten und die Konturen nicht bewusst bemerkten. Es wurde außerdem für jede Versuchperson der Kortex kartiert und exzentrizitätsbasierte Regionen von besonderem Interesse (Regions of Interest, ROI) definiert. Beim Vergleich der BOLD-Signale auf Reizmuster mit und ohne (siehe Kapitel 2.1.1) durch Orientierung definierter Kontur zeigte sich eine Erhöhung des BOLD-Signals in V2 ventral und dorsal, V3a und V4 ventral. Diese Erhöhungen fanden jeweils in den Subarealen statt, die retinotop mit der Lage der Kontur auf der Retina korrespondierten. 17 Diese Ergebnisse zeigen erstens, dass die Verarbeitung von Konturen zu einer Veränderung der hämodynamischen Antwort führt, auch wenn die Versuchpersonen die Konturen nicht bemerken. Zweitens, die räumliche Verteilung dieser Veränderungen folgte der retinotopen Organisation der frühen visuellen Areale. In den von der Kontur umschlossenen Bereichen konnte weder in V1 noch in V2 eine solche Veränderung der hämodynamischen Antwort nachgewiesen werden. Eine „Figurantwort“ im Sinne von Lamme (1995) konnte mit fMRT also nicht nachgewiesen werden. Es blieb ungeklärt ob dieses Fehlen einer kontextuellen Modulation auf die Messmethode fMRT, die Tatsache dass unserer Versuchspersonen die Konturen nicht wahrnahmen (Super et al., 2001), oder auf eine ungenügende Sensitivität unseres Versuchsdesigns zurückzuführen ist. Allerdings konnten wir zeigen, dass zumindest in V1 dieses Signal, wenn es überhaupt vorhanden ist, nur sehr klein sein kann. Drittens konnte gezeigt werden, dass die Verarbeitung von durch Orientierung definierten Konturen nur in einigen, nicht aber in allen frühen visuellen Arealen, zu einer Erhöhung des BOLD-Signals führt. Das legt nahe, dass nicht alle Areale gleichermaßen an der Verarbeitung dieser Kontur beteiligt waren, sondern dass sich ihre Verarbeitung auf bestimmte Areale beschränkte. 3.2 Untersuchung verschiedener Konturmodalitäten Diese Untersuchung ist als eine Fortsetzung der unter 3.1 beschrieben Untersuchung zu sehen, bei der gezeigt wurde, dass nur in einigen der frühen visuellen Areale V1 bis MT+ bei der Verarbeitung der durch Orientierung definierten Kontur das BOLD-Signal erhöht wurde. Es sollte untersucht werden, ob bei der Verwendung weiterer, durch andere Merkmale definierten Konturen, wieder die gleichen oder aber andere visuelle Areale moduliert werden. Daher wurden, nach dem gleichen Verfahren wie in 3.1, Messungen mit a) einer durch Bewegung, b) durch Farbe und c) durch einen schwachen Luminazkontrast definierten Kontur durchgeführt. Ziel war es, für jede dieser Konturmodalitäten den spezifischen Beitrag der verschieden Areale aufzudecken. Dabei zeigte sich, dass jede der verwendeten Konturen (außer der durch Luminazkontrast definierten) in den Arealen V2 und V4 zu einer signifikanten Verstärkung der hämodynamischen Antwort führte. Es zeigten sich aber auch eine Reihe von 18 Unterschieden in anderen Arealen. So führte die durch Bewegung definierte Kontur in V3/Vp und MT+ zu einer Modulation, die durch Farbe definierte Kontur dagegen in V1. Zusammen mit dem Ergebnis aus 3.1, wo die durch Orientierung definierte Kontur zu einer Modulation in dem Areal V3a führte, ergab sich für jede der Konturmodalitäten ein anderes Muster an beteiligten Arealen. Für die durch Bewegung und die durch Orientierung definierten Konturen können wir aufgrund der Ergebnisse davon ausgehen, dass beide in V2 integriert wurden. Aufgrund der Tatsachen, dass die konturspezifische Information dann in unterschiedliche höhere Areale weitergeleitet wurde (V3/Vp bei Bewegung; V3a bei Textur), folgt, dass es sich bereits in V2 um unterschiedliche Neuronenpopulationen handelte. Das Areal V2 hat einen charakteristischen Aufbau mit horizontal orientierten (parallel zur Kortexoberfläche) Subarealen (Streifen), die beim Affen eine funktionelle Subspezialisierung aufweisen. (Ts'o et al., 2001; Xiao et al., 2003). Wir vermuten, dass diese unterschiedlich spezialisierten Population in verschiedenen Streifen angesiedelt sind. Vermutlich wird die durch Bewegung definierte Kontur in den V2 „thick stripes“ verarbeitet, während die durch Orientierung definierte Kontur in den V2 „pale stripes“ verarbeitet wird. Da die durch Farbe definierte Kontur bereits in V1 zu einer Erhöhung der hämodynamischen Antwort führte, wurde sie vermutlich bereits in V1 verarbeitet. Dann würde die Information anschließend nach V2 weitergeleitet. Da diese Information hier wiederum eine andere Kombination von höheren Arealen (nur V4) weitergeleitet worden ist, ist vermutlich eine dritte Population an V2 Neuronen beteiligt. Diese Erkenntnisse sprechen dafür, das V2 im visuellen System des Menschen eine zentrale Rolle bei der Verarbeitung von Konturen spielt. Innerhalb von V2 sind allerdings je nach konturbestimmenden Merkmal andere neuronale Populationen beteiligt. 3.3 Psychophysik und Elektrophysiologie In den vorangegangenen Arbeiten (3.1 und 3.2) konnte gezeigt werden, dass die durch Bewegung definierte und die durch Orientierung definierte Kontur von zumindest teilweise getrennten neuronalen Populationen verarbeitet wird. Ziel dieser Untersuchung war es, die beiden dazu verwendeten Reizmuster näher zu untersuchen und festzustellen, ob sich die mit fMRT gefundenen Unterschiede in der Verarbeitung auch mit psychophysischen und elektrophysiologischen Methoden zeigen und ergänzen lassen. Deshalb wurde in dieser Arbeit in einem psychophysischen Teil zunächst die Wahrnehmbarkeit dieser beiden Konturmerkmale unter verschiedenen Präsentationsbedingungen untersucht. Die durch Bewegung definierte Kontur wurde in einer Darstellung 19 mit grünen Rotatoren auf einem isoluminant roten Hintergrund von den Versuchspersonen (VPn) nicht mehr erkannt. Die Erkennung der durch Orientierung definierten Kontur wurde allerdings durch diese Darstellung nicht beeinträchtigt. Umgekehrt verhielt es sich bei einer Erhöhung der Rotationsgeschwindigkeit der Rotatoren. Hier verschlechterte sich die Erkennungsleistung der VPn bei der durch Orientierung definierten Kontur, nicht jedoch bei der durch Bewegung definierten Kontur. Mit VEPs sollte untersucht werden, ob die getrennten Neuronenpopulationen analog zu den Ergebnissen in 3.1 und 3.2 auch zu unterschiedlichen Komponenten im EEG führen. Dazu wurde nach dem von Bach und Meigen 1992 vorgestellten Verfahren die Differenz zwischen einem Reizmuster mit einer Figur und einem jeweils passenden homogenen Kontrollmuster errechnet (tsVEP). Es wurden die Differenzpotentiale von 5 verschiedenen Bedingungen verglichen: a&b) Zwei Varianten der durch Orientierung definierten Kontur; c) eine durch Bewegung definierte Kontur, d) eine sowohl durch Bewegung als auch durch Orientierung definierte Kontur und e) eine isoluminante Variante (grüne Rotatoren auf isoluminant rotem Hintergrund) der durch Bewegung definierten Kontur. Mit einer Peak-zuPeak-Analyse konnte gezeigt werden, dass es einen signifikanten Unterschied zwischen jeder der durch Orientierung definierten Konturen und der durch Bewegung definierten Kontur gab, aber nicht zwischen den beiden durch Orientierung definierten Konturen. Außerdem konnte gezeigt werden, dass die durch Bewegung definierte Kontur in isoluminanten Farben keinen erkennbaren tsVEP-Peak im Zeitraum zwischen 180 und 250 ms enthielt. Es konnten somit sowohl mit psychophysischen als auch mit elektrophysiologischen Methoden Unterschiede in der Verarbeitung der beiden Reizmustertypen (Kontur durch Bewegung und Kontur durch Orientierung) aufgezeigt werden. Für die tsVEPs lässt sich aber nicht sicher sagen, ob diese Unterschiede auf die verschiedenen Konturmerkmale zurückzuführen sind oder auf die Deutlichkeit der Kontur. 20 4 Zusammenfassung Im Rahmen der hier vorliegenden Arbeiten wurde ein neues, variables Reizmuster entwickelt, mit dem sich durch kleine Veränderungen völlig unterschiedliche Konturmodalitäten darbieten lassen. Dieses Reizmuster bildete die Basis für die Beantwortung einer Reihe von Fragen. Es konnte gezeigt werden, dass die unbewusste Verarbeitung von Konturen im visuellen Kortex des Menschen zu einer Erhöhung des BOLD-Signal führt. Dabei sind je nach konturbestimmendem Merkmal (Farbe, Bewegung, Textur) unterschiedliche neuronale Populationen an der Verarbeitung beteiligt. Diese Populationen sind jedoch (bei den untersuchten Merkmalen) zu einem großen Teil im visuellen Areal V2 lokalisiert. Für das Merkmal Farbe konnte allerdings gezeigt werden, dass die Erkennung der Konturen bereits im primären visuellen Kortex V1 erfolgte. Es konnte somit eine Aufgabenteilung zwischen V1 und V2 bei der Verarbeitung verschieden komplexer Konturmerkmale gezeigt werden. Diese Ergebnisse stimmt sehr gut mit den Befunden von Einzelzellableitungen an Affen überein und ist ein weiterer Beleg dafür, dass die Organisation der frühen visuellen Areale V1 bis MT+ beim Menschen und bei Affen gut vergleichbar ist. Ziel dieser Dissertation war es, die Verarbeitung von Konturen im visuellen Kortex des Menschen zu untersuchen, allerdings sind die hier gewonnenen Erkenntnisse auch für die aktuelle Debatte beim Affen über die Rollenverteilung von V1 und V2 bei der Verarbeitung von Konturen und ihre Integration in die Wahrnehmung von Objekten relevant. Durch die gleichzeitige und vergleichende Auswertung von V1 und V2 konnte eine,vom konturbestimmenden Merkmal abhängende,Rollenverteilung von V1 und V2 gezeigt werden. 21 5.1 Differential contribution of early visual areas to the perceptual process of contour processing. 22 Differential contribution of early visual areas to the perceptual process of contour processing Mark M. Schira1,2, Manfred Fahle2, Tobias H. Donner1, Antje Kraft1, Stephan A. Brandt1 1: Department of Neurology, Charité Humboldt University of Berlin, 10117 Berlin, Germany 2: Department of Human Neurobiology, University of Bremen, 28359 Bremen, Germany Abstract: We investigated contour processing and figure-ground detection within human retinotopic areas using event-related functional magnetic resonance imaging (fMRI) in 6 healthy and naïve subjects. A figure (6° side length) was created by a second order texture contour. An independent and demanding foveal letter discrimination task prevented subjects from noticing this more peripheral contour stimulus. The contour subdivided our stimulus into a figure and a ground. Using localizers and retinotopic mapping stimuli we were able to subdivide each early visual area into three eccentricity regions corresponding to i) the central figure, ii) the area along the contour and iii) the background. In these subregions we investigated the hemodynamic responses to our stimuli and compared responses with or without the contour defining the figure. No contour related BOLD-modulation in early visual areas V1, V3, VP and MT+ was found. Significant signal modulation in the contour subregions of V2v, V2d, V3a and LO occurred. This activation pattern was different from comparable studies, which might be due to the letter discrimination task reducing confounding attentional modulation. In V3a but not in any other retinotopic area signal modulation corresponding to the central figure could be detected. Such contextual modulation will be discussed in light of the recurrent processing hypothesis and the role of visual awareness. Keywords: retinotopy; figure-ground segregation; visual attention; fMRI 23 Introduction: Detection of contours is an essential early step in visual perception, and has been extensively studied with psychophysical, electrophysiological and imaging techniques. Previous fMRI studies in humans have shown that perception of contours leads to modulation of the BOLDsignal in early visual areas, respecting their retinotopic organization (Reppas et al. 1997; Mendola et al. 1999; Skiera et al. 2000). These studies used passive viewing tasks, where subjects fixate a central cross, while figures containing real or illusionary contours are presented. While real contours led to significant modulations of the BOLD-response in all retinotopic areas from V1 through V4, two types of illusionary contours differed in the strength of activation of retinotopic areas including V3a, V4v, V7 and V8 bilaterally (Mendola et al. 1999). However, passive viewing tasks suffer from critical drawbacks. Huk et al. (2001) demonstrated that fMRI experiments using visual stimuli are very sensitive to attentional modulation. Differentiation of attentional modulation and modulation due to mostly stimulus-driven perceptual processes is critical for the interpretation of functional imaging data related to contour processing. Therefore, attentional control is needed to clearly separate perceptual processes from neuronal activity reflecting attentional modulation. Kastner et al. (2000) used attentional control and texture defined contour stimuli, however their study did not discriminate between signal modulations at different eccentricities within the relevant visual areas, which is necessary to discriminate contour processing from figure detection. While those parts of the cortex retinotopically corresponding to the contour should process this contour, any activity located within the central part, i.e. the figure signals the presence of this figure or object. The work of Lamme and colleagues (Lamme et al. 1995, 1998, Supér et al. 2001 clarifies this point. They found contextual responses in V1 neurons, namely an increased neuronal spiking rate related to stimuli containing a closed figure. Not only the neurons with receptive fields along the contour responded, but also neurons with receptive fields inside the figure did, hence representing a contextual response. According to these studies, V1 neurons respond to both stimuli within the receptive field and to the context. Furthermore, Supér at al. (2001) showed that this contextual response disappears if the monkey was not aware of the figure. These findings suggested a clear extension of the receptive fields of V1 neurons beyond their function as simple local filters and led to the recurrent processing hypothesis (Lamme and Roelfsema 2000, Roelfsema et al. 2002). In short, they speculate that the local receptive field properties determine a fast and early feedforward sweep of activity while the contextual response extending the receptive field results from a more complex and slower recurrent feedback process. 24 The aim of the present study was to reexamine the modulation of retinotopic subparts corresponding to the figure, the contour and the background, while controlling for the particular attentional effort. An event-related design was used, therefore our experimental design resembles those used by Lamme and colleagues. Our subjects performed a demanding foveal letter discrimination task, similar to that used by Braun (1994). At the same time, we presented contour stimuli without relevance to the letter task. In fact, subjects remained unaware that contour stimuli had been presented at all. By avoiding recurrent feedback, this design aimed at maximizing its sensitivity to reveal early steps of visual processing. Material and Methods: Subjects: Four male and two female students (21 to 29 years, mean = 25 y, sd = 3.1 y) from the Humboldt University of Berlin served as subjects in the study, which was conducted in conformity with the declaration of Helsinki. All subjects had no history of neurological or psychiatric disorders and reported normal visual acuity. Subjects were paid for their participation and signed a consent form. Contour Stimuli: To measure activity related to contour processing we designed a stimulus (rotator-stimulus, R-Stim) consisting of 13x13 small rotating elements (0.6° diameter each). Each rotator consisted of three small dots arranged in a line (Fig. 1a). The two outer dots rotated around the central dot, thus creating the percept of a rotating line, without overall changes in luminance or contrast. This stimulus avoids luminance artifacts on a digital screen, and is therefore well suited for fMRI experiments using a LCD projector. In half of the trials the 5x5 central elements rotated with a phase lag of 180 ms. Due to the phase lag, the inner rotators had a tilt relative to the outer rotators, thus creating the percept of an isoeccentric (3°) square (Fig. 1b). As all rotators were moving in the same way it was the relative tilt which defined the square’s contour, not motion cues. This was confirmed in psychophysical pilot experiments prior to the fMRI study. We could show that the stimulus provided a clear figure-ground contrast even in an isoluminant red-green condition, while the contour percept disappeared with increasing speed of the rotators. If the rotators had contained a significant motion related contour, then the figure-ground contrast should have been enhanced. 25 In the fMRI study we tested two conditions: First, the control condition without the square’s contour where the 13x13 rotators created a homogenous array of 8° side length. Second, the figure condition with the additional contour (3° eccentricity on the horizontal meridian) was present. This contour separated the array into a figure and a background (Fig. 1b). The difference between the two conditions is well defined and easily detectable for an attending observer. The two conditions were presented in a randomized rapid event-related design, consisting of 2 scanning sessions of 695 each volumes corresponding to 25 min duration. Each stimulus was presented for 800 ms, ISI varied from 4–14 s (7.9 s average), resulting in 2x180 trials. --- Figure 1 about here --Letter Discrimination Task: Subjects’ attention was directed centrally by performing a foveal letter discrimination task (Fig. 1a). Subjects had to decide in a two alternative forced choice paradigm (2AFC), whether these 5 elements were all identical (that is five L’s or five T’s), or if one differed, (e.g. four T’s and one L). We chose this task because it has been studied extensively in former studies (Braun et al. 1994, 1998; Li et al. 2002). Subjects were instructed to perform the letter task as accurately as possible without wasting time. This task prevented subjects from consciously perceiving the square’s contour. After the experiment subjects were informed about the presence of a contour in some of the stimuli. Each subject was immediately able to detect the contour, but none had realized that the contour had also been present during the experiments. Before the fMRI sessions, subjects participated in a training session to get accustomed to the letter discrimination task. Mapping Stimuli: Recall that the control condition created a homogeneous array. In the figure condition, however, this array was subdivided in three parts, parafoveal figure, the contour of the square and the background. To analyze the data of the R-Stim recordings, we accordingly divided each of the early visual areas (V1-V4) into three subregions (Regions of Interest, ROI). The inner figure region is represented by the parafoveal space between 1°-2.5° eccentricity, the neighboring contour area ranged from 2.5°-3.5° and the outer peripheral ROI ranged from 3.5°-8°. To separate these three eccentricity ranges we designed a customized eccentricity mapping experiment (Fig. 1c-d), which provided localizers for the ROIs. 26 To define the borders separating early visual areas we used a meridian mapping experiment (DeYoe et al. 1996). In order to induce an effective activation in higher visual areas we combined classical checkerboard stimuli and sequences from popular TV-comic-strips (Sereno et al. 2001). All mapping stimuli contained a central fixation dot and subjects were instructed to maintain fixation. Equipment and fMRI Protocols: The visual stimuli were displayed by ERTS (BeriSoft Cooperation, Frankfurt, Germany) and projected by a NEC LCD Projector and a custom-made lens on a small back projection screen (Daplex, 20*15 cm) mounted in front of the head coil. Subjects viewed the screen via a mirror at a distance of approximately 24 cm. MRI-data were acquired using a 1.5 T MAGNETOM Vision (Siemens Medical Systems, Erlangen, Germany) equipped with an EPI-booster and a standard head coil. Functional measurements were performed using single shot EPI-sequences (TE=60ms; FA 90°). Structural three-dimensional data sets were acquired in the same session, using a T1-weighted sagittal MP-Rage-sequence (TR/TE = 10/4 ms; FA = 12°; TI = 100 ms; voxel size = 1 mm3). High quality threedimensional data sets for each subject were previously recorded using a T1-weighted sagittal FLASH-sequence (TR/TE = 38/5 ms; FA = 30°; voxel size = 1 mm3) with two acquisitions for excellent gray-white contrast for accurate segmentation and reconstruction of individual surface structures. Data Analysis: FMRI data were analyzed using BrainVoyager 4.6 software package (BrainInnovation, Maastricht, Netherlands). Functional data preprocessing contained motion correction, linear trend removal and slight Gaussian 3D spatial smoothing (3 mm FWHM: meridian-mapping or 4 mm for eccentricity-mapping and figure-ground measurements). The block-design measurements (meridian- and eccentricity-mapping) were also temporally smoothed (4 s FWHM). The event-related figure-ground measurements were slice scan time corrected. We segmented and reconstructed the surface of the white matter and produced flat maps from the high resolution structural MRI images of each subject. Based on the results of the mapping experiments as described above Regions of Interest (ROIs) were defined. Each of the early visual areas (V1, V2d, V2v, Vp, V3, V4v, V3a) contained three eccentricity based ROIs: parafoveal, contour and periphery (Fig. 2d). Further ROIs, which were identified in only 4 of the six subjects covered area MT+ and area LO. MT+ was localized with a low contrast motion stimulus similar to the one described by Tootell et al. (1997). The ROI covering LO (Grill-Spector et al. 1999) was defined as the region located between the 27 ventral border of MT+ and the foveal representation of V4v and V3. LO was hence defined by the location of the neighboring areas and not by specific functional characteristics. Thus, definition of ROIs was not confounded with data from figure-ground experiments. To test whether the responses of the two conditions of the R-Stim (figure vs. control) differ significantly, we performed paired t-tests on the hemodynamic response curves for all 23 ROIs. We defined the significance level at p<0.05 after Bonferroni correction. Results: The mapping measurements allowed us to define 23 ROIs (Table 1). Each of the selected ROIs showed a clear hemodynamic response ranging from 0.3 % to 0.7 % signal change in both conditions (Fig. 2, Table 2). In all ROIs of V1, however, the response to the stimulus was equally strong, irrespective of the presence or absence of contours in the stimulus, implying no contour related signal in this area (Fig. 2a-c). In both ventral and dorsal V2 the response was stronger for stimuli with contour than for the control (Fig. 2e-f), while signals of the parafoveal and peripheral ROIs of V2 remained unchanged (Table 2). In higher visual areas, we found a strong contour related signal modulation in LO, while in MT+ no modulation could be detected (Fig. 2g-h). Table 2 summarizes the responses of all the ROIs (except LO and MT+, see Fig. 2g-h for their results), showing the peak of the hemodynamic response to the R-Stim. The response to stimuli containing the figure increases significantly (marked bold) in several ROIs. This always occurred (except in area V3a) in ROIs corresponding to the eccentricity at which the figure-ground boundary was located (=ROI: contour). V3 and VP showed no or only weak (not significant) contour related modulation of the response. The areas V3a and V4v showed a significant signal increase in the contour ROIs. In V3a, this increase was present not only in the contour ROI but also in the parafoveal ROI, which suggests a response to the area inside the square, i. e. a figure response. Discussion: Applying a foveal attention-demanding letter discrimination task prevented subjects from noticing the peripheral contours and avoided contour related attentional modulations. Thus, signal modulations should be related to primarily preattentive contour processing. We demonstrated that it is possible to measure a significant signal modulation related to a processing of locally invisible contours, even after exclusion of attentional modulation. We 28 found no contour related modulation in V1, V3, VP and MT+, but significant modulation in V2, V3a, V4v and LO.Differences to Previous Studies: A prominent difference between our results and those of comparable fMRI studies (Reppas et al. 1997; Mendola et al. 1999; Kastner et al. 2000; Skiera et al. 2000) is the pronounced signal modulation in V2, while in V1 and V3/Vp modulation could not be detected. Of course, it can not be concluded that there was a complete absence of contour related modulations in V1. Nevertheless, we would like to emphasize that the hemodynamic responses in V1 to both conditions of the R-Stim (reflecting the response related to the receptive field properties), were almost identical. We think the different results in V1 and V2 reflect the fact that the processing of the square’s contour modulates V2, but not V1, while additional attentional modulation is prevented by the foveal letter discrimination task. Response in the Figure Part: Why was significant signal modulation in the figure part absent in V1 and V2? Such figure response was described by Lamme and colleagues (Lamme et al. 1995, 1998) who found modulation of firing rates of V1 neurons whose receptive fields covered exclusively the figure part of a figure-ground stimulus. A possible explanation for the lack of significant fMRI activity is supplied by the “recurrent processing”-hypothesis (Supér et al. 2001, Lamme and Roelfsema 2000, Roelfsema et al. 2002). This hypothesis suggests that conscious figure perception is necessary to induce a figure response of this kind. By contrast, our stimulus was designed to avoid conscious figure perception and thus did not induce a signal modulation within the figure part. In this context one might speculate that the absence of significant V1 modulation in our experiments reflects the fact that subjects were not aware of the presence of the figure (Supér et al. 2001). In summary V1 should be modulated by contour stimuli either if i) neurons contribute to the processing of the global contour (bottom-up), ii) if attention is attracted (top down) or iii) by conscious perception of the contour (recurrent processing). We hypothesize that those premises were not given in our experimental paradigm, although the last two points are difficult to prove. Response Differences of V1 and V2: Why does V2 but not V1 respond to the contour stimulus? First, the receptive fields of neurons in V2 are significantly larger than in V1 (Smith et al. 2001). A local receptive field based receptor must cover at least two rotators to detect the contour. Exact receptive field sizes are unknown for humans, but in the macaque the receptive field sizes at an eccentricity of 3° (position of the square’s contour) range inV1 up to 0.8°, and in V2 from 1.2-2.0° (Lee 29 et al. 2001). Thus, receptive fields of 2° would be able to span two rotators while 0.8° should be too small since two rotators span 1.4°. Second, Hegdé and Van Essen (2001) found V2 neurons with selectivity to rather complex texture elements like arcs or circles. These neurons seem to prefer complex texture properties such as the ones responsible for contour segregation of our stimulus. So far cells with comparable receptive field properties could not be identified in V1. These cells seem to be well suited to detect the relative tilt of our rotators. Thus, the receptive field size alone probably does not explain the absence of significant V1 modulation. In fact, von der Heydt and Peterhans (1989) have compared the response of monkey V1 and V2 neurons to abutted line gratings and other stimuli creating an illusory or anomalous contour percept. They found a significant response in V2, but not in V1 neurons to their stimuli. This finding was recently supported and extended by Ramsden et al. (2001) using optical imaging. V3 and V3a: The results for areas V3 and V3a appear to be in line with the physiology of these areas in the macaque monkey. Unfortunately, the homology between macaques and humans is problematic especially in V3a (Vanduffel et al. 2001). It is important to note that even though our stimulus contains motion this information did not produce the square’s contour. V3 showed a BOLD-response for the homogeneous R-Stim but this response was not further enhanced by the square’s contour. In contrast, V3a neurons showed clear contour related modulation. The V3a response is particularly strong and also remarkable because V3a is the only area with significant modulation in the figure part. V3a neurons have relatively large receptive fields and they contain a complete and contiguous representation of the visual field. These properties are good requisites for figure integration, but they do not satisfactorily explain why exclusively V3a contained contextual responses. The Role of V4v: V4v is known to play a central role in attentional processes relevant for some types of visual search. It is supposed to play a central role in performing attentional shifts for example during visual conjunction search. The letter discrimination task was designed by Braun (1994) to prevent these attentional shifts. Hanazawa and Komatsu (2001) demonstrated selectivity of V4 neurons in macaques for complex texture properties. Since we controlled attentional modulation, we would like to argue that the V4v modulation expresses contour processing alone. LO and MT+: 30 While the response of MT+ remains unaffected by the square’s contour, LO shows a clear modulation indicating the processing of the contour. This activation is possibly due to a feed-forward flow of contour information derived from V2, or due to a feature contour system detecting salient regions as postulated by Grossberg et al. (1994). Recent fMRI results (Stanley & Rubin 2003) propose that LO plays a critical role in a feature contour system. Conclusions: Contour processing was investigated with a second order contour stimulus using an event related fMRI design at a high spatial resolution. Control of attentional modulation during contour perception prevented unspecific BOLD responses. We suggest that the contour stimulus was primarily processed in V2 and then feed-forward propagated to V3a, V4v and LO. Interestingly, neither V1 nor V2 showed contextual modulation, but V3a did. The combination of eccentricity-matched fMRI responses with an attentional control paradigm leads to activation patterns different from those described in similar studies. We speculate that we were imaging primarily feed-forward processing of contours within one processing stream. 31 References: Braun J. Visual search among items of different salience: removal of visual attention mimics a lesion in extrastriate area V4. J Neurosci; 14(2):554-67, 1994. Braun J, Julesz B. Withdrawing attention at little or no cost: detection and discrimination tasks. Percept Psychophys; 60(1):1-23, 1998. Dale AM and Buckner RL. Selective averaging of rapidly presented individual trials using fMRI. Hum Brain Map; 5:329-340, 1997. DeYoe EA, Carman GJ, Bandettini P, Glickman S, Wieser J, Cox R, Miller D, Neitz J. Mapping striate and extrastriate visual areas in human cerebral cortex. Proc Natl Acad Sci U S A; 19;93(6):2382-6, 1996. Grill-Spector K, Kurshnir T, Edelman S, Avidan G, Itzchak Y, Malach R. Differential Processing of Objects under Various Viewing Conditions in the Human Lateral Occipital Complex. Neuron; 24:187-203, 1999. Grill-Spector K, Kourtzi Z, Kanwisher N. The lateral occipital complex and its role in object recognition. Vis Res; 41:1409-1422, 2001b. Grossberg S. 3-D vision and figure-ground separation by visual cortex. Percept Psychophys; 55(1):48-121, 1994. Hanazawa A, Komatsu H. Influence of the direction of elemental luminance gradients on the responses of V4 cells to textured surfaces. J Neurosci; 21(12):4490-7, 2001. Hegde J, Van Essen DC. Selectivity for complex shapes in primate visual area V2. J Neurosci; 20(5):RC61, 2000. Von der Heydt R, Peterhans E. Mechanisms of contour perception in monkey visual cortex. I. Lines of pattern discontinuity. J Neurosci; 9(5):1731-48, 1989. 32 Huk AC, Ress D, Heeger DJ. Neuronal basis of the motion aftereffect reconsidered. Neuron; 32(1):161-72, 2001. Kastner S, De Weerd P, Ungerleider LG. Texture segregation in the human visual cortex: A functional MRI study. J Neurophysiol; 83(4):2453-2457, 2000. Lamme VA. The neurophysiology of figure-ground segregation in primary visual cortex. J Neurosci; 15(2):1605-15, 1995. Lamme VA, Zipser K, Spekreijse H. Figure-ground activity in primary visual cortex is suppressed by anesthesia. Proc Natl Acad Sci U S A; 17;95(6):3263-8, 1998. Lamme VA, Roelfsema PR. The distinct modes of vision offered by feed-forward and recurrent processing. Trends Neurosci; 23(11):571-9, 2000. Lee TS, Yang CF, Romero RD, Mumford D. Neural activity in early visual cortex reflects behavioral experience and higher-order perceptual saliency. Nat Neurosci; 5(6):589-97, 2002. Li FF, Van Rullen R, Koch C, Perona P. Rapid natural scene categorization in the near absence of attention. Proc Natl Acad Sci U S A; 99(14):9596-601, 2002. Mendola JD, Dale AM, Fischl B, Liu AK, Tootell RB. The representation of illusory and real contours in human cortical visual areas revealed by functional magnetic resonance imaging. J Neurosci; 19(19):8560-72, 1999. Reppas JB, Niyogi S, Dale AM, Sereno MI, Tootell RB. Representation of motion boundaries in retinotopic human visual cortical areas. Nature; 388(6638):175-9, 1997. Roelfsema PR, Lamme VA, Spekreijse H, Bosch H. Figure-ground segregation in a recurrent network architecture. J Cogn Neurosci; 14(4):525-37, 2000. Sereno MI, Yu HH, Vogel EK. Mapping retinotopy in higher level extrastriate visual areas in humans. Meeting of the Society for Neuscience, San Diego, Abstr. No. 11.7, 2001. 33 Skiera G, Petersen D, Skalej M, Fahle M. Correlates of figure-ground segregation in fMRI. Vision Res; 40(15):2047-56, 2000. Smith AT, Singh KD, Williams AL, Greenlee MW. Estimating receptive field size from fMRI data in human striate and extrastriate visual cortex. Cereb Cortex; 11(12):1182-90, 2001. Stanley DA, Rubin N. FMRI activation in response to illusory contours and salient regions in the human lateral occipital complex. Neuron; 37(2):323-31, 2003. Supér H, Spekreijse H, Lamme VA. Two distinct modes of sensory processing observed in monkey primary visual cortex (V1). Nat Neurosci; 4(3):304-10, 2001. Tootell RB, Mendola JD, Hadjikhani NK, Ledden PJ, Liu AK, Reppas JB, Sereno MI, Dale AM. Functional analysis of V3A and related areas in human visual cortex. J Neurosci; 17:7060-78, 1997. Vanduffel W, Fize D, Mandeville JB, Nelissen K, Van Hecke P, Rosen BR, Tootell RB, Orban GA. Visual motion processing investigated using contrast agent-enhanced fMRI in awake behaving monkeys. Neuron; 32(4):565-77, 2001. 34 Table and Figure legends: Table 1: ROIs size. The table contains size and standard deviation of the ROIs, averaged over subjects and hemispheres. Since one functional voxel had a size of approx. 36mm3, the 445mm3 of the parafoveal ROI in V1 (and therefore the results in Table 2 and Fig. 2a) reflect about 12 functional voxels. Table 2: Peak responses of all ROIs placed in early retinotopic areas from V1-V4v(in % signal change, ± standard errors). ROIs in which the responses of the two conditions differed significantly (p < 0.05) are printed in bold letters. Figure 1: Experimental Setup. (a) The stimuli are composed of rotators and the central letter task. (b) Stimuli are composed of 13x13 rotators, creating figure and ground (figure condition) or a homogeneous array (control condition). Stimuli and the central letter task were simultaneously displayed for 800 ms. The sequence was randomized and the duration of fixation varied from 4-14 seconds. (c) Schematic illustration of the video stimuli used for the eccentricity mapping. Colored bars below indicate the color of the corresponding mapping used in d and also in Fig. 2. (d) Reconstructed occipital part of a right hemisphere (subject HZ). The reconstruction is partially inflated and smoothed for better visualization of V1 in the calcarine sulcus. The colors red, green and dark blue reflect the cortex regions that are activated by the corresponding stimuli illustrated in c. Figure 2: Results. (a, b, c) Hemodynamic responses to the R-Stim in the different V1 ROIs (periphery, contour, parafoveal). Graphs show the response averaged for all six subjects and both hemispheres, summarizing 2160 trials for each curve. In V1, no signal difference between control and figure stimulus could be found. (d) A reconstructed flat patch of a right occipital cortex from one subject. The results of the eccentricity mapping are depicted in red, green and dark blue. The labels of the retinotopic visual areas are placed in the green colored contour ROIs. The ROIs of the other eccentricities (parafoveal and periphery) are placed beneath. The borders of previously described retinotopic areas (V1, V2, V3, Vp, V3a; V4v) are indicated as green and pink lines. (e, f) In the contour ROI of V2v we see a clear figurerelated signal change. The time-course with small error bars (SE) reflects the high similarity between subjects and the low noise. V2d shows similar results. (g, h) MT+ and LO, both 35 areas with no or only coarse retinotopy, show different results. The signal of MT+ is not different between the two conditions, LO signal is clearly modulated by the figure. 36 Tables: Table 1: parafoveal contour periphery V1 V2v V2d V3 Vp V3a V4v 445mm3±202 230mm3±63 291mm3±107 295mm3±86 337mm3±221 224mm3±77 236mm3±168 3 3 3 3 3 3 415mm ±239 290mm ±152 283mm ±171 326mm ±117 266mm ±174 380mm ±129 261mm3±188 447mm3±190 295mm3±110 331mm3±106 388mm3±200 305mm3±121 337mm3±143 315mm3±193 Table 2: parafoveal contour periphery area control figure control figure control figure V1 V2v V2d V3 Vp V3a V4v 0.35%±0.035 0.26%±0.035 0.22%±0.033 0.23%±0.031 0.20%±0. 44 0.16%±0.035 0.16%±0.039 0.36%±0.035 0.30%±0.034 0.25%±0.032 0.24%±0.031 0.23%±0.043 0.23%±0.035 0.17%±0.038 0.36%±0.035 0.27%±0.037 0.29%±0.038 0.23%±0.031 0.19%±0.029 0.19%±0.037 0.16%±0.048 0.37%±0.035 0.36%±0.034 0.37%±0.039 0.24%±0.031 0.21%±0.28 0.29%±0.036 0.25%±0.042 0.31%±0.33 0.25%±0.035 0.28%±0.035 0.20%±0.040 0.21%±0.032 0.27%±0.046 0.21%±0.043 0.32%±0.033 0.28%±0.032 0.29%±0.035 0.21%±0.042 0.21%±0.030 0.32%±0.042 0.23%±0.036 37 Figure 1: (c) (a) (d) (b) figure condition 800ms control condition 800ms fixation 4-14s Figure 2: 0.6 0.2 0.0 -0.2 -4 0 4 8 12 0.4 0.2 0.0 -4 0 4 8 12 0.4 0.2 0.0 -4 0 4 8 12 -0.2 0.6 % signal change 0.4 0.2 0.0 -4 0.6 (e) V2d contour % signal change % signal change 0.6 (d) (c) V1 parafoveal 0 4 8 12 8 12 8 12 -0.2 -0.2 0.4 0.2 0.0 0 4 0.4 0.2 0.0 -4 0 0.6 (g) MT+ -4 (f) V2v contour 8 12 -0.2 4 -0.2 % signal change 0.4 0.6 (b) V1 contour % signal change (a) V1 periphery % signal change % signal change 0.6 (h) LO 0.4 0.2 0.0 -4 0 4 -0.2 control figure 38 5.2 Modality specific contour integration in human early visual areas 39 Modality specific contour integration in human early visual areas Mark M. Schira1,2, Manfred Fahle2, Antje Kraft1, Stephan A. Brandt1 1: Department of Neurology, Charité Humboldt University of Berlin, 10117 Berlin, Germany 2: Department of Human Neurobiology, University of Bremen, 28359 Bremen, Germany Abstract We investigated contour processing in different contour modalities using event related fMRI. An isoeccentric square (6°) was defined by either i) texture, ii) motion, iii) color or iv) graylevel, while stimuli were otherwise virtually identical. We compared the BOLD-responses of trials containing contours to control trials without such a contour. A demanding foveal letter discrimination task prevented subjects from noticing the peripheral contour stimulus, thus avoiding attentional bias in activation of early visual areas. Customized retinotopic mapping and cortical flattening techniques were used to identify the retinotopic localization of the contour related responses and to investigate contextual responses. BOLD-modulations related to contours were mostly restricted to the subpart of visual cortex corresponding to the retinotopic representation of the contours. The activation patterns in different visual areas varied in respect to the contour defining modality. All modalities activated areas V2 and V4, but in other retinotopic areas the responses differed. V1 was only activated by the color contour. Further, V3A was activated by texture- and V3/VP by motion-contour stimuli. Therefore, we suggest that these specific activation patterns reflect different neuronal populations engaged in the processing of different contour modalities. Here, V2 may serve as the main contour processing area, while higher retinotopic areas contribute modality specific information. Key words: fMRI; event related; contextual response; retinotopy, extrastriate cortex 40 Introduction During evolution, primates developed amazing capabilities to separate figure from ground by integrating contours from various contrast sources. Contours can be defined by several features such as color or luminance contrast, orientation or motion. Frequently studied were contours defined by orientation contrast (Lamme, 1995; Kastner et al., 2000; Marcus and Van Essen, 2002) or displaced gratings (Mendola et al., 1999; Ramsden et al., 2001; von der Heydt and Peterhans, 1989). Another very common stimulus type were illusory contours, e.g. of the Kanizsa type (Kanizsa, 1976; Kapadia et al., 1995; Bakin et al., 2000; Lee and Nguyen, 2001). Fewer studies investigated motion-defined contours (Lamme, 1995; Reppas et al., 1997). These studies reported partially controversial results in regard to the anatomical basis of contour processing. This is probably due to the wide spectrum of different contour modalities and the large variety of different tasks used in these studies (detection tasks, dual task, contour irrelevant for task, different depth of anesthesia). Some electrophysiological data recorded in monkeys suggested a central role of V2 in contour processing while others argued for an important role of V1 for contour processing (Kapadia et al., 1995; Lee and Nguyen, 2001; Marcus and Van Essen, 2002). FMRI studies on human vision contributed to the discussion by supplying data obtained from multiple retinotopic areas, while focusing on extrastriate areas. Several studies reported significant modulations in the Lateral Occipital Region (LOR) located just anterior to the early visual areas V3/V3a and V4v (Mendola et al., 1999; Kourtzi et al., 2003; Stanley and Rubin, 2003). These findings were interpreted as reflecting a detection mechanism for a salient region rather than contour processing per se (Stanley and Rubin, 2003). Except for Mendola et al. (1999) who focused on illusory contours, other studies have not compared different contour modalities. The aim of the current study was to analyse the differential response of early visual areas V1 to V5 to contours defined by different modalities. Specifically, our interest was to investigate activation within identified areas (contour versus figure sub area) and differential contributions of these areas through different contour modalities. We designed a set of contour stimuli containing the same basic stimulus elements while varying the individual contour defining properties. In addition, a demanding attention task controlled for unwanted attentional modulations. This work is in continuation of previously published data on contours defined by texture orientation (Schira et al., 2004). We now present data from three additional stimuli, defined by motion, color and luminance contrast. 41 Methods Subjects Four male and two female students aged 23 to 31 years (mean = 26, sd = 2.3) from the Humboldt-Universität zu Berlin served as subjects in the study, which was conducted in conformity with the declaration of Helsinki. Subjects had no history of neurological or psychiatric disorders and reported normal visual acuity. They were paid for their participation and signed a consent form. Stimuli We designed a stimulus consisting of 13x13 small rotating elements (0.6° diameter each). Each rotator consisted of three small dots arranged in a line (Fig. 1a). The two outer dots rotated around the central dot, thus creating the percept of a rotating line. There were no overall changes in luminance or contrast. This stimulus avoids luminance artifacts on a raster-screen, and is therefore well suited for fMRI experiments using a LCD projector. In half of the trials (figure conditions) the 5x5 central elements differed from the outer rotators, thus creating the percept of an isoeccentric square (radius 3°, Fig. 1b) defined by a) rotation speed, b) isoluminant color or c) gray level. In the control conditions the properties separating figure and periphery rotators were randomly distributed, therefore all 169 rotators created a homogeneous array. For details regarding luminance, color and rotation speed see table 1. --- Table 1 about here --- Experiment 1: (motion) Stimulus presentation time was 800 ms.. The parafoveal rotators started at twice the speed of the peripheral rotators and after 200 ms, 400 ms and 600 ms the rotation speeds of parafoveal and periphery rotators were swapped. Therefore, each rotator rotated fast and slow twice and the differential speed between parafoveal and peripheral rotators created the percept of a central square. To balance for speed within the figure condition, we used two variants: one with initial fast rotation within figure and one with initial fast rotation within surround. In the control condition the two rotator speeds were randomly distributed. No contour or figure percept was created. The stimulus produced the percept of a homogenous array. Experiment 2: (color) 42 The rotators were isoluminant red or green on an isoluminant gray background (Figure 1 a). In the control condition, the two colors were randomly distributed without inducing a figure. In addition, to match Experiment 1, we also introduced the two different rotation speeds (randomly distributed). In the control condition the colors were randomly distributed, therefore the stimulus was a homogeneous array. Experiment 3 (gray level) The setup was similar as in Experiment 2. Instead of two different colors (red, green) on a gray background three different gray levels were used. The gray level of the background was identical to Experiment 2, but instead of colors we used gray levels (+5% and –5% luminances relative to background). This experiment was designed to control for the small, but inevitable luminance differences between the colors in experiment 2. Attentional control Most electrophysiological studies on the macaque agree that the attentional modulation of V1 and V2 neurons is weak (e.g. Marcus and Van Essen, 2002). In human subjects, however, fMRI measurements proved significant attentional modulations in early visual areas (Brefczynski and DeYoe, 1999), which can be confounded with stimulus driven activity (Huk et al., 2001). In order to control for attentional modulation in early visual areas, we additionally applied a demanding attentional letter discrimination task (Braun, 1994). Subjects had to decide in a two alternative forced choice paradigm (2AFC), whether five presented letters (Fig. 1b) were all identical (that is five L’s or five T’s), or whether one differed (e.g. four T’s and one L). We chose this task because it has been investigated extensively in former studies (Braun, 1994; Lee et al., 1999) and proved to bind a substantial amount of attention. Subjects were instructed to perform this letter task swiftly, but as accurately as possible. This task prevented subjects from consciously perceiving the square’s outline. After the experiment, subjects were informed about the presence of a contour in some of the stimuli. Each subject was immediately able to detect the contour hereafter, but none had realized that the contour had also been present during the experiments. Before the fMRI sessions, subjects participated in a training session to get accustomed to the letter discrimination task. Equipment and fMRI protocols The visual stimuli were displayed by ERTS (BeriSoft Cooperation, Frankfurt, Germany) and projected by a NEC LCD Projector and a custom-made lens on a small back projection screen (Daplex, 20*15 cm) mounted in front of the head coil. Subjects viewed the screen via a mirror at a distance of approximately 24 cm. MRI-data were acquired using a 1.5 T 43 Magnetom Vision (Siemens Medical Systems, Erlangen, Germany) equipped with an EPIbooster and a standard head coil. Functional measurements were performed using single shot EPI-sequences (TE=60ms; FA 90°). Structural three-dimensional data sets were acquired in the same session, using a T1-weighted sagittal MP-Rage-sequence (TR/TE = 10/4 ms; FA = 12°; TI = 100 ms; voxel size = 1 mm3). High quality three-dimensional data sets for each subject were previously recorded using a T1-weighted sagittal FLASH-sequence (TR/TE = 38/5 ms; FA = 30°; voxel size = 1 mm3) with two acquisitions for excellent gray-white contrast as required for accurate segmentation and reconstruction of individual surface structures. Data analysis FMRI data were analyzed using BrainVoyager 4.9 software package (BrainInnovation, Maastricht, Netherlands). Functional data preprocessing contained motion correction, linear trend removal and slight Gaussian 3D spatial smoothing (3 mm FWHM for meridianmapping or 4 mm FWHM for eccentricity-mapping and figure-ground measurements). The block-design measurements (meridian- and eccentricity-mapping) were also temporally smoothed (4 s FWHM). The event-related figure-ground measurements were slice scan time corrected. We segmented and reconstructed the surface of the white matter and produced flat maps from the high resolution structural MRI images of each subject. Based on the results of the mapping experiments as described above Regions of Interest (ROIs) were defined. Each of the early visual areas (V1, V2d, V2v, Vp, V3, V4v, V3a) contained three eccentricity based ROIs: parafoveal (containing the center of the figure), contour and periphery (Fig. 2d). Further ROIs covered area MT+ and area LO. MT+ was localized with a low contrast motion stimulus similar to the one described by Tootell et al. (1997). Thus, definition of ROIs was not confounded with data from figureground experiments. To test whether the responses of the two conditions of the Rotator-Stimuli (figure vs. control) differ significantly, we performed paired t-tests on the hemodynamic response curves for all 23 ROIs. We defined the significance level at p<0.05 after Bonferroni correction. 44 Results Retinotopy Retinotopic mapping of early visual areas in humans is a standard technique applied by many groups. Although retinotopic mapping procedures are common and based on the same principles, protocols of different groups vary in the applied techniques and also in the results. There are several fMRI studies using retinotopic mapping procedures to analyze visual area organization (Mendola et al., 1999; Grill-Spector et al., 2000; Huk et al., 2001; Tootell and Hadjikhani, 2001; Wade et al., 2002; Dougherty et al., 2003; Tootell et al., 2003). These studies show a good congruency in location and spatial extent of areas V1 to V4v and area MT+. We mapped 12 subjects with regard to the retinotopy in these areas (Fig. 2). For 21 of 24 hemispheres we succeeded in mapping at least the three eccentricity based ROIs in V1 and V2 (parafoveal, contour, periphery). In 3 hemispheres the retinotopic mapping did not allow a clear separation of the six ROIs in V1 and V2 and these were therefore excluded from further analysis. Lateral occipital We also investigated an area that is commonly referred to as LO (“lateral occipital” subpart of the lateral occipital complex, Grill-Spector et al., 1998; Grill-Spector et al., 2001). To investigate the response in this area we triangulated this ROI using the locations of MT+, V4v and V3. The responses in these ROIs showed significant signal modulation and contour responses in all experiments. General responses to the rotator stimuli Generally all rotator stimuli induced a hemodynamic response (Fig. 4) following the typical hemodynamic response curve reported by several studies (Boynton et al., 1996). This modulation was present in all ROIs over all experiments and conditions, but the amplitude of the responses varied. While response differences between experiments are unreliable, differences between the two conditions of one experiment deliver meaningful information. Experiment 1: MOTION contour The MOTION contour significantly modulated the BOLD-response in the contour region of V2v, V2d, V3, Vp and MT+ (Fig. 3b, Table 2). V3a on the other hand was not modulated by the motion contour. These results with motion induced activation in V3/Vp and texture induced activation in V3A (Fig.3a) complement our previous findings (Schira 2004). ---- Figure 2 about here ---45 ---- Table 2 about here ---Experiment 2: COLOR contour The COLOR contour significantly modulated the BOLD responses in the contour region of V1, V2v, V2d and V4v. Interestingly, in V4v also the BOLD response in the figure ROI was modulated significantly (Fig. 2c, Table 3). Generally, V1 responses to the COLOR stimuli were smaller compared to the TEXTURE or MOTION stimuli. Nevertheless the square’s contour lead to a significant (p<0.05 Bonferoni corrected) modulation during presentation of the color contour compared to the control stimulus (Fig. 4). ---- Table 3 about here ---- Experiment 3: GRAY-LEVEL contour The GRAY-LEVEL contours significantly modulated the hemodynamic response in area V2v when compared against the control condition (Fig. 2d, Table 4). Neither in V2d nor in any other tested ROI (apart from V2v) did the BOLD-responses between the two conditions differ significantly. In general BOLD-responses to the stimuli of this experiment were small (for example V1: 0.22% instead of 0.34%), especially in V1 and V2, while in V3a and MT+ response amplitudes resembled those of experiments 1 and 2. The small responses in V1/V2 are due to the low stimulus contrast which was necessary to design this stimulus as a control for Experiment 2. ---- Table 4 about here ---- Discussion Our aim was to compare the differential activation induced by various contour modalities. Our stimuli have very similar physical properties regarding contrast, rotation speed, luminance and spatial frequency. Yet the contours are created in physiologically very different ways. These physiological differences were reflected in different activation patterns obtained from the fMRI time course analysis in the respective retinotopic areas. 46 Contours from motion and texture The hemodynamic responses differ in the modulation of V3/Vp and V3a. Assuming that both contours are detected in V2, the motion contour thus propagates to area V3/Vp, while the orientation contour is propagated mainly to V3a. From this dissociation it might be deduced that both contours are processed primarily in V2. Accordingly, this process would necessarily be realized by two at least partially different neuronal populations. The two neuronal populations probably belong macroscopically to different types of stripes within V2. Thus in accordance with monkey physiology (Ts'o et al., 2001; Xiao et al., 2003) orientation contours should be processed in V2 pale stripes and propagate to V3a, while motion contours should be processed in V2 thick stripes and propagate to V3/Vp. Thus our results may reflect a basic organizational principle of feed forward contour processing in early visual areas. COLOR contrast and the GRAY-LEVEL contrast The ability of V1 neurons to detect the color defined contour is not surprising. Most V1 cells are sensitive to wavelength contrasts (Komatsu, 1998) and supply sufficient information to signal the presence of a luminance contour within one wavelength channel. They should therefore respond to the color contrast as well as to a luminance contrast. The luminance contrasts we used in experiment 3 (GRAY-LEVEL) are subtle, which might explain the absence of significant V1 contour modulation in this experiment. We used a small luminance contrast in order to control for the small, but inevitable, luminance contrast in experiment 2 (COLOR). Thus, responses in V1 and V2 are quite low in both conditions. On the other hand we know from previous work (Mendola et al., 1999; Skiera et al., 2000) that V1 is modulated by a strong gray level contrast. We therefore argue that the luminance contours are in principle processed in V1, but that due to our particular stimulus design the effective BOLD-modulation was too subtle. Central role of V2 A central thesis of our work is that the relevance of either retinotopic area - V1 and V2 - for contour processing depends on the particular stimulus type. Our results implicate that color contours readily engage primary visual cortex V1, while texture and motion contours predominantly engage V2 but not V1. Even though V1 seems to be able to process simple contour features like color contours, the central role of V2 is reflected by the stimulus invariant participation of V2v and V2d. This stimulus invariant role of V2 is further supported by a number of studies (Bakin et al., 2000; Marcus and Van Essen, 2002; Ramsden et al., 2001; von der Heydt and Peterhans, 1989). 47 However, other studies argue for a significant role of V1 (Lamme, 1995; Lee and Nguyen, 2001; Super et al., 2001). Indeed it must be recognized that V1 does not simply filter and sort low level features like contrast, orientation and color in order to provide the input for processing and integration of contours in V2. Yet, in light of this study, the previously cited electrophysiological studies and results from optical imaging (Ramsden et al., 2001) it is plausible that V1 alone is not capable to detect all contour subtypes (see, however, Bach and Meigen, 1997). One confounding factor, leading to an overestimation of the role of V1, is that contours detected by V2 or higher areas are being fed back to V1 (Lamme and Roelfsema, 2000). Contextual effects in V1 and V2 Contextual modulation in V1 and V2, i.e. modulation of neuronal activity induced by stimulus components outside the classical receptive field, has been reported in several studies (Kapadia et al., 1995; Lamme, 1995, 1998; Bakin et al., 2000; Kapadia et al., 2000; Roelfsema et al., 2000; Lee and Nguyen, 2001). With respect to contour processing, these modulations can be grouped as follows: First, as reported by Lamme et al. (1995), cells respond to a contour surrounding the cell´s receptive field. This is a center-surround response to a real contour, outside the cell´s receptive field. Second, cells respond to illusory contours induced by Kanizsa figures (Lee and Nguyen, 2001). This is the response of a cell to a non-real contour, well inside the cell´s receptive field. Such contextual modulation has so far only been demonstrated in electrophysiological studies in the animal, while all fMRI studies failed to show contextual modulation in V1 or V2. For Kanizsa inducers, two fMRI studies (Mendola et al., 1999; Stanley and Rubin, 2003), demonstrated signal modulations in higher visual areas, from V3a to the LOR, but little or no modulation in V1 and V2. Our retinotopic stimulus design aimed at investigating the center-surround responses. Since the visual stimuli in the parafoveal area were virtually identical between figure and our control conditions, any response in parafoveal ROIs but not in the peripheral ROI would have been due to contextual modulations. Why did our results not contain significant contextual modulation (except for V3a) i.e. activity in the parafoveal ROI representing the figure? A possible explanation is provided by Corthout and Super (2004). They report that center-surround responses in V1 are not necessarily an enhancement of firing rates, but nearly as often a reduction. They state that summing V1 responses (like in fMRI) would therefore be inappropriate to show centersurround modulation in V1. This may explain the absence of center-surround modulation as well as the absence of BOLD-responses to Kanizsa inducers in V1 and V2. Single cell 48 recordings and optical imaging studies carefully estimating the extent of positive and negative center-surround modulation will be required to solve this debate. If they find stimuli manipulating the strength of positive or the negative contextual modulations, this issue is worth addressing with fMRI again. Conclusion A contour defined by color contrast is detected by a substantial number of V1 neurons, while more complex texture features like an orientation- contour or motion- defined contour are predominantly detected by V2 neurons, at least at the same eccentricity of 3°. Higher visual areas V3/VP and V3a selectively respond to specific contour modalities, while V4 showed a modality independent response pattern. 49 Table and figure legends Figure 1: Experimental setup. (a) Stimuli were composed of 13x13 rotators, either separating figure and ground (figure condition) or creating homogeneous arrays (control conditions). Stimuli and the central letter task were simultaneously displayed for 800 ms.. The sequence was randomized and the duration of fixation varied from 4 to 14 seconds. (b) Example of the central letter discrimination task followed by a mask containing the letter F. (c) Schematic illustration of the video stimuli used for the eccentricity mapping. Colored bars below signify the corresponding eccentricity regions on the flat patch of occipital cortex (see Fig. 2). Figure 2: Flat map of the left hemisphere of one subject. Red, green, and blue represent the three eccentricities (parafoveal, contour, periphery), the green and pink lines indicate the horizontal and vertical meridian. The orange patch depicts the result of the MT+ localizer stimulus. Figure 3: Contour response for all experiments. Each diagram shows the contour response: (peak-BOLD-response in the figure condition) (peak-BOLD-response in the control condition) from the contour ROIs (n=2116). The error bars show standard errors of the means. Asterixes indicate significant response differences between figure and control condition, i.e. the corresponding bar is significantly different from zero. 50 Figure 4: Exemplary hemodynamic responses averaged over all subjects, all examples are from contour ROIs (green in figure 2). (a, b) Hemodynamic response of V1 in the COLOR and the TEXTURE experiment. While in the COLOR experiment the responses differ between figure and control condition, those of the TEXTURE experiment do not. (c, d) In V3 there was a significant difference between the two conditions in the MOTION experiment, but not in the COLOR experiment. Error bars depict the standard errors. 51 References 1. Bach M, Meigen T (1997) Similar electrophysiological correlates of texture segregation induced by luminance, orientation, motion and stereo. Vision Res 37: 1409-1414. 2. Bakin JS, Nakayama K, Gilbert CD (2000) Visual responses in monkey areas V1 and V2 to three-dimensional surface configurations. J Neurosci 20: 8188-8198. 3. Boynton GM, Engel SA, Glover GH, Heeger DJ (1996) Linear systems analysis of functional magnetic resonance imaging in human V1. J Neurosci 16: 4207-4221. 4. Braun J (1994) Visual search among items of different salience: removal of visual attention mimics a lesion in extrastriate area V4. J Neurosci 14: 554-567. 5. Brefczynski JA, DeYoe EA (1999) A physiological correlate of the 'spotlight' of visual attention. Nat Neurosci 2: 370-374. 6. Corthout E, Super H (2004) Contextual modulation in V1: the Rossi-Zipser controversy. Exp Brain Res 156: 118-123. 7. Dougherty RF, Koch VM, Brewer AA, Fischer B, Modersitzki J, Wandell BA (2003) Visual field representations and locations of visual areas V1/2/3 in human visual cortex. J Vis 3: 586-598. 8. Grill-Spector K, Kourtzi Z, Kanwisher N (2001) The lateral occipital complex and its role in object recognition. Vision Res 41: 1409-1422. 9. Grill-Spector K, Kushnir T, Edelman S, Itzchak Y, Malach R (1998) Cue-invariant activation in object-related areas of the human occipital lobe. Neuron 21: 191-202. 10. Grill-Spector K, Kushnir T, Hendler T, Malach R (2000) The dynamics of objectselective activation correlate with recognition performance in humans. Nat Neurosci 3: 837-843. 11. Huk AC, Ress D, Heeger DJ (2001) Neuronal basis of the motion aftereffect reconsidered. Neuron 32: 161-172. 12. Kanizsa G (1976) Subjective contours. Sci Am 234: 48-52. 13. Kapadia MK, Ito M, Gilbert CD, Westheimer G (1995) Improvement in visual sensitivity by changes in local context: parallel studies in human observers and in V1 of alert monkeys. Neuron 15: 843-856. 14. Kapadia MK, Westheimer G, Gilbert CD (2000) Spatial distribution of contextual interactions in primary visual cortex and in visual perception. J Neurophysiol 84: 20482062. 15. Kastner S, De Weerd P, Ungerleider LG (2000) Texture segregation in the human visual cortex: A functional MRI study. J Neurophysiol 83: 2453-2457. 52 16. Komatsu H (1998) Mechanisms of central color vision. Curr Opin Neurobiol 8: 503508. 17. Kourtzi Z, Tolias AS, Altmann CF, Augath M, Logothetis NK (2003) Integration of local features into global shapes: monkey and human FMRI studies. Neuron 37: 333346. 18. Lamme VA (1995) The neurophysiology of figure-ground segregation in primary visual cortex. J Neurosci 15: 1605-1615. 19. Lamme VA, Roelfsema PR (2000) The distinct modes of vision offered by feedforward and recurrent processing. Trends Neurosci 23: 571-579. 20. Lamme VA, Zipser K, Spekreijse H (1998) Figure-ground activity in primary visual cortex is suppressed by anesthesia. Proc Natl Acad Sci U S A 95: 3263-3268. 21. Lee DK, Itti L, Koch C, Braun J (1999) Attention activates winner-take-all competition among visual filters. Nat Neurosci 2: 375-381. 22. Lee TS, Nguyen M (2001) Dynamics of subjective contour formation in the early visual cortex. Proc Natl Acad Sci U S A 98: 1907-1911. 23. Marcus DS, Van Essen DC (2002) Scene segmentation and attention in primate cortical areas V1 and V2. J Neurophysiol 88: 2648-2658. 24. Mendola JD, Dale AM, Fischl B, Liu AK, Tootell RB (1999) The representation of illusory and real contours in human cortical visual areas revealed by functional magnetic resonance imaging. J Neurosci 19: 8560-8572. 25. Ramsden BM, Hung CP, Roe AW (2001) Real and illusory contour processing in area V1 of the primate: a cortical balancing act. Cereb Cortex 11: 648-665. 26. Reppas JB, Niyogi S, Dale AM, Sereno MI, Tootell RB (1997) Representation of motion boundaries in retinotopic human visual cortical areas. Nature 388: 175-179. 27. Roelfsema PR, Lamme VA, Spekreijse H (2000) The implementation of visual routines. Vision Res 40: 1385-1411. 28. Schira MM, Fahle M, Donner TH, Kraft A, Brandt SA (2004) Differential contribution of early visual areas to the perceptual process of contour processing. J Neurophysiol 91: 1716-1721. 29. Stanley DA, Rubin N (2003) fMRI activation in response to illusory contours and salient regions in the human lateral occipital complex. Neuron 37: 323-331. 30. Super H, Spekreijse H, Lamme VA (2001) Two distinct modes of sensory processing observed in monkey primary visual cortex (V1). Nat Neurosci 4: 304-310. 31. Tootell RB, Hadjikhani N (2001) Where is 'dorsal V4' in human visual cortex? Retinotopic, topographic and functional evidence. Cereb Cortex 11: 298-311. 32. Tootell RB, Tsao D, Vanduffel W (2003) Neuroimaging weighs in: humans meet macaques in "primate" visual cortex. J Neurosci 23: 3981-3989. 53 33. Ts'o DY, Roe AW, Gilbert CD (2001) A hierarchy of the functional organization for color, form and disparity in primate visual area V2. Vision Res 41: 1333-1349. 34. von der Heydt R, Peterhans E (1989) Mechanisms of contour perception in monkey visual cortex. I. Lines of pattern discontinuity. J Neurosci 9: 1731-1748. 35. Wade AR, Brewer AA, Rieger JW, Wandell BA (2002) Functional measurements of human ventral occipital cortex: retinotopy and colour. Philos Trans R Soc Lond B Biol Sci 357: 963-973. 36. Xiao Y, Wang Y, Felleman DJ (2003) A spatially organized representation of colour in macaque cortical area V2. Nature 421: 535-539. 54 Tables and Figures Experiment Motion (1) Color (2) Gray (3) Texture (*) Luminance rotator 52 cdm-2 7/6 cdm-2 6/9 cdm-2 52 cdm-2 Luminance background 5 cdm-2 7 cdm-2 7 cdm-2 5 cdm-2 seconds per 360° rotation 0.55/1.1 0.55/1.1 0.55/1.1 1.1/0.7 Colors gray/gray red/green/gray gray/gray/gray gray/gray Table 1: Physical properties of the stimuli parafoveal contour figure periphery area control figure control Control figure V1 V2v V2d Vp V3 V4v V3a MT+ 0.310%±0.034 0.341%±0.035 0.364%±0.033 0.396%±0.032 0.373%±0.032 0.400%±0.030 0.282%±0.041 0.300%±0.047 0.312%±0.031 0.388%±0.030 0.225%±0.029 0.281%±0.028 0.201%±0.036 0.264%±0.037 0.219%±0.032 0.349%±0.030 0.199%±0.030 0.197%±0.030 0.241%±0.049 0.233%±0.056 0.235%±0.034 0.277%±0.033 0.163%±0.039 0.191%±0.035 0.298%±0.029 0.323%±0.030 0.220%±0.029 0.277%±0.029 0.170%±0.026 0.190%±0.026 0.232%±0.041 0.292%±0.043 0.208%±0.038 0.248%±0.037 0.240%±0.032 0.214%±0.032 0.148%±0.028 0.147%±0.028 0.254%±0.030 0.263%±0.029 0.248%±0.026 0.248%±0.026 0.159%±0.054 0.237%±0.050 Table 2: Motion parafoveal contour periphery area control figure control figure Control figure V1 V2v V2d Vp V3 V4v V3a MT+ 0.312%±0.036 0.353%±0.037 0.292%±0.035 0.359%±0.037 0.279%±0.037 0.246%±0.034 0.283%±0.036 0.296%±0.038 0.292%±0.038 0.392%±0.038 0.234%±0.042 0.259%±0.040 0.251%±0.040 0.221%±0.041 0.194%±0.035 0.298%±0.038 0.199%±0.039 0.197%±0.037 0.239%±0.045 0.244%±0.049 0.232%±0.045 0.262%±0.041 0.160%±0.050 0.179%±0.044 0.298%±0.042 0.323%±0.041 0.241%±0.037 0.278%±0.037 0.170%±0.039 0.190%±0.039 0.232%±0.047 0.292%±0.049 0.189%±0.061 0.271%±0.065 0.249%±0.062 0.209%±0.062 0.148%±0.055 0.147%±0.049 0.237%±0.043 0.271%±0.043 0.248%±0.040 0.261%±0.041 0.094%±0.050 0.114%±0.051 Table 3: Color 55 parafoveal contour periphery area control figure control figure control figure V1 V2v V2d Vp V3 V4v V3a MT+ 0.220%±0.036 0.213%±0.036 0.163%±0.031 0.159%±0.031 0.262%±0.032 0.244%±0.033 0.282%±0.039 0.300%±0.038 0.312%±0.038 0.388%±0.037 0.225%±0.044 0.281%±0.044 0.141%±0.043 0.159%±0.043 0.151%±0.035 0.184%±0.035 0.139%±0.035 0.118%±0.038 0.241%±0.046 0.250%±0.048 0.255%±0.043 0.251%±0.042 0.167%±0.047 0.183%±0.048 0.304%±0.043 0.323%±0.040 0.198%±0.037 0.222%±0.037 0.180%±0.035 0.202%±0.033 0.238%±0.052 0.274%±0.049 0.203%±0.063 0.247%±0.064 0.235%±0.061 0.214%±0.064 0.148%±0.048 0.147%±0.048 0.201%±0.053 0.232%±0.049 0.248%±0.042 0.248%±0.039 0.157%±0.065 0.213%±0.071 Table 4: Gray 56 (b) (a) (c) figure condition 800ms fixation 4-14s control condition 800ms Figure 1 Figure 2 57 (a) TEXTURE (b) MOTION 0.2 0.2 * * * * * * 0.1 * * V1 V2v V2d Vp * 0.1 0.0 V1 V2v V2d Vp 0.0 V3 V4v V3a V5 (c) COLOR V3 V4v V3a V5 (d) GRAY-LEVEL 0.2 0.2 * * * * * 0.1 0.1 0.0 0.0 V1 V2v V2d Vp V1 V2v V2d V3 V4v V3a V5 Vp V3 V4v V3a V5 Figure 3 (b) TEXTURE V1 0.3 0.1 -2 0 2 4 6 8 % signal modulation % signal modulation (a) COLOR V1 0.3 0.1 -2 0 2 4 6 seconds seconds (d) COLOR V3 0.3 0.1 -2 0 2 4 6 8 % signal modulation % signal modulation (c) MOTION V3 0.3 0.1 -2 0 2 4 6 8 -0.1 -0.1 seconds seconds Figure 4 8 -0.1 -0.1 figure control 58 5.3 Electrophysiology of different contour modalities 59 Electrophysiology of different contour modalities Mark M. Schira1,2, Manfred Fahle2, Stephan A. Brandt1, Karoline Spang2 1: Department of Neurology, Charité Humboldt University of Berlin, 10117 Berlin, Germany 2: Department of Human Neurobiology, University of Bremen, 28359 Bremen, Germany Abstract: We investigated differential processing of contours defined by texture or motion. Previous fMRI data (Schira et al. 2004) suggested different neuronal populations being involved in processing different contour modalities. Here, these data are complemented using visual evoked potentials (5 channels, O1, O2, Pz, T5, T6) using the same stimulus set. In two variations of an orientation-defined contour, we found a clear negativity, specific for contour segregation with highly similar latency (210ms at O1 and O2) and comparable amplitude for both versions. The amplitude of the motion-defined contour segregation negativity was of comparable latency but significantly smaller. In a stimulus combining the motion- and the texture-defined contour the negativity was present, but the amplitude was not significantly larger than in the experiments using only the orientation-defined contours. An isoluminant (and hardly perceivable) variant of the motion-defined contour used as a control, failed to cause any comparable negativity. The discrepancies between these electrophysiological results and the previously reported fMRI-results are discussed. Keywords: VEP, figure-ground segregation, visual attention 60 1. Introduction Segregation of contours is a basic step of visual processing. Contours can be defined by different features such as texture orientation, spatial frequency, motion, colour or stereoptic disparity. It has been shown that visual evoked potentials (VEPs) contain a texture segregation specific component (tsVEP) as early as 180-250 ms after the stimulus onset (Bach and Meigen, 1992; Bach et al., 2000; Schubo et al., 2001; Fahle et al., 2003). Bach and Meigen (1997) stated that tsVEPs of different contour modalities are rather similar. They proposed a generalized gradient map integrating different contour modalities into one common map. Fahle et al. (2003), however, found quite different tsVEPs from various contour modalities. We have previously investigated different contour modalities using fMRI and a stimulus design based on small rotating elements. The stimuli produced strong BOLD-modulations in cortical area V2 for both a texture-orientation- and a motion-defined contour. However, a clear dissociation of activation patterns in higher visual areas, i.e., V3/Vp and V3a strongly suggested at least partly different neuronal populations also in V2 (Schira et al., 2004). Using the same stimuli, consisting of small rotating elements this study aimed to reinvestigate the dissociation VEPs. Since contour integration is most likely performed as early as V2, we focused on the early texture segregation component, between 200 and 250 ms. To prevent attentional processes triggered by the detection of the contour (Schubö et al. 2001), we added a demanding foveal letter discrimination task (Braun, 1994). 2. Methods 2.1. Stimuli To analyze contour processing a stimulus was designed consisting of 13x13 small rotating elements (0.6° diameter each). Each rotator consisted of three small dots arranged in a line (Fig. 1a). The two outer dots rotated around the central dot, thus creating the percept of a rotating line, without overall changes in luminance or contrast. This stimulus avoids luminance artefacts on a raster screen. Each frame of the stimuli had the same amount of dots, hence the same overall luminace is constant. This stimulus design is therefore well suited also for fMRI experiments using a LCD-projector. In half of the trials (figure conditions) the central rotators differed from the outer rotators regarding orientation or speed, thus creating the percept of a square’s figure on a ground (Fig. 1b-e). The parafoveal rotators differed from the peripheral rotators by i) rotation speed, and ii) orientation. In the control conditions the figure and the periphery rotators were randomly distributed, therefore 61 all 169 rotators created a homogeneous array. Stimulus presentation time was 800 ms, for all experiments and conditions. --- Figure 1 about here--2.1.1. Orientation contrast The orientations of the 13x13 rotators were sorted, and the central rotators forming the figure, rotated with a phase-lag of 180 ms. Due to the phase lag, the inner rotators had a tilt relative to the outer rotators. As all rotators had the same angular velocity the relative tilt defined the figure’s contour, not motion cues. Though all stimuli were moving, the contour was easily perceivable in a freeze image (Figure 1b). We used two variations with slightly different starting positions (see Figure 1b&c). One variation started with a collinear background, the other one started with non collinear background rotators. The two variants presented two different sections of the same continuously rotating stimulus set. During rotation the rotators are collinear while passing through the horizontal or vertical orientations. 2.1.2. Motion contrast Stimulus presentation time was 800 ms. The orientations of the rotators were randomly distributed, but the parafoveal rotators started at twice the speed of the peripheral rotators. After 200 ms, 400 ms and 600 ms the rotation speeds of parafoveal and peripheral rotators were swapped. Therefore, each rotator rotated fast and slow twice and the differential speed between parafoveal and peripheral rotators created the percept of a central figure. To balance speed, we used two variants of the figure condition: one with initial fast rotation within the figure and one with initial fast rotation within the surround. In the control condition the two rotator speeds were randomly distributed, without creating the percept of a contour. The stimulus appeared as a homogenous array. 2.1.3. Luminance and isoluminance To estimate the properties determining the detectability of the contour we performed psychophysical experiments, varying rotation speed, luminance or colour of the rotators. In most experiments light grey rotators on a dark grey background were presented. In some experiments, however, stimuli consisted of green rotators on an isoluminant red background (Figure 1e). For the psychophysical experiments isoluminance was individually estimated using flicker photometry. For the EEG experiments isoluminance was determined with a Minolta LS 110. For details regarding luminance and RGB values, see Tables 1 & 2. 62 2.1.4. Detection task, attentional control The experiments of this study employed both psychophysical methods and electrophysiology. The psychophysical experiments were designed as a figure detection task. Subjects had to look at the central fixation dot, and report in a two alternative force choice task, whether a centrally rectangle was vertical or horizontal (Fig. 1e). In the electrophysiological experiments subjects were left naïve regarding the aim of the study. The ERP experiments always contained a central letter discrimination task (Braun, 1994). For this task five letters (rotated T’s or L’s) were presented (Figure 1 a) simultaneous with the contour stimuli described above. Subjects had to perform a two alternative forced choice paradigm (2AFC) indicating whether these 5 letters were all identical (i.e. five L’s or five T’s), or if one differed (e.g. four T’s and one L). We chose this task because it has been extensively used in former studies (Braun, 1994; Lee et al., 1999) and proved to bind attention effectively. Subjects were instructed to perform the letter task as accurately and fast as possible. Subjects responded via button press. 2.2. Experimental setup 2.2.1. Psychophysics Stimuli were presented on an Video Seven 17’’ monitor with a resolution of 800x600 pixels and a refresh rate of 60Hz for normal and isoluminant conditions; for the fast conditions the vertical refresh rate was increased to 120 Hz. Viewing distance was 1.7 m in a darkened room. ERTS (BeriSoft Cooperation, Frankfurt, Germany) was used for stimulus presentation and response registration. 2.2.2. Electrophysiology Stimuli were presented on an Eizo Flex Scan T662-T 20’’ monitor with a resolution of 800x600 pixels and a refresh rate of 60Hz. Viewing distance was 2 m in a darkened room. A standard mouse was used to record subject responses. VEPs were recorded by means of gold-cup electrodes, placed over the posterior skull at 5 positions Pz, O1, O2, T5 and T6, fixated by Grass electrode cream, and recorded versus a reference electrode. Electrode impedance was usually below 3-5kΩ as measured against both the reference electrode at Fz and the ground electrode fixated to the earlobe. Cables were connected to a custom-built head-box and signals transmitted, via shielded cable, to preamplifier/amplifier combinations (Toennies Physiological Amplifier). Voltages were continuously recorded amplified by a factor of 5*106, and then band-pass filtered passing a bandwidth between 0.5 and 130 Hz. Amplifier-output was sampled by a PC at a rate of 400 Hz and stored on disk. Post 63 processing included Fourier-transformation of the signals, line-frequency and blink-artefact rejection, and averaging locked on stimulation onset, separately for each condition. Brain potentials were z-transformed for each subject. The tsVEPs were calculated for each subject by subtracting the mean of the homogeneous control condition responses from the mean of the figure condition responses (= central square). These results represent the part of response that is specific for the contour as opposed to homogeneous stimuli. This response, which relies on the segregation of the square, has been termed 'texture-segregation visual evoked potential', or tsVEP (Bach and Meigen, 1992). The tsVEPs were calculated by software developed in the lab. 2.3. Subjects A total of 20 subjects participated in this study. Five subjects (aged from 22-29; mean 25.4) for the detection performance experiment, seven subjects (aged from 21 to 36, 27.3) for the first electrophysiological session and eight subjects (aged from 22 to 32; mean 26.5) for the second electrophysiological session. No subject had a history of neurological or psychiatric disorders and all reported normal visual acuity. They were paid for their participation and signed a consent form. 3. Results 3.1. Detection performance In experiment 1 subjects performed a contour discrimination task. There were 2 times 3 conditions. For each motion- and orientation-defined contour 3 variations were applied: normal speed and luminance; a fast condition with doubled speed but normal luminance; and a condition with isoluminant colours but normal speed. In the normal version the horizontal and the vertical rectangle were easy to discriminate. Increasing the rotation speed (fast) reduced performance for detecting the orientation contrast, while the motion contrast remained perceivable. In the isoluminant version, however, the motion contour was hardly visible while the orientation contour was still detected (see Fig. 2). --- Table 1 about here----- Figure 2 about here--- 3.2. Event related potentials Event related potentials were recorded in five experiments grouped in two different sessions. The first session consisted of 7 subjects performing the experiment ORIENT-COLLINEAR. In the second session 8 new subjects performed the experiments ORIENT-NON-COL, 64 MOTION, COMBI and ISOLUM (see Figure 1). Each experiment consisted of two conditions: a figure condition with the central 5 by 5 rotators defining a central square (see Fig. 3) and a control condition without the central square. While the MOTION experiment contained a motion defined contour, the COMBI experiment contained both: the motion defined contour and the orientation defined (non-collinear starting) contour. Finally, the ISOLUM experiment contained the same motion defined contour as the MOTION experiment, but presented with green rotators on an isoluminant red background (Figure 1e). 3.2.1. tsVEPs TsVEPs were obtained according to Bach and Meigen (1992) by calculating the difference between the mean responses to the control condition and the mean responses to the figure condition. Figure 3 depicts original traces for the experiment ORIENT-COLLINEAR, and the tsVEPs for all five experiments. A pronounced tsVEP-potential is the negativity around 220 ms (see Fig. 4). This negativity is strongest in the three experiments containing an orientation defined contour, while weaker in the experiment with the motion defined contour and absent in the ISOLUM experiment. 3.2.2. Peak analysis To analyze this component, peak to peak amplitude values were estimated (positivity around 150-160 ms to negativity between 210-230 ms) for each subject and experiment for O1, O2 and Pz. Since the measurements of the experiment ORIENT-NON-COLLINEAR were recorded with other subjects than those for the remaining 4 experiments, we performed two sets of statistical tests. First we compared the results of ORIENT-COLLINEAR using two unpaired t-tests with the results of ORIENT NON-COL and with the results of MOTION. Since ORIENT NON-COL and MOTION were recorded in the same session we compared these results using a paired t-Test (Bonferroni corrected by three). There was no significant difference between the two orientation stimuli (ORIENT. COLLINEAR vs. ORIENT. NONCOL. p= 0.24 not significant) but of the motion contour differed significantly from each of the two orientation contours. (ORIENT-COLLINEAR vs. MOTION p= 0.027 significant and ORIENT. NON-COL. vs. MOTION p= 0.024 significant). In a second test a 2-way ANOVA was performed with factors Experiment (ORIENT. NONCOLL; MOTION; COMBI; ISOLUM) and electrode position (O1; O2; Pz). We found a highly significant (p<0.001, Bonferroni corrected) effect for the factor experiment, no significant effect for electrode position, but a significant interaction between the two factors. This interaction indicated, that the difference between the experiments was larger at the positions O1 and O2 than at Pz. The individual comparisons for Experiment showed a 65 significant difference of ISOLUM from any other experiment. This was not surprising since most subjects were unable to differentiate the figure from its background in this experiment. The ANOVA yielded no further differences between the experiments. 4. Discussion Our aim was to compare the ERP responses induced by contours defined in different modalities. Regarding contrast, rotation speed, luminance and spatial frequency all stimuli were virtually identical (except the isoluminat ones). Measuring detection performance, we found physiological differences between the motion- and the orientation-defined contours. These differences were – to a lesser extent – also reflected in the ERP-traces. 4.1. Physiological differences between the motion and the orientation defined contour The drop in detection performance for motion defined contours at isoluminance and the absence of a clear tsVEP for the ISOLUMINANT experiments, indicate that the perception of the motion-contour relied mainly on the magnocellular path. The perception of orientation defined contours, on the other hand, was unaffected by the presentation at isoluminance, but degraded with increasing speed. These findings indicate that perception of orientationdefined contours relied mainly on the parvocellular system. Regarding the timing of the tsVEPs one has to bear in mind that while the orientation-contours were immediately visible with the first stimulus frame, the motion-contour needed at least 2 frames of stimulus presentation to integrate the motion speeds. Due to the slow frequency of our stimuli this would result in a 33 ms delay for the motion defined contour. Taking into account the faster transmission of the magnocellular system the latency of a tsVEP should be in the same timeframe. 4.2. V1 and V2 as the substrate for contour perception In macaque monkeys, contour related activity was reported for cortical areas V1 (Kapadia et al., 1995; Lamme, 1995; Lee and Nguyen, 2001; Rossi et al., 2001), V2 (Ito and Komatsu, 2004; Peterhans and von der Heydt, 1989; Ramsden et al., 2001; Zhou et al., 2000) and in both simultaneously (Bakin et al., 2000; Marcus and Van Essen, 2002). These results clearly indicate that massive contour processing is achieved in V1 and V2. Regarding the organization of V2, which processes different features in spatial distinct subareas, i.e. the stripes (Ts'o et al., 2001), a global feature map as proposed by Bach and Meigen (1997) would have to a be a structure delocalised over the stripes integrating the processing results of the of the different V2 stripes. It is more likely that the interlaced processing of different 66 features in V2 leads to hardly distinguishable VEP responses, especially since the parallel organisation of the area implies comparable latencies. But independent neuronal populations would imply a summation of these potentials. Significant differences exist in the peak to peak value between the motion-defined and the two texture defined contours (ORIENTCOLLINEAR and ORIENT-NON-COL, see Figure 4). All three contour types were clearly detectable for an attending subject, all three tsVEPs were recorded while subjects performed an independent central attention task. Nevertheless, the MOTION contour was less clear perceived than the other contours, therefore the different results might be due to the different segregation strength of the contour types. We previously investigated the motion-defined and the orientation-defined contour processing using the same paradigm in fMRI. It is difficult to compare BOLD-responses with EEG responses. Yet, we used the same presentation time (800ms), the same averaging principle (event related) and applied a strong attentional task to minimize cognitive effects in both studies. Nevertheless, the results are diverse. We found contour related BOLDmodulations of equal strength (28% more compared to the response to the homogeneous conditions) in Area V2 for both contour modalities. One might speculate that the tsVEP peak at 220 ms corresponds to the contour segregation in V2. While we found a significant amplitude effect with tsVEPs there was no amplitude effect in the BOLD-modulation. On the other hand, the fMRI-results suggest that at least partially different neuronal populations are engaged. This, as well as the results from Bach et al., (2000) would imply that the peak to peak value of the COMBI experiment (1.8±0.3) is a near linear summation of the tsVEP amplitudes from MOTION (0.6±0.3) and ORIENT-NON-COLL (2.25±0.3). This linear summation is not reflected by the estimated peak to peak values. Therefor we assume that peak to peak values are not the appropriate measure to investigate the summation effects. Acknowledgements: We would like to thank Dipl. phys. Dennis Trenner for developing the software used to analyze the electrophysiological data. Supported by the CAI (Center for advanced Imaging, Berlin/Bremen/Magdeburg). 67 References 1. Bach M, Meigen T (1992) Electrophysiological correlates of texture segregation in the human visual evoked potential. Vision Res 32: 417-424. 2. Bach M, Meigen T (1997) Similar electrophysiological correlates of texture segregation induced by luminance, orientation, motion and stereo. Vision Res 37: 1409-1414. 3. Bach M, Schmitt C, Quenzer T, Meigen T, Fahle M (2000) Summation of texture segregation across orientation and spatial frequency: electrophysiological and psychophysical findings. Vision Res 40: 3559-3566. 4. Bakin JS, Nakayama K, Gilbert CD (2000) Visual responses in monkey areas V1 and V2 to three-dimensional surface configurations. J Neurosci 20: 8188-8198. 5. Braun J (1994) Visual search among items of different salience: removal of visual attention mimics a lesion in extrastriate area V4. J Neurosci 14: 554-567. 6. Fahle M, Quenzer T, Braun C, Spang K (2003) Feature-specific electrophysiological correlates of texture segregation. Vision Res 43: 7-19. 7. Ito M, Komatsu H (2004) Representation of angles embedded within contour stimuli in area V2 of macaque monkeys. J Neurosci 24: 3313-3324. 8. Kapadia MK, Ito M, Gilbert CD, Westheimer G (1995) Improvement in visual sensitivity by changes in local context: parallel studies in human observers and in V1 of alert monkeys. Neuron 15: 843-856. 9. Lamme VA (1995) The neurophysiology of figure-ground segregation in primary visual cortex. J Neurosci 15: 1605-1615. 10. Lee DK, Itti L, Koch C, Braun J (1999) Attention activates winner-take-all competition among visual filters. Nat Neurosci 2: 375-381. 11. Lee TS, Nguyen M (2001) Dynamics of subjective contour formation in the early visual cortex. Proc Natl Acad Sci U S A 98: 1907-1911. 68 12. Marcus DS, Van Essen DC (2002) Scene segmentation and attention in primate cortical areas V1 and V2. J Neurophysiol 88: 2648-2658. 13. Peterhans E, von der Heydt R (1989) Mechanisms of contour perception in monkey visual cortex. II. Contours bridging gaps. J Neurosci 9: 1749-1763. 14. Ramsden BM, Hung CP, Roe AW (2001) Real and illusory contour processing in area V1 of the primate: a cortical balancing act. Cereb Cortex 11: 648-665. 15. Rossi AF, Desimone R, Ungerleider LG (2001) Contextual modulation in primary visual cortex of macaques. J Neurosci 21: 1698-1709. 16. Schira MM, Fahle M, Donner TH, Kraft A, Brandt SA (2004) Differential contribution of early visual areas to the perceptual process of contour processing. J Neurophysiol 91: 1716-1721. 17. Schubo A, Meinecke C, Schroger E (2001) Automaticity and attention: investigating automatic processing in texture segmentation with event-related brain potentials. Brain Res Cogn Brain Res 11: 341-361. 18. Ts'o DY, Roe AW, Gilbert CD (2001) A hierarchy of the functional organization for color, form and disparity in primate visual area V2. Vision Res 41: 1333-1349. 19. Zhou H, Friedman HS, von der HR (2000) Coding of border ownership in monkey visual cortex. J Neurosci 20: 6594-6611. 69 Figure legends Figure 1: The Stimuli. (a) The elements of the stimuli: a rotator (top) and the central attention task (bottom). (b-e) Different experiments. Note: all figures show only the first image of the stimuli. (b&c) Orientation differences were introduced by two variations COLLINEAR and NON-COL. The two stimuli differ in the first image. Background rotators are arranged collinear in the experiment COLLINEAR, while they are not in the experiment ORIENT-NON-COL. In both texture orientation experiments, the contour is visible with the fist image. (d) In the MOTION experiment rotator orientations are random. The contour was introduced by different rotation speeds. The figure of the MOTION experiment is not visible in a single frame. (e) Isoluminant stimulus. The picture shows the first image for the condition with an orientation defined horizontal rectangle in isoluminant red and green. The figure depicted here is a rectangle, since this example belongs to the detection performance paradigm where subjects had to decide whether the figure is horizontal or vertical. Figure 2: Detection performance. The results of the detection performance experiment show a clear dissociation between the orientation and the motion defined contour. Figure 3: Grand mean VEP-averages. The VEP traces are Z-transformed and slightly Gauss-smoothed. The first row depicts the original potentials of the experiment ORIENTCOLLINEAR. The solid line depicts the figure condition, the dashed line the homogeneous control condition. The following rows depict the tsVEPs of all experiments. Figure 4: Orientation defined contours. The tsVEPs depicted here contain the same data as the rows 2 and 3 of Figure 3, but in one row and without smoothing. 70 Tables Table 1: Physical properties of stimuli for the detection tasks Experiment Normal fast isolum Luminance rotator RGB values background Luminance RGB values 47.1 cdm-2 47.1 cdm-2 12.3 cdm-2 179/179/179 179/179/179 0/128/0 5 cdm-2 5 cdm-2 12.9 cdm-2 51,51,51 51,51,51 211,0,0 Table 2: Physical properties of stimuli during the ERP recording Experiment Motion isolum All other experiments Luminance rotator RGB values background Luminance RGB values 15.2 cdm-2 44.5 cdm-2 0,133,0 179,179,179 15.2 cdm-2 4.0 cdm-2 189,0,0 51,51,51 71 Figures (a) (b) (c) (d) (e) Figure 1 f (correct) 1 0.5 0 NORMAL motion-defined FAST ISOLUM orientation-defined Figure 2 72 ORIENT-COLLINEAR 1 O1 T5 O2 Pz T6 0 -1 -2 0 MOTION ORIENT-NON-COL -0.4 0 -0.4 0 -0.4 COMBI 0.4 0 ISOLUM -0.4 0 -0.3 0 100 ms 0 100 ms 0 100 ms 0 100 ms 0 100 ms Figure 3 73 O1 0.4 O2 Pz T6 T5 0 -0.4 0 100 ms 0 100 TEXTURE NON-COL. ms 0 100 ms 0 100 ms 0 100 ms TEXTURE COLLINEAR. Figure 4 74 75 6 Literatur 1. Bach M, Meigen T (1992) Electrophysiological correlates of texture segregation in the human visual evoked potential. Vision Res 32: 417-424. 2. Bakin JS, Nakayama K, Gilbert CD (2000) Visual responses in monkey areas V1 and V2 to three-dimensional surface configurations. J Neurosci 20: 8188-8198. 3. Belliveau JW, Kennedy DN, Jr., McKinstry RC, Buchbinder BR, Weisskoff RM, Cohen MS, Vevea JM, Brady TJ, Rosen BR (1991) Functional mapping of the human visual cortex by magnetic resonance imaging. Science 254: 716-719. 4. Berger H (1927) Über das Elektroencephalogram des Menschen. Archiv für Psychiatrie und Nervenkrankheiten 87: 527-570. 5. Boynton GM, Engel SA, Glover GH, Heeger DJ (1996) Linear systems analysis of functional magnetic resonance imaging in human V1. J Neurosci 16: 4207-4221. 6. Braun J (1994) Visual search among items of different salience: removal of visual attention mimics a lesion in extrastriate area V4. J Neurosci 14: 554-567. 7. Brefczynski JA, DeYoe EA (1999) A physiological correlate of the 'spotlight' of visual attention. Nat Neurosci 2: 370-374. 8. Burkhalter A, Van Essen DC (1986) Processing of color, form and disparity information in visual areas VP and V2 of ventral extrastriate cortex in the macaque monkey. J Neurosci 6: 2327-2351. 9. Chavane F, Monier C, Bringuier V, Baudot P, Borg-Graham L, Lorenceau J, Fregnac Y (2000) The visual cortical association field: a Gestalt concept or a psychophysiological entity? J Physiol Paris 94: 333-342. 10. Creutzfeldt OD, Houchin J (1974) Neuronal Basis of EEG waves. In: The Neuronal generation of the EEG Amsterdam: Elsevier. 11. Denys K, Vanduffel W, Fize D, Nelissen K, Peuskens H, Van Essen D, Orban GA (2004) The processing of visual shape in the cerebral cortex of human and nonhuman primates: a functional magnetic resonance imaging study. J Neurosci 24: 2551-2565. 12. DeYoe EA, Carman GJ, Bandettini P, Glickman S, Wieser J, Cox R, Miller D, Neitz J (1996) Mapping striate and extrastriate visual areas in human cerebral cortex. Proc Natl Acad Sci U S A 93: 2382-2386. 13. Dougherty RF, Koch VM, Brewer AA, Fischer B, Modersitzki J, Wandell BA (2003) Visual field representations and locations of visual areas V1/2/3 in human visual cortex. J Vis 3: 586-598. 76 14. Egly R, Driver J, Rafal RD (1994) Shifting visual attention between objects and locations: evidence from normal and parietal lesion subjects. J Exp Psychol Gen 123: 161-177. 15. Egly R, Homa D (1984) Sensitization of the visual field. J Exp Psychol Hum Percept Perform 10: 778-793. 16. Ejima Y, Takahashi S, Yamamoto H, Fukunaga M, Tanaka C, Ebisu T, Umeda M (2003) Interindividual and interspecies variations of the extrastriate visual cortex. Neuroreport 14: 1579-1583. 17. Engel SA, Glover GH, Wandell BA (1997) Retinotopic organization in human visual cortex and the spatial precision of functional MRI. Cereb Cortex 7: 181-192. 18. Felleman DJ, Burkhalter A, Van Essen DC (1997) Cortical connections of areas V3 and VP of macaque monkey extrastriate visual cortex. J Comp Neurol 379: 21-47. 19. Frahm J, Bruhn H, Merboldt KD, Hanicke W (1992) Dynamic MR imaging of human brain oxygenation during rest and photic stimulation. J Magn Reson Imaging 2: 501-505. 20. Heeger DJ, Huk AC, Geisler WS, Albrecht DG (2000) Spikes versus BOLD: what does neuroimaging tell us about neuronal activity? Nat Neurosci 3: 631-633. 21. Hegde J, Van Essen DC (2000) Selectivity for complex shapes in primate visual area V2. J Neurosci 20: RC61. 22. Hegde J, Van Essen DC (2003) Strategies of shape representation in macaque visual area V2. Vis Neurosci 20: 313-328. 23. Hubel DH (1988) Eye, Brain and Vision. New York: Scientific American Library. http://neuro.med.harvard.edu/site/dh/bcontex.htm. 24. Hubel DH, Wiesel TN (1959) Receptive fields of single neurons in the cat's strate cortex. J Physiol 148: 574-591. 25. Hubel DH, Wiesel TN (1962) Recptive fields, binocular interaktion and funtional architekture in the cat's visual cortex. J Physiol 160: 106-154. 26. Huk AC, Ress D, Heeger DJ (2001) Neuronal basis of the motion aftereffect reconsidered. Neuron 32: 161-172. 27. Kandel ER, Schwartz JE, Jessel TM (2000) Central Visual Pathways. In: Principles of Neural Science pp 523-546. New York: McGraw-Hill. 28. Kapadia MK, Ito M, Gilbert CD, Westheimer G (1995) Improvement in visual sensitivity by changes in local context: parallel studies in human observers and in V1 of alert monkeys. Neuron 15: 843-856. 29. Kapadia MK, Westheimer G, Gilbert CD (2000) Spatial distribution of contextual interactions in primary visual cortex and in visual perception. J Neurophysiol 84: 2048-2062. 77 30. Kourtzi Z, Tolias AS, Altmann CF, Augath M, Logothetis NK (2003) Integration of local features into global shapes: monkey and human FMRI studies. Neuron 37: 333346. 31. Kwong KK, Belliveau JW, Chesler DA, Goldberg IE, Weisskoff RM, Poncelet BP, Kennedy DN, Hoppel BE, Cohen MS, Turner R, . (1992) Dynamic magnetic resonance imaging of human brain activity during primary sensory stimulation. Proc Natl Acad Sci U S A 89: 5675-5679. 32. Lamme VA (1995) The neurophysiology of figure-ground segregation in primary visual cortex. J Neurosci 15: 1605-1615. 33. Lamme VA, Roelfsema PR (2000) The distinct modes of vision offered by feedforward and recurrent processing. Trends Neurosci 23: 571-579. 34. Lamme VA, Zipser K, Spekreijse H (1998) Figure-ground activity in primary visual cortex is suppressed by anesthesia. Proc Natl Acad Sci U S A 95: 3263-3268. 35. Lee TS, Nguyen M (2001) Dynamics of subjective contour formation in the early visual cortex. Proc Natl Acad Sci U S A 98: 1907-1911. 36. Leventhal AG, Thompson KG, Liu D, Zhou Y, Ault SJ (1995) Concomitant sensitivity to orientation, direction, and color of cells in layers 2, 3, and 4 of monkey striate cortex. J Neurosci 15: 1808-1818. 37. Marcus DS, Van Essen DC (2002) Scene segmentation and attention in primate cortical areas V1 and V2. J Neurophysiol 88: 2648-2658. 38. Mendola JD, Dale AM, Fischl B, Liu AK, Tootell RB (1999) The representation of illusory and real contours in human cortical visual areas revealed by functional magnetic resonance imaging. J Neurosci 19: 8560-8572. 39. Polat U, Sagi D (1993) Lateral interactions between spatial channels: suppression and facilitation revealed by lateral masking experiments. Vision Res 33: 993-999. 40. Ramsden BM, Hung CP, Roe AW (2001) Real and illusory contour processing in area V1 of the primate: a cortical balancing act. Cereb Cortex 11: 648-665. 41. Rees G, Friston K, Koch C (2000) A direct quantitative relationship between the functional properties of human and macaque V5. Nat Neurosci 3: 716-723. 42. Rossi AF, Desimone R, Ungerleider LG (2001) Contextual modulation in primary visual cortex of macaques. J Neurosci 21: 1698-1709. 43. Sereno MI, Dale AM, Reppas JB, Kwong KK, Belliveau JW, Brady TJ, Rosen BR, Tootell RB (1995) Borders of multiple visual areas in humans revealed by functional magnetic resonance imaging. Science 268: 889-893. 44. Stanley DA, Rubin N (2003) fMRI activation in response to illusory contours and salient regions in the human lateral occipital complex. Neuron 37: 323-331. 78 45. Super H, Spekreijse H, Lamme VA (2001) Two distinct modes of sensory processing observed in monkey primary visual cortex (V1). Nat Neurosci 4: 304-310. 46. Ts'o DY, Roe AW, Gilbert CD (2001) A hierarchy of the functional organization for color, form and disparity in primate visual area V2. Vision Res 41: 1333-1349. 47. Villringer A, Dirnagl U (1995) Coupling of brain activity and cerebral blood flow: basis of functional neuroimaging. Cerebrovasc Brain Metab Rev 7: 240-276. 48. von der Heydt R, Peterhans E (1989) Mechanisms of contour perception in monkey visual cortex. I. Lines of pattern discontinuity. J Neurosci 9: 1731-1748. 49. Wandell BA (1999) Computational neuroimaging of human visual cortex. Annu Rev Neurosci 22: 145-173. 50. Wertheimer M (1925) Vortrag vor der KANT-Gesellschaft. Philosophische Zeitschrift für Forschung und Aussprache, 1: 39-60. 51. Xiao Y, Wang Y, Felleman DJ (2003) A spatially organized representation of colour in macaque cortical area V2. Nature 421: 535-539. 52. Zeki SM (1978) Uniformity and diversity of structure and function in rhesus monkey prestriate visual cortex. J Physiol 277: 273-290. 53. Zhou H, Friedman HS, von der HR (2000) Coding of border ownership in monkey visual cortex. J Neurosci 20: 6594-6611. 79