Die Verarbeitung von Konturen im visuellen Kortex des - E-LIB

„Die
Verarbeitung von Konturen im visuellen
Kortex des Menschen.“
Dissertation
zur Erlangung des Grades eines
Doktors der Naturwissenschaften (Dr. rer. nat.)
vorgelegt von:
Mark Matthias Schira
dem
Fachbereich 2 (Biologie/Chemie) der Universität Bremen
angefertigt in der Arbeitsgruppe von:
PD Dr. Stephan-Axel Brandt
Betreuer an der Universität Bremen:
Prof. Dr. Manfred Fahle
Übersicht über die Publikationen und Manuskripte
Die vorliegende Disputation beruht kumulativ auf den folgenden Publikationen und
Manuskripten, die in internationalen neurowissenschaftlichen Fachzeitschriften veröffentlich
wurden oder werden.
1. Schira MM, Fahle M, Donner TH, Kraft A, Brandt SA (2004). Differential
contribution of early visual areas to the perceptual process of contour processing.
Journal of Neurophysiology 91: 1716-1721.
2. Schira MM, Fahle M, Kraft A, Brandt SA (2004). Modality specific contour
integration in human early visual areas. Eingereicht bei NeuroImage.
3. Schira MM, Fahle M, Brandt SA., Spang K (2004). Electrophysiology of different
contour modalities. Eingereicht bei Vision Research.
Eigenanteil
Die Untersuchungen, auf denen die hier vorliegende Dissertation beruht, habe ich
selbstständig geplant und durchgeführt. Die enthaltenen Manuskripte habe ich eigenhändig
verfasst und mich dabei mit den jeweils genannten Mitautoren abgesprochen.
Inhaltsverzeichnis
1 Einführung und Grundlagen ............................................................... 1
1.1 Die Erkennung von Objekten und ihre biologische Relevanz....................................... 1
1.2 Geschichte und Stand der Forschung ............................................................................ 2
1.2.1 Rezeptive Felder und Retinotopie: grundlegende Organisationsprinzipien ............ 3
1.2.2 Kontextuelle Modulation in V1 ............................................................................... 4
1.2.3 Die Rolle von V2 ..................................................................................................... 7
1.3 Ziel dieser Untersuchung............................................................................................... 8
2 Methodik........................................................................................... 10
2.1 Visuelle Reizmuster..................................................................................................... 10
2.1.1 Kontur definiert durch Orientierung...................................................................... 10
2.1.2 Kontur definiert durch Bewegung ......................................................................... 10
2.1.3 Kontur definiert durch Farbe oder Luminanz ........................................................ 11
2.2 Kontrolle von Aufmerksamkeit ................................................................................... 11
2.3 Visuell evozierte Potentiale (VEP).............................................................................. 12
2.4 Funktionelle Kernspintomographie ............................................................................. 13
2.4.1 Prinzip und Technik............................................................................................... 13
2.4.2 Die Technik des retinotopen Kartierens ................................................................ 14
3 Zusammenfassung der einzelnen Untersuchungen......................... 17
3.1 Die Bedeutung verschiedener visueller Areale für die Verarbeitung
orientierungsdefinierter Konturen............................................................................... 17
3.2 Konturspezifische Modulation früher visueller Areale. .............................................. 18
3.3 Psychophysik und Elektrophysiologie ........................................................................ 19
4 Zusammenfassung........................................................................... 21
5 Manuskripte der Originalarbeiten ..................................................... 22
5.1 „Differential contribution of early visual areas to the perceptual process of contour
processing“................................................................................................................... 22
5.2 „Modality specific contour integration in human early visual areas“ ........................ 39
5.3 „Electrophysiology of different contour modalities“ .................................................. 59
6 Literatur ............................................................................................ 76
1 Einführung und Grundlagen
1.1 Die Erkennung von Objekten und ihre biologische Relevanz
Das visuelle System von Primaten hat während der Evolution eine bemerkenswerte
Leistungsfähigkeit bei der Wahrnehmung und Erkennung von Objekten entwickelt. Objekte
in der Umwelt zu identifizieren, ist im alltäglichen Leben von Primaten von lebenswichtiger
Bedeutung. Wenn sich ein Primat schnell durch die Baumwipfel bewegt, bewegen sich auch
die Abbilder der umgebenden Objekte auf seiner Netzhaut. Die Geschwindigkeit und
Richtung dieser Bewegung hängen von der Entfernung und relativen Position der Objekte
zum wahrnehmenden Tier ab. Auch wenn die entstehenden Bewegungsmuster auf der
Netzhaut des Tieres sehr komplex sind, stellen sie doch ein besonders geeignetes Merkmal
zur Trennung von Objekten und zu ihrer Lokalisation im Raum dar. Neben Bewegung stellt
die Oberflächenbeschaffenheit oder Textur ein weiteres objektkennzeichnendes Merkmal
dar. Gefahrenquellen, z.B. Schlangen, sind oft gut getarnt und von ihrer Umgebung nur
schwer zu unterscheiden. Eine Schlange, die unbewegt im Gewirr von Ästen und Blättern
lauert, fügt sich zwar perfekt in ihre Umgebung ein, unterscheidet sich aber von einem Ast
durch die Textur ihrer Oberfläche. Vereinfacht hat die Haut einer Schlange eine
wabenförmige Schuppenstruktur, ein Ast hingegen eine aus vielen mäandrierenden Linien
bestehende Rindenstruktur. Ein weiteres Merkmal für die Identifikation von Objekten ist die
Farbe. Der Farbumschwung einer reifenden Frucht von grün zu rot ist, hinsichtlich der
Änderung im Frequenzspektrum des reflektierten Lichtes, nicht so deutlich wie es uns
erscheint. Es ist vielmehr unser visuelles System, das darauf eingestellt ist, dieses
überlebenswichtige Merkmal zu entdecken. Diese Fähigkeit ist eine ganz spezifische
Anpassung an den Lebensraum Baumgipfel und die Ernährung von Früchten. Andere
Säugetiere, aber auch Menschen mit einer Rot-Grün-Blindheit haben diese Fähigkeit nicht.
Die Entdeckung und Integration von Konturen ist für die oben aufgeführten Aufgaben
von zentraler Bedeutung. Konturen können also definiert sein durch Farbe, Bewegung oder
Textur. Sie können real vorhanden oder auch nur wahrscheinlich oder vermutetet sein. Ziel
dieser Arbeit war es zu untersuchen, welche Teile des visuellen Kortex des Menschen die
Verarbeitung von Konturen leisten. Es ging dabei insbesondere darum, Unterschiede in der
Verarbeitung von Konturen aufzuzeigen, die durch unterschiedliche Merkmale, wie z. B.
Luminanz- oder Farbkontrast, Bewegung oder Textur definiert sind.
1
1.2 Geschichte und Stand der Forschung
Anfang des vergangenen Jahrhunderts beschäftigten sich die Gestaltpsychologen, z. B. Max
Wertheimer und Wolfgang Köhler, mit der visuellen Wahrnehmung. Sie formulierten eine
Reihe von Gesetzmäßigkeiten bei der Wahrnehmung von visuellen Mustern, so z. B. das
„Gesetz des gemeinsamen Schicksals“. Dieses Gesetz beschreibt, dass Elemente, z. B.
Punkte oder Linien, gruppiert werden, wenn sie sich in eine gemeinsame Richtung bewegen
oder gemeinsam verschwinden oder auftauchen. Die Gestaltpsychologen beschäftigten sich
weniger mit den Detailprozessen der visuellen Verarbeitung, sondern vielmehr mit Regeln
zur Wahrnehmung des Ganzen. „Es gibt Zusammenhänge, bei denen nicht, was im Ganzen
geschieht, sich daraus herleitet, wie die einzelnen Stücke sind und sich zusammensetzen,
sondern umgekehrt, wo - im prägnanten Fall - sich das, was an einem Teil dieses Ganzen
geschieht, bestimmt ist von inneren Strukturgesetzen dieses seines Ganzen.“ So formulierte
Max Wertheimer die Grundthese seiner Gestalttheorie (Wertheimer, 1925). Dieser
gedankliche Ansatz war geprägt von der Ansicht, das Gehirn würde nur als Ganzes
funktionieren. Demzufolge wäre der Beitrag einzelner Gehirnzellen kaum verstehbar und für
sich genommen scheinbar erratisch. In den Jahren 1965-1970 konnten Hubel und Wiesel in
einer Reihe grundlegender Arbeiten am visuellen System von Katzen zeigen, dass diese
Grundannahme allenfalls teilweise stimmt. Sie leiteten mit feinen Elektroden die elektrische
Aktivität von einzelnen Nervenzellen im visuellen Kortex von Katzen ab. Dabei gelang es
ihnen, zwei grundlegende Konzepte von der Funktionsweise dieser Nervenzellen zu
entwickeln: das Konzept des rezeptiven Feldes und damit verbunden das Konzept der
retinotopen Organisation (Hubel und Wiesel, 1959; 1962). Diese Konzepte gelten noch bis
heute als die elementaren Funktionsprinzipen des visuellen Kortex’ von Säugetieren.
Verbunden mit der Technik der Einzelzellableitungen setzte sich eine neue Grundauffassung
durch: Neurone, die visuelle Information verarbeiten, werden als Filter aufgefasst, die
Informationen aus einem bestimmten Teil des Gesichtsfeldes nach einfachen Eigenschaften
wie Orientierung, Bewegung, stereoptische Disparität und Raumfrequenz sortieren. Es
entstehen dadurch die so genanten Eigenschaftskarten im primären visuellen Kortex V1
(Hubel, 1988). Einzelzellableitungen stellen auch heute noch einen wesentlichen Bestandteil
moderner Forschung am visuellen System dar. Mit ihr wurden und werden noch heute die
wesentlichen Erkenntnisse und Grundlagen gewonnen, auf denen die hier vorgestellte Arbeit
basiert.
Seit einiger Zeit wird eine weitere Technik, die funktionelle Kernspintomographie
(fMRT) verwendet. Diese Technik ermöglicht es, nicht invasiv Gehirnprozesse menschlicher
2
Probanden in vivo zu untersuchen. Dabei ist sowohl die zeitliche (Sekunden statt
Millisekunden) als auch die räumliche (Millimeter statt Mikrometer) Auflösung deutlich
niedriger als bei Einzelzellableitungen. Dafür kann aber das gesamte Gehirn zugleich
untersucht werden statt nur einzelner oder einiger weniger Neurone.
1.2.1 Rezeptive Felder und Retinotopie: grundlegende Organisationsprinzipien
Die Neurone des visuellen Kortex haben ein so genanntes rezeptives Feld. Das bedeutet, sie
antworten nur auf Reize, die in einem ganz bestimmten Teilbereich des Gesichtsfeldes, dem
rezeptiven Feld, liegen. Diese rezeptiven Felder der Neurone sind im primären visuellen
Kortex klein, z. Β. im Bereich um die Fovea üblicherweise deutlich unter 1° Sehwinkel
(Zeki, 1978). Außerdem ist der visuelle Kortex retinotop organisiert (Hubel und Wiesel,
1962). Das bedeutet, dass im visuellen Kortex die Nachbarschaftsbeziehungen der Retina
und damit auch des Gesichtsfeldes erhalten bleiben. Visuelle Informationen die aus zwei
benachbarten Teilen der Retina stammen, werden auch im visuellen Kortex in unmittelbarer
Nachbarschaft verarbeitet. Dabei werden die visuellen Reize des linken Gesichtsfeldes, also
der nasalen Hälfte der linken Retina und der temporalen Hälfte der rechten Retina, in die
rechte Kortexhälfte geleitet. Die Signale der beiden anderen Retinahälften werden analog
dazu in die linke Kortexhälfte geleitet (Abbildung 1.1a). Durch diese retinotope Organisation
seiner Neuronen enthält der primäre visuelle Kortex eine komplette, wenn auch verzerrte
Abbildung des Gesichtsfeldes. Es gibt allerdings nicht nur eine komplette retinotope
Abbildung des Gesichtsfeldes, sondern mehrere. An das primäre visuelle Areal V1 schließen
sich zumindest beim Rhesusaffen (Macaca mulatta) weitere retinotope Areale an (Abbildung
1.1b). Diese wiederholten Abbildungen sind nicht redundant, sondern stellen eine teilweise
aufeinander aufbauende, teilweise parallele Folge von Arealen mit immer höherer
Spezialisierung der extrahierten Eigenschaften dar (Zeki, 1978). Die funktionelle Anatomie
beim Menschen ist zwar zur Zeit noch wesentlich unklarer, allerdings scheint sich bisher die
Hypothese zu bestätigen, dass die Organisation beim Menschen der beim Affen vergleichbar
ist. Ein zentrales Instrument zum Vergleich der Strukturen beim Menschen und beim
Rhesusaffen ist die retinotope Organisation (Denys et al., 2004; Ejima et al., 2003). Da die
rezeptiven Felder mit zunehmendem Abstand eines Areals von V1 immer größer werden,
wird dieser Nachweis zunehmend schwieriger.
3
(a)
(b)
Fovea
9
11
5
7
1 3
2 4
6
10
8
12
Gesichtsfeld
links
primärer
visueller
Kortex
(V1)
4
8
3 7
12
11
rechts
10
9
6
2
5
1
Sulcus calcarinus
Sulcus calcarinus
Abbildung 1.1: (a) Schema der Retinotopie. Die visuelle Reizinformation wird retinotop auf
den primären visuellen Kortex (V1) übertragen. Beim Menschen ist der primäre visuelle Kortex
am occipitalen Pol des Gehirns. Die Abbildung ist nicht maßstabsgetreu, der Maßstab bzw. die
Größe des verarbeitenden Kortexareals pro Sehwinkel nimmt von der Fovea zur Peripherie ab
(aus Kandel et al., 2000). (b) Karte des visuellen Kortex eines Rhesusaffen. Es gibt eine
Vielzahl visueller Areale beim Affen, die alle mehr oder weniger deutlich retinotop organisiert
sind (aus Felleman et al., 1997).
1.2.2 Kontextuelle Modulation in V1
Neuere Erkenntnisse aus Einzelzellableitungen weisen im Sinne der Gestaltpsychologie
darauf hin, dass das Gesamtbild die Einzelheiten beeinflusst und nicht nur das Gesamtbild
aus den Einzelheiten zusammengesetzt wird. So wurde in jüngerer Zeit das klassische
Konzept des rezeptiven Feldes erweitert und relativiert. Es konnte gezeigt werden, dass die
Aktivität in manchen V1-Neuronen nicht nur davon abhängt, was in ihren rezeptiven Feldern
passiert, sondern auch davon in welchem Kontext der Inhalt der rezeptiven Felder zum
Gesamtbild steht (Lamme, 1995; Lamme et al., 1998; Rossi et al., 2001). Wenn ein
Reizmuster innerhalb eines rezeptiven Feldes zu einer Figur gehörte, kam es zu einer
leichten Erhöhung der Aktionspotentialrate gegenüber einer Situation, in der das gleiche
Muster zum Hintergrund des Gesamtbildes gehörte. Diese kontextbezogene Modulation der
V1-Zellantwort trat nicht unmittelbar nach Reizpräsentation auf, sondern erst nach einer
gewissen Verzögerung von ca. 100 ms nach Präsentationsbeginn und 30 – 40 ms nach
Beginn der Antwort in V1 (Abbildung 1.2).
4
Abbildung 1.2: Kontextuelle Modulation nach Lamme. Auf der linken Seite sind die
Reizmuster, auf der rechten ist die Aktionspotentialrate (Frequenz) eines V1-Neurons
abgebildet. In der oberen und unteren Zeile enthält das rezeptive Feld (Kreis) das identische
Teilmuster, dennoch kommt es in der unteren Bedingung (rezeptives Feld in der Figur) zu
einer Erhöhung der Aktionspotentialrate (grau unterlegt) gegenüber der oberen Bedingung
(aus Lamme et al. 1996).
Weiter konnte gezeigt werden (Kapadia et al., 1995; 2000), dass die Aktionspotentialrate
eines V1-Neurons auf einer Linie durch kollinear flankierende Linien verstärkt wird, obwohl
die flankierenden Linien außerhalb des rezeptiven Feldes der Zelle lagen (Abbildung 1.3).
Wenn die flankierenden Linien leicht parallel versetzt waren, nahm dieser Effekt schnell ab,
orthogonale Linien dagegen senkten die Antwort der Zelle sogar. Dieser Befund ließ sich
auch
psychophysisch
zeigen.
Kollinear
flankierende
Garbormuster
erhöhten
bei
menschlichen Versuchspersonen die Kontrastsensitivität (Polat und Sagi, 1993; Kapadia et
al., 1995).
5
+
Abbildung 1.3: Der Effekt collinear flankierender Linien auf V1-Neurone. Im oberen Drittel der
Abbildung sind drei Reizmuster zu sehen. Das schwarze Kästchen zeigt Größe und Position
des rezeptiven Feldes an, die Balkendiagramme die mittlere Aktionspotentialrate eines
exemplarischen V1-Neurons für das gezeigte Reizmuster bei einer Kontraststärke von 20%
bzw. 30% (aus Kapadia et al. 2000). Aus den beiden Kontrastintensitäten wird deutlich, dass
es sich nicht um eine unspezifische Erhöhung der Antwort handelt, sondern um einen Effekt
der insbesondere bei niedrigen Kontrasten zu einer erhöhten Sensibilität führt.
Diese und ähnliche Befunde führten zu einer Konkretisierung des Konzepts des rezeptiven
Feldes zum „klassischen rezeptiven Feld“. Im strengen Wortsinn sind Neurone in V1
rezeptiv für Reize aus einem sehr großen Teil des Gesichtsfeldes. Allerdings nur dann, wenn
diese Reize den Kontext des Teilmusters, der im sehr kleinen klassischen rezeptiven Feld
des Neurons liegt, verändern. Der Begriff klassisches rezeptives Feld verdeutlicht, dass es
sich nur um den vergleichsweise kleinen Bereich handelt, auf den das Neuron unmittelbar
reagiert, so wie es auch Hubel und Wiesel (1959) beschrieben haben. Für den Bereich
jenseits des klassischen rezeptiven Feldes, aus dem ein Neuron seine kontextuelle
Information bezieht, gibt es noch keinen einheitlichen Begriff. Vorgeschlagen wurden unter
anderem „integratives Feld“ (Chavane et al., 2000) oder „Kontextfeld“ (Lamme und
Roelfsema, 2000). Das Kontextfeld stellt allerdings nicht das gesamte Gesichtsfeld dar,
sondern ebenfalls nur einen Teilbereich (Lamme und Roelfsema, 2000).
Kontextuelle Modulationen sind für diese Arbeit von grundlegender Bedeutung. Sie sind
eine Vorraussetzung dafür, dass eine Zelle Konturen integrieren kann, die größer sind als ihr
klassisches rezeptives Feld.
6
1.2.3 Die Rolle von V2
Nach V1 ist V2 das größte und am besten untersuchte Areal des visuellen Kortex von
Primaten. Die Charakteristika von V2- und V1-Neuronen unterscheiden sich auf den ersten
Blick nur geringfügig. Die rezeptiven Felder in V2 sind größer (Burkhalter und Van Essen,
1986) und die Eigenschaften, die ein Neuron aus seinem rezeptiven Feld extrahiert, sind
komplexer. So gibt es eine Reihe von Neuronen in V2, deren Aktionspotentialrate sich bei
der Präsentation eines bestimmten Winkels erhöht (Hegde und Van Essen, 2000; 2003),
während V1-Neurone meist nur orientierungsspezifisch reagieren. Eine bemerkenswerte
Eigenschaft von V2 ist, dass Neurone, die selektiv auf Orientierung reagieren, nicht nur auf
reale z. B. durch Luminanz begründete Konturen antworten, sondern auch auf illusorische
oder verdeckte Konturen (Lee und Nguyen, 2001; von der Heydt und Peterhans, 1989). Mit
einer Kombination aus optischer Bildgebung und Einzelzellableitungen konnte gezeigt
werden, dass V1 und V2 unterschiedlich auf Konturen reagieren, die durch versetzte Linien
definiert waren (Ramsden et al., 2001). Die durch den Linienversatz definierte Kontur stand
in einem 45°-Winkel zu den realen Linien (Abbildung 1.4). Dabei antworteten in V2
Neurone auf die durch Gitterversatz definierten Konturen, in V1 allerdings antworteten nur
Neurone mit einer Orientierungspräferenz parallel zum Gitter. Einige Studien berichteten
auch für V1-Neurone eine Sensibilität für illusorische Konturen, allerdings fanden Studien,
die V1 und V2 vergleichen, solche Neurone in V1 viel seltener als in V2 (Bakin et al., 2000;
Marcus und Van Essen, 2002).
Abbildung 1.4: Beispiel eines Reizmusters mit einer durch Linienversatz definierten Kontur
(aus Ramsden et al. 2001).
Ein weiterer Aspekt, der an V2-Neuronen untersucht wird, ist die Konturzugehörigkeit. Jede
Kontur „gehört“ zu einem der beiden Objekte, die sie trennt. Bei einem hellen Quadrat auf
dunklem Hintergrund gehören die vier Kanten zu dem Quadrat, welches den Hintergrund
verdeckt (siehe Abbildung 1.5b). Durch geschickte Wahl der Reizmuster kann dieselbe im
7
klassischen rezeptiven Feld des Neurons liegende Luminanzkontur (also z.B. rechts hell
nach links dunkel) entweder zum linken oder zum rechten Objekt gehören (Abbildung 1.5c).
In V2 konnte für einige Neurone gezeigt werden, dass sie eine Präferenz dafür haben, dass
diese Kontur zum linken Objekt gehört (Zhou et al., 2000). Ein ähnlich komplexes Verhalten
konnte für V1-Neurone bisher nicht gezeigt werden.
Abbildung 1.5: Kantenzugehörigkeit (Border ownership). (a) Rubin's Vase (Rubin, 1915).
Dieses wohlbekannte, doppeldeutige Bild illustriert die Neigung des visuellen Systems
Kontrastkanten als eine ein Objekt umschreibende (und andere Objekte verdeckende) Kontur
zu interpretieren und daher einem Objekt zuzuweisen. In diesem Beispiel kommt es immer
wieder zu einer Veränderung der Wahrnehmung und die Kontur wird abwechselnd der Vase
oder den Gesichtern zugewiesen. (b) Isolierte und von einer anderen Eigenschaft
umschlossene
Regionen
werden
grundsätzlich
als
Figur
vor
einem
Hintergrund
wahrgenommen. (c) Hier werden anstatt eines Rechtecks und eines L-förmiges Gebildes zwei
überlappende Rechtecke wahrgenommen. Damit „vermutet“ das visuelle System eine weitere
(aber verdeckte) abschließende Kontur des hellen Rechteckes und dass das dunkle Rechteck
vor dem hellen liegt.
1.3 Ziel dieser Untersuchung
Die breite und detaillierte Basis des heutigen Forschungsstandes zur Verarbeitung von
Konturen beruht größtenteils auf Ergebnissen von Einzelzellableitungen beim Affen. Diese
Arbeiten legen die Vermutung nahe, dass die Verarbeitung von Konturen im wesentlichen in
den frühen visuellen Arealen V1 und V2 stattfindet (Bakin et al., 2000; Burkhalter und Van
Essen, 1986; Lamme, 1995; Marcus und Van Essen, 2002; von der Heydt und Peterhans,
1989).
Ergebnisse aus fMRT Untersuchungen zur Wahrnehmung von Konturen und Objekten
konzentrieren sich jedoch meist auf höhere visuelle Areale z.B. der Lateralen Occipitalen
Region (LOR) (Mendola et al., 1999; Kourtzi et al., 2003; Stanley und Rubin, 2003). Ziel
dieser Arbeit war es, mit fMRT die Verarbeitung von Konturen in den frühen visuellen
8
Arealen V1 bis MT+ zu untersuchen und die Ergebnisse in die aus Einzelzelluntersuchungen
gewonnen Erkenntnise einzuordnen.
Im einzelnen sollten folgende Fragestellungen beim Menschen bearbeitet werden:
1. Welche Areale des visuellen Kortex leisten die Verarbeitung von Konturen.
Insbesondere: Lässt sich eine Aufgabenteilung zwischen dem primären visuellen
Kortex V1 und dem sich daran anschließenden Areal V2 feststellen?
2. Unterscheiden sich die beteiligten Areale bei der Verarbeitung verschiedener
Konturmerkmale?
3. Lässt sich mit fMRT eine kontextuelle Modulation im Inneren einer Figur
nachweisen, also eine Figurantwort im Sinne von Lamme et al. (1995)?
Zur Beantwortung dieser Fragen wurden Reizmuster entwickelt, die es durch kleine
Variationen der Reizeigenschaften ermöglichen, bei weitgehend konstanten physikalisch
Eigenschaften verschiedene Konturmodalitäten zu erzeugen. Die Verarbeitung dieser
Reizmuster wurde an gesunden Versuchspersonen untersucht. Dazu wurde in erster Linie
fMRT verwendet, aber auch psychophysische Methoden sowie Elektrophysiologie.
9
2 Methodik
Die Methoden der einzelnen Teile dieser Arbeit sind detailliert in den entsprechenden
Manuskripten
(Kapitel
5)
geschildert.
Hier
sollen
daher
nur
die
allgemeinen
Funktionsprinzipien der verwendeten Techniken erläutert werden.
2 1 Visuelle Reizmuster
Die in allen hier vorgestellten Untersuchungen verwendeten Reizmuster setzten sich aus
Rotatoren zusammen. Ein Rotator bestand aus 3 einzelnen, auf einer Linie liegenden
Punkten (Abbildung 2.1a), bei denen die beiden äußeren um den mittleren rotierten.
Zusammen führten sie zu einer mit einer rotierenden Linie vergleichbaren Wahrnehmung.
Gegenüber einer Linie hat ein Rotator den Vorteil, dass er Luminanzartefakte auf einem
Schirm mit diskreten Pixeln grundsätzlich vermeidet.
Die in dieser Untersuchung verwendeten Reizmuster setzten sich stets aus 13x13 solcher
Rotatoren zusammen, die ein Feld bildeten. Dieses Feld war entweder homogen (Abbildung
2.1c) oder ein Teil der Rotatoren unterschied sich von den umliegenden und bildete somit
eine Figur auf einem Grund (Abbildung 2.1b&e). Die Eigenschaften, mit denen sich die
Rotatoren der Figur von denen des Hintergrundes unterschieden, variierten, so dass sich
verschiedene Konturmodalitäten erzeugen ließen.
2.1.1 Kontur definiert durch Orientierung
Um eine Kontur, die durch Orientierung definiert ist, zu erzeugen, rotierten die
Figurrotatoren mit gleicher Geschwindigkeit und Drehrichtung, jedoch mit einer
Phasenverschiebung
gegenüber
den
Rotatoren
des
Hintergrundes.
Innerhalb
der
Hintergrund- und der Figurrotatoren war die Phasenlage dagegen synchron. Dadurch
unterschieden sich die Figur- und die Hintergrundrotatoren durch ihre Orientierung und zwar
zu jedem Zeitpunkt in der gleichen Weise (Abbildung 2.1c). Durch die Bewegung der
Rotatoren
unterschieden
sich
die
einzelnen
Rotatorgruppen
über
die
gesamte
Präsentationszeit des Reizmusters im Durchschnitt jedoch nicht, da in der Summe alle
Orientierungen vorkamen.
2.1.2 Kontur definiert durch Bewegung
Bei der durch Bewegung definierten Kontur waren die Phasenlagen der Rotatoren zufällig
(Abbildung 2.1d). Die Figur- und die Hintergrundrotatoren unterschieden sich in ihrer
Rotationsgeschwindigkeit.
In
den
ersten
200 ms
der
Reizpräsentation
rotierten
10
beispielsweise die Figurrotatoren doppelt so schnell wie die Hintergrundrotatoren. Nach
200 ms, 400 ms und 600 ms wechselten die Rotatorgruppen ihre Rotationsgeschwindigkeit
(bei einer Reizdauer von insgesamt 800 ms), so dass sich jede der Rotatorgruppen zweimal
schnell
und
zweimal
langsam
drehte.
Somit
unterschieden
sich
die
Rotationsgeschwindigkeiten zu jedem Zeitpunkt der Präsentation des Reizmusters. Im
Durchschnitt rotierten jedoch beide Rotatorgruppen gleich schnell.
(a)
(b)
(c)
(d)
(e)
Abbildung 2.1 (a) Ein Rotator. (b) Kontur definiert durch Orientierung. (c) Homogenes
Kontrollmuster passend zur durch Orientierung definierten Kontur. (d) Kontur definiert durch
Bewegung. Die Phasenlage der Rotatoren ist zufällig, daher ist in einem Standbild die Kontur
nicht zu erkennen. (e) Kontur definiert durch Farbe.
2.1.3 Kontur definiert durch Farbe oder Luminanz
Eine weitere Möglichkeit zwei unterscheidbare Rotatorgruppen zu erhalten, war die
Verwendung verschiedener Lunimanz oder Farbe für die Rotatoren (Abbildung 2.1e). Das
passende homogene Reizmuster als Kontrolle enthielt auch verschiedene Luminanzen oder
Farben, allerdings zufällig verteilt.
2.2 Kontrolle von Aufmerksamkeit
Die Erkennung von Konturen ist Teil des Prozesses der Wahrnehmung von Objekten. Das
freie, natürliche Explorieren der Umgebung ist meist mit Aufmerksamkeit verknüpft. Dabei
lenken neu entdeckte Objekte die Aufmerksamkeit des Betrachters auf sich, aber man setzt
auch gezielt Aufmerksamkeit ein, um schwer zu entdeckende Objekte zu identifizieren (Egly
und Homa, 1984; Egly et al., 1994). Dies führt zu einem komplexen Wechselspiel von
willkürlicher und unwillkürlicher Aufmerksamkeit. Einige fMRT-Studien konnten zeigen,
dass bereits visuell-räumliche Aufmerksamkeit alleine zu einer Modulation des fMRTSignals führt (Brefczynski und DeYoe, 1999) und sogar zu Fehlinterpretationen von fMRT
Daten führen kann (Huk et al., 2001).
11
Um zu verhindern, dass verschiedene Reizmuster die Aufmerksamkeit beeinflussen,
wurde in dieser Untersuchung eine Aufgabe zur Kontrolle der Aufmerksamkeit eingesetzt.
Es wurde dazu eine Aufgabe verwendet, die Braun (1994) einführte. Dabei sollten die
Versuchspersonen für fünf zentral präsentierte Buchstaben (gedrehte Ts oder Ls)
entscheiden, ob es sich um eine homogene Gruppe (also nur Ts oder nur Ls) handelt, oder ob
es sich um eine Mischung aus den beiden Buchstaben handelt. Diese zentrale
Aufmerksamkeitsaufgabe ist genau untersucht und bindet die Aufmerksamkeit einer
Versuchsperson sehr effektiv (Braun, 1994; Lee et al., 1999).
2.3 Visuell evozierte Potentiale (VEP)
Wie schon Alessandro Volta (1745-1827) feststellte, benutzen Nervenzellen Strom für die
Übertragung
ihrer
Impulse.
Die
gleichzeitige,
synchrone
Übertragung
von
Nervenzellimpulsen kann sich zu messbaren elektrischen Potentialen aufaddieren, die dann
mittels am Kopf befestigter Elektroden aufgezeichnet werden können. Diese Aufzeichnung
bezeichnet man als Elektroencephalogramm (EEG). Hans Berger beschrieb dieses Phänomen
zum ersten Mal beim Menschen(Berger, 1927). Genauere Analysen bei simultaner
intrazellulärer-, extrazellulärer- und Skalpableitungen zeigten, dass die Ursache des EEG
synchrone Hyper- und Depolarisierungen ausgedehnter Dendritenbäume insbesondere von
Pyramidenzellen ist (Creutzfeldt und Houchin, 1974). Extrazelluläre Ausgleichströme, die
von diesen synchronen Hyper- und Depolarisierungen ausgelöst werden, führen letztendlich
zu auf der Kopfhaut messbaren Potentialänderungen.
Die Präsentation eines visuellen Reizes löst eine deutliche Potentialänderung aus, die
oftmals schon als Einzelereignis im EEG zu erkennen ist. Sind die verwendeten Reize
visueller Natur, so spricht man von visuell evozierten Potentialen (VEP). Um geringe
Potentialänderungen sichtbar zu machen, die bei der Verarbeitung eines Reizmusters
entstehen, wiederholt man einen Stimulus mehrfach und mittelt das abgeleitete EEG jeweils
zum Zeitpunkt des Präsentationsbeginns. Da die nicht mit der Reizverarbeitung
zusammenhängenden Komponenten des EEG nicht mit der Reizdarbietung korreliert sind,
werden sie dabei herausgemittelt. Die verbleibenden Komponenten werden als
ereigniskorrelierte Potentiale (EKP) bezeichnet. Die räumliche Auflösung von EKPs ist zwar
sehr gering, allerdings erlauben sie es, neuronale Prozesse mit hoher zeitlicher Auflösung zu
untersuchen.
12
2.4 Funktionelle Kernspintomographie
Die Kernspintomographie ist derzeit die Methode der Wahl zur Erfassung der Hirnanatomie
in vivo. Sie erlaubt es ohne schädigende Nebenwirkungen Hirnfunktionen am lebenden
Subjekt abzubilden. Da sie die zentrale Methode der hier zusammengefassten
Untersuchungen darstellt, soll sie etwas ausführlicher beschrieben werden.
2.4.1 Prinzip und Technik
Funktionelle Magnet Resonanz Tomographie (fMRT) ermöglicht es, nicht invasiv (Belliveau
et al., 1991; Frahm et al., 1992; Kwong et al., 1992) aktivierte Gehirnareale mit hoher
räumlicher Auflösung (~1 mm) und guter zeitlicher Auflösung (wenige Sekunden) zu
lokalisieren. Sie basiert darauf, dass die kernspintomographisch messbare Zeitkonstante T2*
des Hirngewebes von der Menge und dem Oxygenierungsgrad des dieses Gewebe
durchfließenden Blutes abhängt.
Die meisten MR-Verfahren nutzen dabei den BOLD-Kontrast („blood-oxygenationlevel-dependent“), um Änderungen der Desoxihämoglobinkonzentration als Folge kortikaler
Aktivität zu messen.
Diese Konzentrationsänderung ist von physiologischen Vorgängen abhängig, die bisher
nur unvollständig verstanden sind (Villringer und Dirnagl, 1995). Folgende Grundannahmen
können allerdings als gesichert gelten (Heeger et al., 2000):
1. Regionale Hirndurchblutung ist an den metabolischen Bedarf gekoppelt.
2. Der Metabolischer Bedarf wird durch die synaptische Aktivität bestimmt.
3. Die Synaptische Aktivität hängt von der Feuerrate präsynaptischer Neurone ab.
4. Präsynaptische Neurone sind vorwiegend Teil eines lokalen Neuronenverbundes.
Eine Steigerung der lokalen Aktivität von Kortexgewebe führt zu einer Kette von
Reaktionen: Die gesteigerte Aktivität führt zu einem erhöhten metabolischen Bedarf dieses
Gewebes, infolgedessen sinkt sehr lokal der Oxygenierungsgrad des Blutes. Zeitlich sehr eng
gekoppelt steigt dann aber die Durchblutung des lokalen Gewebes, so dass der vermehrte
Sauerstoffbedarf des Gewebes überkompensiert wird. Der lokale Gehalt an desoxygeniertem
Blut sinkt, die T2*-Konstante des Gewebes steigt lokal an.
Die T2*-Konstante lässt sich im Kernspintomographen mit verschiedenen Messsequenzen ermitteln. Für die fMRT werden in der Regel Gradientenecho-MR-Sequenzen,
wie z.B. echoplanare (EPI-) Bildgebungssequenzen verwendet, da sie die T2*-Konstante
recht sensitiv ermitteln und außerdem sehr schnell sind. Mit solchen Sequenzen lassen sich
13
die T2*-Konstanten für verschiedene Orte im gesamten Gehirn, je nach gewünschter
räumlicher Auflösung, in ca. 1 bis 4 Sekunden messen. Durch wiederholte Messung wird für
verschiedene Orte des Gehirnes der Zeitverlauf dieser T2*-Konstante ermittelt. Mit
statistischen Testverfahren wird dann ein Zusammenhang zwischen dem Zeitverlauf der
T2*-Konstante und einer von der Versuchsperson durchgeführten Aufgabe ermittelt und die
entsprechenden Bildpunkte der aktivierten Areale über eine Farbkodierung visualisiert.
Das gemessene Signal entspricht dabei also nicht der eigentlichen elektrischen Aktivität
von Gehirnzellen, sondern ist Ausdruck der damit gekoppelten Blutflussantwort. Der weitere
Erfolg dieses Verfahrens hängt davon ab, ob es gelingt, eine quantitative Beziehung
zwischen dem BOLD-Signal und der mittleren Feuerrate (oder einem anderen Parameter der
elektrischen Aktivität) der Neuronenpopulation herzustellen (Wandell, 1999; Heeger et al.,
2000). Untersuchungen weisen auf eine erstaunlich einfache Beziehung hin: Das BOLDSignal scheint in den Arealen V1 und MT direkt proportional zur mittleren Feuerrate zu sein
(Boynton et al., 1996; Heeger et al., 2000; Rees et al., 2000).
Die fMRT ist also eine zuverlässige, vergleichsweise einfach anwendbare und vor allem
nicht invasive Untersuchungsmethode, die inzwischen breite Anwendung und große
Bedeutung bei der Erforschung von Hirnfunktionen und -struktur beim Menschen erlangt
hat.
2.4.2 Die Technik des retinotopen Kartierens
Für die kernspintomographischen Messungen dieser Arbeit ist die Technik der retinotopen
Kartierung eine grundlegende Vorraussetzung. Deshalb wurde im Rahmen dieser Arbeit
diese seit 1995 bekannte Technik (Sereno et al., 1995; Engel et al., 1997) weiterentwickelt.
Es wurden Messprotokolle und visuelle Reizmuster entwickelt, die an den Versuchsaufbau
der Arbeitsgruppe und den verwendeten Kernspintomographen angepasst sind. Ziel der
entwickelten Verfahren war es, die individuelle funktionelle Anatomie der visuellen Areale
jeder einzelnen Versuchspersonen zu ermitteln, denn die genaue Ausdehnung und Position
der „retionotopen Karten“ sind bei jedem Menschen etwas verschieden (Dougherty et al.,
2003).
Wie bereits unter 1.2.1 beschrieben, gibt es auf dem visuellen Kortex mehrere retinotope
Abbildungen des Gesichtsfeldes. Wenn man in einem Teilbereich des Gesichtsfeldes ein
visuelles Reizmuster präsentiert, erhält man in den korrespondierenden Teilbereichen des
visuellen Kortex eine mit fMRT messbare BOLD-Antwort. Dieses einfache Prinzip ist die
Grundlage dafür, dass die individuelle retinotope Organisation des visuellen Kortex einer
14
Versuchsperson ermittelt werden kann. Wichtige Vorraussetzungen sind dabei, dass die
Versuchspersonen während der Messung ihre Augen nicht bewegen, sondern auf einen
Fixationspunkt schauen. Außerdem müssen Reflexionen im Versuchsaufbau vermieden
werden, so dass wirklich nur der gewünschte Teil des Gesichtsfeldes stimuliert wird.
In den unter 3.1 und 3.2 geschilderten Untersuchungen wurden zwei Protokolle zur
retinotopen Kartierung eingesetzt: Ein Protokoll zur Kartierung der Meridiane und ein
Protokoll zur Kartierung der Exzentrizität, also des Abstandes eines Gesichtsfeldpunktes von
der Fovea (Abbildung 2.2). Bei der Meridiankartierung werden zwei Reizmuster gezeigt, die
abwechselnd den horizontalen Meridian und den vertikalen Meridian visuell mit einem
flackernden Schachbrettmuster stimulieren. Durch die funktionelle Anatomie ist es damit
möglich die frühen visuellen Areale V1, V2, V3/Vp, V3a und V4v voreinander zu
unterscheiden (DeYoe et al., 1996).
15
(a)
(c)
(b)
Sulcus calcarinus
Abbildung 2.2 Exzentrizitätskartierung. Die im Rahmen dieser Arbeit entwickelte und
verwendete Exzentrizitätskartierung. (a) Das Schema der retinotopen Projektion nach Kandel
(vgl. Abbildung 1.1). (b) Die verwendeten Reizmuster. Zur Kartierung der Exzentrizität
bekamen die Versuchpersonen drei verschieden große Reizmuster (1-2,5° Sehwinkel; 2,53,5°; 3,5-8°) gezeigt und wurden angewiesen auf den Fixationspunkt (rot) zu schauen. Da die
drei verwendeten Reizmuster jeweils nur in einem Teilbereich des Gesichtsfeldes visuelle
Information zur Verarbeitung enthielten, wurde auch nur der jeweils korrespondierende
Teilbereich des visuellen Kortex aktiviert. Die verwendeten Exzentrizitäten und die rechteckige
Form der Reizmuster waren eine spezielle Anpassung an die unter 2.1 beschriebenen
Reizmuster. (c) Auschnitt aus einer Rekonstruktion der linken Kortexoberfläche einer
einzelnen Versuchsperson. Der Ausschnitt enthält nur den occipitalen Pol, der den primären
visuellen Kortex enthält, das Bild zeigt eine mediale Ansicht. Die mit Falschfarben in rot, grün
und dunkelblau markierten Gebiete sind das Resultat einer Exzentrizitätskartierung. Dabei
korrespondieren die Farben mit den Balken unter den Reizmustern aus Teil (b). Somit
markieren die Farbe Rot jene Teile des visuellen Kortex dieser Versuchsperson, in denen
Reizmuster zwischen 1 und 2,5° Sehwinkel verarbeitet werden
16
3 Zusammenfassung der einzelnen Untersuchungen.
Diese Dissertation besteht aus drei Arbeiten, die "peer reviewed" in internationalen
neurowissenschaftlichen Fachzeitschriften veröffentlich wurden oder werden.
3.1 Die Bedeutung verschiedener visueller Areale für die
Verarbeitung orientierungsdefinierter Konturen
Diese Untersuchung behandelte drei Fragestellungen:
1. Ist es möglich, mit der fMRT eine Modulation des BOLD-Signals als Folge von
Konturverarbeitung nachzuweisen, auch wenn die Versuchspersonen mit einer
konturunabhängigen, anspruchsvollen Aufgabe abgelenkt werden?
2. Folgt die räumliche Verteilung dieser Modulation der retinotopen Organisation?
a)
Findet sie daher nur in jenen Bereichen statt, die die Kontur verarbeiten?
b)
Gibt es darüber hinaus auch in den Breichen, die retinotop von einer Kontur
eingeschlossen sind, also die Figur/Objekt-Fläche repräsentieren, eine
messbare Modulation des BOLD-Signals? Dies würde einer kontextbezogenen
BOLD-Modulation analog zu der von Lamme (Lamme et al. 1995)
beschriebenen Modulation der Aktionspotentialrate entsprechen.
3. Führt eine durch Orientierung definierte Kontur in allen untersuchten Arealen zu
vergleichbaren BOLD-Signalen, oder lassen Unterschiede auf eine spezifische
Rollenverteilung der verschiedenen Areale bei der Konturwahrnehmung schließen?
Dazu wurden die in Abschnitt 2.1.1 beschriebenen Reizmuster 6 naiven Versuchspersonen
im
Rahmen
einer
kernspintomographischen
Untersuchung
präsentiert.
Die
Versuchspersonen wurden allerdings instruiert, die in Abschnitt 2.2 skizzierte zentrale
Aufmerksamkeitsaufgabe
durchzuführen
und
wurden
nicht
über
die
gleichzeitig
präsentierten Reizmuster mit durch Orientierung definierten Konturen informiert. Dies führte
dazu, dass die Versuchspersonen das eigentliche Ziel der Experimente nicht durchschauten
und die Konturen nicht bewusst bemerkten. Es wurde außerdem für jede Versuchperson der
Kortex kartiert und exzentrizitätsbasierte Regionen von besonderem Interesse (Regions of
Interest, ROI) definiert. Beim Vergleich der BOLD-Signale auf Reizmuster mit und ohne
(siehe Kapitel 2.1.1) durch Orientierung definierter Kontur zeigte sich eine Erhöhung des
BOLD-Signals in V2 ventral und dorsal, V3a und V4 ventral. Diese Erhöhungen fanden
jeweils in den Subarealen statt, die retinotop mit der Lage der Kontur auf der Retina
korrespondierten.
17
Diese Ergebnisse zeigen erstens, dass die Verarbeitung von Konturen zu einer
Veränderung der hämodynamischen Antwort führt, auch wenn die Versuchpersonen die
Konturen nicht bemerken.
Zweitens, die räumliche Verteilung dieser Veränderungen folgte der retinotopen
Organisation der frühen visuellen Areale. In den von der Kontur umschlossenen Bereichen
konnte weder in V1 noch in V2 eine solche Veränderung der hämodynamischen Antwort
nachgewiesen werden. Eine „Figurantwort“ im Sinne von Lamme (1995) konnte mit fMRT
also nicht nachgewiesen werden. Es blieb ungeklärt ob dieses Fehlen einer kontextuellen
Modulation auf die Messmethode fMRT, die Tatsache dass unserer Versuchspersonen die
Konturen nicht wahrnahmen (Super et al., 2001), oder auf eine ungenügende Sensitivität
unseres Versuchsdesigns zurückzuführen ist. Allerdings konnten wir zeigen, dass zumindest
in V1 dieses Signal, wenn es überhaupt vorhanden ist, nur sehr klein sein kann.
Drittens konnte gezeigt werden, dass die Verarbeitung von durch Orientierung
definierten Konturen nur in einigen, nicht aber in allen frühen visuellen Arealen, zu einer
Erhöhung des BOLD-Signals führt. Das legt nahe, dass nicht alle Areale gleichermaßen an
der Verarbeitung dieser Kontur beteiligt waren, sondern dass sich ihre Verarbeitung auf
bestimmte Areale beschränkte.
3.2 Untersuchung verschiedener Konturmodalitäten
Diese Untersuchung ist als eine Fortsetzung der unter 3.1 beschrieben Untersuchung zu
sehen, bei der gezeigt wurde, dass nur in einigen der frühen visuellen Areale V1 bis MT+ bei
der Verarbeitung der durch Orientierung definierten Kontur das BOLD-Signal erhöht wurde.
Es sollte untersucht werden, ob bei der Verwendung weiterer, durch andere Merkmale
definierten Konturen, wieder die gleichen oder aber andere visuelle Areale moduliert
werden. Daher wurden, nach dem gleichen Verfahren wie in 3.1, Messungen mit
a) einer durch Bewegung,
b) durch Farbe und
c) durch einen schwachen Luminazkontrast definierten Kontur durchgeführt.
Ziel war es, für jede dieser Konturmodalitäten den spezifischen Beitrag der verschieden
Areale aufzudecken.
Dabei zeigte sich, dass jede der verwendeten Konturen (außer der durch
Luminazkontrast definierten) in den Arealen V2 und V4 zu einer signifikanten Verstärkung
der hämodynamischen Antwort führte. Es zeigten sich aber auch eine Reihe von
18
Unterschieden in anderen Arealen. So führte die durch Bewegung definierte Kontur in
V3/Vp und MT+ zu einer Modulation, die durch Farbe definierte Kontur dagegen in V1.
Zusammen mit dem Ergebnis aus 3.1, wo die durch Orientierung definierte Kontur zu einer
Modulation in dem Areal V3a führte, ergab sich für jede der Konturmodalitäten ein anderes
Muster an beteiligten Arealen.
Für die durch Bewegung und die durch Orientierung definierten Konturen können wir
aufgrund der Ergebnisse davon ausgehen, dass beide in V2 integriert wurden. Aufgrund der
Tatsachen, dass die konturspezifische Information dann in unterschiedliche höhere Areale
weitergeleitet wurde (V3/Vp bei Bewegung; V3a bei Textur), folgt, dass es sich bereits in
V2 um unterschiedliche Neuronenpopulationen handelte. Das Areal V2 hat einen
charakteristischen Aufbau mit horizontal orientierten (parallel zur Kortexoberfläche)
Subarealen (Streifen), die beim Affen eine funktionelle Subspezialisierung aufweisen. (Ts'o
et al., 2001; Xiao et al., 2003). Wir vermuten, dass diese unterschiedlich spezialisierten
Population in verschiedenen Streifen angesiedelt sind. Vermutlich wird die durch Bewegung
definierte Kontur in den V2 „thick stripes“ verarbeitet, während die durch Orientierung
definierte Kontur in den V2 „pale stripes“ verarbeitet wird.
Da die durch Farbe definierte Kontur bereits in V1 zu einer Erhöhung der
hämodynamischen Antwort führte, wurde sie vermutlich bereits in V1 verarbeitet. Dann
würde die Information anschließend nach V2 weitergeleitet. Da diese Information hier
wiederum eine andere Kombination von höheren Arealen (nur V4) weitergeleitet worden ist,
ist vermutlich eine dritte Population an V2 Neuronen beteiligt.
Diese Erkenntnisse sprechen dafür, das V2 im visuellen System des Menschen eine
zentrale Rolle bei der Verarbeitung von Konturen spielt. Innerhalb von V2 sind allerdings je
nach konturbestimmenden Merkmal andere neuronale Populationen beteiligt.
3.3 Psychophysik und Elektrophysiologie
In den vorangegangenen Arbeiten (3.1 und 3.2) konnte gezeigt werden, dass die durch
Bewegung definierte und die durch Orientierung definierte Kontur von zumindest teilweise
getrennten neuronalen Populationen verarbeitet wird. Ziel dieser Untersuchung war es, die
beiden dazu verwendeten Reizmuster näher zu untersuchen und festzustellen, ob sich die mit
fMRT gefundenen Unterschiede in der Verarbeitung auch mit psychophysischen und
elektrophysiologischen Methoden zeigen und ergänzen lassen.
Deshalb wurde in dieser Arbeit in einem psychophysischen Teil zunächst die
Wahrnehmbarkeit dieser beiden Konturmerkmale unter verschiedenen Präsentationsbedingungen untersucht. Die durch Bewegung definierte Kontur wurde in einer Darstellung
19
mit grünen Rotatoren auf einem isoluminant roten Hintergrund von den Versuchspersonen
(VPn) nicht mehr erkannt. Die Erkennung der durch Orientierung definierten Kontur wurde
allerdings durch diese Darstellung nicht beeinträchtigt. Umgekehrt verhielt es sich bei einer
Erhöhung der Rotationsgeschwindigkeit der Rotatoren. Hier verschlechterte sich die
Erkennungsleistung der VPn bei der durch Orientierung definierten Kontur, nicht jedoch bei
der durch Bewegung definierten Kontur.
Mit VEPs sollte untersucht werden, ob die getrennten Neuronenpopulationen analog zu
den Ergebnissen in 3.1 und 3.2 auch zu unterschiedlichen Komponenten im EEG führen.
Dazu wurde nach dem von Bach und Meigen 1992 vorgestellten Verfahren die Differenz
zwischen einem Reizmuster mit einer Figur und einem jeweils passenden homogenen
Kontrollmuster errechnet (tsVEP). Es wurden die Differenzpotentiale von 5 verschiedenen
Bedingungen verglichen: a&b) Zwei Varianten der durch Orientierung definierten Kontur; c)
eine durch Bewegung definierte Kontur, d) eine sowohl durch Bewegung als auch durch
Orientierung definierte Kontur und e) eine isoluminante Variante (grüne Rotatoren auf
isoluminant rotem Hintergrund) der durch Bewegung definierten Kontur. Mit einer Peak-zuPeak-Analyse konnte gezeigt werden, dass es einen signifikanten Unterschied zwischen
jeder der durch Orientierung definierten Konturen und der durch Bewegung definierten
Kontur gab, aber nicht zwischen den beiden durch Orientierung definierten Konturen.
Außerdem konnte gezeigt werden, dass die durch Bewegung definierte Kontur in
isoluminanten Farben keinen erkennbaren tsVEP-Peak im Zeitraum zwischen 180 und 250
ms enthielt.
Es konnten somit sowohl mit psychophysischen als auch mit elektrophysiologischen
Methoden Unterschiede in der Verarbeitung der beiden Reizmustertypen (Kontur durch
Bewegung und Kontur durch Orientierung) aufgezeigt werden. Für die tsVEPs lässt sich
aber nicht sicher sagen, ob diese Unterschiede auf die verschiedenen Konturmerkmale
zurückzuführen sind oder auf die Deutlichkeit der Kontur.
20
4 Zusammenfassung
Im Rahmen der hier vorliegenden Arbeiten wurde ein neues, variables Reizmuster
entwickelt,
mit
dem
sich
durch
kleine
Veränderungen
völlig
unterschiedliche
Konturmodalitäten darbieten lassen. Dieses Reizmuster bildete die Basis für die
Beantwortung einer Reihe von Fragen.
Es konnte gezeigt werden, dass die unbewusste Verarbeitung von Konturen im visuellen
Kortex des Menschen zu einer Erhöhung des BOLD-Signal führt. Dabei sind je nach
konturbestimmendem Merkmal (Farbe, Bewegung, Textur) unterschiedliche neuronale
Populationen an der Verarbeitung beteiligt. Diese Populationen sind jedoch (bei den
untersuchten Merkmalen) zu einem großen Teil im visuellen Areal V2 lokalisiert. Für das
Merkmal Farbe konnte allerdings gezeigt werden, dass die Erkennung der Konturen bereits
im primären visuellen Kortex V1 erfolgte. Es konnte somit eine Aufgabenteilung zwischen
V1 und V2 bei der Verarbeitung verschieden komplexer Konturmerkmale gezeigt werden.
Diese Ergebnisse stimmt sehr gut mit den Befunden von Einzelzellableitungen an Affen
überein und ist ein weiterer Beleg dafür, dass die Organisation der frühen visuellen Areale
V1 bis MT+ beim Menschen und bei Affen gut vergleichbar ist.
Ziel dieser Dissertation war es, die Verarbeitung von Konturen im visuellen Kortex des
Menschen zu untersuchen, allerdings sind die hier gewonnenen Erkenntnisse auch für die
aktuelle Debatte beim Affen über die Rollenverteilung von V1 und V2 bei der Verarbeitung
von Konturen und ihre Integration in die Wahrnehmung von Objekten relevant. Durch die
gleichzeitige und vergleichende Auswertung von V1 und V2 konnte eine,vom
konturbestimmenden Merkmal abhängende,Rollenverteilung von V1 und V2 gezeigt
werden.
21
5.1 Differential contribution of early visual areas to the perceptual
process of contour processing.
22
Differential contribution of early visual areas to the
perceptual process of contour processing
Mark M. Schira1,2, Manfred Fahle2, Tobias H. Donner1, Antje Kraft1, Stephan A.
Brandt1
1: Department of Neurology, Charité Humboldt University of Berlin, 10117 Berlin,
Germany
2: Department of Human Neurobiology, University of Bremen, 28359 Bremen, Germany
Abstract:
We investigated contour processing and figure-ground detection within human retinotopic
areas using event-related functional magnetic resonance imaging (fMRI) in 6 healthy and
naïve subjects. A figure (6° side length) was created by a second order texture contour. An
independent and demanding foveal letter discrimination task prevented subjects from
noticing this more peripheral contour stimulus. The contour subdivided our stimulus into a
figure and a ground. Using localizers and retinotopic mapping stimuli we were able to
subdivide each early visual area into three eccentricity regions corresponding to i) the central
figure, ii) the area along the contour and iii) the background. In these subregions we
investigated the hemodynamic responses to our stimuli and compared responses with or
without the contour defining the figure. No contour related BOLD-modulation in early visual
areas V1, V3, VP and MT+ was found. Significant signal modulation in the contour
subregions of V2v, V2d, V3a and LO occurred. This activation pattern was different from
comparable studies, which might be due to the letter discrimination task reducing
confounding attentional modulation. In V3a but not in any other retinotopic area signal
modulation corresponding to the central figure could be detected. Such contextual
modulation will be discussed in light of the recurrent processing hypothesis and the role of
visual awareness.
Keywords:
retinotopy; figure-ground segregation; visual attention; fMRI
23
Introduction:
Detection of contours is an essential early step in visual perception, and has been extensively
studied with psychophysical, electrophysiological and imaging techniques. Previous fMRI
studies in humans have shown that perception of contours leads to modulation of the BOLDsignal in early visual areas, respecting their retinotopic organization (Reppas et al. 1997;
Mendola et al. 1999; Skiera et al. 2000). These studies used passive viewing tasks, where
subjects fixate a central cross, while figures containing real or illusionary contours are
presented. While real contours led to significant modulations of the BOLD-response in all
retinotopic areas from V1 through V4, two types of illusionary contours differed in the
strength of activation of retinotopic areas including V3a, V4v, V7 and V8 bilaterally
(Mendola et al. 1999). However, passive viewing tasks suffer from critical drawbacks. Huk
et al. (2001) demonstrated that fMRI experiments using visual stimuli are very sensitive to
attentional modulation. Differentiation of attentional modulation and modulation due to
mostly stimulus-driven perceptual processes is critical for the interpretation of functional
imaging data related to contour processing. Therefore, attentional control is needed to clearly
separate perceptual processes from neuronal activity reflecting attentional modulation.
Kastner et al. (2000) used attentional control and texture defined contour stimuli, however
their study did not discriminate between signal modulations at different eccentricities within
the relevant visual areas, which is necessary to discriminate contour processing from figure
detection. While those parts of the cortex retinotopically corresponding to the contour should
process this contour, any activity located within the central part, i.e. the figure signals the
presence of this figure or object. The work of Lamme and colleagues (Lamme et al. 1995,
1998, Supér et al. 2001 clarifies this point. They found contextual responses in V1 neurons,
namely an increased neuronal spiking rate related to stimuli containing a closed figure. Not
only the neurons with receptive fields along the contour responded, but also neurons with
receptive fields inside the figure did, hence representing a contextual response. According to
these studies, V1 neurons respond to both stimuli within the receptive field and to the
context. Furthermore, Supér at al. (2001) showed that this contextual response disappears if
the monkey was not aware of the figure. These findings suggested a clear extension of the
receptive fields of V1 neurons beyond their function as simple local filters and led to the
recurrent processing hypothesis (Lamme and Roelfsema 2000, Roelfsema et al. 2002). In
short, they speculate that the local receptive field properties determine a fast and early feedforward sweep of activity while the contextual response extending the receptive field results
from a more complex and slower recurrent feedback process.
24
The aim of the present study was to reexamine the modulation of retinotopic subparts
corresponding to the figure, the contour and the background, while controlling for the
particular attentional effort. An event-related design was used, therefore our experimental
design resembles those used by Lamme and colleagues. Our subjects performed a
demanding foveal letter discrimination task, similar to that used by Braun (1994). At the
same time, we presented contour stimuli without relevance to the letter task. In fact, subjects
remained unaware that contour stimuli had been presented at all. By avoiding recurrent
feedback, this design aimed at maximizing its sensitivity to reveal early steps of visual
processing.
Material and Methods:
Subjects:
Four male and two female students (21 to 29 years, mean = 25 y, sd = 3.1 y) from the
Humboldt University of Berlin served as subjects in the study, which was conducted in
conformity with the declaration of Helsinki. All subjects had no history of neurological or
psychiatric disorders and reported normal visual acuity. Subjects were paid for their
participation and signed a consent form.
Contour Stimuli:
To measure activity related to contour processing we designed a stimulus (rotator-stimulus,
R-Stim) consisting of 13x13 small rotating elements (0.6° diameter each). Each rotator
consisted of three small dots arranged in a line (Fig. 1a). The two outer dots rotated around
the central dot, thus creating the percept of a rotating line, without overall changes in
luminance or contrast. This stimulus avoids luminance artifacts on a digital screen, and is
therefore well suited for fMRI experiments using a LCD projector. In half of the trials the
5x5 central elements rotated with a phase lag of 180 ms. Due to the phase lag, the inner
rotators had a tilt relative to the outer rotators, thus creating the percept of an isoeccentric
(3°) square (Fig. 1b). As all rotators were moving in the same way it was the relative tilt
which defined the square’s contour, not motion cues. This was confirmed in psychophysical
pilot experiments prior to the fMRI study. We could show that the stimulus provided a clear
figure-ground contrast even in an isoluminant red-green condition, while the contour percept
disappeared with increasing speed of the rotators. If the rotators had contained a significant
motion related contour, then the figure-ground contrast should have been enhanced.
25
In the fMRI study we tested two conditions: First, the control condition without the square’s
contour where the 13x13 rotators created a homogenous array of 8° side length. Second, the
figure condition with the additional contour (3° eccentricity on the horizontal meridian) was
present. This contour separated the array into a figure and a background (Fig. 1b). The
difference between the two conditions is well defined and easily detectable for an attending
observer.
The two conditions were presented in a randomized rapid event-related design, consisting of
2 scanning sessions of 695 each volumes corresponding to 25 min duration. Each stimulus
was presented for 800 ms, ISI varied from 4–14 s (7.9 s average), resulting in 2x180 trials.
--- Figure 1 about here --Letter Discrimination Task:
Subjects’ attention was directed centrally by performing a foveal letter discrimination task
(Fig. 1a). Subjects had to decide in a two alternative forced choice paradigm (2AFC),
whether these 5 elements were all identical (that is five L’s or five T’s), or if one differed,
(e.g. four T’s and one L). We chose this task because it has been studied extensively in
former studies (Braun et al. 1994, 1998; Li et al. 2002). Subjects were instructed to perform
the letter task as accurately as possible without wasting time. This task prevented subjects
from consciously perceiving the square’s contour. After the experiment subjects were
informed about the presence of a contour in some of the stimuli. Each subject was
immediately able to detect the contour, but none had realized that the contour had also been
present during the experiments. Before the fMRI sessions, subjects participated in a training
session to get accustomed to the letter discrimination task.
Mapping Stimuli:
Recall that the control condition created a homogeneous array. In the figure condition,
however, this array was subdivided in three parts, parafoveal figure, the contour of the
square and the background. To analyze the data of the R-Stim recordings, we accordingly
divided each of the early visual areas (V1-V4) into three subregions (Regions of Interest,
ROI). The inner figure region is represented by the parafoveal space between 1°-2.5°
eccentricity, the neighboring contour area ranged from 2.5°-3.5° and the outer peripheral
ROI ranged from 3.5°-8°. To separate these three eccentricity ranges we designed a
customized eccentricity mapping experiment (Fig. 1c-d), which provided localizers for the
ROIs.
26
To define the borders separating early visual areas we used a meridian mapping experiment
(DeYoe et al. 1996). In order to induce an effective activation in higher visual areas we
combined classical checkerboard stimuli and sequences from popular TV-comic-strips
(Sereno et al. 2001). All mapping stimuli contained a central fixation dot and subjects were
instructed to maintain fixation.
Equipment and fMRI Protocols:
The visual stimuli were displayed by ERTS (BeriSoft Cooperation, Frankfurt, Germany) and
projected by a NEC LCD Projector and a custom-made lens on a small back projection
screen (Daplex, 20*15 cm) mounted in front of the head coil. Subjects viewed the screen via
a mirror at a distance of approximately 24 cm. MRI-data were acquired using a 1.5 T
MAGNETOM Vision (Siemens Medical Systems, Erlangen, Germany) equipped with an
EPI-booster and a standard head coil. Functional measurements were performed using single
shot EPI-sequences (TE=60ms; FA 90°). Structural three-dimensional data sets were
acquired in the same session, using a T1-weighted sagittal MP-Rage-sequence
(TR/TE = 10/4 ms; FA = 12°; TI = 100 ms; voxel size = 1 mm3). High quality threedimensional data sets for each subject were previously recorded using a T1-weighted sagittal
FLASH-sequence (TR/TE = 38/5 ms; FA = 30°; voxel size = 1 mm3) with two acquisitions
for excellent gray-white contrast for accurate segmentation and reconstruction of individual
surface structures.
Data Analysis:
FMRI data were analyzed using BrainVoyager 4.6 software package (BrainInnovation,
Maastricht, Netherlands). Functional data preprocessing contained motion correction, linear
trend removal and slight Gaussian 3D spatial smoothing (3 mm FWHM: meridian-mapping
or 4 mm for eccentricity-mapping and figure-ground measurements). The block-design
measurements (meridian- and eccentricity-mapping) were also temporally smoothed (4 s
FWHM). The event-related figure-ground measurements were slice scan time corrected.
We segmented and reconstructed the surface of the white matter and produced flat maps
from the high resolution structural MRI images of each subject. Based on the results of the
mapping experiments as described above Regions of Interest (ROIs) were defined. Each of
the early visual areas (V1, V2d, V2v, Vp, V3, V4v, V3a) contained three eccentricity based
ROIs: parafoveal, contour and periphery (Fig. 2d). Further ROIs, which were identified in
only 4 of the six subjects covered area MT+ and area LO. MT+ was localized with a low
contrast motion stimulus similar to the one described by Tootell et al. (1997). The ROI
covering LO (Grill-Spector et al. 1999) was defined as the region located between the
27
ventral border of MT+ and the foveal representation of V4v and V3. LO was hence defined
by the location of the neighboring areas and not by specific functional characteristics. Thus,
definition of ROIs was not confounded with data from figure-ground experiments.
To test whether the responses of the two conditions of the R-Stim (figure vs. control) differ
significantly, we performed paired t-tests on the hemodynamic response curves for all 23
ROIs. We defined the significance level at p<0.05 after Bonferroni correction.
Results:
The mapping measurements allowed us to define 23 ROIs (Table 1). Each of the selected
ROIs showed a clear hemodynamic response ranging from 0.3 % to 0.7 % signal change in
both conditions (Fig. 2, Table 2). In all ROIs of V1, however, the response to the stimulus
was equally strong, irrespective of the presence or absence of contours in the stimulus,
implying no contour related signal in this area (Fig. 2a-c). In both ventral and dorsal V2 the
response was stronger for stimuli with contour than for the control (Fig. 2e-f), while signals
of the parafoveal and peripheral ROIs of V2 remained unchanged (Table 2). In higher visual
areas, we found a strong contour related signal modulation in LO, while in MT+ no
modulation could be detected (Fig. 2g-h).
Table 2 summarizes the responses of all the ROIs (except LO and MT+, see Fig. 2g-h for
their results), showing the peak of the hemodynamic response to the R-Stim. The response to
stimuli containing the figure increases significantly (marked bold) in several ROIs. This
always occurred (except in area V3a) in ROIs corresponding to the eccentricity at which the
figure-ground boundary was located (=ROI: contour). V3 and VP showed no or only weak
(not significant) contour related modulation of the response. The areas V3a and V4v showed
a significant signal increase in the contour ROIs. In V3a, this increase was present not only
in the contour ROI but also in the parafoveal ROI, which suggests a response to the area
inside the square, i. e. a figure response.
Discussion:
Applying a foveal attention-demanding letter discrimination task prevented subjects from
noticing the peripheral contours and avoided contour related attentional modulations. Thus,
signal modulations should be related to primarily preattentive contour processing. We
demonstrated that it is possible to measure a significant signal modulation related to a
processing of locally invisible contours, even after exclusion of attentional modulation. We
28
found no contour related modulation in V1, V3, VP and MT+, but significant modulation in
V2, V3a, V4v and LO.Differences to Previous Studies:
A prominent difference between our results and those of comparable fMRI studies (Reppas
et al. 1997; Mendola et al. 1999; Kastner et al. 2000; Skiera et al. 2000) is the pronounced
signal modulation in V2, while in V1 and V3/Vp modulation could not be detected. Of
course, it can not be concluded that there was a complete absence of contour related
modulations in V1. Nevertheless, we would like to emphasize that the hemodynamic
responses in V1 to both conditions of the R-Stim (reflecting the response related to the
receptive field properties), were almost identical. We think the different results in V1 and V2
reflect the fact that the processing of the square’s contour modulates V2, but not V1, while
additional attentional modulation is prevented by the foveal letter discrimination task.
Response in the Figure Part:
Why was significant signal modulation in the figure part absent in V1 and V2? Such figure
response was described by Lamme and colleagues (Lamme et al. 1995, 1998) who found
modulation of firing rates of V1 neurons whose receptive fields covered exclusively the
figure part of a figure-ground stimulus. A possible explanation for the lack of significant
fMRI activity is supplied by the “recurrent processing”-hypothesis (Supér et al. 2001,
Lamme and Roelfsema 2000, Roelfsema et al. 2002). This hypothesis suggests that
conscious figure perception is necessary to induce a figure response of this kind. By contrast,
our stimulus was designed to avoid conscious figure perception and thus did not induce a
signal modulation within the figure part. In this context one might speculate that the absence
of significant V1 modulation in our experiments reflects the fact that subjects were not aware
of the presence of the figure (Supér et al. 2001). In summary V1 should be modulated by
contour stimuli either if i) neurons contribute to the processing of the global contour
(bottom-up), ii) if attention is attracted (top down) or iii) by conscious perception of the
contour (recurrent processing). We hypothesize that those premises were not given in our
experimental paradigm, although the last two points are difficult to prove.
Response Differences of V1 and V2:
Why does V2 but not V1 respond to the contour stimulus? First, the receptive fields of
neurons in V2 are significantly larger than in V1 (Smith et al. 2001). A local receptive field
based receptor must cover at least two rotators to detect the contour. Exact receptive field
sizes are unknown for humans, but in the macaque the receptive field sizes at an eccentricity
of 3° (position of the square’s contour) range inV1 up to 0.8°, and in V2 from 1.2-2.0° (Lee
29
et al. 2001). Thus, receptive fields of 2° would be able to span two rotators while 0.8° should
be too small since two rotators span 1.4°.
Second, Hegdé and Van Essen (2001) found V2 neurons with selectivity to rather complex
texture elements like arcs or circles. These neurons seem to prefer complex texture
properties such as the ones responsible for contour segregation of our stimulus. So far cells
with comparable receptive field properties could not be identified in V1. These cells seem to
be well suited to detect the relative tilt of our rotators. Thus, the receptive field size alone
probably does not explain the absence of significant V1 modulation. In fact, von der Heydt
and Peterhans (1989) have compared the response of monkey V1 and V2 neurons to abutted
line gratings and other stimuli creating an illusory or anomalous contour percept. They found
a significant response in V2, but not in V1 neurons to their stimuli. This finding was recently
supported and extended by Ramsden et al. (2001) using optical imaging.
V3 and V3a:
The results for areas V3 and V3a appear to be in line with the physiology of these areas in
the macaque monkey. Unfortunately, the homology between macaques and humans is
problematic especially in V3a (Vanduffel et al. 2001). It is important to note that even
though our stimulus contains motion this information did not produce the square’s contour.
V3 showed a BOLD-response for the homogeneous R-Stim but this response was not further
enhanced by the square’s contour. In contrast, V3a neurons showed clear contour related
modulation. The V3a response is particularly strong and also remarkable because V3a is the
only area with significant modulation in the figure part. V3a neurons have relatively large
receptive fields and they contain a complete and contiguous representation of the visual
field. These properties are good requisites for figure integration, but they do not
satisfactorily explain why exclusively V3a contained contextual responses.
The Role of V4v:
V4v is known to play a central role in attentional processes relevant for some types of visual
search. It is supposed to play a central role in performing attentional shifts for example
during visual conjunction search. The letter discrimination task was designed by Braun
(1994) to prevent these attentional shifts. Hanazawa and Komatsu (2001) demonstrated
selectivity of V4 neurons in macaques for complex texture properties. Since we controlled
attentional modulation, we would like to argue that the V4v modulation expresses contour
processing alone.
LO and MT+:
30
While the response of MT+ remains unaffected by the square’s contour, LO shows a clear
modulation indicating the processing of the contour. This activation is possibly due to a
feed-forward flow of contour information derived from V2, or due to a feature contour
system detecting salient regions as postulated by Grossberg et al. (1994). Recent fMRI
results (Stanley & Rubin 2003) propose that LO plays a critical role in a feature contour
system.
Conclusions:
Contour processing was investigated with a second order contour stimulus using an event
related fMRI design at a high spatial resolution. Control of attentional modulation during
contour perception prevented unspecific BOLD responses. We suggest that the contour
stimulus was primarily processed in V2 and then feed-forward propagated to V3a, V4v and
LO. Interestingly, neither V1 nor V2 showed contextual modulation, but V3a did. The
combination of eccentricity-matched fMRI responses with an attentional control paradigm
leads to activation patterns different from those described in similar studies. We speculate
that we were imaging primarily feed-forward processing of contours within one processing
stream.
31
References:
Braun J. Visual search among items of different salience: removal of visual attention mimics
a lesion in extrastriate area V4. J Neurosci; 14(2):554-67, 1994.
Braun J, Julesz B. Withdrawing attention at little or no cost: detection and discrimination
tasks. Percept Psychophys; 60(1):1-23, 1998.
Dale AM and Buckner RL. Selective averaging of rapidly presented individual trials using
fMRI. Hum Brain Map; 5:329-340, 1997.
DeYoe EA, Carman GJ, Bandettini P, Glickman S, Wieser J, Cox R, Miller D, Neitz J.
Mapping striate and extrastriate visual areas in human cerebral cortex. Proc Natl Acad Sci U
S A; 19;93(6):2382-6, 1996.
Grill-Spector K, Kurshnir T, Edelman S, Avidan G, Itzchak Y, Malach R. Differential
Processing of Objects under Various Viewing Conditions in the Human Lateral Occipital
Complex. Neuron; 24:187-203, 1999.
Grill-Spector K, Kourtzi Z, Kanwisher N. The lateral occipital complex and its role in object
recognition. Vis Res; 41:1409-1422, 2001b.
Grossberg S. 3-D vision and figure-ground separation by visual cortex.
Percept Psychophys; 55(1):48-121, 1994.
Hanazawa A, Komatsu H. Influence of the direction of elemental luminance gradients on the
responses of V4 cells to textured surfaces. J Neurosci; 21(12):4490-7, 2001.
Hegde J, Van Essen DC. Selectivity for complex shapes in primate visual area V2. J
Neurosci; 20(5):RC61, 2000.
Von der Heydt R, Peterhans E. Mechanisms of contour perception in monkey visual cortex.
I. Lines of pattern discontinuity. J Neurosci; 9(5):1731-48, 1989.
32
Huk AC, Ress D, Heeger DJ. Neuronal basis of the motion aftereffect reconsidered. Neuron;
32(1):161-72, 2001.
Kastner S, De Weerd P, Ungerleider LG. Texture segregation in the human visual cortex: A
functional MRI study. J Neurophysiol; 83(4):2453-2457, 2000.
Lamme VA. The neurophysiology of figure-ground segregation in primary visual cortex. J
Neurosci; 15(2):1605-15, 1995.
Lamme VA, Zipser K, Spekreijse H. Figure-ground activity in primary visual cortex is
suppressed by anesthesia. Proc Natl Acad Sci U S A; 17;95(6):3263-8, 1998.
Lamme VA, Roelfsema PR. The distinct modes of vision offered by feed-forward and
recurrent processing. Trends Neurosci; 23(11):571-9, 2000.
Lee TS, Yang CF, Romero RD, Mumford D. Neural activity in early visual cortex reflects
behavioral experience and higher-order perceptual saliency. Nat Neurosci; 5(6):589-97,
2002.
Li FF, Van Rullen R, Koch C, Perona P. Rapid natural scene categorization in the near
absence of attention. Proc Natl Acad Sci U S A; 99(14):9596-601, 2002.
Mendola JD, Dale AM, Fischl B, Liu AK, Tootell RB. The representation of illusory and
real contours in human cortical visual areas revealed by functional magnetic resonance
imaging. J Neurosci; 19(19):8560-72, 1999.
Reppas JB, Niyogi S, Dale AM, Sereno MI, Tootell RB. Representation of motion
boundaries in retinotopic human visual cortical areas. Nature; 388(6638):175-9, 1997.
Roelfsema PR, Lamme VA, Spekreijse H, Bosch H. Figure-ground segregation in a
recurrent network architecture. J Cogn Neurosci; 14(4):525-37, 2000.
Sereno MI, Yu HH, Vogel EK. Mapping retinotopy in higher level extrastriate visual areas
in humans. Meeting of the Society for Neuscience, San Diego, Abstr. No. 11.7, 2001.
33
Skiera G, Petersen D, Skalej M, Fahle M. Correlates of figure-ground segregation in fMRI.
Vision Res; 40(15):2047-56, 2000.
Smith AT, Singh KD, Williams AL, Greenlee MW. Estimating receptive field size from
fMRI data in human striate and extrastriate visual cortex. Cereb Cortex; 11(12):1182-90,
2001.
Stanley DA, Rubin N. FMRI activation in response to illusory contours and salient regions
in the human lateral occipital complex. Neuron; 37(2):323-31, 2003.
Supér H, Spekreijse H, Lamme VA. Two distinct modes of sensory processing observed in
monkey primary visual cortex (V1). Nat Neurosci; 4(3):304-10, 2001.
Tootell RB, Mendola JD, Hadjikhani NK, Ledden PJ, Liu AK, Reppas JB, Sereno MI, Dale
AM. Functional analysis of V3A and related areas in human visual cortex. J Neurosci;
17:7060-78, 1997.
Vanduffel W, Fize D, Mandeville JB, Nelissen K, Van Hecke P, Rosen BR, Tootell RB,
Orban GA. Visual motion processing investigated using contrast agent-enhanced fMRI in
awake behaving monkeys. Neuron; 32(4):565-77, 2001.
34
Table and Figure legends:
Table 1: ROIs size. The table contains size and standard deviation of the ROIs, averaged
over subjects and hemispheres. Since one functional voxel had a size of approx. 36mm3, the
445mm3 of the parafoveal ROI in V1 (and therefore the results in Table 2 and Fig. 2a)
reflect about 12 functional voxels.
Table 2: Peak responses of all ROIs placed in early retinotopic areas from V1-V4v(in %
signal change, ± standard errors). ROIs in which the responses of the two conditions differed
significantly (p < 0.05) are printed in bold letters.
Figure 1: Experimental Setup. (a) The stimuli are composed of rotators and the central letter
task. (b) Stimuli are composed of 13x13 rotators, creating figure and ground (figure
condition) or a homogeneous array (control condition). Stimuli and the central letter task
were simultaneously displayed for 800 ms. The sequence was randomized and the duration
of fixation varied from 4-14 seconds. (c) Schematic illustration of the video stimuli used for
the eccentricity mapping. Colored bars below indicate the color of the corresponding
mapping used in d and also in Fig. 2. (d) Reconstructed occipital part of a right hemisphere
(subject HZ). The reconstruction is partially inflated and smoothed for better visualization of
V1 in the calcarine sulcus. The colors red, green and dark blue reflect the cortex regions that
are activated by the corresponding stimuli illustrated in c.
Figure 2: Results. (a, b, c) Hemodynamic responses to the R-Stim in the different V1 ROIs
(periphery, contour, parafoveal). Graphs show the response averaged for all six subjects and
both hemispheres, summarizing 2160 trials for each curve. In V1, no signal difference
between control and figure stimulus could be found. (d) A reconstructed flat patch of a right
occipital cortex from one subject. The results of the eccentricity mapping are depicted in red,
green and dark blue. The labels of the retinotopic visual areas are placed in the green colored
contour ROIs. The ROIs of the other eccentricities (parafoveal and periphery) are placed
beneath. The borders of previously described retinotopic areas (V1, V2, V3, Vp, V3a; V4v)
are indicated as green and pink lines. (e, f) In the contour ROI of V2v we see a clear figurerelated signal change. The time-course with small error bars (SE) reflects the high similarity
between subjects and the low noise. V2d shows similar results. (g, h) MT+ and LO, both
35
areas with no or only coarse retinotopy, show different results. The signal of MT+ is not
different between the two conditions, LO signal is clearly modulated by the figure.
36
Tables:
Table 1:
parafoveal
contour
periphery
V1
V2v
V2d
V3
Vp
V3a
V4v
445mm3±202
230mm3±63
291mm3±107
295mm3±86
337mm3±221
224mm3±77
236mm3±168
3
3
3
3
3
3
415mm ±239 290mm ±152 283mm ±171 326mm ±117 266mm ±174 380mm ±129 261mm3±188
447mm3±190 295mm3±110 331mm3±106 388mm3±200 305mm3±121 337mm3±143 315mm3±193
Table 2:
parafoveal
contour
periphery
area
control
figure
control
figure
control
figure
V1
V2v
V2d
V3
Vp
V3a
V4v
0.35%±0.035
0.26%±0.035
0.22%±0.033
0.23%±0.031
0.20%±0. 44
0.16%±0.035
0.16%±0.039
0.36%±0.035
0.30%±0.034
0.25%±0.032
0.24%±0.031
0.23%±0.043
0.23%±0.035
0.17%±0.038
0.36%±0.035
0.27%±0.037
0.29%±0.038
0.23%±0.031
0.19%±0.029
0.19%±0.037
0.16%±0.048
0.37%±0.035
0.36%±0.034
0.37%±0.039
0.24%±0.031
0.21%±0.28
0.29%±0.036
0.25%±0.042
0.31%±0.33
0.25%±0.035
0.28%±0.035
0.20%±0.040
0.21%±0.032
0.27%±0.046
0.21%±0.043
0.32%±0.033
0.28%±0.032
0.29%±0.035
0.21%±0.042
0.21%±0.030
0.32%±0.042
0.23%±0.036
37
Figure 1:
(c)
(a)
(d)
(b)
figure condition
800ms
control condition
800ms
fixation
4-14s
Figure 2:
0.6
0.2
0.0
-0.2
-4
0
4
8
12
0.4
0.2
0.0
-4
0
4
8
12
0.4
0.2
0.0
-4
0
4
8
12
-0.2
0.6
% signal change
0.4
0.2
0.0
-4
0.6
(e) V2d contour
% signal change
% signal change
0.6
(d)
(c) V1 parafoveal
0
4
8
12
8
12
8
12
-0.2
-0.2
0.4
0.2
0.0
0
4
0.4
0.2
0.0
-4
0
0.6
(g) MT+
-4
(f) V2v contour
8
12
-0.2
4
-0.2
% signal change
0.4
0.6
(b) V1 contour
% signal change
(a) V1 periphery
% signal change
% signal change
0.6
(h) LO
0.4
0.2
0.0
-4
0
4
-0.2
control
figure
38
5.2 Modality specific contour integration in human early visual
areas
39
Modality specific contour integration in human early
visual areas
Mark M. Schira1,2, Manfred Fahle2, Antje Kraft1, Stephan A. Brandt1
1: Department of Neurology, Charité Humboldt University of Berlin, 10117 Berlin,
Germany
2: Department of Human Neurobiology, University of Bremen, 28359 Bremen, Germany
Abstract
We investigated contour processing in different contour modalities using event related fMRI.
An isoeccentric square (6°) was defined by either i) texture, ii) motion, iii) color or iv) graylevel, while stimuli were otherwise virtually identical. We compared the BOLD-responses of
trials containing contours to control trials without such a contour. A demanding foveal letter
discrimination task prevented subjects from noticing the peripheral contour stimulus, thus
avoiding attentional bias in activation of early visual areas. Customized retinotopic mapping
and cortical flattening techniques were used to identify the retinotopic localization of the
contour related responses and to investigate contextual responses. BOLD-modulations
related to contours were mostly restricted to the subpart of visual cortex corresponding to the
retinotopic representation of the contours. The activation patterns in different visual areas
varied in respect to the contour defining modality. All modalities activated areas V2 and V4,
but in other retinotopic areas the responses differed. V1 was only activated by the color
contour. Further, V3A was activated by texture- and V3/VP by motion-contour stimuli.
Therefore, we suggest that these specific activation patterns reflect different neuronal
populations engaged in the processing of different contour modalities. Here, V2 may serve
as the main contour processing area, while higher retinotopic areas contribute modality
specific information.
Key words: fMRI; event related; contextual response; retinotopy, extrastriate cortex
40
Introduction
During evolution, primates developed amazing capabilities to separate figure from ground
by integrating contours from various contrast sources. Contours can be defined by several
features such as color or luminance contrast, orientation or motion. Frequently studied were
contours defined by orientation contrast (Lamme, 1995; Kastner et al., 2000; Marcus and
Van Essen, 2002) or displaced gratings (Mendola et al., 1999; Ramsden et al., 2001; von der
Heydt and Peterhans, 1989). Another very common stimulus type were illusory contours,
e.g. of the Kanizsa type (Kanizsa, 1976; Kapadia et al., 1995; Bakin et al., 2000; Lee and
Nguyen, 2001). Fewer studies investigated motion-defined contours (Lamme, 1995; Reppas
et al., 1997). These studies reported partially controversial results in regard to the anatomical
basis of contour processing. This is probably due to the wide spectrum of different contour
modalities and the large variety of different tasks used in these studies (detection tasks, dual
task, contour irrelevant for task, different depth of anesthesia). Some electrophysiological
data recorded in monkeys suggested a central role of V2 in contour processing while others
argued for an important role of V1 for contour processing (Kapadia et al., 1995; Lee and
Nguyen, 2001; Marcus and Van Essen, 2002). FMRI studies on human vision contributed to
the discussion by supplying data obtained from multiple retinotopic areas, while focusing on
extrastriate areas. Several studies reported significant modulations in the Lateral Occipital
Region (LOR) located just anterior to the early visual areas V3/V3a and V4v (Mendola et
al., 1999; Kourtzi et al., 2003; Stanley and Rubin, 2003). These findings were interpreted as
reflecting a detection mechanism for a salient region rather than contour processing per se
(Stanley and Rubin, 2003). Except for Mendola et al. (1999) who focused on illusory
contours, other studies have not compared different contour modalities. The aim of the
current study was to analyse the differential response of early visual areas V1 to V5 to
contours defined by different modalities. Specifically, our interest was to investigate
activation within identified areas (contour versus figure sub area) and differential
contributions of these areas through different contour modalities. We designed a set of
contour stimuli containing the same basic stimulus elements while varying the individual
contour defining properties. In addition, a demanding attention task controlled for unwanted
attentional modulations. This work is in continuation of previously published data on
contours defined by texture orientation (Schira et al., 2004). We now present data from three
additional stimuli, defined by motion, color and luminance contrast.
41
Methods
Subjects
Four male and two female students aged 23 to 31 years (mean = 26, sd = 2.3) from the
Humboldt-Universität zu Berlin served as subjects in the study, which was conducted in
conformity with the declaration of Helsinki. Subjects had no history of neurological or
psychiatric disorders and reported normal visual acuity. They were paid for their
participation and signed a consent form.
Stimuli
We designed a stimulus consisting of 13x13 small rotating elements (0.6° diameter each).
Each rotator consisted of three small dots arranged in a line (Fig. 1a). The two outer dots
rotated around the central dot, thus creating the percept of a rotating line. There were no
overall changes in luminance or contrast. This stimulus avoids luminance artifacts on a
raster-screen, and is therefore well suited for fMRI experiments using a LCD projector. In
half of the trials (figure conditions) the 5x5 central elements differed from the outer rotators,
thus creating the percept of an isoeccentric square (radius 3°, Fig. 1b) defined by a) rotation
speed, b) isoluminant color or c) gray level. In the control conditions the properties
separating figure and periphery rotators were randomly distributed, therefore all 169 rotators
created a homogeneous array. For details regarding luminance, color and rotation speed see
table 1.
--- Table 1 about here ---
Experiment 1: (motion)
Stimulus presentation time was 800 ms.. The parafoveal rotators started at twice the speed of
the peripheral rotators and after 200 ms, 400 ms and 600 ms the rotation speeds of
parafoveal and periphery rotators were swapped. Therefore, each rotator rotated fast and
slow twice and the differential speed between parafoveal and peripheral rotators created the
percept of a central square. To balance for speed within the figure condition, we used two
variants: one with initial fast rotation within figure and one with initial fast rotation within
surround.
In the control condition the two rotator speeds were randomly distributed. No contour or
figure percept was created. The stimulus produced the percept of a homogenous array.
Experiment 2: (color)
42
The rotators were isoluminant red or green on an isoluminant gray background (Figure 1 a).
In the control condition, the two colors were randomly distributed without inducing a figure.
In addition, to match Experiment 1, we also introduced the two different rotation speeds
(randomly distributed). In the control condition the colors were randomly distributed,
therefore the stimulus was a homogeneous array.
Experiment 3 (gray level)
The setup was similar as in Experiment 2. Instead of two different colors (red, green) on a
gray background three different gray levels were used. The gray level of the background was
identical to Experiment 2, but instead of colors we used gray levels (+5% and –5%
luminances relative to background). This experiment was designed to control for the small,
but inevitable luminance differences between the colors in experiment 2.
Attentional control
Most electrophysiological studies on the macaque agree that the attentional modulation of
V1 and V2 neurons is weak (e.g. Marcus and Van Essen, 2002). In human subjects,
however, fMRI measurements proved significant attentional modulations in early visual
areas (Brefczynski and DeYoe, 1999), which can be confounded with stimulus driven
activity (Huk et al., 2001). In order to control for attentional modulation in early visual areas,
we additionally applied a demanding attentional letter discrimination task (Braun, 1994).
Subjects had to decide in a two alternative forced choice paradigm (2AFC), whether five
presented letters (Fig. 1b) were all identical (that is five L’s or five T’s), or whether one
differed (e.g. four T’s and one L). We chose this task because it has been investigated
extensively in former studies (Braun, 1994; Lee et al., 1999) and proved to bind a substantial
amount of attention. Subjects were instructed to perform this letter task swiftly, but as
accurately as possible. This task prevented subjects from consciously perceiving the square’s
outline. After the experiment, subjects were informed about the presence of a contour in
some of the stimuli. Each subject was immediately able to detect the contour hereafter, but
none had realized that the contour had also been present during the experiments. Before the
fMRI sessions, subjects participated in a training session to get accustomed to the letter
discrimination task.
Equipment and fMRI protocols
The visual stimuli were displayed by ERTS (BeriSoft Cooperation, Frankfurt, Germany) and
projected by a NEC LCD Projector and a custom-made lens on a small back projection
screen (Daplex, 20*15 cm) mounted in front of the head coil. Subjects viewed the screen via
a mirror at a distance of approximately 24 cm. MRI-data were acquired using a 1.5 T
43
Magnetom Vision (Siemens Medical Systems, Erlangen, Germany) equipped with an EPIbooster and a standard head coil. Functional measurements were performed using single shot
EPI-sequences (TE=60ms; FA 90°). Structural three-dimensional data sets were acquired in
the same session, using a T1-weighted sagittal MP-Rage-sequence (TR/TE = 10/4 ms; FA =
12°; TI = 100 ms; voxel size = 1 mm3). High quality three-dimensional data sets for each
subject were previously recorded using a T1-weighted sagittal FLASH-sequence (TR/TE =
38/5 ms; FA = 30°; voxel size = 1 mm3) with two acquisitions for excellent gray-white
contrast as required for accurate segmentation and reconstruction of individual surface
structures.
Data analysis
FMRI data were analyzed using BrainVoyager 4.9 software package (BrainInnovation,
Maastricht, Netherlands). Functional data preprocessing contained motion correction, linear
trend removal and slight Gaussian 3D spatial smoothing (3 mm FWHM for meridianmapping or 4 mm FWHM for eccentricity-mapping and figure-ground measurements). The
block-design measurements (meridian- and eccentricity-mapping) were also temporally
smoothed (4 s FWHM). The event-related figure-ground measurements were slice scan time
corrected.
We segmented and reconstructed the surface of the white matter and produced flat maps
from the high resolution structural MRI images of each subject. Based on the results of the
mapping experiments as described above Regions of Interest (ROIs) were defined. Each of
the early visual areas (V1, V2d, V2v, Vp, V3, V4v, V3a) contained three eccentricity based
ROIs: parafoveal (containing the center of the figure), contour and periphery (Fig. 2d).
Further ROIs covered area MT+ and area LO.
MT+ was localized with a low contrast motion stimulus similar to the one described by
Tootell et al. (1997). Thus, definition of ROIs was not confounded with data from figureground experiments.
To test whether the responses of the two conditions of the Rotator-Stimuli (figure vs.
control) differ significantly, we performed paired t-tests on the hemodynamic response
curves for all 23 ROIs. We defined the significance level at p<0.05 after Bonferroni
correction.
44
Results
Retinotopy
Retinotopic mapping of early visual areas in humans is a standard technique applied by
many groups. Although retinotopic mapping procedures are common and based on the same
principles, protocols of different groups vary in the applied techniques and also in the
results. There are several fMRI studies using retinotopic mapping procedures to analyze
visual area organization (Mendola et al., 1999; Grill-Spector et al., 2000; Huk et al., 2001;
Tootell and Hadjikhani, 2001; Wade et al., 2002; Dougherty et al., 2003; Tootell et al.,
2003). These studies show a good congruency in location and spatial extent of areas V1 to
V4v and area MT+. We mapped 12 subjects with regard to the retinotopy in these areas (Fig.
2). For 21 of 24 hemispheres we succeeded in mapping at least the three eccentricity based
ROIs in V1 and V2 (parafoveal, contour, periphery). In 3 hemispheres the retinotopic
mapping did not allow a clear separation of the six ROIs in V1 and V2 and these were
therefore excluded from further analysis.
Lateral occipital
We also investigated an area that is commonly referred to as LO (“lateral occipital” subpart
of the lateral occipital complex, Grill-Spector et al., 1998; Grill-Spector et al., 2001). To
investigate the response in this area we triangulated this ROI using the locations of MT+,
V4v and V3. The responses in these ROIs showed significant signal modulation and contour
responses in all experiments.
General responses to the rotator stimuli
Generally all rotator stimuli induced a hemodynamic response (Fig. 4) following the typical
hemodynamic response curve reported by several studies (Boynton et al., 1996). This
modulation was present in all ROIs over all experiments and conditions, but the amplitude of
the responses varied. While response differences between experiments are unreliable,
differences between the two conditions of one experiment deliver meaningful information.
Experiment 1: MOTION contour
The MOTION contour significantly modulated the BOLD-response in the contour region of
V2v, V2d, V3, Vp and MT+ (Fig. 3b, Table 2). V3a on the other hand was not modulated by
the motion contour. These results with motion induced activation in V3/Vp and texture
induced activation in V3A (Fig.3a) complement our previous findings (Schira 2004).
---- Figure 2 about here ---45
---- Table 2 about here ---Experiment 2: COLOR contour
The COLOR contour significantly modulated the BOLD responses in the contour region of
V1, V2v, V2d and V4v. Interestingly, in V4v also the BOLD response in the figure ROI was
modulated significantly (Fig. 2c, Table 3).
Generally, V1 responses to the COLOR stimuli were smaller compared to the TEXTURE or
MOTION stimuli. Nevertheless the square’s contour lead to a significant (p<0.05 Bonferoni
corrected) modulation during presentation of the color contour compared to the control
stimulus (Fig. 4).
---- Table 3 about here ----
Experiment 3: GRAY-LEVEL contour
The GRAY-LEVEL contours significantly modulated the hemodynamic response in area
V2v when compared against the control condition (Fig. 2d, Table 4). Neither in V2d nor in
any other tested ROI (apart from V2v) did the BOLD-responses between the two conditions
differ significantly. In general BOLD-responses to the stimuli of this experiment were small
(for example V1: 0.22% instead of 0.34%), especially in V1 and V2, while in V3a and MT+
response amplitudes resembled those of experiments 1 and 2. The small responses in V1/V2
are due to the low stimulus contrast which was necessary to design this stimulus as a control
for Experiment 2.
---- Table 4 about here ----
Discussion
Our aim was to compare the differential activation induced by various contour modalities.
Our stimuli have very similar physical properties regarding contrast, rotation speed,
luminance and spatial frequency. Yet the contours are created in physiologically very
different ways. These physiological differences were reflected in different activation patterns
obtained from the fMRI time course analysis in the respective retinotopic areas.
46
Contours from motion and texture
The hemodynamic responses differ in the modulation of V3/Vp and V3a. Assuming that
both contours are detected in V2, the motion contour thus propagates to area V3/Vp, while
the orientation contour is propagated mainly to V3a. From this dissociation it might be
deduced that both contours are processed primarily in V2. Accordingly, this process would
necessarily be realized by two at least partially different neuronal populations. The two
neuronal populations probably belong macroscopically to different types of stripes within
V2. Thus in accordance with monkey physiology (Ts'o et al., 2001; Xiao et al., 2003)
orientation contours should be processed in V2 pale stripes and propagate to V3a, while
motion contours should be processed in V2 thick stripes and propagate to V3/Vp. Thus our
results may reflect a basic organizational principle of feed forward contour processing in
early visual areas.
COLOR contrast and the GRAY-LEVEL contrast
The ability of V1 neurons to detect the color defined contour is not surprising. Most V1 cells
are sensitive to wavelength contrasts (Komatsu, 1998) and supply sufficient information to
signal the presence of a luminance contour within one wavelength channel. They should
therefore respond to the color contrast as well as to a luminance contrast.
The luminance contrasts we used in experiment 3 (GRAY-LEVEL) are subtle, which might
explain the absence of significant V1 contour modulation in this experiment. We used a
small luminance contrast in order to control for the small, but inevitable, luminance contrast
in experiment 2 (COLOR). Thus, responses in V1 and V2 are quite low in both conditions.
On the other hand we know from previous work (Mendola et al., 1999; Skiera et al., 2000)
that V1 is modulated by a strong gray level contrast. We therefore argue that the luminance
contours are in principle processed in V1, but that due to our particular stimulus design the
effective BOLD-modulation was too subtle.
Central role of V2
A central thesis of our work is that the relevance of either retinotopic area - V1 and V2 - for
contour processing depends on the particular stimulus type. Our results implicate that color
contours readily engage primary visual cortex V1, while texture and motion contours
predominantly engage V2 but not V1. Even though V1 seems to be able to process simple
contour features like color contours, the central role of V2 is reflected by the stimulus
invariant participation of V2v and V2d. This stimulus invariant role of V2 is further
supported by a number of studies (Bakin et al., 2000; Marcus and Van Essen, 2002;
Ramsden et al., 2001; von der Heydt and Peterhans, 1989).
47
However, other studies argue for a significant role of V1 (Lamme, 1995; Lee and Nguyen,
2001; Super et al., 2001). Indeed it must be recognized that V1 does not simply filter and
sort low level features like contrast, orientation and color in order to provide the input for
processing and integration of contours in V2. Yet, in light of this study, the previously cited
electrophysiological studies and results from optical imaging (Ramsden et al., 2001) it is
plausible that V1 alone is not capable to detect all contour subtypes (see, however, Bach and
Meigen, 1997). One confounding factor, leading to an overestimation of the role of V1, is
that contours detected by V2 or higher areas are being fed back to V1 (Lamme and
Roelfsema, 2000).
Contextual effects in V1 and V2
Contextual modulation in V1 and V2, i.e. modulation of neuronal activity induced by
stimulus components outside the classical receptive field, has been reported in several
studies (Kapadia et al., 1995; Lamme, 1995, 1998; Bakin et al., 2000; Kapadia et al., 2000;
Roelfsema et al., 2000; Lee and Nguyen, 2001). With respect to contour processing, these
modulations can be grouped as follows: First, as reported by Lamme et al. (1995), cells
respond to a contour surrounding the cell´s receptive field. This is a center-surround
response to a real contour, outside the cell´s receptive field. Second, cells respond to illusory
contours induced by Kanizsa figures (Lee and Nguyen, 2001). This is the response of a cell
to a non-real contour, well inside the cell´s receptive field. Such contextual modulation has
so far only been demonstrated in electrophysiological studies in the animal, while all fMRI
studies failed to show contextual modulation in V1 or V2. For Kanizsa inducers, two fMRI
studies (Mendola et al., 1999; Stanley and Rubin, 2003), demonstrated signal modulations in
higher visual areas, from V3a to the LOR, but little or no modulation in V1 and V2.
Our retinotopic stimulus design aimed at investigating the center-surround responses. Since
the visual stimuli in the parafoveal area were virtually identical between figure and our
control conditions, any response in parafoveal ROIs but not in the peripheral ROI would
have been due to contextual modulations.
Why did our results not contain significant contextual modulation (except for V3a) i.e.
activity in the parafoveal ROI representing the figure? A possible explanation is provided by
Corthout and Super (2004). They report that center-surround responses in V1 are not
necessarily an enhancement of firing rates, but nearly as often a reduction. They state that
summing V1 responses (like in fMRI) would therefore be inappropriate to show centersurround modulation in V1. This may explain the absence of center-surround modulation as
well as the absence of BOLD-responses to Kanizsa inducers in V1 and V2. Single cell
48
recordings and optical imaging studies carefully estimating the extent of positive and
negative center-surround modulation will be required to solve this debate. If they find
stimuli manipulating the strength of positive or the negative contextual modulations, this
issue is worth addressing with fMRI again.
Conclusion
A contour defined by color contrast is detected by a substantial number of V1 neurons, while
more complex texture features like an orientation- contour or motion- defined contour are
predominantly detected by V2 neurons, at least at the same eccentricity of 3°. Higher visual
areas V3/VP and V3a selectively respond to specific contour modalities, while V4 showed a
modality independent response pattern.
49
Table and figure legends
Figure 1:
Experimental setup. (a) Stimuli were composed of 13x13 rotators, either separating figure
and ground (figure condition) or creating homogeneous arrays (control conditions). Stimuli
and the central letter task were simultaneously displayed for 800 ms.. The sequence was
randomized and the duration of fixation varied from 4 to 14 seconds. (b) Example of the
central letter discrimination task followed by a mask containing the letter F. (c) Schematic
illustration of the video stimuli used for the eccentricity mapping. Colored bars below
signify the corresponding eccentricity regions on the flat patch of occipital cortex (see Fig.
2).
Figure 2:
Flat map of the left hemisphere of one subject. Red, green, and blue represent the three
eccentricities (parafoveal, contour, periphery), the green and pink lines indicate the
horizontal and vertical meridian. The orange patch depicts the result of the MT+ localizer
stimulus.
Figure 3:
Contour response for all experiments.
Each diagram shows the contour response: (peak-BOLD-response in the figure condition) (peak-BOLD-response in the control condition) from the contour ROIs (n=2116). The error
bars show standard errors of the means. Asterixes indicate significant response differences
between figure and control condition, i.e. the corresponding bar is significantly different
from zero.
50
Figure 4:
Exemplary hemodynamic responses averaged over all subjects, all examples are from
contour ROIs (green in figure 2).
(a, b) Hemodynamic response of V1 in the COLOR and the TEXTURE experiment. While
in the COLOR experiment the responses differ between figure and control condition, those
of the TEXTURE experiment do not. (c, d) In V3 there was a significant difference between
the two conditions in the MOTION experiment, but not in the COLOR experiment. Error
bars depict the standard errors.
51
References
1. Bach M, Meigen T (1997) Similar electrophysiological correlates of texture
segregation induced by luminance, orientation, motion and stereo. Vision Res 37:
1409-1414.
2. Bakin JS, Nakayama K, Gilbert CD (2000) Visual responses in monkey areas V1 and
V2 to three-dimensional surface configurations. J Neurosci 20: 8188-8198.
3. Boynton GM, Engel SA, Glover GH, Heeger DJ (1996) Linear systems analysis of
functional magnetic resonance imaging in human V1. J Neurosci 16: 4207-4221.
4. Braun J (1994) Visual search among items of different salience: removal of visual
attention mimics a lesion in extrastriate area V4. J Neurosci 14: 554-567.
5. Brefczynski JA, DeYoe EA (1999) A physiological correlate of the 'spotlight' of visual
attention. Nat Neurosci 2: 370-374.
6. Corthout E, Super H (2004) Contextual modulation in V1: the Rossi-Zipser
controversy. Exp Brain Res 156: 118-123.
7. Dougherty RF, Koch VM, Brewer AA, Fischer B, Modersitzki J, Wandell BA (2003)
Visual field representations and locations of visual areas V1/2/3 in human visual
cortex. J Vis 3: 586-598.
8. Grill-Spector K, Kourtzi Z, Kanwisher N (2001) The lateral occipital complex and its
role in object recognition. Vision Res 41: 1409-1422.
9. Grill-Spector K, Kushnir T, Edelman S, Itzchak Y, Malach R (1998) Cue-invariant
activation in object-related areas of the human occipital lobe. Neuron 21: 191-202.
10. Grill-Spector K, Kushnir T, Hendler T, Malach R (2000) The dynamics of objectselective activation correlate with recognition performance in humans. Nat Neurosci 3:
837-843.
11. Huk AC, Ress D, Heeger DJ (2001) Neuronal basis of the motion aftereffect
reconsidered. Neuron 32: 161-172.
12. Kanizsa G (1976) Subjective contours. Sci Am 234: 48-52.
13. Kapadia MK, Ito M, Gilbert CD, Westheimer G (1995) Improvement in visual
sensitivity by changes in local context: parallel studies in human observers and in V1
of alert monkeys. Neuron 15: 843-856.
14. Kapadia MK, Westheimer G, Gilbert CD (2000) Spatial distribution of contextual
interactions in primary visual cortex and in visual perception. J Neurophysiol 84: 20482062.
15. Kastner S, De Weerd P, Ungerleider LG (2000) Texture segregation in the human
visual cortex: A functional MRI study. J Neurophysiol 83: 2453-2457.
52
16. Komatsu H (1998) Mechanisms of central color vision. Curr Opin Neurobiol 8: 503508.
17. Kourtzi Z, Tolias AS, Altmann CF, Augath M, Logothetis NK (2003) Integration of
local features into global shapes: monkey and human FMRI studies. Neuron 37: 333346.
18. Lamme VA (1995) The neurophysiology of figure-ground segregation in primary
visual cortex. J Neurosci 15: 1605-1615.
19. Lamme VA, Roelfsema PR (2000) The distinct modes of vision offered by
feedforward and recurrent processing. Trends Neurosci 23: 571-579.
20. Lamme VA, Zipser K, Spekreijse H (1998) Figure-ground activity in primary visual
cortex is suppressed by anesthesia. Proc Natl Acad Sci U S A 95: 3263-3268.
21. Lee DK, Itti L, Koch C, Braun J (1999) Attention activates winner-take-all competition
among visual filters. Nat Neurosci 2: 375-381.
22. Lee TS, Nguyen M (2001) Dynamics of subjective contour formation in the early
visual cortex. Proc Natl Acad Sci U S A 98: 1907-1911.
23. Marcus DS, Van Essen DC (2002) Scene segmentation and attention in primate
cortical areas V1 and V2. J Neurophysiol 88: 2648-2658.
24. Mendola JD, Dale AM, Fischl B, Liu AK, Tootell RB (1999) The representation of
illusory and real contours in human cortical visual areas revealed by functional
magnetic resonance imaging. J Neurosci 19: 8560-8572.
25. Ramsden BM, Hung CP, Roe AW (2001) Real and illusory contour processing in area
V1 of the primate: a cortical balancing act. Cereb Cortex 11: 648-665.
26. Reppas JB, Niyogi S, Dale AM, Sereno MI, Tootell RB (1997) Representation of
motion boundaries in retinotopic human visual cortical areas. Nature 388: 175-179.
27. Roelfsema PR, Lamme VA, Spekreijse H (2000) The implementation of visual
routines. Vision Res 40: 1385-1411.
28. Schira MM, Fahle M, Donner TH, Kraft A, Brandt SA (2004) Differential contribution
of early visual areas to the perceptual process of contour processing. J Neurophysiol
91: 1716-1721.
29. Stanley DA, Rubin N (2003) fMRI activation in response to illusory contours and
salient regions in the human lateral occipital complex. Neuron 37: 323-331.
30. Super H, Spekreijse H, Lamme VA (2001) Two distinct modes of sensory processing
observed in monkey primary visual cortex (V1). Nat Neurosci 4: 304-310.
31. Tootell RB, Hadjikhani N (2001) Where is 'dorsal V4' in human visual cortex?
Retinotopic, topographic and functional evidence. Cereb Cortex 11: 298-311.
32. Tootell RB, Tsao D, Vanduffel W (2003) Neuroimaging weighs in: humans meet
macaques in "primate" visual cortex. J Neurosci 23: 3981-3989.
53
33. Ts'o DY, Roe AW, Gilbert CD (2001) A hierarchy of the functional organization for
color, form and disparity in primate visual area V2. Vision Res 41: 1333-1349.
34. von der Heydt R, Peterhans E (1989) Mechanisms of contour perception in monkey
visual cortex. I. Lines of pattern discontinuity. J Neurosci 9: 1731-1748.
35. Wade AR, Brewer AA, Rieger JW, Wandell BA (2002) Functional measurements of
human ventral occipital cortex: retinotopy and colour. Philos Trans R Soc Lond B Biol
Sci 357: 963-973.
36. Xiao Y, Wang Y, Felleman DJ (2003) A spatially organized representation of colour in
macaque cortical area V2. Nature 421: 535-539.
54
Tables and Figures
Experiment
Motion (1)
Color (2)
Gray (3)
Texture (*)
Luminance rotator
52 cdm-2
7/6 cdm-2
6/9 cdm-2
52 cdm-2
Luminance background
5 cdm-2
7 cdm-2
7 cdm-2
5 cdm-2
seconds per 360° rotation
0.55/1.1
0.55/1.1
0.55/1.1
1.1/0.7
Colors
gray/gray
red/green/gray
gray/gray/gray
gray/gray
Table 1: Physical properties of the stimuli
parafoveal
contour
figure
periphery
area
control
figure
control
Control
figure
V1
V2v
V2d
Vp
V3
V4v
V3a
MT+
0.310%±0.034
0.341%±0.035
0.364%±0.033
0.396%±0.032
0.373%±0.032
0.400%±0.030
0.282%±0.041
0.300%±0.047
0.312%±0.031
0.388%±0.030
0.225%±0.029
0.281%±0.028
0.201%±0.036
0.264%±0.037
0.219%±0.032
0.349%±0.030
0.199%±0.030
0.197%±0.030
0.241%±0.049
0.233%±0.056
0.235%±0.034
0.277%±0.033
0.163%±0.039
0.191%±0.035
0.298%±0.029
0.323%±0.030
0.220%±0.029
0.277%±0.029
0.170%±0.026
0.190%±0.026
0.232%±0.041
0.292%±0.043
0.208%±0.038
0.248%±0.037
0.240%±0.032
0.214%±0.032
0.148%±0.028
0.147%±0.028
0.254%±0.030
0.263%±0.029
0.248%±0.026
0.248%±0.026
0.159%±0.054
0.237%±0.050
Table 2: Motion
parafoveal
contour
periphery
area
control
figure
control
figure
Control
figure
V1
V2v
V2d
Vp
V3
V4v
V3a
MT+
0.312%±0.036
0.353%±0.037
0.292%±0.035
0.359%±0.037
0.279%±0.037
0.246%±0.034
0.283%±0.036
0.296%±0.038
0.292%±0.038
0.392%±0.038
0.234%±0.042
0.259%±0.040
0.251%±0.040
0.221%±0.041
0.194%±0.035
0.298%±0.038
0.199%±0.039
0.197%±0.037
0.239%±0.045
0.244%±0.049
0.232%±0.045
0.262%±0.041
0.160%±0.050
0.179%±0.044
0.298%±0.042
0.323%±0.041
0.241%±0.037
0.278%±0.037
0.170%±0.039
0.190%±0.039
0.232%±0.047
0.292%±0.049
0.189%±0.061
0.271%±0.065
0.249%±0.062
0.209%±0.062
0.148%±0.055
0.147%±0.049
0.237%±0.043
0.271%±0.043
0.248%±0.040
0.261%±0.041
0.094%±0.050
0.114%±0.051
Table 3: Color
55
parafoveal
contour
periphery
area
control
figure
control
figure
control
figure
V1
V2v
V2d
Vp
V3
V4v
V3a
MT+
0.220%±0.036
0.213%±0.036
0.163%±0.031
0.159%±0.031
0.262%±0.032
0.244%±0.033
0.282%±0.039
0.300%±0.038
0.312%±0.038
0.388%±0.037
0.225%±0.044
0.281%±0.044
0.141%±0.043
0.159%±0.043
0.151%±0.035
0.184%±0.035
0.139%±0.035
0.118%±0.038
0.241%±0.046
0.250%±0.048
0.255%±0.043
0.251%±0.042
0.167%±0.047
0.183%±0.048
0.304%±0.043
0.323%±0.040
0.198%±0.037
0.222%±0.037
0.180%±0.035
0.202%±0.033
0.238%±0.052
0.274%±0.049
0.203%±0.063
0.247%±0.064
0.235%±0.061
0.214%±0.064
0.148%±0.048
0.147%±0.048
0.201%±0.053
0.232%±0.049
0.248%±0.042
0.248%±0.039
0.157%±0.065
0.213%±0.071
Table 4: Gray
56
(b)
(a)
(c)
figure condition
800ms
fixation
4-14s
control condition
800ms
Figure 1
Figure 2
57
(a) TEXTURE
(b) MOTION
0.2
0.2
*
*
*
*
*
*
0.1
*
*
V1 V2v V2d
Vp
*
0.1
0.0
V1 V2v V2d Vp
0.0
V3 V4v V3a V5
(c) COLOR
V3 V4v V3a V5
(d) GRAY-LEVEL
0.2
0.2
*
*
*
*
*
0.1
0.1
0.0
0.0
V1 V2v V2d
Vp
V1 V2v V2d
V3 V4v V3a V5
Vp
V3 V4v V3a V5
Figure 3
(b) TEXTURE V1
0.3
0.1
-2
0
2
4
6
8
% signal modulation
% signal modulation
(a) COLOR V1
0.3
0.1
-2
0
2
4
6
seconds
seconds
(d) COLOR V3
0.3
0.1
-2
0
2
4
6
8
% signal modulation
% signal modulation
(c) MOTION V3
0.3
0.1
-2
0
2
4
6
8
-0.1
-0.1
seconds
seconds
Figure 4
8
-0.1
-0.1
figure
control
58
5.3 Electrophysiology of different contour modalities
59
Electrophysiology of different contour modalities
Mark M. Schira1,2, Manfred Fahle2, Stephan A. Brandt1, Karoline Spang2
1: Department of Neurology, Charité Humboldt University of Berlin, 10117 Berlin,
Germany
2: Department of Human Neurobiology, University of Bremen, 28359 Bremen, Germany
Abstract:
We investigated differential processing of contours defined by texture or motion. Previous
fMRI data (Schira et al. 2004) suggested different neuronal populations being involved in
processing different contour modalities. Here, these data are complemented using visual
evoked potentials (5 channels, O1, O2, Pz, T5, T6) using the same stimulus set. In two
variations of an orientation-defined contour, we found a clear negativity, specific for contour
segregation with highly similar latency (210ms at O1 and O2) and comparable amplitude for
both versions. The amplitude of the motion-defined contour segregation negativity was of
comparable latency but significantly smaller. In a stimulus combining the motion- and the
texture-defined contour the negativity was present, but the amplitude was not significantly
larger than in the experiments using only the orientation-defined contours. An isoluminant
(and hardly perceivable) variant of the motion-defined contour used as a control, failed to
cause any comparable negativity. The discrepancies between these electrophysiological
results and the previously reported fMRI-results are discussed.
Keywords: VEP, figure-ground segregation, visual attention
60
1. Introduction
Segregation of contours is a basic step of visual processing. Contours can be defined by
different features such as texture orientation, spatial frequency, motion, colour or stereoptic
disparity. It has been shown that visual evoked potentials (VEPs) contain a texture
segregation specific component (tsVEP) as early as 180-250 ms after the stimulus onset
(Bach and Meigen, 1992; Bach et al., 2000; Schubo et al., 2001; Fahle et al., 2003). Bach
and Meigen (1997) stated that tsVEPs of different contour modalities are rather similar.
They proposed a generalized gradient map integrating different contour modalities into one
common map. Fahle et al. (2003), however, found quite different tsVEPs from various
contour modalities. We have previously investigated different contour modalities using
fMRI and a stimulus design based on small rotating elements. The stimuli produced strong
BOLD-modulations in cortical area V2 for both a texture-orientation- and a motion-defined
contour. However, a clear dissociation of activation patterns in higher visual areas, i.e.,
V3/Vp and V3a strongly suggested at least partly different neuronal populations also in V2
(Schira et al., 2004). Using the same stimuli, consisting of small rotating elements this study
aimed to reinvestigate the dissociation VEPs. Since contour integration is most likely
performed as early as V2, we focused on the early texture segregation component, between
200 and 250 ms. To prevent attentional processes triggered by the detection of the contour
(Schubö et al. 2001), we added a demanding foveal letter discrimination task (Braun, 1994).
2. Methods
2.1. Stimuli
To analyze contour processing a stimulus was designed consisting of 13x13 small rotating
elements (0.6° diameter each). Each rotator consisted of three small dots arranged in a line
(Fig. 1a). The two outer dots rotated around the central dot, thus creating the percept of a
rotating line, without overall changes in luminance or contrast. This stimulus avoids
luminance artefacts on a raster screen. Each frame of the stimuli had the same amount of
dots, hence the same overall luminace is constant. This stimulus design is therefore well
suited also for fMRI experiments using a LCD-projector. In half of the trials (figure
conditions) the central rotators differed from the outer rotators regarding orientation or
speed, thus creating the percept of a square’s figure on a ground (Fig. 1b-e). The parafoveal
rotators differed from the peripheral rotators by i) rotation speed, and ii) orientation. In the
control conditions the figure and the periphery rotators were randomly distributed, therefore
61
all 169 rotators created a homogeneous array. Stimulus presentation time was 800 ms, for all
experiments and conditions.
--- Figure 1 about here--2.1.1. Orientation contrast
The orientations of the 13x13 rotators were sorted, and the central rotators forming the
figure, rotated with a phase-lag of 180 ms. Due to the phase lag, the inner rotators had a tilt
relative to the outer rotators. As all rotators had the same angular velocity the relative tilt
defined the figure’s contour, not motion cues. Though all stimuli were moving, the contour
was easily perceivable in a freeze image (Figure 1b). We used two variations with slightly
different starting positions (see Figure 1b&c). One variation started with a collinear
background, the other one started with non collinear background rotators. The two variants
presented two different sections of the same continuously rotating stimulus set. During
rotation the rotators are collinear while passing through the horizontal or vertical
orientations.
2.1.2. Motion contrast
Stimulus presentation time was 800 ms. The orientations of the rotators were randomly
distributed, but the parafoveal rotators started at twice the speed of the peripheral rotators.
After 200 ms, 400 ms and 600 ms the rotation speeds of parafoveal and peripheral rotators
were swapped. Therefore, each rotator rotated fast and slow twice and the differential speed
between parafoveal and peripheral rotators created the percept of a central figure. To balance
speed, we used two variants of the figure condition: one with initial fast rotation within the
figure and one with initial fast rotation within the surround.
In the control condition the two rotator speeds were randomly distributed, without creating
the percept of a contour. The stimulus appeared as a homogenous array.
2.1.3. Luminance and isoluminance
To estimate the properties determining the detectability of the contour we performed
psychophysical experiments, varying rotation speed, luminance or colour of the rotators. In
most experiments light grey rotators on a dark grey background were presented. In some
experiments, however, stimuli consisted of green rotators on an isoluminant red background
(Figure 1e). For the psychophysical experiments isoluminance was individually estimated
using flicker photometry. For the EEG experiments isoluminance was determined with a
Minolta LS 110. For details regarding luminance and RGB values, see Tables 1 & 2.
62
2.1.4. Detection task, attentional control
The
experiments
of
this
study
employed
both
psychophysical
methods
and
electrophysiology. The psychophysical experiments were designed as a figure detection task.
Subjects had to look at the central fixation dot, and report in a two alternative force choice
task, whether a centrally rectangle was vertical or horizontal (Fig. 1e). In the
electrophysiological experiments subjects were left naïve regarding the aim of the study. The
ERP experiments always contained a central letter discrimination task (Braun, 1994). For
this task five letters (rotated T’s or L’s) were presented (Figure 1 a) simultaneous with the
contour stimuli described above. Subjects had to perform a two alternative forced choice
paradigm (2AFC) indicating whether these 5 letters were all identical (i.e. five L’s or five
T’s), or if one differed (e.g. four T’s and one L). We chose this task because it has been
extensively used in former studies (Braun, 1994; Lee et al., 1999) and proved to bind
attention effectively. Subjects were instructed to perform the letter task as accurately and fast
as possible. Subjects responded via button press.
2.2. Experimental setup
2.2.1. Psychophysics
Stimuli were presented on an Video Seven 17’’ monitor with a resolution of 800x600 pixels
and a refresh rate of 60Hz for normal and isoluminant conditions; for the fast conditions the
vertical refresh rate was increased to 120 Hz. Viewing distance was 1.7 m in a darkened
room. ERTS (BeriSoft Cooperation, Frankfurt, Germany) was used for stimulus presentation
and response registration.
2.2.2. Electrophysiology
Stimuli were presented on an Eizo Flex Scan T662-T 20’’ monitor with a resolution of
800x600 pixels and a refresh rate of 60Hz. Viewing distance was 2 m in a darkened room. A
standard mouse was used to record subject responses. VEPs were recorded by means of
gold-cup electrodes, placed over the posterior skull at 5 positions Pz, O1, O2, T5 and T6,
fixated by Grass electrode cream, and recorded versus a reference electrode. Electrode
impedance was usually below 3-5kΩ as measured against both the reference electrode at Fz
and the ground electrode fixated to the earlobe. Cables were connected to a custom-built
head-box and signals transmitted, via shielded cable, to preamplifier/amplifier combinations
(Toennies Physiological Amplifier). Voltages were continuously recorded amplified by a
factor of 5*106, and then band-pass filtered passing a bandwidth between 0.5 and 130 Hz.
Amplifier-output was sampled by a PC at a rate of 400 Hz and stored on disk. Post
63
processing included Fourier-transformation of the signals, line-frequency and blink-artefact
rejection, and averaging locked on stimulation onset, separately for each condition.
Brain potentials were z-transformed for each subject. The tsVEPs were calculated for each
subject by subtracting the mean of the homogeneous control condition responses from the
mean of the figure condition responses (= central square). These results represent the part of
response that is specific for the contour as opposed to homogeneous stimuli. This response,
which relies on the segregation of the square, has been termed 'texture-segregation visual
evoked potential', or tsVEP (Bach and Meigen, 1992). The tsVEPs were calculated by
software developed in the lab.
2.3. Subjects
A total of 20 subjects participated in this study. Five subjects (aged from 22-29; mean 25.4)
for the detection performance experiment, seven subjects (aged from 21 to 36, 27.3) for the
first electrophysiological session and eight subjects (aged from 22 to 32; mean 26.5) for the
second electrophysiological session. No subject had a history of neurological or psychiatric
disorders and all reported normal visual acuity. They were paid for their participation and
signed a consent form.
3. Results
3.1. Detection performance
In experiment 1 subjects performed a contour discrimination task. There were 2 times 3
conditions. For each motion- and orientation-defined contour 3 variations were applied:
normal speed and luminance; a fast condition with doubled speed but normal luminance; and
a condition with isoluminant colours but normal speed. In the normal version the horizontal
and the vertical rectangle were easy to discriminate. Increasing the rotation speed (fast)
reduced performance for detecting the orientation contrast, while the motion contrast
remained perceivable. In the isoluminant version, however, the motion contour was hardly
visible while the orientation contour was still detected (see Fig. 2).
--- Table 1 about here----- Figure 2 about here---
3.2. Event related potentials
Event related potentials were recorded in five experiments grouped in two different sessions.
The first session consisted of 7 subjects performing the experiment ORIENT-COLLINEAR.
In the second session 8 new subjects performed the experiments ORIENT-NON-COL,
64
MOTION, COMBI and ISOLUM (see Figure 1). Each experiment consisted of two
conditions: a figure condition with the central 5 by 5 rotators defining a central square (see
Fig. 3) and a control condition without the central square. While the MOTION experiment
contained a motion defined contour, the COMBI experiment contained both: the motion
defined contour and the orientation defined (non-collinear starting) contour. Finally, the
ISOLUM experiment contained the same motion defined contour as the MOTION
experiment, but presented with green rotators on an isoluminant red background (Figure 1e).
3.2.1. tsVEPs
TsVEPs were obtained according to Bach and Meigen (1992) by calculating the difference
between the mean responses to the control condition and the mean responses to the figure
condition. Figure 3 depicts original traces for the experiment ORIENT-COLLINEAR, and
the tsVEPs for all five experiments. A pronounced tsVEP-potential is the negativity around
220 ms (see Fig. 4). This negativity is strongest in the three experiments containing an
orientation defined contour, while weaker in the experiment with the motion defined contour
and absent in the ISOLUM experiment.
3.2.2. Peak analysis
To analyze this component, peak to peak amplitude values were estimated (positivity around
150-160 ms to negativity between 210-230 ms) for each subject and experiment for O1, O2
and Pz. Since the measurements of the experiment ORIENT-NON-COLLINEAR were
recorded with other subjects than those for the remaining 4 experiments, we performed two
sets of statistical tests. First we compared the results of ORIENT-COLLINEAR using two
unpaired t-tests with the results of ORIENT NON-COL and with the results of MOTION.
Since ORIENT NON-COL and MOTION were recorded in the same session we compared
these results using a paired t-Test (Bonferroni corrected by three). There was no significant
difference between the two orientation stimuli (ORIENT. COLLINEAR vs. ORIENT. NONCOL. p= 0.24 not significant) but of the motion contour differed significantly from each of
the two orientation contours. (ORIENT-COLLINEAR vs. MOTION p= 0.027 significant
and ORIENT. NON-COL. vs. MOTION p= 0.024 significant).
In a second test a 2-way ANOVA was performed with factors Experiment (ORIENT. NONCOLL; MOTION; COMBI; ISOLUM) and electrode position (O1; O2; Pz). We found a
highly significant (p<0.001, Bonferroni corrected) effect for the factor experiment, no
significant effect for electrode position, but a significant interaction between the two factors.
This interaction indicated, that the difference between the experiments was larger at the
positions O1 and O2 than at Pz. The individual comparisons for Experiment showed a
65
significant difference of ISOLUM from any other experiment. This was not surprising since
most subjects were unable to differentiate the figure from its background in this experiment.
The ANOVA yielded no further differences between the experiments.
4. Discussion
Our aim was to compare the ERP responses induced by contours defined in different
modalities. Regarding contrast, rotation speed, luminance and spatial frequency all stimuli
were virtually identical (except the isoluminat ones). Measuring detection performance, we
found physiological differences between the motion- and the orientation-defined contours.
These differences were – to a lesser extent – also reflected in the ERP-traces.
4.1. Physiological differences between the motion and the orientation defined contour
The drop in detection performance for motion defined contours at isoluminance and the
absence of a clear tsVEP for the ISOLUMINANT experiments, indicate that the perception
of the motion-contour relied mainly on the magnocellular path. The perception of orientation
defined contours, on the other hand, was unaffected by the presentation at isoluminance, but
degraded with increasing speed. These findings indicate that perception of orientationdefined contours relied mainly on the parvocellular system. Regarding the timing of the
tsVEPs one has to bear in mind that while the orientation-contours were immediately visible
with the first stimulus frame, the motion-contour needed at least 2 frames of stimulus
presentation to integrate the motion speeds. Due to the slow frequency of our stimuli this
would result in a 33 ms delay for the motion defined contour. Taking into account the faster
transmission of the magnocellular system the latency of a tsVEP should be in the same
timeframe.
4.2. V1 and V2 as the substrate for contour perception
In macaque monkeys, contour related activity was reported for cortical areas V1 (Kapadia et
al., 1995; Lamme, 1995; Lee and Nguyen, 2001; Rossi et al., 2001), V2 (Ito and Komatsu,
2004; Peterhans and von der Heydt, 1989; Ramsden et al., 2001; Zhou et al., 2000) and in
both simultaneously (Bakin et al., 2000; Marcus and Van Essen, 2002). These results clearly
indicate that massive contour processing is achieved in V1 and V2. Regarding the
organization of V2, which processes different features in spatial distinct subareas, i.e. the
stripes (Ts'o et al., 2001), a global feature map as proposed by Bach and Meigen (1997)
would have to a be a structure delocalised over the stripes integrating the processing results
of the of the different V2 stripes. It is more likely that the interlaced processing of different
66
features in V2 leads to hardly distinguishable VEP responses, especially since the parallel
organisation of the area implies comparable latencies. But independent neuronal populations
would imply a summation of these potentials. Significant differences exist in the peak to
peak value between the motion-defined and the two texture defined contours (ORIENTCOLLINEAR and ORIENT-NON-COL, see Figure 4). All three contour types were clearly
detectable for an attending subject, all three tsVEPs were recorded while subjects performed
an independent central attention task. Nevertheless, the MOTION contour was less clear
perceived than the other contours, therefore the different results might be due to the different
segregation strength of the contour types.
We previously investigated the motion-defined and the orientation-defined contour
processing using the same paradigm in fMRI. It is difficult to compare BOLD-responses
with EEG responses. Yet, we used the same presentation time (800ms), the same averaging
principle (event related) and applied a strong attentional task to minimize cognitive effects in
both studies. Nevertheless, the results are diverse. We found contour related BOLDmodulations of equal strength (28% more compared to the response to the homogeneous
conditions) in Area V2 for both contour modalities. One might speculate that the tsVEP peak
at 220 ms corresponds to the contour segregation in V2. While we found a significant
amplitude effect with tsVEPs there was no amplitude effect in the BOLD-modulation. On
the other hand, the fMRI-results suggest that at least partially different neuronal populations
are engaged. This, as well as the results from Bach et al., (2000) would imply that the peak
to peak value of the COMBI experiment (1.8±0.3) is a near linear summation of the tsVEP
amplitudes from MOTION (0.6±0.3) and ORIENT-NON-COLL (2.25±0.3). This linear
summation is not reflected by the estimated peak to peak values. Therefor we assume that
peak to peak values are not the appropriate measure to investigate the summation effects.
Acknowledgements:
We would like to thank Dipl. phys. Dennis Trenner for developing the software used to
analyze the electrophysiological data. Supported by the CAI (Center for advanced Imaging,
Berlin/Bremen/Magdeburg).
67
References
1. Bach M, Meigen T (1992) Electrophysiological correlates of texture segregation in the
human visual evoked potential. Vision Res 32: 417-424.
2. Bach M, Meigen T (1997) Similar electrophysiological correlates of texture
segregation induced by luminance, orientation, motion and stereo. Vision Res 37:
1409-1414.
3. Bach M, Schmitt C, Quenzer T, Meigen T, Fahle M (2000) Summation of texture
segregation across orientation and spatial frequency: electrophysiological and
psychophysical findings. Vision Res 40: 3559-3566.
4. Bakin JS, Nakayama K, Gilbert CD (2000) Visual responses in monkey areas V1 and
V2 to three-dimensional surface configurations. J Neurosci 20: 8188-8198.
5. Braun J (1994) Visual search among items of different salience: removal of visual
attention mimics a lesion in extrastriate area V4. J Neurosci 14: 554-567.
6. Fahle M, Quenzer T, Braun C, Spang K (2003) Feature-specific electrophysiological
correlates of texture segregation. Vision Res 43: 7-19.
7. Ito M, Komatsu H (2004) Representation of angles embedded within contour stimuli in
area V2 of macaque monkeys. J Neurosci 24: 3313-3324.
8. Kapadia MK, Ito M, Gilbert CD, Westheimer G (1995) Improvement in visual
sensitivity by changes in local context: parallel studies in human observers and in V1
of alert monkeys. Neuron 15: 843-856.
9. Lamme VA (1995) The neurophysiology of figure-ground segregation in primary
visual cortex. J Neurosci 15: 1605-1615.
10. Lee DK, Itti L, Koch C, Braun J (1999) Attention activates winner-take-all competition
among visual filters. Nat Neurosci 2: 375-381.
11. Lee TS, Nguyen M (2001) Dynamics of subjective contour formation in the early
visual cortex. Proc Natl Acad Sci U S A 98: 1907-1911.
68
12. Marcus DS, Van Essen DC (2002) Scene segmentation and attention in primate
cortical areas V1 and V2. J Neurophysiol 88: 2648-2658.
13. Peterhans E, von der Heydt R (1989) Mechanisms of contour perception in monkey
visual cortex. II. Contours bridging gaps. J Neurosci 9: 1749-1763.
14. Ramsden BM, Hung CP, Roe AW (2001) Real and illusory contour processing in area
V1 of the primate: a cortical balancing act. Cereb Cortex 11: 648-665.
15. Rossi AF, Desimone R, Ungerleider LG (2001) Contextual modulation in primary
visual cortex of macaques. J Neurosci 21: 1698-1709.
16. Schira MM, Fahle M, Donner TH, Kraft A, Brandt SA (2004) Differential contribution
of early visual areas to the perceptual process of contour processing. J Neurophysiol
91: 1716-1721.
17. Schubo A, Meinecke C, Schroger E (2001) Automaticity and attention: investigating
automatic processing in texture segmentation with event-related brain potentials. Brain
Res Cogn Brain Res 11: 341-361.
18. Ts'o DY, Roe AW, Gilbert CD (2001) A hierarchy of the functional organization for
color, form and disparity in primate visual area V2. Vision Res 41: 1333-1349.
19. Zhou H, Friedman HS, von der HR (2000) Coding of border ownership in monkey
visual cortex. J Neurosci 20: 6594-6611.
69
Figure legends
Figure 1: The Stimuli. (a) The elements of the stimuli: a rotator (top) and the central
attention task (bottom). (b-e) Different experiments. Note: all figures show only the first
image of the stimuli. (b&c) Orientation differences were introduced by two variations
COLLINEAR and NON-COL. The two stimuli differ in the first image. Background rotators
are arranged collinear in the experiment COLLINEAR, while they are not in the experiment
ORIENT-NON-COL. In both texture orientation experiments, the contour is visible with the
fist image. (d) In the MOTION experiment rotator orientations are random. The contour was
introduced by different rotation speeds. The figure of the MOTION experiment is not visible
in a single frame. (e) Isoluminant stimulus. The picture shows the first image for the
condition with an orientation defined horizontal rectangle in isoluminant red and green. The
figure depicted here is a rectangle, since this example belongs to the detection performance
paradigm where subjects had to decide whether the figure is horizontal or vertical.
Figure 2: Detection performance. The results of the detection performance experiment
show a clear dissociation between the orientation and the motion defined contour.
Figure 3: Grand mean VEP-averages. The VEP traces are Z-transformed and slightly
Gauss-smoothed. The first row depicts the original potentials of the experiment ORIENTCOLLINEAR. The solid line depicts the figure condition, the dashed line the homogeneous
control condition. The following rows depict the tsVEPs of all experiments.
Figure 4: Orientation defined contours. The tsVEPs depicted here contain the same data
as the rows 2 and 3 of Figure 3, but in one row and without smoothing.
70
Tables
Table 1: Physical properties of stimuli for the detection tasks
Experiment
Normal
fast
isolum
Luminance
rotator
RGB values
background
Luminance
RGB values
47.1 cdm-2
47.1 cdm-2
12.3 cdm-2
179/179/179
179/179/179
0/128/0
5 cdm-2
5 cdm-2
12.9 cdm-2
51,51,51
51,51,51
211,0,0
Table 2: Physical properties of stimuli during the ERP recording
Experiment
Motion isolum
All other experiments
Luminance
rotator
RGB values
background
Luminance
RGB values
15.2 cdm-2
44.5 cdm-2
0,133,0
179,179,179
15.2 cdm-2
4.0 cdm-2
189,0,0
51,51,51
71
Figures
(a)
(b)
(c)
(d)
(e)
Figure 1
f (correct)
1
0.5
0
NORMAL
motion-defined
FAST
ISOLUM
orientation-defined
Figure 2
72
ORIENT-COLLINEAR
1
O1
T5
O2
Pz
T6
0
-1
-2
0
MOTION
ORIENT-NON-COL
-0.4
0
-0.4
0
-0.4
COMBI
0.4
0
ISOLUM
-0.4
0
-0.3
0 100
ms
0 100
ms
0 100
ms
0 100
ms 0 100
ms
Figure 3
73
O1
0.4
O2
Pz
T6
T5
0
-0.4
0 100
ms
0 100
TEXTURE NON-COL.
ms
0 100
ms
0 100
ms
0 100
ms
TEXTURE COLLINEAR.
Figure 4
74
75
6 Literatur
1.
Bach M, Meigen T (1992) Electrophysiological correlates of texture segregation in
the human visual evoked potential. Vision Res 32: 417-424.
2.
Bakin JS, Nakayama K, Gilbert CD (2000) Visual responses in monkey areas V1 and
V2 to three-dimensional surface configurations. J Neurosci 20: 8188-8198.
3.
Belliveau JW, Kennedy DN, Jr., McKinstry RC, Buchbinder BR, Weisskoff RM,
Cohen MS, Vevea JM, Brady TJ, Rosen BR (1991) Functional mapping of the
human visual cortex by magnetic resonance imaging. Science 254: 716-719.
4.
Berger H (1927) Über das Elektroencephalogram des Menschen. Archiv für
Psychiatrie und Nervenkrankheiten 87: 527-570.
5.
Boynton GM, Engel SA, Glover GH, Heeger DJ (1996) Linear systems analysis of
functional magnetic resonance imaging in human V1. J Neurosci 16: 4207-4221.
6.
Braun J (1994) Visual search among items of different salience: removal of visual
attention mimics a lesion in extrastriate area V4. J Neurosci 14: 554-567.
7.
Brefczynski JA, DeYoe EA (1999) A physiological correlate of the 'spotlight' of
visual attention. Nat Neurosci 2: 370-374.
8.
Burkhalter A, Van Essen DC (1986) Processing of color, form and disparity
information in visual areas VP and V2 of ventral extrastriate cortex in the macaque
monkey. J Neurosci 6: 2327-2351.
9.
Chavane F, Monier C, Bringuier V, Baudot P, Borg-Graham L, Lorenceau J, Fregnac
Y (2000) The visual cortical association field: a Gestalt concept or a
psychophysiological entity? J Physiol Paris 94: 333-342.
10. Creutzfeldt OD, Houchin J (1974) Neuronal Basis of EEG waves. In: The Neuronal
generation of the EEG Amsterdam: Elsevier.
11. Denys K, Vanduffel W, Fize D, Nelissen K, Peuskens H, Van Essen D, Orban GA
(2004) The processing of visual shape in the cerebral cortex of human and nonhuman
primates: a functional magnetic resonance imaging study. J Neurosci 24: 2551-2565.
12. DeYoe EA, Carman GJ, Bandettini P, Glickman S, Wieser J, Cox R, Miller D, Neitz
J (1996) Mapping striate and extrastriate visual areas in human cerebral cortex. Proc
Natl Acad Sci U S A 93: 2382-2386.
13. Dougherty RF, Koch VM, Brewer AA, Fischer B, Modersitzki J, Wandell BA (2003)
Visual field representations and locations of visual areas V1/2/3 in human visual
cortex. J Vis 3: 586-598.
76
14. Egly R, Driver J, Rafal RD (1994) Shifting visual attention between objects and
locations: evidence from normal and parietal lesion subjects. J Exp Psychol Gen 123:
161-177.
15. Egly R, Homa D (1984) Sensitization of the visual field. J Exp Psychol Hum Percept
Perform 10: 778-793.
16. Ejima Y, Takahashi S, Yamamoto H, Fukunaga M, Tanaka C, Ebisu T, Umeda M
(2003) Interindividual and interspecies variations of the extrastriate visual cortex.
Neuroreport 14: 1579-1583.
17. Engel SA, Glover GH, Wandell BA (1997) Retinotopic organization in human visual
cortex and the spatial precision of functional MRI. Cereb Cortex 7: 181-192.
18. Felleman DJ, Burkhalter A, Van Essen DC (1997) Cortical connections of areas V3
and VP of macaque monkey extrastriate visual cortex. J Comp Neurol 379: 21-47.
19. Frahm J, Bruhn H, Merboldt KD, Hanicke W (1992) Dynamic MR imaging of
human brain oxygenation during rest and photic stimulation. J Magn Reson Imaging
2: 501-505.
20. Heeger DJ, Huk AC, Geisler WS, Albrecht DG (2000) Spikes versus BOLD: what
does neuroimaging tell us about neuronal activity? Nat Neurosci 3: 631-633.
21. Hegde J, Van Essen DC (2000) Selectivity for complex shapes in primate visual area
V2. J Neurosci 20: RC61.
22. Hegde J, Van Essen DC (2003) Strategies of shape representation in macaque visual
area V2. Vis Neurosci 20: 313-328.
23. Hubel DH (1988) Eye, Brain and Vision. New York: Scientific American Library.
http://neuro.med.harvard.edu/site/dh/bcontex.htm.
24. Hubel DH, Wiesel TN (1959) Receptive fields of single neurons in the cat's strate
cortex. J Physiol 148: 574-591.
25. Hubel DH, Wiesel TN (1962) Recptive fields, binocular interaktion and funtional
architekture in the cat's visual cortex. J Physiol 160: 106-154.
26. Huk AC, Ress D, Heeger DJ (2001) Neuronal basis of the motion aftereffect
reconsidered. Neuron 32: 161-172.
27. Kandel ER, Schwartz JE, Jessel TM (2000) Central Visual Pathways. In: Principles
of Neural Science pp 523-546. New York: McGraw-Hill.
28. Kapadia MK, Ito M, Gilbert CD, Westheimer G (1995) Improvement in visual
sensitivity by changes in local context: parallel studies in human observers and in V1
of alert monkeys. Neuron 15: 843-856.
29. Kapadia MK, Westheimer G, Gilbert CD (2000) Spatial distribution of contextual
interactions in primary visual cortex and in visual perception. J Neurophysiol 84:
2048-2062.
77
30. Kourtzi Z, Tolias AS, Altmann CF, Augath M, Logothetis NK (2003) Integration of
local features into global shapes: monkey and human FMRI studies. Neuron 37: 333346.
31. Kwong KK, Belliveau JW, Chesler DA, Goldberg IE, Weisskoff RM, Poncelet BP,
Kennedy DN, Hoppel BE, Cohen MS, Turner R, . (1992) Dynamic magnetic
resonance imaging of human brain activity during primary sensory stimulation. Proc
Natl Acad Sci U S A 89: 5675-5679.
32. Lamme VA (1995) The neurophysiology of figure-ground segregation in primary
visual cortex. J Neurosci 15: 1605-1615.
33. Lamme VA, Roelfsema PR (2000) The distinct modes of vision offered by
feedforward and recurrent processing. Trends Neurosci 23: 571-579.
34. Lamme VA, Zipser K, Spekreijse H (1998) Figure-ground activity in primary visual
cortex is suppressed by anesthesia. Proc Natl Acad Sci U S A 95: 3263-3268.
35. Lee TS, Nguyen M (2001) Dynamics of subjective contour formation in the early
visual cortex. Proc Natl Acad Sci U S A 98: 1907-1911.
36. Leventhal AG, Thompson KG, Liu D, Zhou Y, Ault SJ (1995) Concomitant
sensitivity to orientation, direction, and color of cells in layers 2, 3, and 4 of monkey
striate cortex. J Neurosci 15: 1808-1818.
37. Marcus DS, Van Essen DC (2002) Scene segmentation and attention in primate
cortical areas V1 and V2. J Neurophysiol 88: 2648-2658.
38. Mendola JD, Dale AM, Fischl B, Liu AK, Tootell RB (1999) The representation of
illusory and real contours in human cortical visual areas revealed by functional
magnetic resonance imaging. J Neurosci 19: 8560-8572.
39. Polat U, Sagi D (1993) Lateral interactions between spatial channels: suppression and
facilitation revealed by lateral masking experiments. Vision Res 33: 993-999.
40. Ramsden BM, Hung CP, Roe AW (2001) Real and illusory contour processing in
area V1 of the primate: a cortical balancing act. Cereb Cortex 11: 648-665.
41. Rees G, Friston K, Koch C (2000) A direct quantitative relationship between the
functional properties of human and macaque V5. Nat Neurosci 3: 716-723.
42. Rossi AF, Desimone R, Ungerleider LG (2001) Contextual modulation in primary
visual cortex of macaques. J Neurosci 21: 1698-1709.
43. Sereno MI, Dale AM, Reppas JB, Kwong KK, Belliveau JW, Brady TJ, Rosen BR,
Tootell RB (1995) Borders of multiple visual areas in humans revealed by functional
magnetic resonance imaging. Science 268: 889-893.
44. Stanley DA, Rubin N (2003) fMRI activation in response to illusory contours and
salient regions in the human lateral occipital complex. Neuron 37: 323-331.
78
45. Super H, Spekreijse H, Lamme VA (2001) Two distinct modes of sensory processing
observed in monkey primary visual cortex (V1). Nat Neurosci 4: 304-310.
46. Ts'o DY, Roe AW, Gilbert CD (2001) A hierarchy of the functional organization for
color, form and disparity in primate visual area V2. Vision Res 41: 1333-1349.
47. Villringer A, Dirnagl U (1995) Coupling of brain activity and cerebral blood flow:
basis of functional neuroimaging. Cerebrovasc Brain Metab Rev 7: 240-276.
48. von der Heydt R, Peterhans E (1989) Mechanisms of contour perception in monkey
visual cortex. I. Lines of pattern discontinuity. J Neurosci 9: 1731-1748.
49. Wandell BA (1999) Computational neuroimaging of human visual cortex. Annu Rev
Neurosci 22: 145-173.
50. Wertheimer M (1925) Vortrag vor der KANT-Gesellschaft. Philosophische
Zeitschrift für Forschung und Aussprache, 1: 39-60.
51. Xiao Y, Wang Y, Felleman DJ (2003) A spatially organized representation of colour
in macaque cortical area V2. Nature 421: 535-539.
52. Zeki SM (1978) Uniformity and diversity of structure and function in rhesus monkey
prestriate visual cortex. J Physiol 277: 273-290.
53. Zhou H, Friedman HS, von der HR (2000) Coding of border ownership in monkey
visual cortex. J Neurosci 20: 6594-6611.
79