Sam Ling

How is vision shaped by other senses? Visual cortex is not merely a passive recipient of retinal inputs. It is also responsive to other sensory modalities, particularly audition. While auditory signals have been shown to penetrate early visual cortices, the mechanisms driving these responses remain poorly understood. To examine how audition shapes vision, we used functional MRI to investigate whether audiovisual interactions modulate the gain of responses in human early visual cortices. Specifically, we measured voxel-wise contrast-response functions (CRF), while participants viewed horizontally drifting gratings paired with auditory motion that was directionally congruent or incongruent with the visual motion, or stationary. We show that congruent audiovisual motion enhances voxel-wise contrast sensitivity whereas incongruent motion reduces it, manifesting as a robust contrast gain modulation across areas V1–V3. This direction-selective enhancement is nicely captured by a divisive normalization model incorporating auditory-driven feedback modulation. Our findings provide compelling evidence for cross-modal interactions at early stages of visual processing, driven by contrast gain modulation –a bidirectional modulation in sensitivity that maintains the balance between local excitatory and inhibitory activity. Together, these results reveal that audiovisual interactions can alter a cornerstone property of vision, highlighting the dynamic role of early visual cortex in multisensory processing.

بینایی چگونه توسط حواس دیگر شکل می‌گیرد؟ قشر بینایی صرفاً دریافت‌کننده منفعل ورودی‌های شبکیه نیست، بلکه به سایر حواس، به‌ویژه شنوایی نیز پاسخ می‌دهد. اگرچه نشان داده شده است که سیگنال‌های شنوایی به قشرهای اولیه بینایی نفوذ می‌کنند، اما سازوکارهای ایجاد این پاسخ‌ها همچنان به‌خوبی شناخته نشده‌اند. برای بررسی اینکه شنوایی چگونه بینایی را شکل می‌دهد، از تصویربرداری تشدید مغناطیسی عملکردی (fMRI) استفاده کردیم تا بررسی کنیم آیا برهم‌کنش‌های شنوایی‌ـ‌بصری بهره پاسخ‌ها را در قشرهای اولیه بینایی انسان تعدیل می‌کند یا خیر. به طور خاص، تابع پاسخ به کنتراست (CRF) را در سطح وکسل اندازه‌گیری کردیم، در حالی که شرکت‌کنندگان به گراتینگ‌های افقی متحرک نگاه می‌کردند که با حرکت شنوایی هم‌جهت یا ناهم‌جهت با حرکت بصری، یا بدون حرکت (ایستا) جفت شده بود. نشان دادیم که حرکت شنوایی‌ـ‌بصری هم‌جهت حساسیت به کنتراست را در سطح وکسل افزایش می‌دهد، در حالی که حرکت ناهم‌جهت آن را کاهش می‌دهد و این امر به صورت تعدیل قوی بهره کنتراست در نواحی V1 تا V3 ظاهر می‌شود. این افزایش انتخابی نسبت به جهت حرکت، به‌خوبی توسط مدل نرمال‌سازی تقسیم‌پذیر که تعدیل بازخوردی ناشی از شنوایی را در بر می‌گیرد، تبیین می‌شود. یافته‌های ما شواهد قانع‌کننده‌ای برای برهم‌کنش‌های میان‌حسی در مراحل اولیه پردازش بینایی ارائه می‌دهد که توسط تعدیل بهره کنتراست هدایت می‌شود؛ یعنی تعدیل دوطرفه حساسیت که تعادل میان فعالیت تحریکی و مهاری موضعی را حفظ می‌کند. در مجموع، این نتایج نشان می‌دهد که برهم‌کنش‌های شنوایی‌ـ‌بصری می‌تواند یکی از ویژگی‌های بنیادی بینایی را تغییر دهد و نقش پویای قشر اولیه بینایی در پردازش چندحسی را برجسته می‌سازد.