Chaofeng Qin

Cognitive flexibility requires rapid updating of internal representations when action–outcome contingencies change. Yet how feedback on a single trial reshapes the distributed activity patterns that implement these internal representations remains poorly understood. Using functional magnetic resonance imaging (fMRI) during probabilistic reversal learning, we show that a Q-learning model with separate learning rates outperforms a standard model and reveals stronger learning from positive than negative reward prediction errors (RPE). Reversal increases prediction error magnitude and induces rapid multivoxel reorganization in medial temporal and adjacent subcortical regions. During early reversal, RPE-related activity in right striatal and medial orbitofrontal regions predicts subsequent changes in right lateral orbitofrontal cortex (lOFC) representations; these effects occur only after nonrewarded outcomes. Moreover, greater representational change in lOFC is associated with weakening of the action policy, and this pattern change in right lOFC is related to reward-stay behavior. Together, these findings link lOFC updating to behavioral policy adjustment during reversal learning.

انعطاف‌پذیری شناختی مستلزم به‌روزرسانی سریع بازنمایی‌های درونی هنگام تغییر پیوستگی‌های عمل-پیامد است. با این حال، چگونگی تأثیر بازخورد یک آزمون منفرد بر الگوهای فعالیت توزیع‌شده که این بازنمایی‌های درونی را پیاده‌سازی می‌کنند، همچنان به‌خوبی شناخته نشده‌است. با استفاده از تصویربرداری تشدید مغناطیسی عملکردی (fMRI) در طول یادگیری معکوس احتمالاتی، نشان می‌دهیم که یک مدل یادگیری Q با نرخ‌های یادگیری جداگانه نسبت به مدل استاندارد عملکرد بهتری دارد و یادگیری قوی‌تری از خطاهای پیش‌بینی پاداش (RPE) مثبت نسبت به منفی را نشان می‌دهد. معکوس‌سازی، بزرگی خطای پیش‌بینی را افزایش داده و سازمان‌دهی مجدد سریع چند-وُکسلی را در نواحی تمپورال میانی و زیرقشری مجاور القا می‌کند. در اوایل معکوس‌سازی، فعالیت مرتبط با RPE در نواحی استریاتوم راست و اوربیتوفرنتال میانی پیش‌بینی‌کننده تغییرات بعدی در بازنمایی‌های قشر اوربیتوفرنتال جانبی راست (lOFC) است؛ این اثرات تنها پس از پیامدهای بدون پاداش رخ می‌دهد. افزون بر این، تغییر بازنمایشی بیشتر در lOFC با تضعیف سیاست عمل همراه است و این تغییر الگو در lOFC راست با رفتار باقی‌ماندن پس از پاداش مرتبط است. در مجموع، این یافته‌ها به‌روزرسانی lOFC را به تعدیل سیاست رفتاری در طول یادگیری معکوس پیوند می‌دهد.