Modal

Social capital represents a relational resource developed through trust, professional networks, collaboration, peer support, and knowledge exchange. In the context of Social Studies Education, social capital can support teachers in accessing information, experiences, and professional resources relevant to professional development and instructional planning. This study aims to analyze the conceptualization of teachers’ social capital, identify its dimensions in relation to teacher professionalism, and examine its relevance to Social Studies teaching practices and instructional planning. The study employs a Systematic Literature Review (SLR) approach guided by the PRISMA 2020 framework. The literature analyzed consists of scholarly publications published between 2023 and 2026 in Indonesian and English that met the established inclusion criteria. The data were analyzed through thematic synthesis based on conceptual dimensions, forms of professional relationships, and their contributions to teaching practices. The synthesis indicates that social capital facilitates teachers’ access to information, experiences, feedback, and professional support through networks and collaborative relationships. These resources can strengthen professional learning and pedagogical decision-making relevant to Social Studies instructional planning. However, empirical evidence directly linking teachers’ social capital to the quality of Social Studies instructional planning remains limited. These findings highlight the need for further research on how social capital can be translated into improvements in the quality of Social Studies instructional planning components.

Developing students’ economic competence and creativity is essential to preparing them for economic challenges and changing societal demands. However, school entrepreneurship programs do not necessarily develop economic understanding and creativity equally, making evaluation of their implementation and learning outcomes necessary. This study aims to analyze the implementation, supporting and inhibiting factors, and effectiveness of an entrepreneurship-based school program in developing students’ economic competence and creativity at SMP Negeri 2 Tuhemberua. A qualitative descriptive approach was employed. Data were collected through interviews, documentation, and observations involving the school principal, supervising teacher, and five participating students. Data were analyzed through data reduction, data presentation, and conclusion drawing, with credibility examined through source and method triangulation. The findings indicate that the Cultivation and MSME Business Project supports students’ understanding of production, capital, costs, sales, and profit while encouraging product innovation, problem-solving, responsibility, and cooperation. Nevertheless, program effectiveness remains limited by insufficient time, inadequate facilities, difficulties in financial recordkeeping, and restricted marketing reach. Therefore, the program is effective as a practical learning experience but requires stronger structured reflection, financial literacy activities, and continuous evaluation to improve students’ economic competence and creativity. ABSTRAK Pengembangan kompetensi ekonomi dan kreativitas siswa penting untuk mempersiapkan mereka menghadapi tantangan ekonomi dan perubahan zaman. Namun, pelaksanaan program kewirausahaan di sekolah belum tentu menghasilkan penguasaan konsep ekonomi dan kreativitas secara seimbang sehingga perlu dievaluasi berdasarkan proses dan capaian pembelajarannya. Penelitian ini bertujuan menganalisis pelaksanaan, faktor pendukung dan penghambat, serta efektivitas program sekolah berbasis kewirausahaan dalam mengembangkan kompetensi ekonomi dan kreativitas siswa SMP Negeri 2 Tuhemberua. Penelitian menggunakan pendekatan kualitatif dengan metode deskriptif. Data dikumpulkan melalui wawancara, dokumentasi, dan pengamatan terhadap kepala sekolah, guru pembimbing, serta lima siswa peserta program. Analisis data dilakukan melalui reduksi data, penyajian data, dan penarikan kesimpulan, dengan keabsahan diperiksa melalui triangulasi sumber dan teknik. Hasil penelitian menunjukkan bahwa program Proyek Budidaya dan Usaha UMKM mendukung pemahaman siswa tentang produksi, modal, biaya, penjualan, dan keuntungan, sekaligus mendorong inovasi produk, pemecahan masalah, tanggung jawab, dan kerja sama. Efektivitas program belum optimal karena keterbatasan waktu, sarana, pencatatan keuangan, dan jangkauan pemasaran. Dengan demikian, program efektif sebagai pengalaman belajar praktis, tetapi memerlukan penguatan refleksi, literasi keuangan, dan evaluasi berkelanjutan.

Traditional statistical models face the challenges of insufficient modeling capabilities and difficulty in interpreting complex, nonlinear, and high-dimensional data. Therefore, this paper combines fuzzy logic and deep learning methods to construct a framework model for identifying key factors for high-quality employment for college students. The model in this paper uses multi-channel encoding technology. We use the attention mechanism to fuse the features obtained from multi-channel encoding and input the self-organizing fuzzy inference structure for regression and classification analysis. The system can transform numerical prediction results into a semantic rule-driven decision-making process, which can significantly improve the model’s modeling capabilities and interpretability for uncertainty. Our experiments were conducted on 5,623 graduates. Experimental results on the data show that our model achieved an average mean square error of 0.831, a coefficient of determination of 0.892, and a classification accuracy of 0.865, which are significantly higher than traditional statistical and machine learning models. The corresponding experiments demonstrate the key role of cross-modal fusion and fuzzy reasoning modules in improving the results. Feature importance analysis shows that factors such as internship duration, GPA, and research participation have a key impact on high-quality employment, which is consistent with expert consensus.

Perceptual expertise is widely assumed to refine multisensory perception, yet the empirical literature appears inconsistent. Trained musicians show narrower audiovisual temporal integration windows and quicker segregation, whereas experienced wine tasters seem more influenced by a wine's color in their aroma and flavor judgments than novices are. We argue that the inconsistency arises from a conflation of two formally distinct quantities: the prior probability that concurrent signals arise from a common source, and the coupling between the values of signals that share one. We present a generative model in which both are free parameters, along with channel precision and a decision criterion, that contains causal-inference and coupling-prior models as special cases. The model shows that the correlation between the values of two signals across an environment reflects only the product of the two priors, so that a correlation-tracking learner acquires the coupling when the signals always share a source, whereas separating the two priors requires representing causal structure; that binary common-source reports confound the common-cause prior with the decision criterion; that the coupling trades off against the measurement noise of the influencing channel unless its precision is measured independently; and that the two priors leave distinct signatures in how cross-modal influence varies with disparity. When the source is fixed, as for the color and odor of a wine, tighter coupling alone produces the conjunction of greater displacement by color and better discrimination between wines reported for experienced tasters, which no change in odor precision can produce. Simulations of a test battery combining continuous estimates, common-source reports and discrimination thresholds show that the parameters can be recovered, that a within-subject dissociation can be detected with conventional sample sizes under illustrative effect sizes, and that recovery fails in certain cases. The account yields a rule classifying environments by their base rate of common causation and their coupling strength, and the same ambiguity attends claims about altered multisensory processing in autism and aging. We also show that the most cited demonstration of expert susceptibility to color contains no expertise manipulation, and suggest that apparent expert biases may reflectwind calibration to real-world statistics.

Psychological stress dialogue recognition still lacks sufficient semantic understanding in multimodal information fusion and emotional dynamic modelling. It is difficult to achieve high-precision and robust stress state recognition in complex dialogue scenarios. Combining the advantages of the pre-trained language model BERT (Bidirectional Encoder Representations from Transformers) in semantic understanding and the capabilities of EmoShiftNet (Emotion Shift Network) in emotion transfer modelling, contextual semantic coding is realised through a multi-level Transformer, and a cross-modal Transformer is used to align heterogeneous features such as text, speech, and vision. In terms of multimodal signal representation, the BERT encoder captures fine-grained changes in language semantics, the convolutional-recurrent network extracts speech time–frequency features, the convolutional neural network and optical flow method obtain facial expression dynamics, and finally, realises unified representation through shared embedding space and cross-modal contrast learning. On the five-class psychological stress dialogue task, text semantic features contribute 42.7% of the total discriminative information, and the full multimodal fusion model achieves an overall accuracy of 85.0% (95% CI (Confidence Interval): [83.2%, 86.8%]) on the held-out test set. In the emotion transition detection task, the model achieves 76.2% transfer prediction accuracy with an average detection latency of 13.4 s. Under low signal-to-noise ratio conditions, the speech modality maintains stable performance with an error rate of 4.8% across 59 test samples. The highest accuracy rate of the fusion model under full-modal input reaches 97% on our self-constructed psychological stress dialogue dataset, which is divided strictly at the dialogue level (6391 training, 1484 validations, 2227 test samples) to avoid data leakage. This result significantly outperforms single-modal baselines and four state-of-the-art pre-trained language model baselines.

شناسایی گفت‌وگوی استرس روان‌شناختی همچنان در همجوشی اطلاعات چندوجهی و مدل‌سازی پویایی هیجانی با کمبود درک معنایی کافی مواجه است. دستیابی به شناسایی دقیق و مقاوم وضعیت استرس در سناریوهای گفت‌وگوی پیچیده دشوار است. با ترکیب مزایای مدل زبانی پیش‌آموزش‌یافته BERT (Bidirectional Encoder Representations from Transformers) در درک معنایی و قابلیت‌های EmoShiftNet (Emotion Shift Network) در مدل‌سازی انتقال هیجان، کدگذاری معنایی متنی از طریق ترنسفورمر چندسطحی تحقق می‌یابد و یک ترنسفورمر میان‌وجهی برای هم‌ترازی ویژگی‌های ناهمگن مانند متن، گفتار و بینایی به‌کار می‌رود. در زمینه نمایش سیگنال چندوجهی، رمزگذار BERT تغییرات ریزمعنایی زبان را استخراج می‌کند، شبکه کانولوشن-بازگشتی ویژگی‌های زمانی-فرکانسی گفتار را استخراج می‌کند، شبکه عصبی کانولوشنی و روش جریان نوری پویایی‌های حالت چهره را به‌دست می‌آورند و در نهایت، نمایش یکپارچه از طریق فضای تعبیه مشترک و یادگیری متضاد میان‌وجهی محقق می‌شود. در وظیفه پنج‌کلاسه گفت‌وگوی استرس روان‌شناختی، ویژگی‌های معنایی متنی ۴۲٫۷٪ از کل اطلاعات تمایزبخش را تأمین می‌کنند و مدل همجوشی کامل چندوجهی به دقت کلی ۸۵٫۰٪ (فاصله اطمینان ۹۵٪: [۸۳٫۲٪، ۸۶٫۸٪]) در مجموعه آزمون نگه‌داشته‌شده دست می‌یابد. در وظیفه شناسایی انتقال هیجان، مدل به دقت پیش‌بینی انتقال ۷۶٫۲٪ با میانگین تأخیر شناسایی ۱۳٫۴ ثانیه دست می‌یابد. در شرایط نسبت سیگنال به نویز پایین، وجه گفتاری با نرخ خطای ۴٫۸٪ در میان ۵۹ نمونه آزمون عملکرد پایداری را حفظ می‌کند. بالاترین نرخ دقت مدل همجوشی در ورودی تمام‌وجهی به ۹۷٪ در مجموعه‌داده گفت‌وگوی استرس روان‌شناختی ساخت خود ما می‌رسد که به‌طور دقیق در سطح گفت‌وگو (۶۳۹۱ نمونه آموزش، ۱۴۸۴ نمونه اعتبارسنجی، ۲۲۲۷ نمونه آزمون) تقسیم شده است تا از نشت داده جلوگیری شود. این نتیجه به‌طور معناداری از پایه‌های تک‌وجهی و چهار مدل زبانی پیش‌آموزش‌یافته پیشرفته برتر است.

Accurate driver behavior recognition is important for driver monitoring systems and intelligent transportation applications. Although EEG-based approaches can provide useful neural information, their practical use is often limited by sensing complexity, preparation burden, and sensitivity to motion artifacts. This study proposes a physiology-guided multimodal learning framework for EEG-free driver behavior recognition using peripheral biosignals. A publicly available multimodal driving physiology dataset was used, including recordings from 35 participants performing five driving behaviors: smooth driving, acceleration, deceleration, lane change, and turning. Three peripheral physiological signals, namely ECG, EMG, and GSR, were used as model inputs. The proposed framework incorporates physiological knowledge into multimodal representation learning through modality-aware encoders tailored to the distinct characteristics of ECG, EMG, and GSR. A physiology-guided fusion mechanism is further introduced to model complementary cross-modal interactions among the three biosignals. Experimental results showed that the proposed ECG+EMG+GSR model achieved an average accuracy of 0.782 and a macro-F1 score of 0.783 under a five-fold evaluation protocol with separated training, validation, and test sets, with MCC and Cohen’s kappa reaching 0.711 and 0.711, respectively. Compared with EEG-only and full-modality baselines reported in the original dataset study, the proposed framework demonstrated the feasibility of EEG-free driver behavior recognition using only peripheral biosignals. Under the matched ECG+EMG+GSR input setting, the proposed framework outperformed the strongest baseline across all four evaluation metrics. In addition, sensing-configuration analysis showed that ECG+EMG+GSR provided a favorable balance between recognition performance and sensing burden. These results indicate that physiology-guided multimodal learning can effectively exploit heterogeneous peripheral biosignals for accurate and interpretable EEG-free driver behavior recognition.

شناسایی دقیق رفتار راننده برای سامانه‌های پایش راننده و کاربردهای حمل‌ونقل هوشمند اهمیت زیادی دارد. اگرچه رویکردهای مبتنی بر EEG می‌توانند اطلاعات عصبی مفیدی ارائه دهند، اما کاربرد عملی آن‌ها اغلب به دلیل پیچیدگی سنجش، دشواری آماده‌سازی و حساسیت به آرتیفکت‌های حرکتی محدود می‌شود. این مطالعه یک چارچوب یادگیری چندوجهی مبتنی بر فیزیولوژی را برای شناسایی رفتار راننده بدون استفاده از EEG و با بهره‌گیری از سیگنال‌های زیستی محیطی پیشنهاد می‌کند. از یک پایگاه داده فیزیولوژی رانندگی چندوجهی که به‌صورت عمومی در دسترس است، استفاده شد که شامل ثبت داده‌های ۳۵ شرکت‌کننده در حال انجام پنج رفتار رانندگی (رانندگی نرم، شتاب‌گیری، کاهش سرعت، تغییر خط و پیچیدن) بود. سه سیگنال فیزیولوژیکی محیطی شامل ECG، EMG و GSR به‌عنوان ورودی مدل به کار گرفته شدند. چارچوب پیشنهادی، دانش فیزیولوژیکی را از طریق رمزگذارهای آگاه از نوع مدالیته که متناسب با ویژگی‌های متمایز ECG، EMG و GSR طراحی شده‌اند، در یادگیری بازنمایی چندوجهی ادغام می‌کند. همچنین، یک سازوکار همجوشی هدایت‌شده با فیزیولوژی برای مدل‌سازی تعاملات مکمل بین‌مدالیته‌ای میان این سه سیگنال زیستی معرفی شده است. نتایج تجربی نشان داد که مدل ECG+EMG+GSR پیشنهادی به دقت میانگین ۰.۷۸۲ و امتیاز macro-F1 برابر با ۰.۷۸۳ تحت پروتکل ارزیابی پنج‌گانه با مجموعه‌های آموزشی، اعتبارسنجی و آزمون جداگانه دست یافت و مقادیر MCC و کاپای Cohen به ترتیب ۰.۷۱۱ و ۰.۷۱۱ بود. در مقایسه با خطوط پایه مبتنی بر EEG و مدالیته کامل که در مطالعه اصلی پایگاه داده گزارش شده بود، چارچوب پیشنهادی امکان‌پذیری شناسایی رفتار راننده بدون EEG و صرفاً با سیگنال‌های زیستی محیطی را نشان داد. در شرایط ورودی منطبق ECG+EMG+GSR، چارچوب پیشنهادی در هر چهار معیار ارزیابی از قوی‌ترین خط پایه عملکرد بهتری داشت. علاوه بر این، تحلیل پیکربندی سنجش نشان داد که ترکیب ECG+EMG+GSR تعادل مطلوبی میان عملکرد شناسایی و بار سنجش فراهم می‌کند. این نتایج بیانگر آن است که یادگیری چندوجهی هدایت‌شده با فیزیولوژی می‌تواند به‌طور مؤثر از سیگنال‌های زیستی محیطی ناهمگن برای شناسایی دقیق و قابل تفسیر رفتار راننده بدون EEG بهره‌برداری کند.

This paper reviews recent developments in interpretative phenomenological analysis (IPA) research methodology: longitudinal; multi-modal; mixed methods. For each of these developments the paper describes how the innovation is being implemented and the distinctive contribution arising from making these advancements in IPA design. I also provide two detailed examples of studies using each of the advanced methodologies along with suggestions for further reading. The paper also includes briefer discussion of recent changes in some of the terminology employed in IPA analysis and recent guidance on writing and evaluating high quality IPA.

این مقاله به بررسی تحولات اخیر در روش‌شناسی پژوهش تحلیل پدیدارشناختی تفسیری (IPA) می‌پردازد: طولی؛ چندوجهی؛ روش‌های ترکیبی. برای هر یک از این تحولات، مقاله چگونگی اجرای نوآوری و سهم متمایز ناشی از ایجاد این پیشرفت‌ها در طراحی IPA را توصیف می‌کند. همچنین، دو نمونه‌ی مفصل از مطالعاتی که از هر یک از روش‌شناسی‌های پیشرفته استفاده کرده‌اند، همراه با پیشنهادهایی برای مطالعه‌ی بیشتر ارائه می‌شود. مقاله همچنین شامل بحث کوتاه‌تری درباره‌ی تغییرات اخیر در برخی از اصطلاحات به‌کاررفته در تحلیل IPA و راهنمایی‌های جدید درباره‌ی نگارش و ارزیابی IPA با کیفیت بالا است.

Islamic education views learners as individuals endowed with innate human nature (fitrah) that should be developed holistically through educational processes integrating intellectual, emotional, moral, social, and spiritual dimensions. Within the context of the Malay Coastal community, local cultural values rooted in Islamic teachings constitute an important social capital for strengthening students' character and spirituality. This article aims to analyze the concepts of fitrah, character, and spirituality from the perspective of Islamic educational psychology based on Malay Coastal culture. This study employs a library research method using a conceptual approach through an extensive review of the Qur'an, Hadith, Islamic educational psychology literature, and relevant scholarly publications. The findings indicate that fitrah serves as the fundamental human potential that underlies the development of character and spirituality. Malay Coastal cultural values including religiosity, mutual cooperation, deliberation, courtesy, respect for parents, and social responsibility strongly support the reinforcement of Islamic character education. The integration of the concept of fitrah with local cultural values produces a contextual, humanistic, and value-oriented educational framework that contributes to the realization of insan kamil (the complete human being). Consequently, Islamic educational psychology grounded in Malay Coastal culture represents a strategic educational approach for strengthening students' character and spirituality amid the challenges posed by globalization and technological advancement. Abstrak Pendidikan Islam memandang peserta didik sebagai individu yang memiliki potensi fitrah yang harus dikembangkan secara utuh melalui proses pendidikan yang memperhatikan dimensi intelektual, emosional, moral, sosial, dan spiritual. Dalam konteks masyarakat Melayu Pesisir, nilai-nilai budaya lokal yang berlandaskan ajaran Islam menjadi modal sosial yang penting dalam membentuk karakter dan spiritualitas peserta didik. Artikel ini bertujuan menganalisis konsep fitrah, karakter, dan spiritualitas peserta didik dalam perspektif psikologi pendidikan Islam berbasis budaya Melayu Pesisir. Penelitian menggunakan metode library research dengan pendekatan konseptual melalui kajian terhadap Al-Qur'an, Hadis, literatur psikologi pendidikan Islam, serta berbagai hasil penelitian ilmiah yang relevan. Hasil kajian menunjukkan bahwa fitrah merupakan potensi dasar manusia yang menjadi landasan perkembangan karakter dan spiritualitas. Nilai-nilai budaya Melayu Pesisir seperti religiusitas, gotong royong, musyawarah, sopan santun, penghormatan kepada orang tua, dan kepedulian sosial memiliki relevansi yang kuat dalam penguatan pendidikan karakter Islami. Integrasi konsep fitrah dengan nilai budaya lokal menghasilkan model pendidikan yang lebih kontekstual, humanistik, dan berorientasi pada pembentukan insan kamil. Oleh karena itu, psikologi pendidikan Islam berbasis budaya Melayu Pesisir menjadi pendekatan strategis dalam memperkuat karakter peserta didik di tengah tantangan globalisasi dan perkembangan teknologi.

آموزش اسلامی، دانش‌آموزان را به عنوان افرادی با فطرت انسانی ذاتی می‌نگرد که باید این فطرت به صورت جامع از طریق فرایندهای آموزشی که ابعاد عقلانی، هیجانی، اخلاقی، اجتماعی و معنوی را دربرمی‌گیرد، پرورش یابد. در بستر جامعه ملایو ساحلی، ارزش‌های فرهنگی محلی که ریشه در تعالیم اسلامی دارند، سرمایه اجتماعی مهمی برای تقویت شخصیت و معنویت دانش‌آموزان محسوب می‌شوند. هدف این مقاله تحلیل مفاهیم فطرت، شخصیت و معنویت از منظر روان‌شناسی تربیتی اسلامی مبتنی بر فرهنگ ملایو ساحلی است. این پژوهش با روش کتابخانه‌ای و رویکرد مفهومی از طریق بررسی گسترده قرآن، حدیث، ادبیات روان‌شناسی تربیتی اسلامی و انتشارات علمی مرتبط انجام شده است. یافته‌ها نشان می‌دهد که فطرت به عنوان ظرفیت بنیادین انسانی، زیرساخت توسعه شخصیت و معنویت است. ارزش‌های فرهنگی ملایو ساحلی از جمله دینداری، همکاری جمعی، مشورت، ادب، احترام به والدین و مسئولیت‌پذیری اجتماعی، نقش مهمی در تقویت آموزش شخصیت اسلامی دارند. ادغام مفهوم فطرت با ارزش‌های فرهنگی محلی، چارچوب آموزشی زمینه‌مند، انسان‌محور و ارزش‌مداری را پدید می‌آورد که به تحقق انسان کامل (انسان کامل) کمک می‌کند. بنابراین، روان‌شناسی تربیتی اسلامی مبتنی بر فرهنگ ملایو ساحلی، رویکردی راهبردی برای تقویت شخصیت و معنویت دانش‌آموزان در مواجهه با چالش‌های جهانی‌شدن و پیشرفت فناوری به شمار می‌رود.

Abstract A common feature of recent metaphysical discussion are explanations stating that an object x is F by virtue of its essence or nature. These explanations are ultimate in the sense that there is no further explanation as to why they hold. Given that x is F by virtue of its nature, there is no further essentialist fact that explains this fact. I critically survey three recent accounts of the ultimacy of essence and argue that they fail to be ultimate in the intended sense. In light of this discussion, I suggest that a modal account of intrinsicality may present a viable alternative to essentialist explanations.

چکیده: یکی از ویژگی‌های مشترک بحث‌های اخیر در حوزه مابعدالطبیعه، توضیحاتی است که بیان می‌کنند شیء x به واسطه ماهیت یا سرشت خود دارای ویژگی F است. این توضیحات از این جهت نهایی هستند که توضیح بیشتری برای چرایی آن‌ها وجود ندارد. با توجه به اینکه x به واسطه سرشت خود F است، هیچ واقعیت ماهیت‌گرایانه دیگری وجود ندارد که این واقعیت را توضیح دهد. در این مقاله، سه نظریه اخیر درباره نهاییّت ماهیت را به طور انتقادی بررسی می‌کنم و استدلال می‌کنم که این نظریه‌ها در معنای مورد نظر، نهایی نیستند. در پرتو این بحث، پیشنهاد می‌کنم که یک رویکرد وجهی به درون‌بودگی می‌تواند جایگزینی قابل قبول برای توضیحات ماهیت‌گرایانه ارائه دهد.

The role and responsibilities of pilots have been evolving as advanced automation systems are being integrated for flight operations. Operator state monitoring (OSM) helps ensure safety and improve performance by detecting and predicting degraded operator state during operations. Despite growing interest in OSM, no unified framework exists that integrates impairment definitions, sensor criteria, and interface design requirements. This work is presented as a conceptual analysis that establishes a foundational framework for operator state monitoring system (OSMS) development, addressing what an OSMS should monitor, what types of operator state changes should be detected, the characteristics of sensing and communication needed to support these functions and the operational considerations that should inform future development. A literature review establishes potential impairment and incapacitation events for pilots, identifies relevant physiological features to support detection of these events, and assess the possible impact of such events on flight operations to inform a system response. Existing work concentrates on military and automotive contexts and on workload, fatigue, and drowsiness rather than the acute-event end of the impairment continuum; the framework developed here spans the normal to impaired to incapacitated range required for in-flight operations. OSMSs should be developed based on a multi-modal data approach consisting of physiological features, pilot performance and activity, aircraft state and environmental data, as well as contain a means for pilots to self-report input. Heart, breathing, and behavioral features are affected across the widest range of events, making them broad-coverage candidates for sensor selection, though breadth of coverage is distinct from diagnostic specificity and no single feature is treated as a standalone indicator. The remaining recommendations address the engineering of sensing and processing for the flight deck. Design guidance for the alert and notification interface is presented alongside the recommendations. As OSMSs mature, this framework can serve as a critical reference for developing robust, reliable, and widely accepted solutions in aviation.

نقش‌ها و مسئولیت‌های خلبانان با ادغام سامانه‌های پیشرفته خودکارسازی در عملیات پروازی در حال تحول است. پایش وضعیت اپراتور (OSM) به تضمین ایمنی و بهبود عملکرد از طریق شناسایی و پیش‌بینی افت وضعیت اپراتور در حین عملیات کمک می‌کند. با وجود افزایش علاقه به OSM، هنوز چارچوب یکپارچه‌ای که تعاریف اختلال، معیارهای حسگر و الزامات طراحی رابط را ادغام کند، وجود ندارد. این پژوهش به‌عنوان یک تحلیل مفهومی ارائه می‌شود که چارچوبی بنیادی برای توسعه سامانه پایش وضعیت اپراتور (OSMS) ایجاد می‌کند و به این پرسش‌ها می‌پردازد که یک OSMS باید چه مواردی را پایش کند، چه نوع تغییراتی در وضعیت اپراتور باید شناسایی شود، ویژگی‌های حسگری و ارتباطی مورد نیاز برای پشتیبانی از این کارکردها چیست و ملاحظات عملیاتی که باید توسعه آینده را هدایت کند کدام‌اند. مرور ادبیات، رویدادهای بالقوه اختلال و ناتوانی خلبانان را شناسایی می‌کند، ویژگی‌های فیزیولوژیکی مرتبط برای پشتیبانی از شناسایی این رویدادها را معرفی می‌کند و تأثیر احتمالی چنین رویدادهایی بر عملیات پروازی را برای اطلاع‌رسانی به پاسخ سامانه ارزیابی می‌کند. پژوهش‌های موجود عمدتاً بر زمینه‌های نظامی و خودرویی و بر بارکاری، خستگی و خواب‌آلودگی متمرکز شده‌اند تا انتهای حاد طیف اختلال؛ چارچوب ارائه‌شده در اینجا دامنه طبیعی تا اختلال‌یافته تا ناتوان‌شده مورد نیاز برای عملیات پروازی را پوشش می‌دهد. OSMSها باید بر اساس رویکرد داده‌های چندوجهی شامل ویژگی‌های فیزیولوژیکی، عملکرد و فعالیت خلبان، وضعیت هواپیما و داده‌های محیطی توسعه یابند و همچنین باید امکان ورود داده‌های خودگزارشی توسط خلبان را فراهم کنند. ویژگی‌های قلبی، تنفسی و رفتاری در گسترده‌ترین دامنه رویدادها تحت تأثیر قرار می‌گیرند و آن‌ها را به گزینه‌هایی با پوشش وسیع برای انتخاب حسگر تبدیل می‌کند، هرچند گستره پوشش با ویژگی تشخیصی متفاوت است و هیچ ویژگی به‌تنهایی به‌عنوان شاخص مستقل تلقی نمی‌شود. سایر توصیه‌ها به مهندسی حسگری و پردازش برای کابین پرواز می‌پردازد. راهنمای طراحی برای رابط هشدار و اعلان همراه با توصیه‌ها ارائه شده است. با بلوغ OSMSها، این چارچوب می‌تواند به‌عنوان مرجعی حیاتی برای توسعه راهکارهای مقاوم، قابل‌اعتماد و مورد پذیرش گسترده در هوانوردی مورد استفاده قرار گیرد.

Emotion recognition offers a route to quantifying interaction quality in early childhood education, yet existing methods suffer from unimodal input, poor real-time performance and weak generalization. This study proposes a speech-text multimodal model built on a Mamba encoder with a GatedxLSTM fusion mechanism, in which frame pooling and temporal masking resolve the temporal misalignment between modalities and a learnable gate adjusts modality contribution. Experiments on IEMOCAP and FAU-AIBO, together with an in-house KTC-Pilot corpus of authentic kindergarten interactions used for ecological validation, show that the approach outperforms mainstream baselines in F1, WA and UA. Three child-speech-aware adaptations, namely pitch and formant augmentation, silence-aware frame pooling and disfluency-tolerant text encoding, close the domain gap with authentic kindergarten dialogue, and modality-dropout training, cross-modal reconstruction of missing text and gating regularisation maintain robustness under incomplete inputs. A contamination audit against the CLAP pretraining corpora confirms that the gains do not arise from data leakage. A downstream evaluation using an Interaction Quality Index calibrated against expert observer ratings achieves a Pearson correlation of 0.692 with expert scores. An on-device deployment study on two embedded platforms further shows that the quantised framework sustains an end-to-end latency of 377 ms per utterance at a real-time factor of 0.075 and a board power of 9.6 W while retaining an F1 score of 0.706 on authentic kindergarten audio, and a stage-wise data-handling design keeps raw audio, spectral features and transcripts inside the classroom node so that only a scalar interaction quality value is written to persistent storage. Ablation and visualization analyses confirm the contribution of each structural component to recognition performance and interpretability.

شناسایی هیجان، روشی برای کمی‌سازی کیفیت تعامل در آموزش دوران کودکی ارائه می‌دهد، اما روش‌های موجود با ورودی تک‌وجهی، عملکرد ضعیف در زمان واقعی و تعمیم‌پذیری محدود مواجه هستند. این پژوهش، یک مدل چندوجهی گفتار-متن مبتنی بر رمزگذار Mamba با سازوکار ادغام GatedxLSTM پیشنهاد می‌کند که در آن، تجمیع قاب و پوشش زمانی، عدم‌هم‌زمانی زمانی بین وجه‌ها را رفع می‌کند و یک دروازه قابل یادگیری، سهم هر وجه را تنظیم می‌نماید. آزمایش‌ها بر روی مجموعه‌های IEMOCAP و FAU-AIBO، به همراه پیکره داخلی KTC-Pilot از تعاملات اصیل مهدکودک که برای اعتبارسنجی بوم‌شناختی استفاده شده است، نشان می‌دهد که رویکرد پیشنهادی در معیارهای F1، WA و UA از مبناهای رایج پیشی می‌گیرد. سه سازگاری آگاه از گفتار کودک، شامل افزایش زیر و بمی و فورمانت، تجمیع قاب حساس به سکوت و رمزگذاری متن مقاوم به ناروانی، فاصله حوزه‌ای با گفت‌وگوی اصیل مهدکودک را کاهش می‌دهد و آموزش با حذف وجه، بازسازی متقابل متن مفقود و منظم‌سازی دروازه‌ای، پایداری مدل را در ورودی‌های ناقص حفظ می‌کند. ممیزی آلودگی نسبت به پیکره‌های پیش‌آموزش CLAP تأیید می‌کند که بهبودها ناشی از نشت داده نیست. ارزیابی پایین‌دستی با استفاده از شاخص کیفیت تعامل که بر اساس امتیازدهی ناظران خبره کالیبره شده است، همبستگی پیرسون 0.692 با امتیازهای خبره به دست می‌آورد. مطالعه استقرار بر روی دستگاه در دو پلتفرم تعبیه‌شده نشان می‌دهد که چارچوب کمیت‌یافته، تأخیر انتها به انتهای 377 میلی‌ثانیه به ازای هر بیان را با ضریب زمان واقعی 0.075 و توان برد 9.6 وات حفظ می‌کند، در حالی که امتیاز F1 برابر با 0.706 بر روی صوت اصیل مهدکودک باقی می‌ماند و طراحی مرحله‌ای مدیریت داده‌ها موجب می‌شود صوت خام، ویژگی‌های طیفی و رونوشت‌ها در گره کلاسی باقی بماند و تنها یک مقدار عددی کیفیت تعامل در حافظه دائمی ثبت شود. تحلیل حذف مؤلفه و تجسم، سهم هر جزء ساختاری در عملکرد شناسایی و تفسیرپذیری را تأیید می‌کند.

Abstract Fritz, Lo, and Schmid argue that the symmetry problem for the modal ontological argument dissolves in modal logics weaker than S5, where (P1) white medium square left parenthesis g right arrow white medium square g right parenthesis $\square\left( g\rightarrow \square{g} \right)$ ◻ ( g → ◻ g ) , (P2) backslash unicodex 2 upper B 26 g $\unicode{x2B26}{g}$ ⬦ , and (P2*) backslash unicodex 2 upper B 26 not sign g $\unicode{x2B26}\neg g$ ⬦ ¬ g are jointly consistent. We grant their formal results but deny their dialectical conclusion. The symmetry problem is not dissolved but relocated. Their atheist advantage in S4 depends on privileging (P1) over its mirror, (P1*) white medium square left parenthesis not sign g right arrow white medium square not sign g right parenthesis $\square\left( \neg g\rightarrow \square\neg g \right)$ ◻ ( ¬ g → ◻ ¬ g ) . We argue that the principal metaphysical frameworks relevant to (P1) – including dispositional modality, actualist constraints together with divine simplicity, the inexplicability of God’s contingent existence, and theistic grounding – provide no stable advantage for (P1) over (P1*). Depending on their details, these frameworks support both principles, support neither, or generate an asymmetry that does not favour (P1). The symmetry therefore reappears at the level of the necessity claims, and the reverse argument gains no decisive advantage over the original.

فریتز، لو و اشمید استدلال می‌کنند که مسئله تقارن برای برهان وجودی امکانی در منطق‌های امکانی ضعیف‌تر از S5 حل می‌شود، جایی که (P1) ◻(g→◻g)، (P2) ⬦g و (P2*) ⬦¬g با یکدیگر سازگار هستند. ما نتایج صوری آنان را می‌پذیریم اما نتیجه دیالکتیکی آنان را رد می‌کنیم. مسئله تقارن حل نمی‌شود بلکه جابه‌جا می‌شود. برتری خداناباورانه آنان در S4 به امتیازدهی به (P1) نسبت به معکوس آن، یعنی (P1*) ◻(¬g→◻¬g)، بستگی دارد. ما استدلال می‌کنیم که چارچوب‌های اصلی مابعدالطبیعی مرتبط با (P1) – از جمله امکان‌مندی میل‌گرایانه، محدودیت‌های واقع‌گرایانه همراه با بساطت الهی، غیرقابل توضیح بودن وجود مشروط خداوند و بنیان‌گذاری خداباورانه – هیچ برتری پایداری برای (P1) نسبت به (P1*) فراهم نمی‌کنند. بسته به جزئیات این چارچوب‌ها، ممکن است هر دو اصل را حمایت کنند، هیچ‌یک را حمایت نکنند یا نامتقارنی ایجاد کنند که به نفع (P1) نباشد. بنابراین تقارن در سطح ادعاهای ضرورت دوباره ظاهر می‌شود و استدلال معکوس برتری قاطعی نسبت به استدلال اصلی به دست نمی‌آورد.

Language use, vocal behavior, and facial activity provide complementary indicators of affective state, but multimodal models can be affected by noisy temporal observations and insufficient global guidance before cross-modal interaction. We developed a framework combining bidirectional gated recurrent unit encoders, attention pooling, dynamic hypernode injection, and graph attention fusion. Textual, acoustic, and visual sequences were mapped into a shared latent space and compressed into modality-level representations. A sample-dependent hypernode and a learnable static prior were then injected through gated residual connections before graph propagation. The model was evaluated on CMU-MOSI and CMU-MOSEI using five random seeds and validation-MAE checkpoint selection. On CMU-MOSI, the model obtained an MAE of 0.7290 ± 0.0099 , a correlation of 0.7880 ± 0.0076 , and an Acc-7 of 0.4561 ± 0.0160 . On CMU-MOSEI, the corresponding results were 0.5541 ± 0.0053 , 0.7551 ± 0.0058 , and 0.5269 ± 0.0064 . A five-run comparison of pre-GAT, post-GAT, and no injection showed that pre-GAT injection provided the strongest overall regression-oriented balance, although post-GAT was slightly higher on MOSEI Acc-7. Gate, graph-attention, representation, and balanced case diagnostics showed that the injected prior was sample dependent and modality selective. These findings support pre-propagation hypernode injection under complete, word-aligned tri-modal inputs, without establishing universal superiority or robustness to missing and corrupted modalities.

استفاده از زبان، رفتار صوتی و فعالیت چهره شاخص‌های مکملی از وضعیت عاطفی فراهم می‌کنند، اما مدل‌های چندوجهی ممکن است تحت تأثیر مشاهدات زمانی نویزی و راهنمایی کلی ناکافی پیش از تعامل بین‌وجهی قرار گیرند. ما چارچوبی را توسعه دادیم که رمزگذارهای واحد بازگشتی دروازه‌دار دوسویه، تجمیع توجه، تزریق ابرگره پویا و ادغام توجه گراف را ترکیب می‌کند. توالی‌های متنی، صوتی و بصری به فضای نهفته مشترک نگاشته شده و به نمایش‌های سطح وجهی فشرده شدند. سپس یک ابرگره وابسته به نمونه و یک پیش‌فرض ایستا قابل یادگیری از طریق اتصالات باقیمانده دروازه‌دار پیش از انتشار گراف تزریق شدند. مدل بر روی مجموعه‌های داده CMU-MOSI و CMU-MOSEI با استفاده از پنج بذر تصادفی و انتخاب نقطه توقف بر اساس MAE اعتبارسنجی ارزیابی شد. بر روی CMU-MOSI، مدل به MAE برابر با 0.7290 ± 0.0099، همبستگی 0.7880 ± 0.0076 و Acc-7 برابر با 0.4561 ± 0.0160 دست یافت. بر روی CMU-MOSEI، نتایج متناظر به ترتیب 0.5541 ± 0.0053، 0.7551 ± 0.0058 و 0.5269 ± 0.0064 بودند. مقایسه پنج‌باره پیش از GAT، پس از GAT و بدون تزریق نشان داد که تزریق پیش از GAT قوی‌ترین تعادل کلی مبتنی بر رگرسیون را فراهم می‌کند، اگرچه پس از GAT کمی در MOSEI Acc-7 بالاتر بود. تشخیص‌های دروازه، توجه گراف، نمایش و حالت متعادل نشان داد که پیش‌فرض تزریق‌شده وابسته به نمونه و انتخابی نسبت به وجه بود. این یافته‌ها از تزریق ابرگره پیش از انتشار در ورودی‌های سه‌وجهی کامل و هم‌تراز با واژه حمایت می‌کنند، بدون آنکه برتری یا پایداری جهانی در برابر وجوه مفقود یا مخدوش را اثبات نمایند.

Driving can be enhanced if the vehicle quickly responds to the driver’s emotions. Accurate recognition of the driver’s emotional state is essential for advanced driver assistance systems (ADAS). The existing models restrict to single-modal data and fail to acquire hidden emotions which affects the prediction accuracy. Also, they lack real time data integration with self driving vehicles. Thus, a more robust multimodal model is needed to combine driver’s vital metrics and emotional behaviors for enhanced safety and dynamic vehicle-human interactivity. The proposed model ‘Emo-Aware’ blends real-time data from multiple sensors, including face emotion detection cameras, speech emotion detection microphones, heart rate sensors, and blood pressure sensors. The captured data are preprocessed to remove noise, retrieve relevant features and amplify to the desired state. Further, it processes this integrated data using a CNN model with hard voting method to precisely assess driver’s sentiments. The proposed framework is validated in a simulator using benchmark multimodal datasets, demonstrating its effectiveness for driver emotion assessment and laying groundwork for future real-world ADAS deployment. The robustness of model lies in its capability to adjust driving constraints on basis of the emotion quotient of driver thereby providing a personalized driving environment. Upon model’s implementation, there is a notable rise in accuracy and fall in the loss function. The diagonal values in the confusion matrix represent class-wise emotion detection accuracies of 0.92, 0.93, 0.91, 0.95, 0.92, and 0.86, corresponding to the emotions of disgust, fear, happiness, neutrality, sadness, and surprise, respectively. The results for discrete functional modules are also gauged. The speech-sentiment module recorded the optimal values, 0.94, 0.93, 0.91, and 0.92, respectively, for accuracy, precision, recall, and f-score. The blood pressure module reported the MSE, RMSE, MAE, and R-squared values as 6 mmHg² and 2.6 mmHg, 2.2 mmHg, and 0.96, respectively. Furthermore, the Face module also recorded the optimum values of 0.95, 0.94, 0.93, and 0.93 for accuracy, precision, recall, and f-score, respectively. Therefore, the model can be beneficial for advanced driver emotion detection that not only emphasizes safety but also examines the relationship between drivers and their vehicles through personalized emotionally aware interactions.

رانندگی می‌تواند در صورتی بهبود یابد که وسیله نقلیه به سرعت به هیجانات راننده واکنش نشان دهد. شناسایی دقیق وضعیت هیجانی راننده برای سامانه‌های پیشرفته کمک‌راننده (ADAS) ضروری است. مدل‌های موجود به داده‌های تک‌وجهی محدود می‌شوند و قادر به شناسایی هیجانات پنهان نیستند که این امر بر دقت پیش‌بینی تأثیر می‌گذارد. همچنین، این مدل‌ها فاقد یکپارچه‌سازی داده‌های بلادرنگ با خودروهای خودران هستند. بنابراین، نیاز به یک مدل چندوجهی مقاوم‌تر وجود دارد تا شاخص‌های حیاتی و رفتارهای هیجانی راننده را برای افزایش ایمنی و تعامل پویای انسان و خودرو ترکیب کند. مدل پیشنهادی «Emo-Aware» داده‌های بلادرنگ را از حسگرهای متعدد، از جمله دوربین‌های شناسایی هیجان چهره، میکروفون‌های شناسایی هیجان گفتار، حسگرهای ضربان قلب و حسگرهای فشار خون ترکیب می‌کند. داده‌های جمع‌آوری‌شده پیش‌پردازش می‌شوند تا نویز حذف، ویژگی‌های مرتبط استخراج و به وضعیت مطلوب تقویت شوند. سپس این داده‌های یکپارچه با استفاده از مدل CNN و روش hard voting برای ارزیابی دقیق احساسات راننده پردازش می‌شوند. چارچوب پیشنهادی در شبیه‌ساز با استفاده از داده‌مجموعه‌های چندوجهی مرجع اعتبارسنجی شده و اثربخشی آن برای ارزیابی هیجان راننده و فراهم‌سازی زمینه برای استقرار آتی در ADAS واقعی را نشان می‌دهد. پایداری مدل در توانایی آن برای تنظیم محدودیت‌های رانندگی بر اساس ضریب هیجانی راننده نهفته است و بدین ترتیب محیط رانندگی شخصی‌سازی‌شده‌ای فراهم می‌شود. با پیاده‌سازی مدل، افزایش قابل توجهی در دقت و کاهش تابع خطا مشاهده می‌شود. مقادیر قطری ماتریس سردرگمی دقت شناسایی هیجان به تفکیک کلاس را به ترتیب 0.92، 0.93، 0.91، 0.95، 0.92 و 0.86 برای هیجانات انزجار، ترس، شادی، خنثی، غم و شگفتی نشان می‌دهد. نتایج ماژول‌های عملکردی مجزا نیز ارزیابی شده‌اند. ماژول احساس-گفتار مقادیر بهینه 0.94، 0.93، 0.91 و 0.92 را به ترتیب برای دقت، دقت مثبت، یادآوری و f-score ثبت کرده است. ماژول فشار خون مقادیر MSE، RMSE، MAE و R-squared را به ترتیب 6 mmHg² و 2.6 mmHg، 2.2 mmHg و 0.96 گزارش کرده است. همچنین، ماژول چهره نیز مقادیر بهینه 0.95، 0.94، 0.93 و 0.93 را به ترتیب برای دقت، دقت مثبت، یادآوری و f-score ثبت کرده است. بنابراین، این مدل می‌تواند برای شناسایی پیشرفته هیجان راننده مفید باشد که نه تنها بر ایمنی تأکید دارد بلکه رابطه بین رانندگان و خودروهایشان را از طریق تعاملات شخصی‌سازی‌شده و آگاه از هیجان بررسی می‌کند.

The key to affective computing is emotion recognition based on multimodal physiological and behavioral responses and aids in intelligent systems to monitor mental health, adapt human-computer interaction, and predict the intent of affectivity. Although the existing deep models show remarkable advances, most of them process modalities in isolation and do not consider causal, temporal, and individual specific mechanisms underlying the expression of emotions. This paper presents PhysioGraph-Transformer which is a dynamic interaction-aware graph-based Transformer that encapsulates time-varying directed interactions among multimodal physiological channels with personality-sensitive adaptation. All the modalities of the AFFEC dataset, such as EEG, electrodermal activity (EDA), facial dynamics, eye gaze, pupil response, and cursor motion, are modeled as a time-varying interaction graph, which is learned with self-attention. A layer of Neural Ordinary Differential Equation (Neural-ODE) trains continuously changing latent embeddings to be able to smoothly model changes of emotion. Personality-conditioned cross-modes attention incorporates heterogeneous information into a common affective portrayal, making it give a meaningful and individual inference. Experimental analyses on the AFFEC indicate that PhysioGraph-Transformer achieves 84.6% accuracy and 80.8% macro-F1 which outperforms CNN, RNN, GCN and Transformer baselines and has strong resiliency to partial modality loss. The attention interaction maps illustrate distinguishable relationships between personality factors and modality inputs that offer neuroscientific information on the formation of emotions. These results make PhysioGraph-Transformer a interaction-aware, decipherable and personality conscious model of multi-modal physiological emotion recognition.

کلید محاسبات عاطفی، شناسایی احساسات مبتنی بر پاسخ‌های فیزیولوژیکی و رفتاری چندوجهی است و به سیستم‌های هوشمند در پایش سلامت روان، سازگاری تعامل انسان و رایانه و پیش‌بینی قصد عاطفی کمک می‌کند. اگرچه مدل‌های عمیق موجود پیشرفت‌های قابل توجهی نشان داده‌اند، اما اکثر آن‌ها شیوه‌های چندوجهی را به صورت مجزا پردازش می‌کنند و مکانیسم‌های علّی، زمانی و فردی خاصِ زیربنای بروز احساسات را در نظر نمی‌گیرند. این مقاله فیزیوگراف-ترنسفورمر را معرفی می‌کند که یک ترنسفورمر مبتنی بر گراف و آگاه از تعامل پویا است و تعاملات جهت‌دار متغیر با زمان میان کانال‌های فیزیولوژیکی چندوجهی را با سازگاری حساس به شخصیت دربرمی‌گیرد. تمامی شیوه‌های داده مجموعه AFFEC، مانند EEG، فعالیت الکترودرمال (EDA)، پویایی‌های چهره، نگاه چشم، پاسخ مردمک و حرکت نشانگر، به صورت یک گراف تعامل متغیر با زمان مدل‌سازی شده‌اند که با مکانیزم خودتوجهی یاد گرفته می‌شود. یک لایه معادلات دیفرانسیل معمولی عصبی (Neural-ODE) تعبیه‌های نهفته در حال تغییر پیوسته را آموزش می‌دهد تا بتواند تغییرات احساسات را به طور هموار مدل‌سازی کند. توجه متقاطع شرطی‌شده بر شخصیت، اطلاعات ناهمگن را در یک بازنمایی عاطفی مشترک ادغام می‌کند و استنباطی معنادار و فردمحور ارائه می‌دهد. تحلیل‌های تجربی بر روی مجموعه AFFEC نشان می‌دهد که فیزیوگراف-ترنسفورمر به دقت ۸۴.۶٪ و ماکرو-F1 برابر با ۸۰.۸٪ دست یافته است که از مدل‌های پایه CNN، RNN، GCN و ترنسفورمر عملکرد بهتری دارد و در برابر از دست رفتن جزئی شیوه‌های داده مقاوم است. نقشه‌های تعامل توجه، روابط متمایزی میان عوامل شخصیتی و ورودی‌های شیوه‌های داده نشان می‌دهد که اطلاعات علوم اعصاب درباره شکل‌گیری احساسات ارائه می‌کند. این نتایج، فیزیوگراف-ترنسفورمر را به مدلی آگاه از تعامل، قابل تفسیر و حساس به شخصیت برای شناسایی احساسات فیزیولوژیکی چندوجهی تبدیل می‌کند.

How is vision shaped by other senses? Visual cortex is not merely a passive recipient of retinal inputs. It is also responsive to other sensory modalities, particularly audition. While auditory signals have been shown to penetrate early visual cortices, the mechanisms driving these responses remain poorly understood. To examine how audition shapes vision, we used functional MRI to investigate whether audiovisual interactions modulate the gain of responses in human early visual cortices. Specifically, we measured voxel-wise contrast-response functions (CRF), while participants viewed horizontally drifting gratings paired with auditory motion that was directionally congruent or incongruent with the visual motion, or stationary. We show that congruent audiovisual motion enhances voxel-wise contrast sensitivity whereas incongruent motion reduces it, manifesting as a robust contrast gain modulation across areas V1–V3. This direction-selective enhancement is nicely captured by a divisive normalization model incorporating auditory-driven feedback modulation. Our findings provide compelling evidence for cross-modal interactions at early stages of visual processing, driven by contrast gain modulation –a bidirectional modulation in sensitivity that maintains the balance between local excitatory and inhibitory activity. Together, these results reveal that audiovisual interactions can alter a cornerstone property of vision, highlighting the dynamic role of early visual cortex in multisensory processing.

بینایی چگونه توسط حواس دیگر شکل می‌گیرد؟ قشر بینایی صرفاً دریافت‌کننده منفعل ورودی‌های شبکیه نیست، بلکه به سایر حواس، به‌ویژه شنوایی نیز پاسخ می‌دهد. اگرچه نشان داده شده است که سیگنال‌های شنوایی به قشرهای اولیه بینایی نفوذ می‌کنند، اما سازوکارهای ایجاد این پاسخ‌ها همچنان به‌خوبی شناخته نشده‌اند. برای بررسی اینکه شنوایی چگونه بینایی را شکل می‌دهد، از تصویربرداری تشدید مغناطیسی عملکردی (fMRI) استفاده کردیم تا بررسی کنیم آیا برهم‌کنش‌های شنوایی‌ـ‌بصری بهره پاسخ‌ها را در قشرهای اولیه بینایی انسان تعدیل می‌کند یا خیر. به طور خاص، تابع پاسخ به کنتراست (CRF) را در سطح وکسل اندازه‌گیری کردیم، در حالی که شرکت‌کنندگان به گراتینگ‌های افقی متحرک نگاه می‌کردند که با حرکت شنوایی هم‌جهت یا ناهم‌جهت با حرکت بصری، یا بدون حرکت (ایستا) جفت شده بود. نشان دادیم که حرکت شنوایی‌ـ‌بصری هم‌جهت حساسیت به کنتراست را در سطح وکسل افزایش می‌دهد، در حالی که حرکت ناهم‌جهت آن را کاهش می‌دهد و این امر به صورت تعدیل قوی بهره کنتراست در نواحی V1 تا V3 ظاهر می‌شود. این افزایش انتخابی نسبت به جهت حرکت، به‌خوبی توسط مدل نرمال‌سازی تقسیم‌پذیر که تعدیل بازخوردی ناشی از شنوایی را در بر می‌گیرد، تبیین می‌شود. یافته‌های ما شواهد قانع‌کننده‌ای برای برهم‌کنش‌های میان‌حسی در مراحل اولیه پردازش بینایی ارائه می‌دهد که توسط تعدیل بهره کنتراست هدایت می‌شود؛ یعنی تعدیل دوطرفه حساسیت که تعادل میان فعالیت تحریکی و مهاری موضعی را حفظ می‌کند. در مجموع، این نتایج نشان می‌دهد که برهم‌کنش‌های شنوایی‌ـ‌بصری می‌تواند یکی از ویژگی‌های بنیادی بینایی را تغییر دهد و نقش پویای قشر اولیه بینایی در پردازش چندحسی را برجسته می‌سازد.