Visual measurement network for intelligent cockpit driving state combining lightweight temporal convolution and cross-granularity state mapping
شبکه اندازهگیری بصری برای وضعیت رانندگی کابین هوشمند با ترکیب کانولوشن زمانی سبکوزن و نگاشت وضعیت میاندانهای
چکیده
The actual deployment of driver monitoring system (DMS) is still limited by the limited edge computing resources and the sudden risk transition caused by discrete state classification. To this end, this study proposes LTC-CGMN, a lightweight driver state evaluation framework that integrates cross granularity state mapping and temporal convolution. Firstly, the CGSM module aligns fine-grained head/hand cues with coarse-grained torso features through cross attention, and then the LTC module uses depthwise separable causal dilation convolution to capture temporal dependencies with low computational cost. In addition, the knowledge extraction scheme guided by the AHP of the National Highway Traffic Safety Administration generates a continuous Driver Risk Index (DRI), reducing the step discontinuity in risk estimation. Finally, the experimental results on the 3MDAD multimodal driving dataset showed that LTC-CGMN achieved a Top-1 accuracy of 96.37%, a DRI prediction RMSE of 0.058, and a inference rate of 33.6 FPS on NVIDIA Jetson Orin. Research has shown that LTC-CCMN provides a good balance between recognition accuracy, continuous risk estimation, and edge deployment efficiency for intelligent cockpit DMS applications.
استقرار واقعی سامانه پایش راننده (DMS) همچنان با محدودیت منابع محاسباتی لبه و انتقال ناگهانی ریسک ناشی از طبقهبندی گسسته وضعیتها محدود میشود. بدین منظور، این مطالعه چارچوب ارزیابی وضعیت راننده سبکوزن LTC-CGMN را پیشنهاد میکند که نگاشت وضعیت میاندانهای و کانولوشن زمانی را یکپارچه میسازد. نخست، ماژول CGSM نشانههای ریزدانه سر/دست را از طریق توجه متقاطع با ویژگیهای درشتدانه تنه همتراز میکند و سپس ماژول LTC با استفاده از کانولوشن علی با اتساع جداسازیپذیر عمقی، وابستگیهای زمانی را با هزینه محاسباتی پایین استخراج میکند. افزون بر این، طرح استخراج دانش با راهنمایی AHP اداره ملی ایمنی ترافیک بزرگراهها، شاخص ریسک راننده پیوسته (DRI) را تولید میکند و ناپیوستگی پلهای در برآورد ریسک را کاهش میدهد. در نهایت، نتایج تجربی روی پایگاه داده چندوجهی رانندگی 3MDAD نشان داد که LTC-CGMN به دقت Top-1 معادل ۹۶٫۳۷٪، RMSE پیشبینی DRI برابر با ۰٫۰۵۸ و نرخ استنتاج ۳۳٫۶ فریم بر ثانیه روی NVIDIA Jetson Orin دست یافته است. پژوهشها نشان دادهاند که LTC-CGMN تعادل مناسبی میان دقت شناسایی، برآورد پیوسته ریسک و کارایی استقرار لبه برای کاربردهای DMS کابین هوشمند فراهم میکند.