A style aware attention transformer for fine grained interior design style recognition
یک ترنسفورمر توجهآگاه به سبک برای شناسایی دقیق سبک طراحی داخلی
چکیده
Fine-grained interior design style recognition is challenging due to the subtle, context-dependent nature of stylistic cues, which are often entangled with dominant semantic objects. While convolutional neural networks effectively capture local textures, they lack global reasoning, whereas Vision Transformers model spatial relationships but do not explicitly encode perceptual style attributes. To address these limitations, we propose SAT $$^{3}$$ (Style-Aware Attention Transformer) that integrates four synergistic components: (i) a Style Attention Embedding that combines a CNN (Convolutional Neural Network) stem with a Transformer encoder enhanced by a Style Attention Module (SAM) to emphasize texture and color-related cues; (ii) an auxiliary self-supervised learning (SSL) branch leveraging masked autoencoding and contrastive learning to enrich style-invariant representations; (iii) a joint optimization strategy that balances supervised and self-supervised objectives for improved robustness; and (iv) an efficient inference pathway that retains a style-sensitive encoder while removing auxiliary components. Extensive experiments on interior design datasets demonstrate that SAT $$^{3}$$ achieves the best performance among the baselines evaluated in this study. Additional analyses indicate that the learned representations are more aligned with stylistic attributes and less dependent on semantic content, leading to improved generalization, particularly under limited annotation settings. These results highlight the effectiveness of the proposed approach for fine-grained style recognition and suggest its broader applicability to other style-driven visual understanding tasks.
شناسایی دقیق سبک طراحی داخلی به دلیل ماهیت ظریف و وابسته به زمینه نشانههای سبکی که اغلب با اشیای معنایی غالب درهمتنیدهاند، چالشبرانگیز است. در حالی که شبکههای عصبی کانولوشنی (CNN) بهطور مؤثری بافتهای محلی را استخراج میکنند، فاقد استدلال جهانی هستند؛ در مقابل، ترنسفورمرهای بینایی (Vision Transformers) روابط فضایی را مدلسازی میکنند اما ویژگیهای ادراکی سبک را بهطور صریح رمزگذاری نمیکنند. برای رفع این محدودیتها، ما SAT $$^{3}$$ (ترنسفورمر توجهآگاه به سبک) را پیشنهاد میکنیم که چهار مؤلفه همافزا را ادغام میکند: (i) تعبیه توجه به سبک که یک بخش ابتدایی CNN را با یک رمزگذار ترنسفورمر تقویتشده توسط ماژول توجه به سبک (SAM) برای تأکید بر نشانههای مرتبط با بافت و رنگ ترکیب میکند؛ (ii) یک شاخه یادگیری خودنظارتی کمکی (SSL) که با بهرهگیری از رمزگشایی خودکار ماسکشده و یادگیری متضاد، نمایشهای مستقل از سبک را غنی میسازد؛ (iii) یک راهبرد بهینهسازی مشترک که اهداف نظارتشده و خودنظارتی را برای افزایش پایداری متعادل میکند؛ و (iv) یک مسیر استنتاج کارآمد که رمزگذار حساس به سبک را حفظ کرده و مؤلفههای کمکی را حذف میکند. آزمایشهای گسترده بر روی پایگاههای داده طراحی داخلی نشان میدهد که SAT $$^{3}$$ بهترین عملکرد را در میان روشهای پایه ارزیابیشده در این مطالعه دارد. تحلیلهای تکمیلی نشان میدهد که نمایشهای یادگرفتهشده با ویژگیهای سبکی همراستاتر و کمتر وابسته به محتوای معنایی هستند که منجر به بهبود تعمیمپذیری، بهویژه در شرایط برچسبگذاری محدود میشود. این نتایج اثربخشی رویکرد پیشنهادی را برای شناسایی دقیق سبک نشان داده و کاربرد گستردهتر آن را در سایر وظایف درک بصری مبتنی بر سبک پیشنهاد میکند.