The Reversed Turing Test: Measuring Superhuman AI Performance Beyond Imitation
آزمون تورینگ معکوس: سنجش عملکرد فرابشری هوش مصنوعی فراتر از تقلید
چکیده
For more than seven decades, Alan Turing’s imitation game has shaped how the AI community discusses machine intelligence, although it was never a psychometric instrument. AI systems now outperform humans in strategic games, scientific prediction, and pattern recognition, achievements better described as domain-specific superhuman performance than as general intelligence unless a novelty condition is enforced. This paper argues that imitation-based evaluation is misaligned with such systems and introduces the Reversed Turing Test (RTT), which asks whether a machine can be identified precisely because its performance is measurably superhuman. The test combines a standardized superhuman index (SI), expressed in standard-deviation units relative to a human reference sample, with a panel of judges whose identifications are verified against the performance evidence. The paper provides a formal definition of the RTT, a taxonomy of novelty types with verification methods, a worked example in protein structure prediction, and a pre-registered text-generation study (n = 500; composite SI ≈ 3.2; 90% identification accuracy grounded in stylometric cues), interpreted as superhuman stylometric performance rather than superhuman intelligence. The RTT is compared against established benchmarks, its philosophical limits are stated, and implications for trust, creativity, governance, and evaluation design are discussed.
بیش از هفت دهه است که بازی تقلید آلن تورینگ نحوه بحث جامعه هوش مصنوعی درباره هوشمندی ماشین را شکل داده است، هرچند که هرگز یک ابزار روانسنجی نبوده است. سامانههای هوش مصنوعی اکنون در بازیهای راهبردی، پیشبینی علمی و شناسایی الگو از انسانها پیشی گرفتهاند؛ دستاوردهایی که بهتر است بهعنوان عملکرد فرابشری خاص حوزه توصیف شوند تا هوشمندی عمومی، مگر آنکه شرط نوآوری اعمال شود. این مقاله استدلال میکند که ارزیابی مبتنی بر تقلید با چنین سامانههایی همراستا نیست و آزمون تورینگ معکوس (RTT) را معرفی میکند که میپرسد آیا میتوان یک ماشین را دقیقاً به این دلیل شناسایی کرد که عملکرد آن بهطور قابل سنجشی فرابشری است. این آزمون شاخص فرابشری استانداردشده (SI) را که بر حسب واحدهای انحراف معیار نسبت به نمونه مرجع انسانی بیان میشود، با هیئتی از داوران که شناساییهای آنان بر اساس شواهد عملکردی راستیآزمایی میشود، ترکیب میکند. مقاله تعریف رسمی RTT، طبقهبندی انواع نوآوری با روشهای راستیآزمایی، یک مثال عملی در پیشبینی ساختار پروتئین و یک مطالعه از پیش ثبتشده در تولید متن (n = 500؛ SI ترکیبی ≈ 3.2؛ دقت شناسایی ۹۰٪ مبتنی بر نشانههای سبکشناختی) را ارائه میدهد که بهعنوان عملکرد سبکشناختی فرابشری تفسیر میشود نه هوشمندی فرابشری. آزمون RTT با معیارهای تثبیتشده مقایسه میشود، حدود فلسفی آن بیان میشود و پیامدهای آن برای اعتماد، خلاقیت، حکمرانی و طراحی ارزیابی مورد بحث قرار میگیرد.