یادگیری تقویتی فدرال برای خودروهای خودران متصل: یک قاعده‌ی تجمیع آگاه از ایمنی و سختی (SGDA) تحت اختلالات ناهمگن

در یک نگاه (خلاصهٔ اجرایی برای داور) #

• مسئله: در FRL خودروی خودران متصل تحت ناهمگنی سناریو، تجمیع FedAvg سیگنال ایمنی و سختی نسبی محیط کلاینت‌ها را نادیده می‌گیرد.
• چرا baseline کافی نیست: FedAvg کلاینت محیط-سخت را به‌غلط «بد» می‌شمارد و کلاینت ناایمن محیط-آسان را می‌پذیرد.
• روش در یک جمله: SGDA وزن تجمیع هر کلاینت را با یک سقف پذیرش ریسک‌آگاه مستقل از سختی و یک امتیاز باقیمانده‌ای تعیین می‌کند که موفقیت، برخورد و نقض را همگی نسبت به انتظار همان سطح سختی عینی SDS می‌سنجد؛ انتشار هر مدل نیز به rollout تازه و معیار پذیرش سه‌شرطی وابسته است. هزینهٔ جامع ثبت‌شده، اجتماع برخورد، خروج از جاده و نقض بحرانی فاصله/TTC است تا کاهش برخورد همراه با بدترشدن مادی نرخ کل اپیزود ناایمن به‌عنوان بهبود پذیرفته نشود؛ جابه‌جایی میان انواع شکست نیز جداگانه با CR/OR/$V_{\text{prox}}$ گزارش می‌شود و از روی $C^{\text{ind}}$ به‌تنهایی ادعای «نبود انتقال شکست» نمی‌شود.
• سه آزمون ابطال‌کننده: (۱) H1 و H1b کاهش CR را فقط همراه با عدم‌حقارت SR و $C^{\text{ind}}$ می‌پذیرند؛ H1b اثر خالص SGDA در E5−E1′ است؛ (۲) H3 اعتبار SDS را روی پیکربندی‌های held-out و غیرهمپوشان $\mathcal{G}_{\text{H3-out}}$ با پیامدهای ایمنی و کارایی می‌سنجد؛ (۳) اگر E9′-N-full بهتر باشد یا کنتراست $M_D$ شکست بخورد، نقش مفید تعدیل سختی تأیید نمی‌شود.
• هستهٔ حداقلی دفاع‌پذیر: E1′/E2′/E5/E6 + E1، R2، OOD تا Severe، H1/H1b در صورت توان، تحلیل‌های H3a/H3b/H3c روی H3-out، و دو ابلیشن مکانیزمی تمام‌مقیاس E8 (حذف گیت) و E9′-N-full (حذف تعدیل سختی)؛ E2 و R1 توصیفی‌اند. H3c′، E7 و بازوهای کوچک E9′ ثانویه‌اند؛ E10–E13 اختیاری و پس از هسته‌اند؛ Opt-A/Opt-B/Opt-C کاملاً کار آینده‌اند.
• زیرساخت محاسباتی روی دو محور مستقل قفل می‌شود: توپولوژی CPU = سه‌سرور یا تک‌سرور؛ منبع شتاب‌دهنده = GPU اختصاصی یا Google Colab Pro+. بنابراین چهار ترکیب اجرایی هم‌ارز از نظر پروتکل علمی وجود دارد؛ انتخاب نهایی پس از بنچمارک P0 و پیش از E1 ثبت می‌شود.

چکیده #

به‌کارگیری خودروهای خودران در شبکه‌های جاده‌ای شهری و بزرگراهی به‌سرعت در حال گسترش است. با این حال، ناوبری ایمن در حضور ترافیک پیرامونی متراکم، هندسه‌های متنوع جاده و عدم‌قطعیت‌های کنترل‌شدهٔ فرمان عملگر همچنان یک چالش کلیدی است. در هستهٔ آموزش، این عدم‌قطعیت به‌صورت بایاس پایدار، آشفتگی OU زمان‌همبسته و شوک گذرای فرمان/شتاب در فضای کنش نرمال‌شده مدل می‌شود؛ نویز مشاهده و تغییر اصطکاک فقط محورهای ارزیابی OOD هستند و ترافیک پیرامونی نیز به‌صورت واکنشی و جداگانه مدل می‌شود. در ناوگان‌های واقعی، ارسال مستمر داده‌های خام مسیر، ادراک و موقعیت به یک سرور مرکزی محدودیت‌های جدی حریم خصوصی و پهنای‌باند ایجاد می‌کند و نیاز به اشتراک‌گذاری تجربه رانندگی بدون انتقال داده خام را برجسته می‌سازد.

این پژوهش یک چارچوب «یادگیری تقویتی فدرال» (FRL) برای ناوبری خودروهای خودمختار متصل در یک شبیه‌ساز رانندگی فیزیک‌محور ارائه می‌کند که در آن هر کلاینت یک خودروی خودمختار کنترل‌شده (ego) را در توزیع سناریوی خود با PPO یا نسخهٔ مقید LPPO-Lag مطابق بازوی آزمایشی آموزش می‌دهد؛ ترافیک پیرامونی واکنشی و قاعده‌محور (IDM بومی شبیه‌ساز) است و توسط سیاست کنترل نمی‌شود. سپس پارامترهای سیاست به‌صورت فدرال تجمیع می‌شوند و همهٔ کلاینت‌ها معماری سیاست یکسانی دارند (پیش‌نیاز میانگین‌گیری پارامتر).

نوآوری اصلی، قاعدهٔ «تجمیع آگاه از ایمنی با گیت‌گذاری و سختی محیط» (Safety-Gated Difficulty-Aware Aggregation — SGDA) است. این قاعده دو جزء دارد: (الف) گیت امکان‌پذیری با سقف پویای $c_{\max}$ روی کران بالای نرخ برخورد که مستقل از سختی است و با سقف ضدرانش منجمد $c_{\text{hard}}$ مهار می‌شود؛ و (ب) امتیاز سختی عینی سناریو (SDS) که از پارامترهای اختلال، ترافیک، هندسه و ریسک معنایی ساخته و روی split مستقل قفل می‌شود. $c_{\text{hard}}$ از چندک توزیع کالیبراسیون به‌دست می‌آید؛ بنابراین «استاندارد مطلق ایمنی» نیست، بلکه سقفی نسبی برای جلوگیری از بالا خزیدن آستانه در صورت بدترشدن جمعی سیاست‌هاست. در فرم اصلی SGDA-R، هر سه پیامد موفقیت، برخورد و نقض نسبت به منحنی موردانتظار همان سطح سختی سنجیده می‌شوند: باقیماندهٔ موفقیت بالاتر از انتظار پاداش می‌گیرد و باقیمانده‌های برخورد/نقض بالاتر از انتظار جریمه می‌شوند. در کالیبراسیون آرمانی، این امتیاز نسبت به سختی بی‌طرف است؛ بااین‌حال بی‌طرفی فقط به رتبه‌بندی نسبی مربوط است و گیت مستقل همچنان می‌تواند هر کلاینت فراتر از سقف را کم‌وزن کند. همچنین چون منحنی‌ها روی سیاست سراسری و شبکهٔ پیکربندی سرور برازش می‌شوند، نگاشت چندبه‌یک پیکربندی به $D$ می‌تواند بخشی از تفاوت نوع سناریو را در باقیمانده باقی بگذارد؛ این ریسک با تحلیل شرطی بر بردار کامل پیکربندی پایش می‌شود. نرخ‌ها از rolloutهای هرراند سیاست منجمد و با کران‌های ویلسون وارد تصمیم می‌شوند. مدل تجمیع‌شده نیز با تفاضل‌های جفت‌شدهٔ پاداش، هزینه کل و هزینه لایه سخت روی rolloutهای تازه ارزیابی و پس از fine-tuning دوباره آزموده می‌شود. «آگاه از ایمنی» در اینجا به معنای هدایت تجربی تصمیم‌ها با شاخص‌های ایمنی است، نه تضمین رسمی ایمنی، حریم خصوصی یا انتقال مستقیم به خودرو واقعی.

LPPO-Lag یک مؤلفه اصلی و جانشین تجربی قید محلی است؛ در صورت اشباع، صریحاً «پنالتی تطبیقی» نامیده می‌شود. ترکیب SGDA+LPPO-Lag سهم اصلی است. دامنه اصلی و مبنای دفاع MetaDrive تک‌ego است؛ Safety-Gymnasium فقط تکرار ثانویه و از نخستین گزینه‌های حذف در تنگنای منابع است.

معیارهای کلیدی شامل نرخ موفقیت (تکمیل مسیر)، نرخ برخورد، نرخ خروج از جاده، نرخ نقض بدون برخورد/خروج، نرخ کل اپیزود ناایمن $C^{\text{ind}}$، زمان رسیدن به هدف، طول مسیر، نمایهٔ تلاش کنترلی نرمال‌شده بر طول اپیزود، هزینهٔ ارتباطی (حسابداری payload) و — برای پوشش ریسک دنباله و انصاف بین‌کلاینتی — نرخ برخورد بدترین کلاینت، صدک دهم نرخ موفقیت و CVaR هزینهٔ درجه‌بندی‌شدهٔ اپیزودی ($C^{\text{sum}}$، نه هزینهٔ باینری) است. همهٔ نتایج با $N$ seed مستقل قفل‌شدهٔ آینده‌نگر (کوچک‌ترین $N\in\{10,15,20\}$ با توان کافی از P2)، CI 95٪ و آزمون‌های آماری متناسب (آزمون جایگشتی زوجی و bootstrap زوجی برای اختلاف میانگین / آزمون‌های عدم‌حقارت / TOST تکمیلی) با تحلیل توان Monte-Carlo پیشینی گزارش می‌شوند. نتایج به‌صورت نمودارهای trade-off ایمنی-کارایی در فضای (پاداش، نرخ ایمنی) ارائه می‌شود — بدون ادعای «مرز Pareto سراسری» نسبت به کل ادبیات، تنها یک مرز نامغلوب میان baselineهای مطالعه‌شده.

یادآوری تعریف: $D_i$ مصرف‌شده در هسته همان $D_i^4$ با چهار مؤلفه اختلال/ترافیک/هندسه/معناست؛ سینماتیک و ادراک فقط $D_i^6$ ثانویه و تله‌متری را می‌سازند و بر وزن‌های روش اصلی اثر ندارند.

۱کلیات پژوهش #

۱-۱. عنوان پژوهش #

۱-۲. بیان کوتاه مسئله #

مسئله این پژوهش طراحی یک سیاست کنترل/تصمیم برای ناوگانی از خودروهای خودمختار همگن است که بتواند در سناریوهای رانندگی شبیه‌سازی‌شده — با وجود ترافیک پیرامونی، هندسه متغیر جاده و تنش‌آزمون‌های کنترل‌شدهٔ فرمان عملگر — به مقصد برسد و در عین حال از برخورد بپرهیزد و فاصله ایمن (headway) را حفظ کند. آموزش به‌صورت فدرال بین چند توزیع سناریو/کلاینت با پروفایل‌های ترافیک و اختلال متفاوت انجام می‌شود؛ هر کلاینت یک خودروی کنترل‌شده (ego) را در توزیع سناریوی خود آموزش می‌دهد و بقیهٔ خودروها ترافیک واکنشی محیط‌اند.

توجیه فدرال‌سازی: این چارچوب سناریوی استقرار واقعی را شبیه‌سازی می‌کند که در آن ناوگان‌هایی که در مناطق مختلف — یا توسط بهره‌برداران مختلف — کار می‌کنند نمی‌توانند داده خام مسیر، ادراک یا موقعیت را به اشتراک بگذارند. هر «کلاینت» یک منطقه عملیاتی/توزیع سناریوی مستقل را نمایندگی می‌کند. این رویکرد هم در ادبیات یادگیری فدرال برای خودرو [۱۲] و هم در ادبیات FRL متداول است (مثلاً CAESAR [۱۱]). تنظیم این پژوهش از نوع cross-silo است (تعداد کم کلاینت نهادی/منطقه‌ای، مشارکت کامل و همگام)، نه cross-device؛ این فرض صریحاً اعلام و، در صورت اجرای E13 اختیاری، استحکام نسبت به مشارکت جزئی سنجیده می‌شود.

محدودیت صادقانه: در این پژوهش تمامی کلاینت‌ها روی یک سیستم شبیه‌سازی می‌شوند. هزینه‌های ارتباطی واقعی، Secure Aggregation و Differential Privacy برای استقرار واقعی لازم‌اند و به‌عنوان کار آینده باقی می‌مانند.

تنظیم $\lambda,\mu,\beta_{\min},\beta_{\max}$ با grid دقیق بخش ۷-۴ انجام می‌شود. وزن‌های SDS برای core برابر $1/4$ و برای نسخه ثانویه برابر $1/6$ ثابت‌اند و کالیبره نمی‌شوند؛ SDS-dev فقط بازه‌های نرمال‌سازی را وارسی می‌کند. تغییر وزن‌ها صرفاً بازتحلیل حساسیت توصیفی روی لاگ موجود است.

۱-۳. محدوده پژوهش (Scope) #

تمرکز این پژوهش بر «شبیه‌سازی کنترل‌شده و بازتولیدپذیر» است و از داده/رانندگی واقعی استفاده نمی‌شود. هر کلاینت یک خودروی خودمختار کنترل‌شده (ego) دارد؛ خودروهای دیگر صحنه ترافیک واکنشی قاعده‌محور (IDM بومی MetaDrive)اند و تراکم آن‌ها یکی از عامل‌های طراحی است. همهٔ کلاینت‌ها یک معماری سیاست یکسان را آموزش می‌دهند. یادگیری تقویتی از نوع مدل-آزاد و مبتنی بر PPO/LPPO-Lag است. فدرال‌سازی بین کلاینت‌هایی انجام می‌شود که هر یک نماینده یک توزیع محیطی (تراکم ترافیک، هندسه جاده یا پروفایل اختلال) هستند. هدف، ارائه یک قاعده تجمیع وزن‌ها در سطح سرور است که ایمنی را در فرآیند تجمیع لحاظ کند. دامنهٔ اصلی و تنها مبنای ادعاهای الزامی، خودروهای خودران متصل در MetaDrive است؛ Safety-Gymnasium صرفاً تکرار دامنهٔ دوم اختیاری است و نبود آن دامنهٔ ادعای پایان‌نامه را به MetaDrive محدود نگه می‌دارد (بخش ۹-۸).

۲مقدمه و بیان مسئله (تفصیلی) #

رانندگی خودمختار یکی از فعال‌ترین حوزه‌های پژوهشی در رباتیک و سامانه‌های حمل‌ونقل هوشمند است. ایمنی تصمیم‌گیری و کنترل در حضور ترافیک پیرامونی پویا، هندسه‌های متنوع جاده و عدم‌قطعیت‌های کنترل‌شدهٔ فرمان عملگر، پیش‌شرط پذیرش عمومی و مجوزهای مقرراتی این فناوری است. روش‌های کنترل کلاسیک در سناریوهای پیچیده شهری ممکن است به طراحی دستی گسترده و مدل‌سازی دقیق نیاز داشته باشند؛ در مقابل، یادگیری تقویتی می‌تواند با اتکا به تعامل با محیط، سیاست‌های کنترلی را به‌صورت داده‌محور یاد بگیرد.

از منظر فنی، یک خودروی خودمختار باید همزمان مسیر را دنبال کند، از برخورد با خودروها و موانع پیرامون بپرهیزد و در برابر بایاس، آشفتگی زمان‌همبسته و شوک‌های گذرای فرمان عملگر پایدار بماند. در ارزیابی OOD، نویز مشاهده و کاهش اصطکاک نیز جداگانه آزموده می‌شوند؛ مانور خودروهای دیگر از مسیر ترافیک واکنشی IDM وارد سناریو می‌شود و کانال اختلال عملگر محسوب نمی‌گردد. مدل‌سازی کنترل‌شدهٔ این شرایط و یادگیری سیاست‌های مقاوم، برای کاهش نرخ برخورد و افزایش اطمینان‌پذیری ضروری است.

یادگیری فدرال رویکردی است که در آن داده خام در سمت کلاینت باقی می‌ماند و تنها به‌روزرسانی‌های مدل برای تجمیع ارسال می‌شود. در این پایان‌نامه، FL در سطح «سناریو/محیط» اعمال می‌شود تا (۱) نیاز به centralized experience replay حذف شود، (۲) تنوع توزیع محیطی به‌صورت طبیعی مدیریت گردد، و (۳) امکان توسعه به محیط‌های استقرار واقعی فراهم شود. در حوزه خودرو، انگیزه حریم خصوصی به‌ویژه ملموس است: داده‌های مسیر، موقعیت و ادراک خودرو حساس‌اند و تجمیع متمرکز آن‌ها با محدودیت‌های قانونی و تجاری مواجه است [۱۲]. لازم به ذکر است اشتراک‌گذاری وزن‌های مدل به‌تنهایی حریم خصوصی کامل تضمین نمی‌کند؛ در صورت استقرار واقعی، Secure Aggregation و Differential Privacy ضروری خواهند بود.

مسئله اصلی: طراحی و ارزیابی یک چارچوب FRL برای ناوبری ایمن خودروهای متصل تحت اختلال (سطح ناوگان از مسیر فدراسیون کلاینت‌ها؛ هر کلاینت یک ego) که بتواند (۱) ایمنی، (۲) کارایی عملیاتی، و (۳) تعمیم‌پذیری به شرایط نادیده را بهبود دهد.

۲-۱. تعریف دقیق مسئله #

با فرض یک محیط رانندگی شبیه‌سازی‌شده شامل ترافیک پیرامونی، هندسه جاده و تنش‌آزمون‌های متغیر فرمان عملگر، یک خودروی خودمختار کنترل‌شده (ego) باید از مبدأ به مقصد برسد؛ خودروهای پیرامونی ترافیک واکنشی قاعده‌محور شبیه‌ساز (IDM)اند و توسط سیاست کنترل نمی‌شوند. خودروی ego در هر گام زمانی، با مشاهده حالت $s$ شامل وضعیت سینماتیکی خودش، اطلاعات ناوبری/مقصد و ویژگی‌های نزدیک‌ترین خودروها و مرزهای جاده (از طریق یک خلاصه شبه‌لیدار)، یک عمل $a$ پیوسته (فرمان و شتاب طولی) تولید می‌کند. هدف یادگیری سیاست $\pi(a|s)$ است که پاداش تجمعی را بیشینه کند و همزمان قیود ایمنی (عدم برخورد، حداقل فاصله/زمان-تا-برخورد) را رعایت نماید. در چارچوب فدرال، کلاینت‌ها نماینده توزیع‌های سناریوی متفاوت‌اند و SGDA وزن را بر پایهٔ «عملکرد بهتر یا بدتر از انتظار همان سختی عینی»، همراه با سقف مستقل ریسک برخورد، تعیین می‌کند؛ بنابراین معیار وزن‌دهی «ایمنی مطلق بیشتر» به‌تنهایی نیست.

۳ضرورت و اهمیت پژوهش #

1. اهمیت علمی: ترکیب Federated Learning و Reinforcement Learning در قالب FRL حوزه‌ای نوظهور است. در کاربردهای کنترلی، رباتیکی و رانندگی خودمختار، FRL می‌تواند به اشتراک‌گذاری تجربه بین سناریوهای مختلف کمک کند بدون آنکه نیاز به تجمیع داده خام باشد. SGDA یک قاعده تجمیع آگاه از ایمنی به این فضا می‌افزاید.
2. اهمیت صنعتی و اجتماعی: خودروهای خودران متصل فناوری‌ای رو به رشد با هدف حمل‌ونقل ایمن‌تر، کارآمدتر و پایدارتر هستند [۱۲]. ارتقای ایمنی رانندگی و کاهش نرخ برخورد پیش‌شرط پذیرش عمومی و مجوزهای مقرراتی است.
3. اهمیت مقرراتی/حریم خصوصی: داده‌های خودرویی — مسیر، رد موقعیت، جریان ادراک و رفتار رانندگی — به‌شدت حساس‌اند و بهره‌برداران/سازندگان در مناطق مختلف هم با محدودیت‌های قانونی (مثل GDPR در اروپا [۹]) و هم با محدودیت‌های مالکیتی برای تجمیع متمرکز داده خام مواجه‌اند. رویکردهای فدرال تنها به‌روزرسانی‌های مدل را مبادله می‌کنند و مستقیماً به این مانع می‌پردازند [۱۲]؛ با این حال وزن‌های مدل به‌تنهایی حریم خصوصی کامل تضمین نمی‌کنند و Secure Aggregation/DP در صورت نیاز باید افزوده شوند.
4. امکان‌پذیری در ایران: با توجه به محدودیت دسترسی به خودرو واقعی، مسیر آزمون و تجهیزات، طراحی پژوهش بر مبنای یک شبیه‌ساز رانندگی سبک و ترکیب‌پذیر (MetaDrive [۳]) گزینه‌ای کم‌هزینه و قابل اجرا روی منابع محاسباتی محدود است.

۴اهداف پژوهش #

۴-۱. هدف اصلی #

طراحی، پیاده‌سازی و اعتبارسنجی تجربی SGDA-R — امتیازدهی باقیمانده‌ای موفقیت/برخورد/نقض با گیت چندکی مستقل از سختی و سقف ضدرانش منجمد $c_{\text{hard}}$ — برای FRL خودروهای خودران متصل تحت اختلالات ناهمگن؛ به‌گونه‌ای که CR نسبت به کنترل پروتکل‌همتای FedAvg+PPO+ServerOps (E1′) کاهش یابد و SR و نرخ کل اپیزود ناایمن $C^{\text{ind}}$ از حاشیه‌های عدم‌حقارت از پیش ثبت‌شده عبور نکنند.

۴-۲. اهداف فرعی #

• راه‌اندازی محیط شبیه‌سازی رانندگی فیزیک‌محور و تعریف سناریوهای اختلال و موانع.
• پیاده‌سازی آموزش محلی PPO و LPPO-Lag برای یک سیاست تک-ego با معماری مشترک میان همهٔ کلاینت‌ها.
• پیاده‌سازی FRL مبتنی بر FedAvg در دو نقش — E1 به‌عنوان مرجع ادبیات بدون ServerOps و E1′/E2′ (FedAvg+ServerOps) به‌عنوان کنترل‌های پروتکل‌همتا و مقایسه‌گرهای اصلی — و مقایسه با دو مرجع روشن: آموزش محلی مستقل (R1؛ توصیفی) و آموزش متمرکز هم‌بودجه (R2؛ الزامی). نزدیک‌ترین مرجع انتخاب‌محور R4 اختیاری است و FRL شخصی‌سازی‌شده با نام Opt-C به کار آینده منتقل می‌شود.
• طراحی و ارزیابی مکانیزم تجمیع آگاه از ایمنی SGDA (Safety-Gated Difficulty-Aware Aggregation) مبتنی بر شاخص‌های ایمنی $SR_i, CR_i, V_i$ و شاخص سختی $D_i$.
• ارزیابی تعمیم‌پذیری مدل در آزمون‌های OOD (شدت/نوع اختلال جدید، تراکم ترافیک و هندسه جاده جدید).
• تحلیل هزینه ارتباطی و ارائه trade-off بین ایمنی، کارایی و ارتباط.

۵سوالات و فرضیات پژوهش #

۵-۱. سوالات پژوهش #

• FRL مبتنی بر FedAvg، مشروط بر warm-start مشترک و قفل‌شدهٔ $\theta_0$، در مقایسه با دو baseline مرجع دارای همان مقداردهی اولیه — آموزش محلی مستقل (Local-only PPO) و آموزش متمرکز هم‌بودجه (Centralized PPO) — چه اثری بر نرخ موفقیت، نرخ برخورد و نرخ جامع اپیزود ناایمن $C^{\text{ind}}$ دارد؟
• آیا تجمیع آگاه از ایمنی می‌تواند نرخ برخورد را نسبت به کنترل پروتکل‌همتای FedAvg کاهش دهد، درحالی‌که SR و نرخ جامع $C^{\text{ind}}$ در حاشیه‌های عدم‌حقارت از پیش ثبت‌شده باقی بمانند؟
• روش پیشنهادی در آزمون‌های OOD (اختلال شدیدتر یا نوع جدید) چه میزان افت عملکرد دارد و آیا در مقایسهٔ تأییدی با کنترل پروتکل‌همتای E1′ و در مقایسه‌های توصیفی با سایر baselineهای اجراشده پایدارتر است؟
• هزینه ارتباطی (حجم داده ارسالی در هر راند) در سناریوهای فدرال چگونه است و trade-off آن با کیفیت سیاست چیست؟
• ابعاد اختلال، ترافیک، هندسه و ریسک معنایی چه رابطه‌ای با SR و $C^{\text{ind}}$ سیاست منجمد روی پیکربندی‌های مستقل دارند؟ (متناظر H3b)
• آیا امتیاز سختی پیشنهادی SDS با عملکرد و نرخ‌های ایمنی یک سیاست «کور به سختی» رابطهٔ یکنوای معنادار دارد و ابعاد سینماتیکی/ادراکی اعتبار افزایشی فراتر از چهار بعد طراحی‌شده دارند؟ (متناظر H3)
• سهم مرحلهٔ Fine-tune سراسری در عملکرد نهایی، پس از جداسازی از اثر قاعدهٔ تجمیع، چقدر است؟ (متناظر H4)
• آیا LPPO-Lag در برابر PPO-penalty هم‌بودجه، تحت همان SGDA و ServerOps، نرخ ناایمنی بدون برخورد $V$ را با حفظ SR و $C^{\text{ind}}$ کاهش می‌دهد؟ (متناظر H5)

۵-۲. فرضیات پژوهش — با شرط موفقیت و شرط شکست #

• H1 (ایمنی — برتری CR + عدم‌حقارت SR و نرخ کل ناایمنی): روش SGDA-R + LPPO-Lag (E6) باید نرخ برخورد را نسبت به کنترل پروتکل‌همتای FedAvg+PPO+ServerOps (E1′) در ID-test به‌طور معنادار کاهش دهد (آزمون جایگشتی زوجی یک‌طرفه روی اختلاف میانگین سطح-seed، همراه با CI bootstrap زوجی؛ $\alpha=0.05$؛ N نهایی seedها با قفل آینده‌نگر از $\{10,15,20\}$ بر پایهٔ تحلیل توان Monte-Carlo P2، پیش از E1)، و هم‌زمان SR و نرخ کل اپیزود ناایمن $C^{\text{ind}}$ غیرحقیر باشند: برای SR حاشیهٔ $\Delta_{NI}^{SR}=0.03$ (رد نال اگر کران پایین CI90٪ بالاتر از $-0.03$ باشد) و برای $C^{\text{ind}}$ حاشیهٔ $\Delta_{NI}^{C}=0.05$ (رد نال اگر کران بالای CI90٪ اختلاف روش منهای کنترل پایین‌تر از $+0.05$ باشد). این گارد سوم فقط مانع پذیرفتن کاهش CR همراه با بدترشدن مادی نرخ کل ناایمنی می‌شود؛ چون $C^{\text{ind}}$ جمع ناپوشای CR/OR/$V_{\text{prox}}$ است، افزایش یک مؤلفه می‌تواند با کاهش مؤلفه‌ای دیگر جبران شود. بنابراین OR و $V_{\text{prox}}$ با CI جداگانه و یک «هشدار بازتوزیع شکست» از پیش ثبت‌شده گزارش می‌شوند، اما نبود انتقال شکست ادعای تأییدی نیست. سهم هر مؤلفه با خانوادهٔ مکانیزم ServerOps-همتا و هم‌مقیاس ($K{=}16$، CRN) تفکیک می‌شود: اثر SGDA زیر PPO (E5−E1′ — ادعای تأییدی H1b)، اثر LPPO-Lag زیر FedAvg و زیر SGDA (به‌ترتیب E2′−E1′ و E6−E5)، اثر SGDA زیر LPPO-Lag (E6−E2′)، اثر توأمان بستهٔ SGDA+LPPO-Lag (E6−E1′ — خود H1)، و برهم‌کنش SGDA×LPPO-Lag ($\Delta_{\text{int}}$=(E6−E5)−(E2′−E1′)، هم‌ارز (E6−E2′)−(E5−E1′) — کنتراست مکانیزمی ثانویه با CI و BH-FDR). خود ServerOps با E1′−E1، گیت با E8 تمام‌مقیاس، حذف تعدیل سختی با E9′-N-full تمام‌مقیاس، fine-tuning با E6−E7 در صورت اجرای تمام‌مقیاس، سازوکار پذیرش با E11 و بازوزنی عملکردی با E10 سنجیده می‌شوند. کنتراست E6 در برابر E1 فقط مقایسهٔ توصیفی با مرجع بدون ServerOps است؛ اثر بستهٔ اصلی با E6−E1′ و اثر خود SGDA با E5−E1′/E6−E2′ سنجیده می‌شود. جهت مورد انتظار: $\mu_{\Delta CR}\lt 0$ معنادار + NI-SR + NI-$C^{\text{ind}}$؛ شرط شکست: هر یک از این سه مؤلفه برقرار نباشد.
• H1b (انتساب قاعدهٔ تجمیع — اثر خالص SGDA با آموزش محلی ثابت): SGDA+PPO+ServerOps (E5) باید نرخ برخورد را نسبت به همان کنترل پروتکل‌همتا (E1′) در ID-test به‌طور معنادار کاهش دهد و هم‌زمان SR و $C^{\text{ind}}$ آن غیرحقیر بمانند. این ادعا یک IUT سه‌مؤلفه‌ای است: برتری یک‌طرفهٔ CR ∧ عدم‌حقارت SR با $\Delta_{NI}^{SR}=0.03$ ∧ عدم‌حقارت $C^{\text{ind}}$ با $\Delta_{NI}^{C}=0.05$؛ $p_{H1b}=\max(p_{\Delta CR},p_{\mathrm{SR-NI}},p_{C^{\text{ind}}\mathrm{-NI}})$. بدین‌ترتیب کاهش برخورد همراه با افت بیش از حاشیه در موفقیت یا بدترشدن مادی نرخ کل ناایمنی به‌عنوان بهبود پذیرفته نمی‌شود؛ اجزای OR/$V_{\text{prox}}$ جداگانه گزارش می‌شوند و گارد مجموع به‌عنوان اثبات نبود بازتوزیع میان انواع شکست تفسیر نمی‌شود. تنها عامل متغیر خود قاعدهٔ تجمیع است (آموزش محلی در هر دو بازو PPO؛ ServerOps یکسان؛ همان $N$ قفل‌شده و CRN با هسته)، پس H1b پاسخ تأییدی مستقیم به پرسش «آیا خود SGDA با حفظ کارایی و ایمنی کل اثر دارد؟» است — عضو خانوادهٔ تأییدی اولیه (Holm سه‌تایی؛ ۹-۶). قاعدهٔ تنزل پیش‌ثبت‌شده: اگر توان توأمان Monte-Carloی H1b حتی در $N=20$ کمتر از ۰٫۸ برآورد شود، H1b پیش از E1 به خانوادهٔ ثانویهٔ مکانیزم بازمی‌گردد (Holm دوتایی روی H1/H2) و این تصمیم در ANALYSIS_PLAN.md ثبت می‌شود. افزون بر موفقیت آماری، انتساب اثر به SGDA فقط وقتی مجاز است که معیار سلامت خود بازوی E5، یعنی $\eta_{\mathrm{ACCEPT},E5}\ge0.60$، برقرار باشد؛ در غیر این صورت نتیجه به «اثر سامانهٔ دارای fallback» محدود می‌شود. جهت مورد انتظار: $\mu_{\Delta CR}\lt 0$ معنادار + NI در SR و $C^{\text{ind}}$؛ شرط شکست: هر یک از سه مؤلفه یا شرط سلامت تفسیری برقرار نباشد؛ در این صورت اثر سامانه (H1) بدون ادعای انتساب اختصاصی به قاعدهٔ تجمیع گزارش می‌شود.
• H2 (تعمیم OOD — برتری در Moderate، عدم‌حقارت در Severe): estimand تأییدی H2 «اختلاف مستقیم عملکرد دو روش در همان سطح OOD» است، نه اختلاف افت از ID. در Moderate-OOD، SR روش پیشنهادی باید از کنترل پروتکل-همتای E1′ (FedAvg+PPO+ServerOps) بیشتر باشد (برتری)؛ در Severe-OOD کافی است SR غیرحقیر بماند و نرخ کل اپیزود ناایمن $C^{\text{ind}}$ نیز در هر دو سطح غیرحقیر باشد. CR، V و OR به‌صورت تفکیکی گزارش می‌شوند، اما گارد تأییدی از اجتماع آن‌ها استفاده می‌کند. منحنی افت هر روش از ID تا OOD جداگانه و صرفاً به‌عنوان تحلیل توصیفی تعمیم گزارش می‌شود. > نکته آماری مهم — چرا عدم‌حقارت (NI) محور است و TOST تکمیلی «بدتر نباشد» ذاتاً یک ادعای یک‌سویه است: می‌خواهیم رد کنیم که روش «به‌اندازهٔ $\Delta$ بدتر» است؛ بهترشدن نه‌تنها مشکلی ندارد، مطلوب است. آزمون عدم‌حقارت یک‌طرفه دقیقاً همین را می‌سنجد و توان بالاتری از هم‌ارزی دوطرفه دارد. TOST [۳۲] (که هر دو سو را می‌بندد) به‌عنوان تحلیل تکمیلی/حساسیت گزارش می‌شود، نه معیار اصلی — $p\gt 0.05$ در t-test ساده همچنان اثبات هیچ‌چیز نیست. پروتکل آزمون: - تعریف estimand: $\Delta SR^{\mathrm{level}}=SR_{E6,\mathrm{OOD}}-SR_{E1′,\mathrm{OOD}}$ و $\Delta C^{\mathrm{level}}=C^{\mathrm{ind}}_{E6,\mathrm{OOD}}-C^{\mathrm{ind}}_{E1′,\mathrm{OOD}}$، هر دو در سطح seed و با CRN زوج‌شده. اختلاف‌های CR/V/OR نیز جداگانه به‌عنوان تجزیهٔ تشخیصی گزارش می‌شوند. کمیت افت درون‌روش $SR_{\mathrm{ID}}-SR_{\mathrm{OOD}}$ فقط توصیفی است و وارد تصمیم H2 نمی‌شود. - (الف) برتری در Moderate-OOD: آزمون جایگشتی زوجی یک‌طرفه روی میانگین $\Delta SR^{\mathrm{level}}$ با $H_0:\mu_{\Delta SR}\le 0$؛ CI bootstrap زوجی و Cohen's $d_z$ گزارش می‌شود. - (ب) عدم‌حقارت SR در Severe-OOD: $H_0:\mu_{\Delta SR}\le -\Delta_{NI}$ در برابر $H_1:\mu_{\Delta SR}\gt -\Delta_{NI}$ با $\Delta_{NI}=0.03$ (هم‌راستا با حاشیهٔ SR در ID؛ در ساختار تأییدی، این مؤلفه جزء ادعای مرکب H2 است — ۹-۶)؛ رد در $\alpha=0.05$ معادل آن است که کران پایین CI90٪ $\mu_{\Delta SR}$ از $-0.03$ بالاتر باشد. (TOST دوطرفهٔ تکمیلی با حاشیهٔ هم‌ارزی جداگانهٔ $\Delta_{\text{eq}}=0.05$ گزارش می‌شود.) - (ج) عدم‌حقارت $C^{\text{ind}}$ در Moderate و Severe: $H_0:\mu_{\Delta C^{\text{ind}}}\ge +0.05$ یک‌طرفه. این مؤلفه فقط بدترشدن مادی نرخ کل ناایمنی را رد می‌کند و به‌تنهایی نبود بازتوزیع میان CR، OR و $V_{\text{prox}}$ را ثابت نمی‌کند؛ سه جزء با CI و هشدار بازتوزیع شکست جداگانه گزارش می‌شوند. - توجیه حاشیه‌ها ($\Delta_{SR}=0.03$، $\Delta_{C}=0.05$): هر دو انتخاب مهندسی a priori (کوچک‌ترین اثر مهم عملی — SESOI) هستند که پیش از مشاهدهٔ هر نتیجهٔ OOD تثبیت و پیش‌ثبت شده‌اند و در grid قرار نمی‌گیرند؛ برای آن‌ها ادعای اجماع ادبیات نمی‌شود. حاشیه‌ها outcome-specific گزارش و توجیه می‌شوند (افزایش ۵ واحدی نرخ کل ناایمنی هم‌ارزش افت ۵ واحدی موفقیت نیست؛ حاشیهٔ SR در Severe عمداً با حاشیهٔ ID هم‌راستا نگه داشته شده تا معیار مؤلفهٔ Severe ادعای مرکب H2 زیر OOD شل نشود)؛ برای $C^{\text{ind}}$ حساسیت روی $\{0.02, 0.05\}$ و برای SR حساسیت توصیفی روی $\{0.03, 0.05\}$ نیز گزارش می‌شود — حساسیت توصیفی است و استنباط روی حاشیهٔ پیش‌ثبت‌شده قفل می‌ماند. جهت مورد انتظار: (الف) $\mu_{\Delta SR}\gt 0$ در Moderate؛ (ب) کران پایین CI90٪ بالاتر از $-0.03$ در Severe؛ (ج) کران بالای CI90٪ $\mu_{\Delta C^{\text{ind}}}$ پایین‌تر از $+0.05$ در Moderate و Severe؛ شرط شکست: هر یک از چهار مؤلفه برقرار نشود (گزارش تفکیکی برای SR، CR، V و OR).
• H3 (اعتبار ساخت SDS): سیاست نهایی و منجمد E1، که در ساخت SDS و SGDA نقشی ندارد، روی ۱۷ پیکربندی held-out و غیرهمپوشان $\mathcal{G}_{\text{H3-out}}$ ارزیابی می‌شود. واحد تکرار، seed آموزش کامل E1 است و $N_{\text{H3}}=N_{\text{locked}}$؛ برای هر snapshot $j$ و پیکربندی $g$، ۱۰۰ اپیزود ارزیابی با شناسه‌های مستقل $h(j,g,r)$ اجرا می‌شود. دو پیامد اولیه از پیش قفل می‌شوند: SR برای کارایی و $C^{\text{ind}}$ برای ایمنی. H3a یک IUT دومؤلفه‌ای است: شیب $D\to SR$ باید منفی و شیب $D\to C^{\text{ind}}$ مثبت باشد؛ $p_{H3a}=\max(p_{SR},p_{C^{\text{ind}}})$. CR، V، OR و reward پیامدهای تفکیکی/ثانویه‌اند. شبکه $\mathcal G_{\text{H3-out}}$ از $\mathcal G_{\text{fit}}$، SDS-dev، پذیرش و Test/OOD جداست و پیش از E1 قفل می‌شود. تحلیل ۱۶ کلاینت آموزش و ارزیابی تکمیلی E6 فقط شواهد همگرا/حساسیت‌اند. پروتکل اصلی H3-out: برای هر snapshot مستقل آموزش $j$ و هر پیکربندی $g$، SR و $C^{\text{ind}}$ از ۱۰۰ اپیزود ساخته می‌شوند. سپس درون هر snapshot، رگرسیون HC3 روی ۱۷ نقطهٔ ثابت طراحی برازش و شیب استانداردشدهٔ $b_{j,SR}$ و $b_{j,C}$ استخراج می‌شود. estimand اصلی میانگین این شیب‌ها روی $N_{\text{locked}}$ seed مستقل آموزش است؛ آزمون علامت‌گردانی یک‌طرفه و bootstrap سطح-seed با $B=5000$ CI را می‌سازند. Spearman جهت‌دار هر snapshot و نمودار calibration پشتیبان‌اند. بازنمونه‌گیری پیکربندی‌ها فقط تحلیل حساسیت دو‌مرحله‌ای است، زیرا ۱۷ نقطه با طراحی ثابت انتخاب شده‌اند و در استنباط اصلی نمونهٔ تصادفی مستقل فرض نمی‌شوند. H3a فقط اگر هر دو مؤلفهٔ اولیه در جهت مقرر و پس از تصحیح خانواده SDS پشتیبانی شوند پذیرفته می‌شود؛ اگر فقط SR/reward رابطه نشان دهد، SDS صرفاً proxy دشواری کارایی و نه دشواری ایمنی نامیده می‌شود. تحلیل همگرای ۱۶ کلاینت که در ادامه می‌آید فقط از reward نهایی E1 در همان ارزیابی مهروموم‌شدهٔ $T_{\text{ID}}$ استفاده می‌کند: برای هر checkpoint seed $j$ و پیکربندی Train/ID $i$، میانگین reward روی ۵۰ اپیزود $e(j,i,r)$ برابر $\text{id\_reward}_{ij}$ است. این تحلیل پس از بازگشایی دسته‌ای، ثانویه و غیرتصمیم‌ساز است؛ هیچ rollout تازه یا بازتنظیم SDS/SGDA از آن ناشی نمی‌شود. > نکته استقلال آماری — چرا پروتکل سه‌لایه $K\times N=16N$ جفت $(D_i,\,\text{id\_reward})$ مستقل نیستند: $N$ تکرار یک کلاینت، پیکربندی اختلال/سناریوی مشترک دارند و درون‌کلاینتی همبسته‌اند؛ متقارناً، در هر seed همهٔ ۱۶ کلاینت زیر یک سیاست سراسری مشترک ارزیابی می‌شوند، پس وابستگی درون-seed بین کلاینت‌ها نیز واقعی است — ساختار وابستگی متقاطع (کلاینت×seed) است، نه آشیانه‌ای. Spearman ساده بر $16N$ نقطه و bootstrap ساده، فرض استقلال دارند و CI اندازه اثر را متورم می‌کنند (Type-I error inflation). به همین دلیل پروتکل زیر به‌کار می‌رود: پروتکل تحلیل همگرا روی ۱۶ کلاینت آموزش (ثانویه): - لایه A — تحلیل سطح کلاینت: Spearman + رگرسیون OLS با خطای استاندارد استوار HC3 روی $K=16$ میانگین کلاینت (هر کلاینت یک نقطه؛ میانگین روی seedها) + آزمون جای‌گشتی سطح-کلاینت (permutation روی انتساب پیکربندی طرح — فقط همراه استحکام زیر نال سراسری تیز؛ هرگز مبنای برآورد ضرایب جزئی H3b نیست). این تحلیل در سطح واحد طراحی انجام می‌شود و نسبت به تحلیل خام $16N$ مشاهده، شبه‌تکرار را حذف می‌کند؛ بااین‌حال به‌علت اشتراک سیاست سراسری و ثابت‌بودن نقاط طرح، استقلال مطلق ادعا نمی‌شود و لایه‌های B/C برای استحکام وابستگی باقی می‌مانند. توان برای اثرهای کوچک محدود است و این صادقانه گزارش می‌شود (تحلیل توان MC در ۹-۶). - لایه B — بررسی استحکام (robustness): bootstrap خوشه‌ای متقاطع/دوطرفه (two-way cluster: کلاینت × seed) با $B=5000$ تکرار: کلاینت‌ها بازنمونه‌گیری می‌شوند و seedها به‌صورت سراسری — یک مجموعهٔ بازنمونهٔ مشترک برای همهٔ کلاینت‌ها — بازنمونه‌گیری می‌شوند، نه جداگانه درون هر کلاینت (بازنمونه‌گیری seed-درون-کلاینت وابستگی مشترک seed بین کلاینت‌ها را از بین می‌برد و CI را کاذبانه باریک می‌کند)؛ CI 95% از توزیع بوت‌استرپ — با هشدار صریح دربارهٔ ناپایداری بازه‌های خوشه‌ای با تنها ۱۶ خوشهٔ کلاینت (و $N$ خوشهٔ seed). - لایه C — تحلیل ثانویه (مدل اثرات مختلط): $$\text{id\_reward}_{ij} = b_0 + b_1\,D_i + u_i + v_j + \varepsilon_{ij}, \quad u_i\sim\mathcal{N}(0,\sigma_u^2),\; v_j\sim\mathcal{N}(0,\sigma_v^2)$$ با $u_i$ به‌عنوان random intercept سطح کلاینت و $v_j$ به‌عنوان random intercept سراسری seed — اثرات تصادفی متقاطع (crossed)، نه آشیانه‌ای؛ $v_j$ الزامی است زیرا در هر seed همهٔ کلاینت‌ها زیر یک سیاست سراسری مشترک ارزیابی می‌شوند (تحلیل میانگین-کلاینت لایهٔ A نسبت به مؤلفهٔ افزایشی seed مقاوم است، چون مجموعهٔ seedها برای همهٔ کلاینت‌ها یکسان است). تصحیح درجهٔ آزادی Kenward–Roger یا Satterthwaite — با ۱۶ خوشهٔ کلاینت الزامی است، وگرنه p-valueها خوش‌بینانه می‌شوند. (کتابخانه: R lme4 + lmerTest/pbkrtest؛ یا statsmodels MixedLM با variance components و گزارش صریح روش df) این سه لایه صرفاً استحکام convergent validity را می‌سنجند و عدم‌معناداری آن‌ها به‌تنهایی H3-out را رد نمی‌کند. گزارش شامل $r$، شیب HC3، CI خوشه‌ای و مدل اثرات مختلط است؛ هر ناسازگاری با H3-out صریحاً تحلیل می‌شود. > چهار بخش اعتبارسنجی SDS - H3a (اعتبار برون‌پیکربندی؛ primary): روی $\mathcal G_{\text{H3-out}}$، شیب $D\to SR$ باید منفی و شیب $D\to C^{\text{ind}}$ مثبت باشد؛ این دو آزمون IUT بالا را می‌سازند. نتیجهٔ id_reward روی ۱۶ پیکربندی Train/ID فقط convergent validity است. - H3b (ابعاد core): روی H3-out، مدل چندمتغیرهٔ چهار بعد dist/traf/geo/sem درون هر snapshot و جداگانه برای دو پیامد اولیه SR و $C^{\text{ind}}$ برازش می‌شود. برای هر بعد، جهت از پیش تعیین‌شده در SR منفی و در $C^{\text{ind}}$ مثبت است؛ estimand هر ضریب، میانگین ضریب استانداردشده روی seedهای آموزش است و آزمون یک‌طرفه/CI با علامت‌گردانی و bootstrap سطح-seed ساخته می‌شود. هشت ضریب اصلی (۴ بعد × ۲ پیامد) هشت عضو از خانوادهٔ ۱۱‌آزمونی SDS هستند که همراه $p_{H3a}$، $p_{H3c}$ و $p_{H3c′}$ با BH-FDR در $q=0.10$ کنترل می‌شود؛ VIF یک‌بار روی ماتریس طراحی ثابت ۱۷پیکربندی محاسبه می‌شود. مدل‌های CR/V/OR/reward ثانویه و جداگانه برچسب می‌خورند. kin/perc در این مرحله وارد نمی‌شوند. - H3c (اعتبار افزایشی core): در هر snapshot، مدل فقط-$D^{\text{dist}}$ با مدل چهاربعدی $D^{\text{dist}}+D^{\text{traf}}+D^{\text{geo}}+D^{\text{sem}}$ برای SR و $C^{\text{ind}}$ روی $\mathcal G_{\text{H3-out}}$ مقایسه می‌شود. معیار اصلی، RMSE هم‌وزن leave-one-configuration-out روی ۱۷ پیکربندی است و برای هر seed $\Delta\mathrm{RMSE}_j=\mathrm{RMSE}_{dist,j}-\mathrm{RMSE}_{core,j}$ تعریف می‌شود (بزرگ‌تر بهتر). ادعای H3c یک IUT دومؤلفه‌ای روی میانگین seedهاست: برتری پیش‌بینی $C^{\text{ind}}$ ($\mathbb E_j[\Delta\mathrm{RMSE}_{C,j}]>0$) ∧ عدم‌حقارت پیش‌بینی SR با حاشیهٔ ۰٫۰۱ ($\mathbb E_j[\Delta\mathrm{RMSE}_{SR,j}]>-0.01$)؛ $p_{H3c}=\max(p_{C\text{-sup}},p_{SR\text{-NI}})$. CI95٪ و $p$ یک‌طرفه با علامت‌گردانی/bootstrap سطح-seed ساخته می‌شوند؛ bootstrap پیکربندی حساسیت است و $\Delta R^2$/AIC/BIC فقط توصیفی‌اند. - H3c′ (ارزش افزوده kin/perc؛ ثانویه): در هر snapshot، مدل core چهاربعدی در برابر همان مدل به‌علاوهٔ $D^{\text{kin}}$ و $D^{\text{perc}}$ با همان LOCO-RMSE مقایسه و $\Delta\mathrm{RMSE}_{j}$ ساخته می‌شود؛ استنباط روی میانگین seedهای مستقل است. ادعای ثانویهٔ آن همان IUT «برتری $C^{\text{ind}}$ ∧ NI-SR» و $p_{H3c′}=\max$ دو مؤلفه است. مقایسهٔ دو اسکالر $D^4$ و $D^6$ به‌تنهایی برای انتساب ارزش kin/perc کافی نیست، زیرا وزن ابعاد core را هم تغییر می‌دهد؛ $D^6$ فقط توصیفی گزارش می‌شود. LOCO-CV روی ۱۶ کلاینت آموزش صرفاً حساسیت است و به‌دلیل هم‌پوشانی مجموعه‌های آموزش، fold-errorها مستقل فرض نمی‌شوند. معیار: موفقیت H3a فقط با شیب منفی SR و شیب مثبت $C^{\text{ind}}$ برقرار است. H3c فقط با بهبود بیرون‌نمونه‌ای پیش‌بینی ایمنی و عدم‌بدترشدن مادی پیش‌بینی کارایی پذیرفته می‌شود؛ حاشیهٔ RMSE از پیش ثبت و فقط بر مقیاس نرخ $[0,1]$ اعمال می‌شود. H3c′ ثانویه است. اگر SDS ایمنی را پیش‌بینی نکند یا مدل core از اختلال تنها بهتر نباشد، ادعای «شاخص دشواری چندبعدی معتبر برای ایمنی» رد و SGDA به یک heuristic ازپیش‌قفل‌شده تنزل می‌یابد؛ بازوی N تمام‌مقیاس اثر حذف سختی را نشان می‌دهد.
• H4 (fine-tuning — فرضیهٔ ثانویه با پیامد اولیهٔ یکتا): fine-tuning بعد از تجمیع ($N_{ft}=50$ گام) باید نرخ برخورد (CR — پیامد اولیهٔ از پیش تعیین‌شده) را نسبت به تجمیع مستقیم به‌طور کوچک اما پایدار کاهش دهد؛ SR با حاشیهٔ ۰٫۰۳ و $C^{\text{ind}}$ با حاشیهٔ ۰٫۰۵ دروازه‌های عدم‌حقارت و سایر پیامدها ثانویه‌اند. آزمون اصلی، آزمون جایگشتی زوجی روی اختلاف میانگین سطح-seed همراه با CI bootstrap زوجی است و $p_{H4}$ بیشینهٔ سه مؤلفه است. H4 تنها با کنتراست تمام‌مقیاس E6−E7 ($K{=}16$، seed-جفت‌شده، همان $N$ قفل‌شده) استنباطی است و در خانوادهٔ ثانویهٔ ابلیشن با BH-FDR کنترل می‌شود؛ اگر E7 اجرا نشود، H4 حذف و هیچ اجرای کوچک جایگزین نمی‌شود. جهت مورد انتظار: کاهش CR همراه با NI-SR و NI-$C^{\text{ind}}$؛ در غیر این صورت مزیت ایمنی fine-tuning ادعا نمی‌شود.
• H5 (LPPO-Lag در مقابل penalty — فرضیهٔ ثانویه با بودجهٔ تنظیم برابر): ترکیب SGDA+LPPO-Lag باید میانگین نرخ ناایمنی بدون برخورد $V=OR+V_{\text{prox}}$ را نسبت به SGDA+PPO-penalty کاهش دهد، مشروط بر آنکه SR و $C^{\text{ind}}$ غیرحقیر بمانند. پیامد اولیه یکتا، میانگین $V$ در ID-test است و آزمون آن آزمون جایگشتی زوجی یک‌طرفه روی اختلاف میانگین سطح-seed، همراه با CI bootstrap زوجی، است؛ عدم‌حقارت SR با حاشیه ۰٫۰۳ و $C^{\text{ind}}$ با حاشیه ۰٫۰۵ دو دروازهٔ تفسیرند. H5 در خانوادهٔ ثانویهٔ مکانیزم با BH-FDR کنترل می‌شود؛ بنابراین کاهش $V$ همراه با افت مادی موفقیت یا بدترشدن مادی نرخ کل ناایمنی پذیرفته نمی‌شود. ازآنجاکه NI-$C^{\text{ind}}$ به‌تنهایی افزایش جبران‌شدهٔ CR را رد نمی‌کند، CR نیز با CI و هشدار بازتوزیع شکست جداگانه گزارش می‌شود و «عدم افزایش برخورد» ادعای تأییدی H5 نیست. انحراف معیار بین-seed، بیشینهٔ $V$ در طول راندها، مسیر زمانی $\lambda_{\text{local}}$ و درصد کلاینت‌های اشباع‌شده پیامدهای ثانویه و تشخیصی‌اند.

برای مقایسه منصفانه، دو بازو دقیقاً شش پیکربندی تنظیم دارند. در PPO-penalty، grid برابر $\lambda_2\in\{1,3,5\}\times\lambda_3\in\{0.5,2\}$ است؛ در LPPO-Lag، پس از قفل مستقل $d_{\text{safe}}$، grid برابر $\eta_\lambda\in\{0.005,0.01,0.02\}\times\lambda_{\max}\in\{5,10\}$ است. $d_{\text{safe}}$ وارد مسابقه عملکردی grid نمی‌شود، زیرا با نردبان feasibility پیش از E1 و بدون مشاهده نتیجه بازوها تعیین می‌گردد. هر دو روش با پنج seed تنظیم، $T=100/E=25$ و ۵۰ اپیزود mean-action در هر یک از چهار پیکربندی Validation سنجیده می‌شوند. انتخاب لغت‌نامه‌ای است: کمینه‌کردن $V$ میان نقاطی که $SR\ge SR_{\text{ref}}-0.03$ و $C^{\text{ind}}\le C^{\text{ind}}_{\text{ref}}+0.05$ دارند؛ مرجع غیرچرخشی در هر دو grid یک اجرای FedAvg+PPO-penalty+ServerOps با fallback از پیش ثابت $(\lambda_2,\lambda_3)=(3,0.5)$ و همان پنج seed تنظیم است. سپس SR بیشینه می‌شود و در تساوی پنالتی ضعیف‌تر انتخاب می‌گردد (برای PPO کمینهٔ $(\lambda_2+\lambda_3,\lambda_2,\lambda_3)$ و برای LPPO کمینهٔ $(\eta_\lambda,\lambda_{\max})$). اگر هیچ نقطه‌ای هر دو دروازه را پاس نکند، fallbackهای از پیش تعیین‌شدهٔ PPO $(3,0.5)$ و LPPO $(0.01,10)$ حفظ و TUNING_FAIL ثبت می‌شوند. جفت برندهٔ PPO-penalty یک‌بار قفل و به‌عنوان $(\lambda^{FT}_2,\lambda^{FT}_3)$ مشترک Fine-tune در تمام بازوهای ServerOps استفاده می‌شود.

شرط امکان‌پذیری: اگر پس از آزمون ترتیبی $Q_{0.25}\rightarrow Q_{0.40}\rightarrow Q_{0.50}$ هنوز اشباع فراگیر دقیقاً تعریف‌شده در بلوک ۱۰ برقرار باشد (دست‌کم ۵۰٪ کلاینت‌ها با $\mathrm{sat}_i\ge0.80$)، مؤلفه صریحاً «LPPO-Lag-surrogate/پنالتی تطبیقی» نام‌گذاری می‌شود. در این رژیم H5 فقط تفاوت تجربی یک penalty تطبیقی با penalty ثابت را می‌سنجد و هیچ ادعایی درباره ارضای قید CMDP، feasibility یا برتری روش Lagrangian مطرح نمی‌شود. جهت مورد انتظار: $\mu_{\Delta V}<0$ همراه با NI در SR و $C^{\text{ind}}$؛ شرط شکست: کاهش معنادار $V$ برقرار نباشد، یکی از دو گارد NI شکست بخورد، یا اشباع فراگیر اجازه تفسیر مقید را ندهد.

۶پیشینه و مبانی نظری #

۶-۱. شبیه‌سازها و محیط‌های یادگیری برای خودرو #

برای پژوهش‌های RL خودرو، محیط MetaDrive [۳] یک شبیه‌ساز سبک Gym-مانند مبتنی بر Bullet با سناریوهای رویه‌ای، ترافیک پیرامونی و رابط تک‌عامله/چندعامله است؛ این مطالعه فقط رابط تک‌ego را مصرف می‌کند. CARLA فوتورئالیستی‌تر اما پرهزینه‌تر است و به کار آینده موکول می‌شود. انتخاب MetaDrive با چهار پیکربندی زیرساخت I1–I4 سازگار است: rolloutهای headless روی CPU و وظایف شتاب‌پذیر روی GPU اختصاصی یا Colab Pro+؛ مزیت هر شتاب‌دهنده در P0 سنجیده می‌شود.

انتخاب MetaDrive با هدف پژوهش سازگار است، زیرا متغیر مستقل اصلی کیفیت رندر نیست، بلکه ناهمگنی کنترل‌شدهٔ اختلال عملگر، ترافیک، هندسه و معنای سناریو است. تولید رویه‌ای جاده و ترافیک اجازه می‌دهد خانواده‌های train، کالیبراسیون، PASS و test با seed و نقش جدا ساخته شوند و درعین‌حال رابط observation/action در همه بازوها ثابت بماند. استفاده از حالت تک‌ego نیز دامنه ادعا را روشن می‌کند: خودروهای پیرامونی بخشی از محیط‌اند و سیاست مشترک چندعامله یا ارتباط V2V آموخته‌شده در این پایان‌نامه پیاده‌سازی نمی‌شود. عبارت «خودروهای متصل» به معماری فدرال تبادل به‌روزرسانی با سرور اشاره دارد، نه یادگیری هماهنگ چندعامل.

MetaDrive headless برای اجرای تعداد زیاد rollout مناسب‌تر از شبیه‌سازهای فوتورئالیستی است، اما این مزیت به معنای رایگان‌بودن محاسبه نیست. فیزیک Bullet، سنسورهای برداری، تعداد خودروهای ترافیکی و vectorization روی throughput CPU اثر مستقیم دارند؛ به همین دلیل عدد گام‌برثانیه از مقاله یا سخت‌افزار دیگر به‌عنوان مقدار قطعی استفاده نمی‌شود. CARLA، سنسور دوربین خام، آب‌وهوا و انتقال sim-to-real خارج از scope هستند. Safety-Gymnasium نیز فقط تکرار ثانویهٔ سطح سامانه است و جای دامنه اصلی رانندگی یا آزمون مؤلفه‌ای MetaDrive را نمی‌گیرد.

۶-۲. یادگیری تقویتی و PPO برای کنترل پیوسته #

در کنترل خودرو، فضای عمل معمولاً پیوسته است (مانند گشتاور چرخ، شتاب‌دهی/ترمز یا فرمان). PPO یک الگوریتم policy-gradient است که با بهینه‌سازی یک تابع هدف جانشین و محدود کردن تغییرات سیاست، به پایداری آموزش کمک می‌کند و در عمل به دلیل سادگی و کارایی، به یکی از روش‌های رایج در کنترل رباتیکی تبدیل شده است.

۶-۳. یادگیری فدرال: FedAvg، FedProx و FedNova #

در یادگیری فدرال، داده‌های آموزشی در سمت کلاینت‌ها باقی می‌ماند و سرور مرکزی تنها به‌روزرسانی‌های مدل را تجمیع می‌کند. الگوریتم FedAvg (McMahan et al., 2017 [۲]) با میانگین‌گیری تکراری پارامترهای مدل‌های محلی، یک روش عملی برای کاهش هزینه ارتباطی ارائه می‌دهد. FedProx (Li et al., MLSys 2020 [۱۴]) با افزودن جمله proximal، رانش ناشی از اهداف محلی ناهمگن و updateهای محلی را محدود می‌کند. FedNova (Wang et al., NeurIPS 2020 [۱۵]) مشکل objective inconsistency ناشی از تعداد/شدت update محلی ناهمسان را با normalized averaging هدف می‌گیرد. هر دو در این پژوهش baselineهای توصیفی‌اند.

۶-۴. یادگیری تقویتی فدرال (FRL) #

FRL حوزه‌ای نوظهور است که ایده فدرال را به یادگیری تقویتی تعمیم می‌دهد. در این چارچوب، کلاینت‌ها ممکن است نماینده عامل‌ها، دستگاه‌ها یا سناریوهای محیطی باشند و هدف اشتراک‌گذاری دانش سیاست/ارزش بدون انتقال تجربه خام است. مطالعات مروری اخیر، تکنیک‌ها، کاربردها و چالش‌های FRL را دسته‌بندی کرده‌اند [۴، ۱۸، ۱۹، ۲۵] (مانند ناهمگنی محیط، ناپایداری آموزش و هزینه ارتباطی).

نتایج نظری اخیر در FRL: Khodadadian et al. (ICML 2022) [۴۰] از نخستین اثبات‌های همگرایی برای federated TD/Q-learning تحت Markovian sampling ارائه داده و یک linear speedup نسبت به تعداد عامل‌ها ($1/N$ کاهش پیچیدگی نمونه‌ای) اثبات کرده‌اند. Xiong et al. (2024) [۴۱] این نتیجه را به personalized FRL با نمایش‌های مشترک گسترش داده و نشان می‌دهند که در محیط‌های ناهمگن، اشتراک نمایش (representation) با شخصی‌سازی head‌های هر عامل، سرعت یادگیری را حفظ می‌کند. این نتایج «انگیزهٔ نظری مجاور»ند، نه پایهٔ مستقیم: قضایای [۴۰، ۴۱] میانگین‌گیری سیاست PPO با وزن‌های تطبیقی را پوشش نمی‌دهند؛ صرفاً نشان می‌دهند در آن کلاینت‌ها نمایش (پارامتر شبکه) را به اشتراک می‌گذارند ولی وزن‌دهی تجمیع به‌صورت ایمنی-آگاه شخصی‌سازی می‌شود. به‌تازگی Wang et al. (ICML 2024) [۶۰] نشان داده‌اند که در FRL با محیط‌های دلخواه-ناهمگن، policy gradient فدرال مبتنی بر momentum (FedSVRPG-M/FedHAPG-M) — برخلاف میانگین‌گیری ساده — مستقل از بزرگی ناهمگنی به نقطهٔ ایستای تابع عملکرد میانگین همگرا می‌شود؛ این خط، شکاف نظری اعلام‌شدهٔ همین پروپوزال (نبود ضمانت برای policy averaging) را مستقلاً تأیید و مسیر نظری آیندهٔ آن را مشخص می‌کند.

سه کار نزدیک‌تر دامنه ادعا را محدود می‌کنند. Jin، Zhang و Zhang [۷۴] مسئله FRL با ناهمگنی قید را با روش‌های primal–dual فدرال FedNPG/FedPPO بررسی می‌کنند؛ بنابراین نمی‌توان ادعا کرد Safe-FRL فقط penalty ثابت دارد. تفاوت SGDA در استفاده از نرخ‌های عملیاتی و سختی عینی در تصمیم سرور و سقف کالیبرهٔ مستقل از سختی است، نه ابداع primal–dual فدرال. Xie و Song [۷۵] برای policy optimization در ناهمگنی محیط، انتخاب کلاینت را از کران خطای تقریبی استنتاج و روی کاربرد رانندگی نیز آزمایش می‌کنند؛ این نزدیک‌ترین همسایه برای client selection محیط‌ناهمگن است و baseline تطبیق‌یافتهٔ R4، در صورت منابع کافی، از آن ساخته می‌شود. Pang، Ni و Zhong [۷۶] نیز نشان می‌دهند اشتراک آمار نرمال‌سازی observation در FRL ناهمگن می‌تواند نامناسب باشد؛ به همین دلیل این طرح فقط از مقیاس‌بندی تحلیلی ثابت یا ثابت‌های clip/scale استخراج‌شده و منجمد در P0 استفاده می‌کند و آمار running را تجمیع نمی‌کند.

مرورهای جدیدتر در تقاطع «فدرال‌سازی + کنترل» [۲۴] و «MARL/FRL» [۲۵] نشان می‌دهند که ادبیات کلی در حال رشد است، هرچند سناریوی خاص «ناوبری خودمختار تحت اختلال + FRL + تجمیع آگاه از ایمنی» همچنان کم‌بررسی است؛ تکرار دامنهٔ دوم فقط در صورت اجرای Safety-Gymnasium ادعای تکمیلی خواهد بود.

۶-۵. ایمنی در یادگیری تقویتی و MARL #

در بسیاری از کاربردهای واقعی، رعایت قیود ایمنی اهمیت بالایی دارد. ادبیات Safe Reinforcement Learning رویکردهایی مانند تعریف قیود، penalty در تابع پاداش، یا روش‌های مبتنی بر مدل را بررسی کرده است [۵، ۳۴]. CPO (Achiam et al., ICML 2017 [۱۳]) با حل یک مسئله بهینه‌سازی مقید در هر به‌روزرسانی، تضمین monotonic improvement در رعایت قیود را ارائه می‌دهد.

روش‌های Lagrangian تطبیقی: صورت‌بندی پایه‌ای واردکردن جریمهٔ لاگرانژی در بهینه‌سازی سیاست را Tessler و همکاران (ICLR 2019) [۶۷] با روش «سیاست‌گذاری مقیدشده با پاداش» (RCPO) معرفی کردند و LPPO-Lag نسخهٔ محلی و ساده‌شدهٔ همین خط است. Stooke et al. (ICML 2020) [۴۴] روش PID-Lagrangian را معرفی کردند که با تفسیر بهینه‌سازی مقید به‌عنوان یک مسئله کنترل، ضریب لاگرانژ را با کنترلر PID تنظیم می‌کند و به state-of-the-art در Safety-Gym رسید. Chen et al. (AAMAS 2024) [۴۵] چارچوب Adaptive Primal-Dual (APD) را با نرخ‌های یادگیری تطبیقی برای سیاست و ضریب لاگرانژ ارائه دادند که ضمانت‌های همگرایی، بهینگی و امکان‌پذیری ارائه می‌کند. LPPO-Lag در این پایان‌نامه از این دو خط الهام می‌گیرد و یک ضریب لاگرانژ محلی $\lambda_{\text{local}}$ را در سطح هر کلاینت اعمال می‌کند؛ $\eta_\lambda$ و $\lambda_{\max}$ از grid شش‌نقطه‌ای از پیش مشخص‌شده در ۵-۲ انتخاب و پیش از E1 قفل می‌شوند.

برای پوزیشنینگ بهتر در ادبیات، Wachi et al. (IJCAI 2024) [۴۳] جدیدترین تاکسونومی فرم‌های قید ایمنی (cumulative، instantaneous، almost-sure، chance، state-wise) را ارائه داده‌اند؛ LPPO-Lag در دسته «cumulative-expectation CMDP» (چارچوب کلاسیک CMDP؛ Altman 1999 [۶۶]) قرار می‌گیرد که ساده‌ترین و پرکاربردترین فرم است. Kushwaha et al. (2025) [۴۲] نیز یک مرور فنی به‌روز از Safe RL و Safe MARL با ۵ مسئله باز ارائه داده‌اند که موقعیت ترکیب SGDA + LPPO-Lag در آن قابل ردیابی است.

در سطح چندعامله، MACPO و MAPPO-Lagrangian (Gu et al., Artificial Intelligence 2023 [۲۰]) با Constrained Markov Game و trust region constraint چندعامله، ضمانت‌های monotonic improvement رسمی فراهم کرده‌اند. در این پژوهش، LPPO-Lag یک مؤلفه اصلی (Core) است — نه اختیاری. این ماژول قید ایمنی را در آموزش محلی هر کلاینت با یک ضریب لاگرانژ تطبیقی اعمال می‌کند. contribution اصلی ترکیب LPPO-Lag با مکانیزم تجمیع SGDA است.

۶-۶. حریم خصوصی در یادگیری فدرال (نکته تکمیلی) #

اگرچه FL داده خام را جابه‌جا نمی‌کند، اما پژوهش‌ها نشان داده‌اند که گرادیان‌های به اشتراک گذاشته‌شده می‌توانند اطلاعاتی از داده آموزش را افشا کنند (حملات بازیابی داده از گرادیان). بنابراین در کاربردهای حساس، معمولاً از روش‌هایی مانند Secure Aggregation یا Differential Privacy در کنار FL استفاده می‌شود. در این پایان‌نامه، پیاده‌سازی دفاع‌های رمزنگاری/DP به‌عنوان کار آینده پیشنهاد می‌گردد.

۶-۷. ناوبری چندخودرویی و اجتناب از برخورد با MARL/DRL #

ادبیات کنترل چندعاملی خودروهای خودران با یادگیری تقویتی عمیق در سال‌های اخیر به‌سرعت رشد کرده است. Chen و همکاران (IEEE T-ITS 2023) [۳۷] مسئله ادغام در گلوگاه بزرگراه در ترافیک مختلط را به‌صورت یک مسئله MARL فرمول‌بندی کردند و با parameter sharing، پاداش‌های محلی و یک «ناظر ایمنی»، چند خودرو را برای ادغام ایمن و کارآمد آموزش دادند — مسئله‌ای خویشاوند با دامنهٔ ما، با این تفاوت ساختاری که در طرح ما هر کلاینت فقط یک خودروی ego را کنترل می‌کند و بقیهٔ ترافیک واکنشی است. این رویکردها اغلب از action masking سخت برای جلوگیری از اقدام ناایمن استفاده می‌کنند که با گیت ایمنی نرم SGDA متفاوت است — روش ما به جای حذف کامل اقدام، وزن کلاینت‌های ناایمن را در سطح تجمیع جهانی کاهش می‌دهد.

در سطح روش‌شناسی، MAPPO (Yu و همکاران، NeurIPS 2022) [۲۱] به‌عنوان مرجع روش‌شناختی MARL و نمایندهٔ پارادایم CTDE معرفی می‌شود — نه baseline اجرایی این پژوهش و نه چارچوب آن؛ طرح ما تک-ego بر کلاینت و فدرال است. در سمت یادگیری فدرال رانندگی، Liang و همکاران (۲۰۱۹) [۵۳] نشان دادند که یادگیری تقویتی فدرال برای رانندگی یک زیرحوزه موجود است و اشتراک‌گذاری دانش بین عامل‌ها در محیط‌های متفاوت می‌تواند نرخ برخورد را کاهش دهد — اما هیچ‌یک از این کارها قاعده تجمیع آگاه از ایمنی و سختی را ارائه نمی‌دهد.

۶-۸. یادگیری تقویتی ایمن تحت اختلال در رانندگی #

یادگیری تقویتی ایمن در رانندگی خودمختار یکی از فعال‌ترین مرزهای پژوهش است. Wen و همکاران (PCPO، ۲۰۲۰) [۳۵] یک نسخه از Constrained Policy Optimization موازی برای دو وظیفه رانندگی ارائه دادند که ایمنی را در فرآیند یادگیری حفظ می‌کند — قرینه روش LPPO-Lag ما در دامنه رانندگی. Hu و همکاران (LSTC، ۲۰۲۴) [۳۶] یک روش Safe RL مبتنی بر ضریب لاگرانژ با قیود کوتاه‌مدت و بلندمدت پیشنهاد کردند که روی همان شبیه‌ساز MetaDrive ارزیابی شده است؛ این کار هم انتخاب شبیه‌ساز و هم رویکرد قید-محور ما را در دامنه هدف تأیید می‌کند.

این پژوهش‌های اخیر همگی یادگیری-محور هستند، اما هیچ‌کدام در یک چارچوب فدرال طراحی نشده‌اند. در سوی فدرال رانندگی، Fu و همکاران (SFRL، IEEE T-ITS 2023) [۶۹] یک راهبرد FRL «انتخابی» برای رانندگی خودمختار ارائه می‌دهند که مشارکت و انتقال دانش کلاینت‌ها را گزینشی می‌کند، اما تجمیع آن نه نرخ‌های ایمنی عملیاتی را در وزن‌دهی مصرف می‌کند و نه شاخص سختی عینی سناریو را؛ و نزدیک‌ترین کار هم‌زمان، Lu و همکاران (IEEE T-ITS 2025) [۵۸] است که FRL چندعامله با سیگنال ترجیح انسانی برای رانندگی شهری تعاملی ارائه می‌دهد؛ اما تجمیع آن نه نرخ‌های ایمنی عملیاتی را مصرف می‌کند و نه شاخص سختی عینی سناریو را — این دقیقاً نقطه نوآوری SGDA است: ترکیب ایمنی‌محور سمت آموزش و تجمیع‌محور سمت سرور در یک معماری FRL. برای تکرار اختیاری دامنه دوم، محک Safety-Gymnasium (Ji و همکاران، NeurIPS 2023) [۴۸] و جانشین آن از Safety-Gym (Ray، Achiam و Amodei، ۲۰۱۹) [۴۹] به‌عنوان محک‌های ناوبری تحت قید در نظر گرفته می‌شوند. در سطح پایداری به‌روزرسانی قید، روش PID-Lagrangian (Stooke و همکاران، ICML 2020) [۴۴] مبنای اصولی برای به‌روزرسانی پایدار $\lambda_{\text{local}}$ در LPPO-Lag فراهم می‌کند. همچنین Tessler و همکاران (ICML 2019) [۲۳] چارچوب «Action Robust RL» را برای کنترل پیوسته معرفی کردند که سیاست‌های مقاوم در برابر اختلال اقدام را یاد می‌گیرد و یک baseline مفهومی برای ارزیابی مقاومت تحت OOD فراهم می‌کند.

جدول ۱ — مقایسه کارهای مرتبط و مؤلفه‌های کلیدی #

برای شفاف‌سازی جایگاه نوآوری‌های این پژوهش نسبت به ادبیات موجود، جدول مقایسه‌ای زیر ارائه می‌شود:

✓ موجود · ✗ موجود نیست · ~ جزئی/مشابه

پانوشت جدول ۱: ستون‌ها فقط پنج رقیب منتخب را می‌سنجند؛ ارزیابی جزئی shift/تعمیم در برخی کارهای دیگر (مانند Robust RL و FRL-EH در جدول ۳) وجود دارد و در متن همان‌جا بحث شده است.

۶-۹. شکاف ادبیات و موقعیت این پژوهش #

با مرور ادبیات موجود تا دانش نگارنده (جستجو در ICRA 2023-24، IROS 2023-24، NeurIPS 2023)، شکاف تحقیقاتی زیر قابل تشخیص است:

FedAvg (McMahan et al., 2017) میانگین وزن‌ها را بر اساس تعداد نمونه محاسبه می‌کند — هیچ مفهومی از ایمنی عملیاتی ($SR_i$، $CR_i$، $V_i$) یا سختی عینی محیط ($D_i$) ندارد.

FedProx (Li et al., 2020) با یک جملهٔ proximal، رانش updateهای محلی را در حضور ناهمگنی آماری/هدف‌های محلی محدود می‌کند، اما شاخص ایمنی یا سختی محیطی در تجمیع دخیل نیست.

FedNova (Wang et al., 2020) objective inconsistency ناشی از ناهمگنی updateهای محلی را هدف می‌گیرد، اما (الف) در اصل در چارچوب بهینه‌سازی فدرال متعارف صورت‌بندی شده، نه برای سازوکار ایمنی RL، (ب) شاخص‌های ایمنی را نمی‌بیند، و (ج) سختی عینی محیط را لحاظ نمی‌کند. خودرویی که در ترافیک سنگین و اختلال شدید برخورد می‌کند، لزوماً «مدل بد» ندارد — بلکه «محیط سخت» دارد.

CAESAR [۱۱] (workshop paper — نه peer-reviewed کامل) روی FRL ناهمگن تمرکز دارد اما فاقد دامنه رانندگی و safety-aware aggregation است. مرور یادگیری فدرال برای خودروهای خودران [۱۲] نشان می‌دهد FL در این حوزه عمدتاً برای ادراک/پیش‌بینی به‌کار رفته، نه برای تجمیع آگاه از ایمنی در یادگیری تقویتی. روش‌های Safe MARL (بخش ۶-۱۲) روی هماهنگی آنلاین تمرکز دارند، نه تجمیع فدرال با شاخص سختی عینی.

ادعای محافظه‌کارانه: مرورهای جدیدتر در فدرال‌سازی و کنترل [۲۴] و MARL/FRL [۲۵] نشان می‌دهند که ادبیات کلی این حوزه رو به رشد است، اما در سطح روش‌شناسی، نزدیک‌ترین همسایگان SGDA — شامل تازه‌ترین خطوط ۲۰۲۵–۲۰۲۶: تجمیع ریسک‌آگاه توزیعی (FedDistRL/TR-FedDistRL [۵۶])، تقطیر فدرال ناهمگن (FedHPD [۵۷]) و MA-FRL ترجیح‌محور برای رانندگی شهری (Lu et al., T-ITS 2025 [۵۸]) که هیچ‌یک هم‌زمان «نرخ‌های ایمنی عملیاتی + شاخص سختی عینی سناریو» را درون قاعدهٔ تجمیع مصرف نمی‌کنند (به‌طور خاص، FedDistRL ریسک را در critic توزیعی و منظم‌سازی آن رمزگذاری می‌کند، نه در قاعدهٔ وزن‌دهی تجمیع بر اساس نرخ‌های ایمنی عملیاتی و سختی برون‌زا — دو سازوکار متعامد و ترکیب‌پذیر) — در تجمیع وزن‌دار، FedDRL [۳۹] (وزن تجمیع با یادگیری تقویتی) ، FedCCEA [۵۰] (ارزیابی سهم کلاینت) و FedRQ [۵۴] (یادگیری تقویتی فدرال در محیط‌های ناهمگن، پیش‌چاپ ۲۰۲۵) هستند، و از نظر نظری، Jin و همکاران [۳۸] اثبات می‌کنند که در محیط‌های ناهمگن هیچ سیاست واحدی بهینه نیست و میانگین‌گیری ساده به یک نقطه زیربهینه‌ی وابسته به ناهمگنی همگرا می‌شود. تفاوت SGDA آن است که وزن را نه بر اساس تعداد نمونه یا وزن یادگرفته‌شده، بلکه بر اساس عملکرد ایمنی مقیاس‌شده با شاخص سختی عینی $D_i$ تعیین می‌کند. بنابراین ادعای مناسب این است که ترکیب «تجمیع هدایت‌شده توسط ایمنی + شاخص سختی عینی + FRL + ناوبری خودمختار تحت اختلال» هنوز در ادبیات به‌طور روشن مستندسازی نشده است؛ ادعای چنددامنه‌ای فقط در صورت اجرای تکرار اختیاری مطرح می‌شود.

۶-۱۰. FedProx — یادگیری فدرال با قید مجاورت #

FedProx (Li et al., MLSys 2020) یک جمله تنظیم‌گر proximal به تابع هدف محلی اضافه می‌کند: $F_i(\theta)+\frac{\mu_{\text{prox}}}{2d}\|\theta-\theta^t\|_2^2$؛ تقسیم بر تعداد پارامترها $d$ مقیاس جمله را میان معماری‌های یکسان شفاف می‌کند. این جریمه روی actor و هر دو critic اعمال می‌شود، اما بر state اسکالر $\lambda_{\text{local}}$ یا optimizer state اعمال نمی‌گردد. اگر E3 در نقطهٔ تصمیم ماه ۴ تصویب شود، $\mu_{\text{prox}}\in\{10^{-3},10^{-2},10^{-1}\}$ فقط روی Validation و پیش از آموزش E3 با همان قاعدهٔ لغت‌نامه‌ای PPO انتخاب و سپس قفل می‌شود؛ H3-out/Test همچنان مهروموم‌اند. این baseline رانش محلی را هدف می‌گیرد و ایمنی یا سختی را در وزن تجمیع مصرف نمی‌کند.

۶-۱۱. FedNova — Normalized Aggregation برای Objective Consistency [۱۵] #

FedNova (Wang et al., NeurIPS 2020) نشان داد که FedAvg ساده در حضور تعداد متفاوت گام‌های محلی می‌تواند دچار objective inconsistency شود. در نمادگذاری سادهٔ SGD، اگر $\Delta_i^{(t)}=\theta_t-\theta_{t,i}$ جابه‌جایی مدل محلی و $\tau_i$ تعداد مؤثر گام‌های محلی باشد، normalized averaging به‌صورت $\theta_{t+1}=\theta_t-\tau_{\mathrm{eff}}\sum_i p_i\Delta_i^{(t)}/\tau_i$ با $\tau_{\mathrm{eff}}=\sum_i p_i\tau_i$ نوشته می‌شود؛ پیاده‌سازی دقیق، ضریب نرمال‌سازی متناظر با optimizer را از نسخهٔ مرجع می‌گیرد. در پروتکل حاضر، همهٔ کلاینت‌های E4 دقیقاً $E=25$ iteration و بودجهٔ local-step یکسان دارند؛ بنابراین $\tau_i=\tau_{\mathrm{eff}}$ و E4 یک sanity check توصیفی است که باید، تا تفاوت‌های عددی/optimizer، به FedAvg نزدیک شود. اختلاف بزرگ E4 با E1 پیش از هر تفسیر علمی به‌عنوان هشدار پیاده‌سازی، شمارش گام یا وزن‌دهی بررسی می‌شود. در SGDA نیز فقط در حد مشترک $g_i\to1$ برای همهٔ کلاینت‌ها و $\beta\to0$، $\tilde w_i\to p_i$ و با بودجه‌های برابر حد FedAvg یکنواخت حاصل می‌شود. FedNova ناهمگنی تعداد گام‌ها را هدف می‌گیرد، درحالی‌که SGDA از نرخ‌های ایمنی و سختی سناریو در تجمیع استفاده می‌کند؛ ترکیب این دو فقط در مطالعه‌ای با local-step ناهمسان معنا دارد و در scope فعلی نیست.

• SGDA ← FedAvg: اگر $g_i=1$ برای همه $i$ و $\beta \to 0$، آنگاه $\tilde{w}_i \to p_i$ و SGDA به FedAvg وزن‌دار برحسب تعداد نمونه/گام محلی نزدیک می‌شود. اگر کلاینت‌ها بودجه برابر داشته باشند، همین حد به میانگین‌گیری یکنواخت فرو می‌کاهد. بنابراین SGDA یک تعمیم FedAvg است.
• SGDA در مقابل FedProx: FedProx رانش objective محلی را با جمله proximal نرمال‌شدهٔ $\frac{\mu_{\text{prox}}}{2d}\|\theta-\theta^t\|^2$ کنترل می‌کند — یک مسئله بهینه‌سازی. SGDA ایمنی و سختی سناریو را در تجمیع لحاظ می‌کند — یک مسئله وزن‌دهی. این دو مسئله متعامدند و می‌توانند ترکیب شوند.
• SGDA در مقابل FedNova: FedNova ناسازگاری هدف ناشی از تعداد متفاوت local steps را اصلاح می‌کند. SGDA این را نمی‌کند، اما $D_i$ و $g_i$ را می‌بیند که FedNova نادیده می‌گیرد. E4 فقط FedNova خام را به‌عنوان baseline ثانویه می‌سنجد؛ ترکیب FedNova+SafetyGate در این پایان‌نامه آزموده نمی‌شود و یک توسعهٔ متعامد آینده است. بنابراین از E4 ادعای پاسخ به اثر آن ترکیب مطرح نخواهد شد.

۶-۱۲. ایمنی در یادگیری تقویتی چندعامله‌ای (Safe MARL) #

خودروها سیستم‌های چندعامله هستند و اجتناب از برخورد یک مسئله ایمنی چندعامله است. ادبیات Safe MARL رویکردهایی را توسعه داده که ایمنی را در محیط‌های چندعامله اعمال می‌کنند:

MACPO (Gu et al.، Artificial Intelligence 2023 [۲۰]): CPO را به فضای چندعامله گسترش می‌دهد. یک هماهنگ‌کننده مرکزی قیود ایمنی را برای همه عامل‌ها به‌طور مشترک رعایت می‌کند. نیازمند اطلاعات متمرکز زمان آموزش است (پارادایم CTDE: critic مشترک و ارضای توأمان قیود همهٔ عامل‌های یک محیط) — نه لزوماً ارتباط real-time هنگام اجرا؛ همین دسترسی آموزشی متمرکز به تجربهٔ همهٔ عامل‌هاست که در تنظیم فدرال‌سازی ما موجود نیست.

MAPPO (Yu et al., 2022 [۲۱]): نسخه چندعامله‌ی PPO با مرکز اطلاعات مشترک که به‌صورت گسترده در کارهای MARL استفاده می‌شود. این روش به‌صورت پایه فاقد مکانیزم قید ایمنی است. توسعه‌های بعدی (MAPPO با ضریب لاگرانژ تطبیقی) در ادبیات Safe MARL گزارش شده‌اند، اما همه به اطلاعات مشترک زمان آموزش (CTDE) میان عامل‌های یک محیط واحد متکی‌اند — دسترسی‌ای که در تنظیم فدرال ما (کلاینت‌های مجزا، بدون تبادل تجربه) موجود نیست.

نکته مهم درباره جایگاه Lagrangian در کار ما: ضریب لاگرانژ تطبیقی در این پژوهش فقط در سطح LPPO-Lag محلی درون هر کلاینت اعمال می‌شود — نه در سطح هماهنگی بین‌کلاینتی MAPPO. این تمایز مهم است: SGDA + LPPO-Lag یک معماری federated-local است، نه MARL هماهنگ.

Scal-MAPPO-L (Zhang و همکاران، NeurIPS 2024 [۵۱]): یک روش مقیاس‌پذیر Constrained Policy Optimization برای Safe MARL که به‌روزرسانی لاگرانژی را به تعداد عاملان بزرگ تعمیم می‌دهد؛ این نیز مانند سایر روش‌های Safe MARL در سطح هماهنگی آنلاین عمل می‌کند نه تجمیع فدرال بین محیط‌ها. مقایسه با کار ما: روش‌های Safe MARL فوق روی هماهنگی آنلاین تمرکز دارند. روش ما بنیاداً متفاوت است: LPPO-Lag ایمنی را به‌صورت مستقل در هر کلاینت (بدون هماهنگی آنلاین) اعمال می‌کند، و SGDA در سطح تجمیع فدرال کلاینت‌های ناامن‌تر را کم‌وزن می‌کند. این ترکیب برای سناریوهای با bandwidth محدود مناسب‌تر است؛ تنظیم خود این پژوهش همگام و با مشارکت کامل است (۲) و سازگاری با تجمیع غیرهمزمان صرفاً مسیر توسعهٔ آتی است، نه ادعای طرح حاضر.

۶-۱۳. انتقال توزیع و ارزیابی OOD در رباتیک #

تعمیم‌پذیری به توزیع‌های ناشناخته (Out-of-Distribution) یکی از چالش‌های اصلی در RL رباتیکی است. این چالش در FRL حادتر است چون مدل جهانی باید روی توزیع‌های متنوع چندین کلاینت تعمیم پیدا کند. ادبیات مرتبط:

Domain Randomization در کنترل رباتیک (Peng et al., 2018 [۲۲]): نشان داد که آموزش با تنوع پارامترهای فیزیکی تصادفی، انتقال sim-to-real را بهبود می‌بخشد. رویکرد حاضر از «تنوع ساختاریافتهٔ محیط» در ۱۶ پیکربندی فاکتوریل استفاده می‌کند؛ این تنوع با domain randomization مرتبط است، اما چون نقاط آموزش از یک طرح ثابت می‌آیند، خود آن domain randomization تصادفی نامیده نمی‌شود.

Robust RL تحت اختلال (Tessler et al., 2019 [۲۳]): روش‌های مقاوم‌سازی سیاست در برابر اختلالات خارجی با رویکرد adversarial را بررسی کرد. روش ما به‌جای adversarial training از تنوع distribution در آموزش فدرال و ارزیابی صریح OOD استفاده می‌کند.

تفاوت با کار ما: (۱) روش‌های domain randomization معمولاً Single-agent و Non-federated هستند؛ (۲) آن‌ها OOD را به‌عنوان هدف آموزشی در نظر نمی‌گیرند — ما آن را به‌عنوان معیار ارزیابی مستقل می‌سنجیم؛ (۳) هیچ‌کدام یک شاخص سختی عینی ($D_i$) برای وزن‌دهی سناریوها ندارند.

همچنین یک مرور جدید sim-to-real در RL [۲۸] تأکید می‌کند که مدل‌های اختلال کنترل‌شده و ارزیابی صریح distribution shift از پل‌های مهم بین شبیه‌سازی و deployment هستند؛ این نکته از قرار دادن OOD به‌عنوان محور مستقل ارزیابی در این پایان‌نامه پشتیبانی می‌کند.

۶-۱۴. انتخاب و وزن‌دهی کلاینت در FL (Client Selection & Weighting) #

مکانیزم SGDA در ماهیت خود یک نوع وزن‌دهی کلاینت محسوب می‌شود و با ادبیات Client Selection در FL مرتبط است. پنج اثر شاخص در این حوزه:

FedCS (Nishio & Yonetani, ICC 2019 [۲۹]): کلاینت‌ها را بر اساس منابع ارتباطی-محاسباتی (deadline-aware) انتخاب می‌کند تا اتلاف زمان در راندهای فدرال کاهش یابد. معیار: resource availability.

Power-of-Choice (Cho et al., AISTATS 2022 [۳۰]): در هر راند یک زیرمجموعه تصادفی کوچک از کلاینت‌ها را نمونه‌گیری، و سپس آن‌ها را با بالاترین local loss انتخاب می‌کند. معیار: statistical loss signal.

Oort (Lai et al., OSDI 2021 [۳۱]): utility ترکیبی از «ارزش آماری» + «سرعت اجرای محلی» را برای انتخاب هوشمند کلاینت به‌کار می‌برد. معیار: multi-objective utility.

FedDQA (Song et al., 2024 [۴۷]): کیفیت داده هر کلاینت را به‌صورت پویا از sharpness تابع loss در طول آموزش محلی تخمین می‌زند و بدون نیاز به اطلاعات اضافه، کلاینت‌های با کیفیت بالا را وزن بیشتری می‌دهد. این کار نزدیک‌ترین کار به فلسفه SGDA در ادبیات کلاسیک FL است — هر دو با سیگنال‌های آموزش‌محور وزن‌دهی می‌کنند، اما SGDA از سیگنال‌های عملیاتی-محیطی (ایمنی + سختی عینی سناریو) استفاده می‌کند که در FedDQA غایب است.

FedDisco (Ye et al., ICML 2023 [۵۹]): وزن تجمیع را از ناهمخوانی (discrepancy) توزیع برچسب کلاینت با توزیع مرجع می‌سازد — سیگنالی توزیع-داده‌ای، باز هم ML-generic و بدون مفهوم ایمنی عملیاتی یا سختی عینی محیط.

تفاوت SGDA با این خط پژوهشی: پنج کار فوق همگی از سیگنال‌های ML-generic استفاده می‌کنند (loss، resource، latency، sharpness). برخلاف وزن‌دهی یادگرفته‌شده و جعبه‌سیاه FedDRL [۳۹]، وزن SGDA یک تابع شفاف و تفسیرپذیر از نرخ‌های ایمنی و یک شاخص سختی مشتق از محیط است؛ SGDA از دو سیگنال عملیاتی-محیطی استفاده می‌کند که در این ادبیات حضور ندارند:

• شاخص‌های ایمنی عملیاتی محاسبه‌شده از rollout ($SR_i, CR_i, V_i$ به‌صورت rate در $[0,1]$)
• شاخص سختی عینی سناریو ($D_i$) مستقل از سیاست، برای عادلانه‌سازی جریمه بین سناریوهای با شدت اختلال متفاوت

همچنین در SGDA از «انتخاب سخت» استفاده نمی‌شود — همه کلاینت‌ها در هر راند مشارکت می‌کنند، اما وزن تجمیع آن‌ها تعدیل می‌شود (soft weighting به‌جای hard selection). این انتخاب طراحی، نوسان آماری را در $K=16$ کلاینت (که از نظر توان آماری محدود است) کاهش می‌دهد.

۶-۱۵. جدول جمع‌بندی — خلأ پژوهشی، نزدیک‌ترین کار قبلی، و مشارکت پیشنهادی #

برای جمع‌بندی شفاف ادبیات، چهار محور اصلی نوآوری در یک نگاه ارائه می‌شود. این جدول تأییدی است بر این‌که هر محور پیشنهادی به یک شکاف مشخص در ادبیات پاسخ می‌دهد:

۷چارچوب پیشنهادی #

هسته نهایی شامل چهار جزء است: (۱) FRL سناریومحور، (۲) تجمیع SGDA، (۳) LPPO-Lag در آموزش محلی، (۴) ارزیابی OOD. بخش‌های ۷-۶ تا ۷-۹ و Opt-A/Opt-B/Opt-C صریحاً کار آینده‌اند و در بودجه/زمان‌بندی پایان‌نامه وارد نمی‌شوند.

۷-۱. تعریف کلاینت‌ها و سناریوهای فدرال #

برای عملیاتی کردن فدرال‌سازی بدون نیاز به دستگاه واقعی، کلاینت‌ها به‌صورت «سناریو/محیط» تعریف می‌شوند. هر کلاینت شامل یک پیکربندی مشخص از اختلال عملگر (بایاس پایدار، شدت OU، رژیم شوک گذرا) و تراکم ترافیک خاصی است. در هر راند فدرال، کلاینت‌ها سیاست جهانی را دریافت می‌کنند، چند اپیزود آموزش محلی انجام می‌دهند و پارامترهای به‌روزرسانی‌شده را ارسال می‌کنند.

• عامل ۱ — بزرگی بایاس پایدار عملگر: $\|\mathbf{b}_i\| \in \{\text{low}, \text{high}\}$ — مؤلفهٔ $D^{\text{dist}}$
• عامل ۲ — شدت OU عملگر: RMS مانا $\|(\sigma_{\delta},\sigma_{a})/\sqrt{2\kappa}\| \in \{\text{low}, \text{high}\}$ — مؤلفهٔ $D^{\text{dist}}$
• عامل ۳ — رژیم شوک گذرای عملگر: $p_{\text{eff}}\|\mathbf A\| \in \{\text{off}, \text{on}\}$ با $p_{\text{eff}}=p_{\text{shock}}L/[1+p_{\text{shock}}(L-1)]$ — مؤلفهٔ $D^{\text{dist}}$
• عامل ۴ — تراکم ترافیک: $\{\text{low}, \text{high}\}$ — مؤلفهٔ $D^{\text{traf}}$
• عامل ۵ — پیچیدگی هندسهٔ جاده: $\{\text{low}, \text{high}\}$ — مؤلفهٔ $D^{\text{geo}}$
• عامل ۶ — ریسک معنایی / تراکم VRU: $\{\text{low}, \text{high}\}$ — مؤلفهٔ $D^{\text{sem}}$

نسخه دقیق MetaDrive، commit/API و فایل پیکربندی پیش از E1 قفل می‌شود. عامل ۴ فقط با traffic_density و رفتار واکنشی IDM دست‌کاری می‌شود؛ accident_prob به‌عنوان معادل cut-in استفاده نمی‌شود. عامل ۶ با spawn صریح و seedدار عابر/دوچرخه یا ناحیه تعارض در API تأییدشده پیاده می‌شود و unit/integration test باید تفاوت سطح کم/زیاد را در شمار موجودیت‌ها و نرخ مواجهه نشان دهد. اگر نسخه قفل‌شده MetaDrive چنین spawn قابل‌اعتمادی را پشتیبانی نکند، پیش از E1 و بدون مشاهده نتایج، عامل ۶ با «تراکم مانع/ناحیه تعارض پشتیبانی‌شده» جایگزین و کل طرح، SDS و ادعاها با همان تعریف جدید قفل می‌شوند؛ استفاده از MetaUrban [۷۷] فقط توسعهٔ ثانویه است، نه وابستگی پنهان هسته.

با مولدهای کسر یک‌چهارم ($E=ABC$، $F=BCD$) در تفکیک IV، اثرهای اصلی شش عامل از اثرهای دوعاملی جدا می‌مانند. kin/perc مستقیماً دست‌کاری نمی‌شوند و با هندسه هم‌خط‌اند؛ بنابراین سهم یکتای آن‌ها فقط با مقایسه مدل core در برابر مدل افزودهٔ core+kin+perc روی $\mathcal G_{\text{H3-out}}$ سنجیده می‌شود و ماتریس همبستگی/VIF گزارش خواهد شد. تحلیل $K\in\{4,8\}$ صرفاً استحکام مقیاس است؛ اعتبار H3b/H3c به طرح $K=16$ و H3-out متکی است.

مشخصات صریح طرح (برای راستی‌آزمایی مستقل): نگاشت حرف↔عامل: A=بزرگی بایاس پایدار عملگر، B=شدت OU عملگر، C=شوک گذرا، D=تراکم ترافیک، E=هندسهٔ جاده، F=ریسک معنایی/VRU. مولدها: $E=ABC$ و $F=BCD$؛ رابطهٔ تعریف: $I=ABCE=BCDF=ADEF$. پیامد تفکیک-IV: اثرهای اصلی با هیچ اثر دوعاملی هم‌نام نیستند، اما برخی جفت‌های دوعاملی با یکدیگر هم‌نام‌اند (زنجیره‌های alias دوعاملی: AB=CE، AC=BE، AD=EF، AE=BC=DF، AF=DE، BD=CF، BF=CD؛ ساختار کامل در پیوست/مخزن منتشر می‌شود)؛ ۱۶ ترکیب تیمار دقیقاً از همین مولدها بازتولیدپذیرند و انتساب کلاینت↔ترکیب در seeds.json ثبت می‌شود.

۷-۲. یک خودروی کنترل‌شده (ego) بر کلاینت + ترافیک واکنشی #

هر کلاینت دقیقاً یک خودروی خودمختار کنترل‌شده (ego) دارد که سیاست $\pi_\theta$ آن را هدایت می‌کند؛ سایر خودروهای صحنه ترافیک واکنشی قاعده‌محور بومی MetaDrive (IDM)اند، توسط سیاست کنترل نمی‌شوند و تراکم آن‌ها به‌عنوان عامل طراحی (مؤلفهٔ $D^{\text{traf}}$) تغییر می‌کند. این انتخاب واحد آماری را بی‌ابهام می‌کند: «اپیزود» = یک اجرای کامل ego؛ $SR/CR/V$ نرخ‌های اپیزودی همان ego؛ خاتمهٔ اپیزود = برخورد/خروج از جاده/رسیدن به مقصد/سقف افق؛ و «۲۰۴۸ گام» بودجهٔ گام محیط همین عامل واحد است (env-step ≡ agent-step). همهٔ کلاینت‌ها معماری سیاست یکسانی آموزش می‌دهند (پیش‌نیاز میانگین‌گیری پارامتر در تجمیع). کنترل هم‌زمان چند خودرو با parameter sharing — که تعریف اپیزود، شمارش CR/SR و حسابداری env-step در برابر agent-step را چندعامله و مبهم می‌کرد — از هستهٔ طرح خارج و به کار آیندهٔ ترکیب FRL با MARL (۶-۷ و ۱۱-۲) منتقل شد.

۷-۳. مدل‌سازی اختلال — فرآیند Ornstein-Uhlenbeck (OU) #

اختلال به‌صورت آشفتگی زمانی-همبستهٔ فرمان‌های نرمال‌شدهٔ عملگر — فرمان‌دهی (steering) و شتاب/ترمز — مدل می‌شود که پیش از ارسال کنش به شبیه‌ساز در رابط فرمان اعمال می‌گردد و عدم‌قطعیت‌هایی مانند بایاس کالیبراسیون فرمان، رانش تدریجی فرمان‌دهی، تغییرپذیری گاز/ترمز و شوک‌های گذرای نادر را بازنمایی می‌کند. به‌جای نویز تصادفی مستقل (i.i.d.)، از فرآیند Ornstein-Uhlenbeck استفاده می‌شود تا عدم‌قطعیت عملگر همبستگی زمانی داشته باشد. این فرآیند در اصل توسط Uhlenbeck و Ornstein معرفی شد [۲۶] و در RL کنترل پیوسته نیز به‌عنوان نویز زمانی هم‌بسته سابقه دارد [۲۷] — این ارجاع سابقهٔ خود فرآیند است، نه اعتبارسنجی مدل عملگر خودرو. در این پایان‌نامه، OU به‌عنوان یک مدل اختلال کنترل‌شده برای stress-test استفاده می‌شود، نه به‌عنوان مدل کامل فیزیکی خودرو:

۷-۴. روش پیشنهادی SGDA — تجمیع آگاه از ایمنی با گیت‌گذاری و سختی محیط (Safety-Gated Difficulty-Aware Aggregation) #

در نسخه SGDA، مکانیزم تجمیع آگاه از ایمنی به‌صورت «گیت امکان‌پذیری ایمنی + امتیازدهی باقیمانده‌ای آگاه از سختی + پذیرش سه‌شرطی مبتنی بر فاصلهٔ اطمینان» تعریف می‌شود:

۷-۴-۱. تابع هدف جهانی یادگیری تقویتی فدرال #

پیش از معرفی مکانیزم تجمیع، تابع هدف جهانی سیستم به‌صورت زیر فرمال‌سازی می‌شود. این فرمول‌بندی پایه نظری روش SGDA را آشکار می‌کند:

۷-۴-۲. تعریف عملیاتی SGDA — مثال گیت، کران‌ها، SDS، وزن‌دهی و پذیرش #

برای یک راند آغازین که در آن $\widetilde m^C=m^C$ است، فرض کنید سه کلاینت با کران بالای نرخ برخورد متفاوت داریم و سقف کالیبره‌شده $c_{\max}=0.5$، شیب $k_{cap}=15$ باشد. مقادیر $g_i = \sigma(k_{cap}(c_{\max} - CR^{U}_i))$ به‌صورت زیر محاسبه می‌شوند:

کلاینت سوم به‌طور کامل حذف نمی‌شود بلکه وزن آن به‌صورت نرم کاهش می‌یابد (و کف $g_{\min}$ پیوستگی را تضمین می‌کند). این رفتار از حذف ناگهانی اطلاعات جلوگیری کرده و تنوع کلاینت‌ها را در تجمیع حفظ می‌کند.

• برازش انتظار غنی‌تر روی همان rolloutهای شبکهٔ $\mathcal{G}_{\text{fit}}$ (بدون rollout محیطی جدید): سه رگرسور $\widehat{SR}^{L}_{\phi}(\boldsymbol{\phi})$، $\widehat{CR}_{\phi}(\boldsymbol{\phi})$ و $\widehat V_{\phi}(\boldsymbol{\phi})$ روی بردار پیکربندی $\boldsymbol{\phi}=(D^{\text{dist}},D^{\text{traf}},D^{\text{geo}},D^{\text{sem}})$ برازش می‌شوند — رگرسیون ridge فقط با اثرهای اصلی و $\alpha$ منتخب LOCO از شبکهٔ ثابت $\{0.01,0.1,1,10\}$؛ مدل‌های ظرفیت‌بالا کنار گذاشته می‌شوند. شناسایی‌پذیری: این رگرسورها فقط به پشتوانهٔ ۸ گره برون‌محور $\mathcal{G}_{\text{fit}}$ برازش‌پذیرند؛ با ۹ گره روی‌محور تنها، پیش‌بین‌ها روی یک مسیر یک‌بعدی هم‌خط می‌بودند.
• باقیمانده‌های شرطی‌بر پیکربندی برای هر سه پیامد دقیقاً مانند فرم اصلی ساخته، در هر cadence هم‌زمان reset و با همان EMA هموار می‌شوند؛ سپس $\text{score}^{R,\phi}=\widetilde e^{S,\phi}-\lambda\widetilde e^{C,\phi}-\mu\widetilde e^{V,\phi}$ محاسبه، همهٔ وزن‌ها از نو ساخته و رتبه‌بندی آن‌ها با فرم اسکالر اصلی با Spearman مقایسه می‌شود.
• معیار تصمیم از پیش ثبت‌شده: اگر همبستگی رتبه‌ای دو فرم بالا باشد ($\rho_s\ge 0.9$)، جزء فشرده‌سازی پیکربندی ناچیز است و فرم اسکالر $D$ توجیه می‌شود؛ اگر پایین باشد، جزء پیکربندی فعال است و در تفسیر نتایج و در گزارش گزارهٔ ۴ صریحاً لحاظ می‌شود (و فرم $\boldsymbol{\phi}$ به‌عنوان تحلیل اصلی ثانویه گزارش می‌گردد).

این نسخهٔ مشاهده‌ای «تعدیل علی سختی» است و عمداً به‌عنوان تحلیل حساسیت الزامی — نه جایگزین فرم اصلی SGDA-R — قاب می‌شود؛ نسخهٔ کامل مداخله‌ای (برآورد اثر علی $D$ بر CR با مداخلهٔ شبیه‌سازی‌شدهٔ do-operator) به کار آینده — محور ۹ — سپرده می‌شود تا از مقیاس کارشناسی‌ارشد فراتر نرود.

• (۱) $\mathcal{C}_{\text{accept}}$ — سوئیت پذیرش لایه‌بندی‌شده: مجموعهٔ قفل‌شدهٔ پیکربندی+seed سمت سرور شامل ۶ پیکربندی — ۲ آسان، ۲ متوسط و ۲ سخت — که پیش از E1 قفل می‌شود. لایهٔ متوسط، نزدیک‌ترین پیکربندی امکان‌پذیر به میانگین مؤلفه‌ای کامل $\boldsymbol\phi=(0.5,0.5,0.5,0.5)$ را دربر دارد. seedهای خانواده $c$ هر راند می‌چرخند و هیچ گرادیانی از این سوئیت عبور نمی‌کند. $\mathcal G_{\text{fit}}$ فقط برای منحنی‌ها/چندک گیت و $\mathcal C_{\text{FT}}$ فقط برای داده FT است؛ این سه نام و نقش هرگز مترادف نیستند.
• (۲) چه چیزی از کلاینت‌ها دریافت می‌شود: فقط (الف) پارامترهای شبکه $\theta_{t,i}$ و (ب) چهار عدد اسکالر $(SR_i, CR_i, V_i, D_i)$ — هیچ trajectory، observation خام، یا تجربه $(s,a,r,s')$ از کلاینت‌ها به سرور منتقل نمی‌شود.
• (۳) ارزیابی پذیرش = rollout تازه به‌ازای هر نامزد: هر سه نامزد ($\theta_{\text{agg}}$، میانگین FedAvg، $\theta_t$) با مقدار قفل‌شدهٔ $n_{\text{eval}}\in\{24,48,96\}$ اپیزود تازه، به‌طور مساوی روی ۶ پیکربندی $\mathcal C_{\text{accept}}$ اجرا می‌شوند (مقدار شروع: ۴۸=۶×۸). همهٔ rolloutهای ارزیابی از action میانگین Gaussian policy استفاده می‌کنند و stochastic action sampling خاموش است. CRN فقط تصادفی‌بودن برون‌زای محیط را جفت می‌کند: نقشه/ترافیک/OU/شوک با RNGهای جزء-مجزا و schedule از پیش تولیدشدهٔ وابسته به (episode_seed, component, step/entity) ساخته می‌شوند تا واگرایی trajectory ترتیب drawها را جابه‌جا نکند. آمارهٔ لایهٔ سخت با نماد $c_x^{\mathsf H}$ از دو پیکربندی سخت و $n_{\mathsf H}=n_{\text{eval}}/3$ اپیزود همان rolloutها به‌دست می‌آید؛ بالانویس $\mathsf H$ با سقف ضدرانش گیت $c_{\text{hard}}$ متفاوت است. ارزیابی off-policy روی بافر سیاست دیگر ممنوع است.
• (۴) $\mathcal{B}_{\text{FT}}(\theta^{*})$ — بافر fine-tune: پس از انتخاب $\theta^{*}$، با rollout stochastic و on-policy خود $\theta^{*}$ در جریان مجزای $\mathcal{C}_{\text{FT}}$ (پیکربندی نزدیک به $\boldsymbol\phi=(0.5,0.5,0.5,0.5)$؛ seedهای $b_1,\dots$ غیرهمپوشان با پذیرش) ساخته می‌شود. چهارگانهٔ قفل‌شدهٔ FT برابر $(G_{\text{FT}},M_{\text{FT}},S_{\text{FT}},\mathcal{C}_{\text{FT}})$ است: $G_{\text{FT}}=50$ گام گرادیانی، $M_{\text{FT}}=4$ اپیزود rollout، $S_{\text{FT}}=64$ اندازهٔ minibatch و $\mathcal C_{\text{FT}}$ پیکربندی/خانوادهٔ seed مجزاست. objective مشترک PPO-penalty در بالا تعریف شد؛ optimizer تازه است و cost critic با target اولین رخداد و بدون $\lambda_{\text{local}}$ به‌روزرسانی می‌شود. هر چهار مؤلفه و $(\lambda^{FT}_2,\lambda^{FT}_3)$ پیش از E1 قفل می‌شوند.
• (۵) $\mathcal C_{\text{distill}}$ و $\mathcal B_{\text{srv}}$ — فقط برای E12 اختیاری: چهار پیکربندی قفل‌شده و خانوادهٔ seed $q$ که با Train/fit/accept/FT/Validation/Test غیرهمپوشان است. حالت‌های معلم/دانش‌آموز فقط از این جریان می‌آیند؛ هیچ حالت یا seed از $\mathcal C_{\text{accept}}$ وارد gradient تقطیر نمی‌شود.
• (۶) هزینهٔ بازوی SGDA: $(3{+}1)n_{\text{eval}}+M_{\text{FT}}$ اپیزود سرور در هر راند؛ در مقدار شروع ۴۸ برابر ۱۹۶ اپیزود است. زمان واقعی از بنچمارک P0 و نه یک زمان ثابت اپیزودی محاسبه و در بودجهٔ ۱۰ ثبت می‌شود.
• (۷) ضرورت این تفکیک: حفظ ادعای FL و اعتبار پذیرش. مقدار شروع ۴۸ دانه‌بندی $1/48\approx0.021$ دارد، اما مقدار نهایی فقط از OC انتخاب می‌شود. همه روش‌ها همان سوئیت/seed/PASS را دارند. دسترسی سرور به یک نمونهٔ شبیه‌ساز برای $\mathcal C_{\text{accept}}$، $\mathcal G_{\text{fit}}$، $\mathcal C_{\text{FT}}$ و، در صورت اجرای E12، $\mathcal C_{\text{distill}}$ یک فرض استقرار صریح است.

• وقتی $g_i \to g_{\min}$ (کلاینت فراتر از سقف): $\tilde{w}_i$ تا مرتبهٔ $g_{\min}$ فرومی‌افتد — حذف مؤثر اما پیوسته (و در حد $g_{\min}\to 0$، حذف کامل)؛ این دقیقاً رفتار مطلوب است.
• وقتی $g_i \to 1$ و $\beta_{\text{work}}\to 0$: $\tilde{w}_i \to p_i$ — یعنی به FedAvg نمونه‌دار بازمی‌گردد.
• اگر $g_i$ داخل exp قرار می‌گرفت، $\exp(0\cdot\text{score}_i)=1$ می‌شد و کلاینت ضعیف وزن یکنواخت دریافت می‌کرد — که خلاف هدف طراحی است.

الگوریتم رسمی — Safety-Aware FedRL با Fine-tuning #

Server:
Load locked common pilot snapshot θ₀ for all arms; lock C_loc-score، C_accept، C_FT و G_fit — نقش‌ها/خانواده‌های seed غیرهمپوشان (جدول ۱۰); load q₀ و c_hard که در P1 با ارزیابی قطعی θ₀ پیش از E1 قفل شده‌اند
for round t = 0, 1, ..., T−1:                                      # T=100 راند دقیق؛ بدون early stopping نتیجه‌محور
  refit_round ← (t=0) OR (τ_refit<∞ AND t mod τ_refit = 0)     # برای τ_refit=∞ فقط برازش آغازین انجام می‌شود
  if refit_round:
    Fresh deterministic evaluation of θ_t on all 17 G_fit configurations (n_fit=25 each); run the locked directional trend checks and fit outcome-wise IsoReg or the sole linear fallback → ŜR_t^L(·), ĈR_t(·), V̂_t(·), FIT_FALLBACK_S/C/V flags, q_t=nearest-rank-Q0.9({CR_g^U(θ_t)})
    if t=0: assert q_t=q₀ within 10⁻¹⁰ under the locked deterministic seed schedule; otherwise halt as PRELOCK_MISMATCH
    c_max(t)←min(c_hard,q_t); for y∈{S,C,V}: if R²_fit,y<0.3: log FIT_WEAK_y
    if fraction of client D outside [D_min^fit,D_max^fit] > 0.10: log FIT_SUPPORT_WEAK     # boundary-constant prediction
  else: keep the last fitted curves and c_max(t) unchanged
  Broadcast θ_t → all K clients
  for client i in parallel:
    Load θ_t; reset Adam/optimizer state; keep only λ_local in LPPO-Lag arms as client memory; Run the arm-locked local PPO or LPPO-Lag for E iterations (= E·2048 گام محیط؛ هر iteration شامل rollout و epochs/update داخلی) → θ_{t,i}
    Freeze θ_{t,i}; deterministic-mean evaluation on n_i^ep = n_eval^loc = 25 gradient-disjoint client-scoring episodes from C_loc-score → raw counts (SR_i, CR_i, V_i);  D_i≡D_i^4 از پیکربندی سناریو
    Upload (θ_{t,i}, SR_i, CR_i, V_i, D_i)
  end for
  # Wilson bounds از شمارش خام همان راند؛ سپس residual/margin هم‌مرجع؛ EMA هرگز پیش از تشکیل residual اعمال نمی‌شود
  SR_i^L = Wilson⁻(SR_i, n_i^ep);  CR_i^U = Wilson⁺(CR_i, n_i^ep);  V_i^U = Wilson⁺(V_i, n_i^ep)
  e_i^S = SR_i^L−ŜR_t^L(D_i); e_i^C = CR_i^U−ĈR_t(D_i); e_i^V = V_i^U−V̂_t(D_i); m_i^C = CR_i^U−c_max(t)
  if t=0 or refit_round: (ẽ_i^S,ẽ_i^C,ẽ_i^V,m̃_i^C)←(e_i^S,e_i^C,e_i^V,m_i^C)
  else: EMA_α on each matched residual/margin → (ẽ_i^S,ẽ_i^C,ẽ_i^V,m̃_i^C)
  # گیت امکان‌پذیری (حاشیهٔ هموارشده نسبت به سقف؛ مستقل از D؛ بیرون از exp؛ کف g_min)
  g_i = max(σ(−k_cap·m̃_i^C),g_min)
  # SGDA-R score؛ فرم‌های خام P/N/I فقط در E9′ از EMA مستقیم کران‌ها استفاده می‌کنند
  score_i = ẽ_i^S − λ·ẽ_i^C − μ·ẽ_i^V
  β_work ← β_sched(t) = β_min + (β_max−β_min)·min(t/T_β,1)
  weight_collapse ← false; FT_APPLIED ← false; FT_ROLLBACK ← false     # پرچم‌های راندی در آغاز هر تصمیم reset می‌شوند
  w̃_i = p_i·g_i·exp(β_work·score_i) / Σ_j p_j·g_j·exp(β_work·score_j)     # log-domain/logsumexp در پیاده‌سازی
  # کنترل آنتروپی — حلقهٔ بسته با اقدام شکست صریح
  while H(w̃) < H_min and β_work > β_min:  β_work ← max(β_min, β_work/2);  recompute w̃
  if H(w̃) < H_min at β_work=β_min:  weight_collapse ← true; log WEIGHT_COLLAPSE and counterfactual gate-only/score-only entropies     # نامزد SGDA کنار گذاشته می‌شود
  θ_agg = Σ w̃_i·θ_{t,i}
  θ_avg = Σ p_i·θ_{t,i}; θ_prev = θ_t
  # ---- پذیرش: n_eval∈{24,48,96} با OC؛ 192 فقط fallback پیش-E1؛ ۶ پیکربندی مساوی ----
  for x in {agg, avg, prev}:  (r_x, c_x, c_H_x) = FreshDeterministicRollout(θ_x, C_accept, n_eval, CRN schedule مشترک)     # در WEIGHT_COLLAPSE خروجی agg فقط telemetry/sham است و وارد تصمیم نمی‌شود؛ بودجهٔ 4n_eval+M_FT ثابت می‌ماند
  PASS(x) ≔ [ LCB₉₀(r_x − r_prev) ≥ −ε_r  AND  UCB₉₀(c_x − c_prev) ≤ ε_c  AND  UCB₉₀(c_H_x − c_H_prev) ≤ ε_c^H ]   # گارد سخت همیشه‌فعال؛ ε_c^H=1.5ε_c و مستقل از سقف گیت c_hard است
  if (not weight_collapse) and PASS(agg):  θ* ← θ_agg;   base_label ← ACCEPT
  elif PASS(avg):    θ* ← θ_avg;             base_label ← FALLBACK
  else:              θ* ← θ_t;              base_label ← REVERT
  # WEIGHT_COLLAPSE و FT_ROLLBACK پرچم‌های جدا هستند؛ base_label همیشه یکی از سه مقدار بالاست
  log failed components ⊆ {reward, global_cost, hard_layer_cost} for any failed PASS
  # ---- Fine-tune مشترک ServerOps: PPO-penalty، بدون λ_local + بازارزیابی الزامی ----
  B_FT ← Rollout(θ*, C_FT, M_FT=4 episodes)                    # بافر FT با سیاست خود θ*؛ جریان seed مجزا (b₁,…)؛ بودجهٔ قفل‌شدهٔ چهارگانهٔ FT
  θ_ft = PPOPenaltyFineTune(θ*, B_FT, N_ft=G_FT=50, minibatch=S_FT=64, λ₂^FT, λ₃^FT; fresh optimizer; update actor/reward-critic/cost-critic)
  (r_ft, c_ft, c_H_ft) = FreshDeterministicRollout(θ_ft, C_accept, n_eval, همان CRN schedule راند)
  if LCB₉₀(r_ft − r_prev) ≥ −ε_r AND UCB₉₀(c_ft − c_prev) ≤ ε_c AND UCB₉₀(c_H_ft − c_H_prev) ≤ ε_c^H:  θ_{t+1} ← θ_ft; FT_APPLIED ← true      # مرجع همان θ_t؛ گارد سخت نیز الزامی است
  else:                                                            θ_{t+1} ← θ*;  FT_ROLLBACK ← true
  Rotate C_accept seeds from the locked family
  # β در راند بعد دوباره از β_sched(t+1) آغاز می‌شود؛ مقدار β_work این راند منتقل نمی‌شود
end for

1. لایه ۱ — پذیرش SGDA: اگر PASS(agg)، آنگاه $\theta^* \leftarrow \theta_{\text{agg}}$ (ACCEPT)؛ در راندهای دارای پرچم WEIGHT_COLLAPSE این لایه از تصمیم حذف می‌شود و لایهٔ ۲ آغاز می‌گردد، اما rollout agg برای برابری بودجه و telemetry به‌صورت sham اجرا و هرگز انتخاب نمی‌شود (کنترل entropy، ۷-۴-۲).
2. لایه ۲ — Fallback به FedAvg: وگرنه اگر PASS(avg)، آنگاه $\theta^* \leftarrow \sum p_i\,\theta_{t,i}$ (FALLBACK).
3. لایه ۳ — Revert منبع پیش از FT: در غیر این صورت $\theta^* \leftarrow \theta_t$ و base_label=REVERT.
4. لایهٔ ۴ — بازارزیابی پس از Fine-tune: $\theta_{ft}=\mathrm{FineTune}(\theta^*)$ فقط در صورتی منتشر می‌شود که نسبت به همان مرجع راند $\theta_t$ هر سه مؤلفهٔ PASS — پاداش، هزینهٔ کل و گارد لایهٔ سخت — را برآورده کند؛ وگرنه $\theta_{t+1}\leftarrow\theta^*$ و FT_ROLLBACK ثبت می‌شود. برآوردهای مرجع از همان ارزیابی CRN نامزدها بازاستفاده می‌شوند. مرجع عمداً $\theta_t$ است تا دو تلورانس تا $2\varepsilon$ انباشته نشود.

مقادیر — «قفل قاعده، نه مقدار»: $\varepsilon_r=0.05R_{\text{scale}}$. جفت $(n_{\text{eval}},\varepsilon_c)$ ابتدا از $\{24,48,96\}\times\{0.02,0.035,0.05\}$ با OC انتخاب می‌شود و کل PASS سه‌شرطی در OC سنجیده می‌شود. اهداف $P(\mathrm{PASS})\ge0.95$ در A/A و $P(\mathrm{PASS}\mid\Delta c=+0.05)\le0.20$ هستند. اگر هیچ نقطه‌ای هر دو هدف را برآورده نکند، پیش از E1 یک‌بار $n_{\text{eval}}=192$ آزموده می‌شود؛ اگر آن نیز شکست بخورد، PASS به‌عنوان فیلتر کم‌قدرت گزارش و حاشیه‌ها فقط با یک amendment پیش‌ثبت‌شده و seedهای جدید تغییر می‌کنند، نه پس از مشاهده نتایج روش‌ها.

معنای REVERT: این برچسب فقط منبع ورودی FT را مشخص می‌کند. چون FT مشترک پس از آن اجرا می‌شود، یک راند REVERT می‌تواند در صورت عبور بازارزیابی با $\theta_{ft}\ne\theta_t$ پایان یابد؛ بنابراین FT_APPLIED و FT_ROLLBACK جداگانه ثبت می‌شوند و عبارت «مدل نهایی بدون تغییر ماند» فقط وقتی درست است که base_label=REVERT و FT_ROLLBACK نیز رخ دهد.

Telemetry: پس از هر راند base_label ACCEPT/FALLBACK/REVERT، مؤلفه‌های ردشدهٔ reward/global-cost/hard-layer-cost و پرچم‌های FT_APPLIED/FT_ROLLBACK/WEIGHT_COLLAPSE ثبت می‌شوند؛ در collapse، دو آنتروپی پادواقعی gate-only و score-only نیز منبع تمرکز را تشخیص می‌دهند.

که $\mathcal A_{\text{SGDA}}$ مجموعهٔ بازوهای اجراشده‌ای است که نامزد تجمیع SGDA دارند (از جمله E5 و E6).

تفسیر: warm-up دقیقاً راندهای $t=0,\dots,T_{\text{warm}}-1$ است و فاز شمارش از $t\ge T_{\text{warm}}=10$ آغاز می‌شود؛ این ثابت خط لولهٔ اصلی از $R_0$، پارامتر صرفاً حساسیتی گیت سه‌جزئی، جداست. اگر در این فاز کمتر از ۶۰٪ راندها به ACCEPT بینجامد، فیلتر انتشار غالب بوده و سهم خود نامزد SGDA از مدل نهایی کافی نیست. در چنین صورت، نتیجه «سامانهٔ SGDA با fallback/revert غالب» نامیده می‌شود و بهبود مشاهده‌شده به قاعدهٔ تجمیع SGDA منتسب نمی‌گردد؛ H1b برای E5 شکست تفسیری می‌خورد، هرچند H1 سامانهٔ کامل جداگانه گزارش می‌شود.

توزیع هدف سالم برای هر بازوی $a$: $\eta_{\text{ACCEPT},a} \geq 0.60$، $\eta_{\text{FALLBACK},a} \leq 0.30$، $\eta_{\text{REVERT},a} \leq 0.10$ و $\eta_{\text{FT\_ROLLBACK},a} \leq 0.10$؛ سه نرخ اول روی همان راندهای پس از warm-up جمعاً یک‌اند، درحالی‌که FT_ROLLBACK یک پرچم هم‌زمان و جداست. این آستانه‌ها در گزارش نتایج «سلامت آموزش» نام دارند؛ آستانهٔ ۰٫۶۰ انتخاب مهندسی a priori است و حساسیت آن روی $\{0.5,0.6,0.7\}$ گزارش می‌شود.

در این حالت حدی، اگر بودجه نمونه‌ای کلاینت‌ها برابر باشد آنگاه $p_i = 1/K$ و تجمیع به FedAvg یکنواخت نزدیک می‌شود؛ در حالت کلی، روش به FedAvg وزن‌دار برحسب تعداد نمونه/گام محلی میل می‌کند. این یک رابطهٔ حدی دقیق تحت $g_i\to1$ برای همهٔ کلاینت‌ها و $\beta_{\text{work}}\to0$ است؛ «نبود سیگنال» به‌تنهایی بازگشت به FedAvg را تضمین نمی‌کند.

۷-۴-۳. خواص ساختاری SGDA و انتساب پادواقعی وزن‌ها #

• گزاره ۱ (کم‌وزن‌شدن حدی): برای score کران‌دار، اگر $g_i\to0$ و دست‌کم یک $g_j>0$ باقی بماند، آنگاه $\tilde w_i\to0$. اثبات: در $\tilde{w}_i = \dfrac{p_i\,g_i\,\exp(\beta\,\text{score}_i)}{\sum_j p_j\,g_j\,\exp(\beta\,\text{score}_j)}$ صورت متناسب با $g_i$ است. در پیاده‌سازی $g_i\ge g_{\min}>0$، بنابراین حذف کامل رخ نمی‌دهد و اندازهٔ واقعی وزن علاوه بر گیت به score و مخرج نیز وابسته است؛ ادعای «حذف ایمن» یا مصونیت سیاست جهانی مطرح نمی‌شود.
• گزاره ۲ (حد FedAvg): اگر هم‌زمان $g_i \to 1$ برای همه‌ی $i$ و $\beta_{\text{work}}\to 0$، آنگاه $\tilde{w}_i \to p_i$ (یعنی FedAvg وزن‌دار برحسب بودجه‌ی نمونه؛ و با بودجه‌ی برابر، FedAvg یکنواخت). این فقط یک خاصیت حدی تحت دو شرط صریح است؛ صفرشدن scoreها به‌تنهایی کافی نیست، زیرا گیت‌های نابرابر همچنان وزن‌ها را تغییر می‌دهند.
• گزاره ۳ (محدودسازی اسمی پسرفت درون حاشیه‌های پذیرش): مدل منتشرشدهٔ هر راند فقط وقتی عبور می‌کند که سه شرط پاداش، هزینهٔ کل و گارد همیشه‌فعال لایهٔ سخت را نسبت به $\theta_t$ و با تلورانس‌های از پیش قفل‌شدهٔ $(\varepsilon_r,\varepsilon_c,\varepsilon_c^{\mathsf H})$ برآورده کند؛ در غیر این صورت زنجیرهٔ FedAvg→Revert→FT_ROLLBACK فعال می‌شود. بنابراین پسرفت کوچک درون حاشیه‌ها مجاز است و عنوان «عدم‌پسرفت مطلق» به‌کار نمی‌رود. گارد سخت $\mathrm{UCB}_{90}(c_x^{\mathsf H}-c_{\text{prev}}^{\mathsf H})\le1.5\varepsilon_c$ روی دو پیکربندی سخت و $n_{\mathsf H}=n_{\text{eval}}/3$ اپیزود از همان rolloutهای CRN اعمال می‌شود. کل قاعده، شامل گارد، در OC/A-A کالیبره و در تمام بازوهای ServerOps یکسان اجرا می‌شود. این یک فیلتر تجربی روی سوئیت قفل‌شده با اطمینان اسمی هر تصمیم است — بدون کنترل خطای خانوادگی در راندهای تطبیقی — نه تضمین همگرایی یا ایمنی واقعی.
• گزاره ۴ (بی‌طرفی مشروط score نسبت به سختی): اگر در پنجرهٔ EMA برای همه کلاینت‌ها $SR^{L}_{i,t}=\widehat{SR}^{L}_{t}(D_i)$، $CR^{U}_{i,t}=\widehat{CR}_{t}(D_i)$ و $V^{U}_{i,t}=\widehat V_t(D_i)$ باشد، آنگاه $\widetilde e_i^S=\widetilde e_i^C=\widetilde e_i^V=0$ و $\text{score}^{R}_i=0$. اثبات با جای‌گذاری مستقیم است. پس در بخش softmax، خود سختی نه پاداش است نه جریمه و فقط انحراف از انتظار رتبه می‌سازد. این خاصیت به چهار شرط وابسته است: کالیبراسیون درست هر سه منحنی، هم‌کمیتی و هم‌اندازه‌بودن rolloutها، کفایت نمایش اسکالر $D$ برای انواع پیکربندی، و نبود شکاف شدید میان سیاست سراسری مبنای برازش و سیاست محلی امتیازشونده. افزون بر این، خاصیت به گیت تعمیم نمی‌یابد: کلاینتی که حاشیهٔ هموارشدهٔ $\widetilde m^C_i>0$ دارد مستقل از سختی کم‌وزن می‌شود. بنابراین نام دقیق ادعا «difficulty-neutral relative scoring subject to a calibrated risk ceiling» است، نه بی‌طرفی مطلق وزن نهایی.
• گزاره ۵ (کف تنوع مؤثر — مشروط به کنترل‌گر آنتروپی): هرگاه کنترل‌گر، قید $H(\tilde{\mathbf{w}})\ge H_{\min}=\tfrac{1}{2}\log K$ را برقرار نگه دارد، تعداد کلاینت‌های مؤثر $K_{\text{eff}}=e^{H(\tilde{\mathbf{w}})}\ge\sqrt{K}$ است (برای $K=16$: دست‌کم ۴ کلاینت مؤثر). اثبات: تعریف $K_{\text{eff}}$ و یکنوایی نمایی. اگر تمرکز score-محور باشد، کاهش $\beta$ می‌تواند آنتروپی را برگرداند؛ اگر گیت یا ترکیب گیت+score در $\beta_{\min}$ همچنان متمرکز باشد، کاهش بیشتر $\beta$ کافی نیست. به همین دلیل اقدام شکست صریح WEIGHT_COLLAPSE نامزد SGDA را کنار می‌گذارد؛ بازنشانی درون‌نامزد به $p_i$ مجاز نیست، اما نامزد مستقل FedAvg همچنان فقط با PASS می‌تواند به‌عنوان Fallback انتخاب شود. دو آنتروپی پادواقعی لاگ‌شده، منبع تمرکز را بدون ادعای علی اضافی مشخص می‌کنند.

این گزاره‌ها «ایمنی با ضمانت صوری» را ادعا نمی‌کنند؛ تنها رفتار حدی و رویه‌ای قاعدهٔ تجمیع را صریح می‌سازند و وجه تمایز SGDA از وزن‌دهی آموخته‌شدهٔ جعبه‌سیاه (مانند FedDRL [۳۹]) را تقویت می‌کنند.

• $\Delta^{\text{gate}}_i$ نشان می‌دهد گیت چقدر وزن کلاینت $i$ را نسبت به حالت E8 تغییر داده است: در پادواقعی، $g_j=1$ برای همهٔ کلاینت‌ها قرار می‌گیرد و کل بردار وزن با مخرج جدید بازسازی می‌شود؛ فقط $g_i$ منفرد تغییر نمی‌کند.
• $\Delta^{D}_i$ اثر فرم R را نسبت به حالت N جدا می‌کند: برای همهٔ کلاینت‌ها هم‌زمان $\text{score}^{N}_j=\bar{SR}^{L}_j-\lambda\bar{CR}^{U}_j-\mu\bar V^{U}_j$ جایگزین و کل softmax با گیت‌های اصلی بازسازی می‌شود. بنابراین این دیاگنوستیک دقیقاً با E9′-N-full هم‌تعریف است و به برازش تباهیدهٔ $D=0$ متکی نیست.
• غیرجمع‌پذیری (هشدار صریح): این دلتاها «دیاگنوستیک پادواقعی»اند، نه سهم دقیق جمع‌پذیر؛ در هر حالت پادواقعی تمام وزن‌ها — از جمله مخرج softmax — از نو محاسبه می‌شوند و به‌دلیل نرمال‌سازی softmax و برهم‌کنش‌ها، $\Delta^{\text{gate}}_i+\Delta^{D}_i$ لزوماً با اثر توأمان حذف هر دو مؤلفه برابر نیست و هرگز جمع زده یا به‌عنوان تجزیهٔ افزودنی $\tilde{w}_i$ گزارش نمی‌شود.
• انتساب دقیقاً جمع‌پذیر (مکمل): برای تجزیهٔ افزودنی دقیق، لگاریتم وزن نانرمال گزارش می‌شود: $\log \tilde{w}^{\text{unnorm}}_i=\log p_i+\log g_i+\beta_{\text{work}}(t)\,\text{score}_i$ — سه سهمی که پیش از نرمال‌سازی دقیقاً افزودنی‌اند؛ اثر جمعی نرمال‌سازی به‌صورت جملهٔ مشترک $-\log Z_t$ (با $Z_t=\sum_j p_j\,g_j\,e^{\beta_{\text{work}}(t)\,\text{score}_j}$) جدا نگه داشته می‌شود.
• تفکیک به‌ازای بعد (SDS): برای بعد $m$، در همهٔ کلاینت‌ها $D_j^{(-m)}=D_j-\omega_mD_j^{(m)}$ قرار می‌گیرد، منحنی‌های منجمد همان cadence در این مقدار ارزیابی و کل softmax بازسازی می‌شود؛ $\Delta^{D^{(m)}}_i=\tilde w_i-\tilde w_i^{(-m)}$. وزن‌های باقی‌مانده بازنرمال نمی‌شوند، زیرا هدف حذف سهم همان بعد از اسکالر است. این خروجی فقط دیاگنوستیک غیرجمع‌پذیر است و جای H3b یا ابلیشن N-full را نمی‌گیرد.

این انتساب در کنار تله‌متری ACCEPT/FALLBACK/REVERT گزارش می‌شود و مستقیماً به ابلیشن E8 (بدون گیت) و بازوی N در E9′ (بدون $D_i$) متصل است: انتظار می‌رود هر دیاگنوستیک به‌تنهایی «جهت» اثر ابلیشن متناظر خود را پیش‌بینی کند ($\Delta^{\text{gate}}$ ↔ E8؛ $\Delta^{D}$ ↔ بازوی N در E9′) — پیش‌بینی‌ای جهتی/کیفی، نه برآورد کمی جمع‌پذیر اثر توأمان. حاصل، یک قاعده‌ی تجمیع حسابرسی‌پذیر است — خاصیتی که روش‌های وزن‌دهی آموخته‌شده فاقد آن‌اند. (انتساب سمت تجمیع همین‌جا، در متن اصلی، الزامی است؛ محور ۷ کار آینده فقط جزء سمت سیاست — saliency — را پوشش می‌دهد.)

انتساب سمت تجمیع صرفاً یک لایهٔ logging/replay پسینی است: هیچ خروجی XAI به آموزش محلی، $g_i$، $\text{score}_i$، $\beta_{\text{work}}$، وزن واقعی، PASS، Fallback/Revert یا انتخاب checkpoint بازخورانده نمی‌شود. تحلیل فقط پس از ثبت تصمیم راند و با مقادیر همان تصمیم اجرا می‌شود؛ بنابراین حذف یا خرابی ماژول XAI نباید بایت‌های checkpoint، وزن‌های منتشرشده یا مسیر آموزش را تغییر دهد. این جداسازی با یک آزمون regression بر hash وزن‌ها در حالت XAI روشن/خاموش پیش از E1 تأیید می‌شود.

• schema قانونی هر کلاینت/راند: run_id, arm, seed, round, client_id, p_i؛ شمارش‌های خام و مخرج اپیزودها برای $SR_i,CR_i,V_i$؛ نرخ‌ها و کران‌های $SR_i^L,CR_i^U,V_i^U$؛ شش مؤلفهٔ $D_i^{\text{dist}},D_i^{\text{traf}},D_i^{\text{geo}},D_i^{\text{sem}},D_i^{\text{kin}},D_i^{\text{perc}}$ به‌همراه $D_i^4,D_i^6$؛ مقادیر انتظار فعال $\widehat{SR}^L_t(D_i),\widehat{CR}_t(D_i),\widehat V_t(D_i)$؛ باقیمانده‌های جاری $e_i^S,e_i^C,e_i^V$ و EMAشدهٔ $\widetilde e_i^S,\widetilde e_i^C,\widetilde e_i^V$؛ $c_{\max}(t),m_i^C,\widetilde m_i^C,g_i$؛ $\lambda,\mu,\beta_{\text{sched}},\beta_{\text{work}},\text{score}_i$؛ مؤلفه‌های افزودنی $\log p_i,\log g_i,\beta_{\text{work}}\text{score}_i,\log Z_t$؛ وزن نهایی $\tilde w_i$؛ وزن‌ها و دلتاهای پادواقعی gate/N/هر بعد SDS. schema راندی نیز $H(\tilde{\mathbf w}),K_{\mathrm{eff}}$، پرچم‌های FIT/WEIGHT_COLLAPSE، نتیجهٔ اجزای PASS، base_label از مجموعهٔ ACCEPT/FALLBACK/REVERT و FT_APPLIED/FT_ROLLBACK را نگه می‌دارد. مقادیر عددی تصمیم‌ساز در float64 و بدون گردکردن ذخیره می‌شوند؛ گردکردن فقط در جدول/شکل نهایی مجاز است.
• fidelity بازسازی وزن: یک اسکریپت مستقل از کد آموزش از روی فیلدهای لاگ $\widehat{\mathbf w}$ را با logsumexp بازسازی و $E_{\infty}=\max_{t,i}|\widehat w_{i,t}-\tilde w_{i,t}|$، $E_1=\max_t\sum_i|\widehat w_{i,t}-\tilde w_{i,t}|$ و $\max_t|\sum_i\widehat w_{i,t}-1|$ را گزارش می‌کند. شرط قبولی پیش از E1 برابر $E_{\infty}\le10^{-8}$ و خطای جمع $\le10^{-10}$ است؛ $E_1$ نیز برای اندازهٔ خطا گزارش می‌شود. shadow-replay هم‌حالت $g\equiv1$ و فرم N نیز باید با وزن‌های پادواقعی E8/N با همین تلورانس منطبق باشد؛ شکست این شرط یک نقص پیاده‌سازی است و تا رفع آن هیچ attribution معتبر گزارش نمی‌شود.
• directional sanity checks: با ثابت نگه‌داشتن همهٔ فیلدهای سایر کلاینت‌ها و اعمال perturbation مثبت کوچک به یک ورودی، جهت‌های زیر باید تا تلورانس $10^{-8}$ برقرار باشند: افزایش $SR_i^L$ وزن $i$ را کاهش ندهد؛ افزایش $CR_i^U$ وزن را از مسیر score و gate افزایش ندهد؛ افزایش $V_i^U$ وزن را افزایش ندهد؛ و افزایش مستقیم $g_i$ یا $\text{score}_i$ وزن را کاهش ندهد. clipping و tieهای عددی ثبت می‌شوند. برای $D_i$ علامت جهانی تحمیل نمی‌شود، زیرا جهت آن به سه منحنی فعال وابسته است؛ صحت آن با بازسازی دقیق فرمول و shadow-replay بعدی سنجیده می‌شود.
• آزمون perturbation/stability: برای هر فیلد نرمال‌شده، perturbationهای یک‌درمیان $\delta\in\{10^{-4},10^{-3}\}$ در بازه مجاز اعمال و تغییر بردار وزن با total variation، بیشینه تغییر مطلق و Spearman رتبه‌ها خلاصه می‌شود؛ میانه و صدک ۹۵ در سطح seed/راند گزارش می‌شوند. NaN/Inf، نقض جهت بالا یا جهش توضیح‌ناپذیر خارج از clipping شکست است؛ افت رتبه در وزن‌های تقریباً مساوی فقط با پرچم NEAR_TIE گزارش و به‌تنهایی شکست محسوب نمی‌شود.
• سازگاری با E8/E9′ در دو سطح سنجیده می‌شود: سطح نخست، shadow-replay هم‌حالت است و باید fidelity عددی بالا را پاس کند؛ سطح دوم، مقایسهٔ تمام‌مقیاس E6−E8 و E6−E9′-N-full است که در آن بزرگی بازتوزیع پادواقعی با $TV(\mathbf w,\mathbf w^{g=1})$ و $TV(\mathbf w,\mathbf w^N)$ خلاصه و ارتباط جهت/رتبه‌ای آن با کنتراست‌های seed-level گزارش می‌شود. سطح دوم کیفی و تشخیصی است، نه تخمین علی و نه شرط مستقل برای پذیرش H1 یا $M_{gate}/M_D$.

تمام آزمون‌های این بلوک، نام ستون‌ها، تلورانس‌ها و اسکریپت replay پیش از E1 در ANALYSIS_PLAN.md و schema نسخه‌دار لاگ قفل می‌شوند. خروجی این اعتبارسنجی از داده‌های موجود همان راندها ساخته می‌شود و بازوی آموزشی تازه‌ای ایجاد نمی‌کند.

جدول پارامترهای اصلی — نمادها، بازه‌ها و مقادیر پیش‌فرض #

برای تکرارپذیری و مقایسه منصفانه، همه پارامترهای کلیدی در جدول زیر جمع‌آوری شده‌اند:

در آزمایش‌ها، هستهٔ تأییدی پروتکل-همتا (ServerOps ثابت) مقایسه می‌شود: E1′ (FedAvg+PPO+ServerOps)، E2′ (FedAvg+LPPO-Lag+ServerOps)، E5 (SGDA+PPO+ServerOps) و E6 (روش پیشنهادی SGDA-R+LPPO-Lag+ServerOps) — هر چهار بازو تمام‌مقیاس ($K{=}16$، $N$ قفل‌شدهٔ آینده‌نگر، CRN) — به‌همراه E1 (FedAvg+PPO-penalty بدون ServerOps) به‌عنوان مرجع ادبیات/ورودی H3 و E2 (FedAvg+LPPO-Lag بدون ServerOps) به‌صورت توصیفی ($K{=}16$، $N{=}5$). دو ابلیشن مکانیزمی E8 و E9′-N-full نیز تمام‌مقیاس و الزامی‌اند. E3 (FedProx) و E4 (FedNova) به‌صورت پیش‌فرض توصیفی حداقلی‌اند ($K{=}8$، $N{=}3$؛ بدون عضویت در هیچ خانوادهٔ آزمون‌شده — نامزد نخست نردبان تنزل ۱۰)؛ مجموعهٔ اختیاری و کاهش‌یافته شامل E9′ کوچک (جهت تعدیل)، E10 (W-perf)، E11 (حذف کامل فیلتر انتشار و بازگشت)، E12 (تقطیر) و E13 (مشارکت جزئی) است. نتایج به‌صورت نمودارهای trade-off SR–CR و SR–$C^{\text{ind}}$ ارائه می‌شوند.

۷-۴-۴. جدول Notation یکپارچه — نمادگذاری استاندارد پروپوزال #

برای مرجع سریع داوران و کاهش بار شناختی در خواندن فرمول‌ها، تمام نمادهای استفاده‌شده در این پروپوزال در یک جدول یکپارچه جمع‌آوری شده‌اند. این جدول در Appendix تز نیز تکرار می‌شود:

۷-۴-۵. مقایسهٔ اختیاری تقطیر سیاست سمت سرور — SGDA-Distill (E12) #

میانگین‌گیری مستقیم پارامترهای PPO فاقد ضمانت است (بلوک ۶ در بخش ۷-۴ و محدودیت‌های ۱۱-۱) و ادبیات FRL اخیر، تقطیر سیاست را به‌عنوان جایگزین معماری مطرح کرده است (FedHPD [۵۷]؛ Policy Distillation [۱۷]). در صورت باقی‌ماندن منابع پس از بستهٔ غیرقابل‌کاهش، بازوی اختیاری زیر اجرا می‌شود:

۷-۴-۶. استحکام اختیاری در مشارکت جزئی کلاینت‌ها (E13) #

تنظیم اصلی مشارکت کامل و همگام است. E13 فقط پس از هسته و در صورت منابع اجرا می‌شود: در راندهای warm-up $t=0,\dots,T_{\text{warm}}-1$ هر ۱۶ کلاینت حاضرند؛ از $t\ge T_{\text{warm}}$ در هر راند دقیقاً ۸ کلاینت با نمونه‌گیری یکنواخت بدون جایگذاری انتخاب می‌شوند. کل schedule پیش از run از seed مشارکت ساخته و مستقل از outcome است. residual/margin EMA غایبان منجمد و softmax فقط روی حاضران نرمال می‌شود. اگر هنگام غیبت یک کلاینت cadence بازبرازش رخ داده باشد، نخستین مشاهدهٔ آن پس از بازگشت به‌جای ترکیب با residual مرجع قدیمی، مستقیماً به residual/margin جاری reset می‌شود؛ پرچم EMA_STALE_RESET ثبت می‌گردد. پنج seed مرجع پیش از اجرا با شناسه ثابت انتخاب می‌شوند و مقایسه فقط با $E6_{\text{part-anchor}}$ انجام می‌شود: همان پنج seed از E6 با مشارکت کامل، $K=16,N=5$. هر مقایسه با E6 دارای seedهای بیشتر فقط توصیفی است. SR/CR/$C^{\text{ind}}$، مسیر یادگیری، payload آپلینک و telemetry گزارش می‌شوند.

۷-۵. آموزش محلی مقید به ایمنی (LPPO-Lag) مؤلفه اصلی - (Core Component) #

LPPO-Lag (Local PPO-Lagrangian — PPO با ضریب لاگرانژ تطبیقی محلی) یک مؤلفهٔ اصلی است. هزینهٔ ایمنی ثبت‌شده اجتماع برخورد، خروج از جاده و نقض بحرانی فاصله/TTC است و با ضریب $\lambda_{\text{local}}$ کنترل می‌شود. این جزء ایمنی را در سطح آموزش محلی به‌صورت تجربی هدف می‌گیرد؛ هیچ ضمانت رسمی یا اثبات feasibility ادعا نمی‌شود و معیار اصلی، کاهش مشاهده‌شدهٔ $C^{\text{ind}}$ و اجزای آن با حفظ SR است.

در قالب یک مسئله تصمیم‌گیری مارکوف مقید (CMDP)، هدف آموزش محلی هر کلاینت را می‌توان به‌صورت زیر نوشت:

$C^{\text{sum}}$ فقط متریک درجه‌بندی‌شدهٔ گزارش/CVaR است و در قید یا dual وارد نمی‌شود.

($d_{\text{prox}}$ [m] و $T_{\mathrm{TTC}}$ [s] در P0 قفل می‌شوند؛ مقدار شروع $T_{\mathrm{TTC}}=2.0\,s$ است. TTC فقط برای نزدیک‌شدن با سرعت نسبی مثبت و داده معتبر محاسبه می‌شود؛ انتخاب و محدودیت‌های این خانوادهٔ سنجه‌های criticality با مرور جامع [۵۵] مستند می‌گردد.)

برای گزارش ناپوشا، رخدادها با تقدم ثابت تجزیه می‌شوند: $CR=P(\text{collision})$؛ $OR=P(\text{offroad}\land\neg\text{collision})$؛ و $V_{\text{prox}}=P((d_{obs}<d_{prox}\lor TTC<T_{TTC})\land\neg\text{collision}\land\neg\text{offroad})$. اسکالر آپلودشوندهٔ $V$ نرخ «ناایمنی بدون برخورد» است و برابر $V=OR+V_{\text{prox}}$ تعریف می‌شود. بنابراین $P(C^{\text{ind}}=1)=CR+V=CR+OR+V_{\text{prox}}$؛ جدول نتایج علاوه بر V، OR و $V_{\text{prox}}$ را جدا نشان می‌دهد. این تعریف در LPPO-Lag، local-score، منحنی $\widehat V(D)$، PASS، H1/H2 و Test یکسان است.

چرا فرم باینری؟ سه دلیل پشتیبان وجود دارد:

• سازگاری مستقیم با بودجه نرخی $d_{\text{safe}}$: چون بودجه از همان نرخ اپیزود ناایمن P1 مشتق می‌شود، فرم باینری $C\in\{0,1\}$ مستقیماً هم‌مقیاس است و به سقف دلخواه ناسازگار متکی نیست.
• سادگی پیاده‌سازی Lagrangian: به‌روزرسانی projected dual با $C$ باینری، $\Pi_{[0,\lambda_{\max}]}[\lambda_{\text{local}}+\eta_\lambda(\bar C^{\text{ind}}-d_{\text{safe}})]$، از خروج ضریب از دامنه جلوگیری می‌کند و شدت برخورد را با نرخ وقوع خلط نمی‌کند.
• سازگاری با ادبیات Safe RL و Safety-Gymnasium: اکثر benchmarkهای استاندارد Safe RL (شامل OmniSafe [۴۶] و کارهای ICML/AAMAS اخیر) از هزینه باینری یا step-indicator استفاده می‌کنند، که مقایسه منصفانه روش ما با baselineها را تسهیل می‌کند.

بررسی graded فقط به‌عنوان کار آینده: استفاده از نسخهٔ درجه‌بندی‌شدهٔ بالا ($c^{\text{grad}}_t$) به‌عنوان هزینهٔ آموزش می‌تواند سیگنال غنی‌تری فراهم کند، اما برای جلوگیری از scope creep هیچ بازوی E14 در این پایان‌نامه تعریف، بودجه‌بندی یا اجرا نمی‌شود. در همهٔ بازوهای MetaDrive این پایان‌نامه که قید آموزشی دارند، قید با فرم باینری $C^{\text{ind}}$ است؛ $C^{\text{sum}}$ همیشه به‌عنوان متریک گزارش می‌شود، زیرا CVaR روی هزینهٔ باینری تباهیده است: با $C^{\text{ind}}\in\{0,1\}$ و $P(C^{\text{ind}}=1)=CR+V$ داریم $\mathrm{CVaR}_{0.1}=\min(1,\,(CR+V)/0.1)$ و هرگاه نرخ کل ناایمنی دست‌کم ۰٫۱ باشد مقدار آن ۱ و فاقد اطلاع افزوده است.

• سطح پیچیدگی متناسب با MSc: MACPO به trust region constraint چندعامله، هسین‌محور و وارون‌سازی Fisher نیاز دارد؛ این پیچیدگی پیاده‌سازی برای پایان‌نامه ارشد ۶ ماهه ریسک‌آور است. LPPO-Lag تنها به یک ضریب اسکالر تطبیقی و یک critic هزینه نیاز دارد.
• پارادایم federated-local در مقابل MARL هماهنگ: در طراحی ما، هر کلاینت مستقل آموزش می‌بیند و SGDA در سطح تجمیع دانش بین‌کلاینتی هماهنگی ایجاد می‌کند. این متعامد با MARL آنلاین MACPO است که فرض می‌کند همه عامل‌ها در یک محیط مشترک‌اند و هماهنگی gradient لازم است.
• پایه نظری LPPO-Lag: روش ما مستقیماً از PID-Lagrangian (Stooke, Achiam, Abbeel, ICML 2020 [۴۴]) و Adaptive Primal-Dual (Chen et al., AAMAS 2024 [۴۵]) الهام گرفته که جدیدترین کارهای adaptive Lagrangian در Safe RL هستند و خود نسخه‌های ساده‌شده‌ی CPO اصلی [۱۳] محسوب می‌شوند.
• توسعه‌پذیری به MACPO به‌عنوان کار آینده: اگر در دفاع، توصیه به استفاده از MACPO شود، چارچوب فعلی به‌گونه‌ای طراحی شده که جایگزینی LPPO-Lag با MACPO بدون تغییر در SGDA امکان‌پذیر است (هر دو در سطح آموزش محلی عمل می‌کنند).

۷-۶. توسعه‌های خارج از scope — کار آینده #

بخش‌های ۷-۶ تا ۷-۹ طرح فنی کوتاه سه توسعه مشخص‌اند و بخش ۱۱-۲ نقشه کلی پژوهش پسادفاع؛ هر دو خارج از scope هستند. هسته contribution در بخش‌های ۷-۱ تا ۷-۵ کامل است.

۷-۷. تخمین‌گر اختلال عملگر به‌عنوان شبکه کمکی (کار آینده) #

در توسعه‌ای پسادفاع می‌توان شبکه‌ای کمکی برای تخمین بایاس/نوسان عملگر از تاریخچه فرمان-پاسخ طراحی کرد:

۷-۸. تاب‌آوری در قطع سرور و انتقال دانش همتا-به-همتا (کار آینده) #

در سناریوهای بحران، ممکن است سرور مرکزی موقتاً از دسترس خارج شود. در این حالت، خودروها با مدل ذخیره‌شده ادامه داده و برای حفظ کارایی، تبادل همتا-به-همتا بررسی می‌شود. انتخاب همتا بر اساس شباهت کانتکست اختلال $z$ انجام می‌شود ($\alpha(z)$).

۷-۹. ناهمگونی خودروها و انتقال دانش مبتنی بر شباهت پلتفرم — DSWPA (کار آینده) #

برای جلوگیری از «انتقال دانش منفی» در شرایطی که خودروها از نظر دینامیک یکسان نیستند، یک سناریوی ناهمگون (Heterogeneous) نیز بررسی می‌شود. چند کلاس خودرو با پارامترهای فیزیکی متفاوت (کلاس سبک، متوسط و سنگین) مدل می‌شوند.

۸روش اجرا و پیاده‌سازی (Methodology) #

۸-۱. طراحی محیط آزمایش #

محیط شبیه‌سازی شامل سناریوهای رانندگی MetaDrive (بزرگراه، تقاطع، ادغام و جاده‌های پیچیده که به‌صورت رویه‌ای تولید می‌شوند) با ترافیک پیرامونی است. برای هر اپیزود، موقعیت آغازین خودروها و مقصد تعیین می‌شود. مجموعهٔ Train از طرح عاملی تراکم کم/زیاد و پروفایل‌های اختلال ID ساخته می‌شود؛ تراکم متوسط عضو Train نیست، اما می‌تواند طبق manifest از پیش قفل‌شده در مجموعه‌های مستقل تنظیمی/سروری/اعتبارسنجی مانند Validation، $\mathcal G_{\text{fit}}$، پذیرش، fine-tuning، تقطیر یا H3-out ظاهر شود.

قرارداد قطعی انتخاب پیکربندی‌های کوچک: همهٔ انتخاب‌ها فقط از $\boldsymbol\phi=(D^{dist},D^{traf},D^{geo},D^{sem})$ و knobهای محیط انجام می‌شوند و هیچ outcome وارد نمی‌شود. پس از رزرو Train/$T_{\text{ID}}$، SDS-dev و $T_{\text{OOD}}$، انتخاب‌ها در ترتیب ثابت $\mathcal G_{\text{fit}}\rightarrow$ Validation $\rightarrow\mathcal C_{\text{accept}}\rightarrow\mathcal C_{\text{distill}}\rightarrow\mathcal G_{\text{H3-out}}$ انجام و هر پیکربندی انتخاب‌شده از pool مراحل بعد حذف می‌شود؛ تنها استثنا همان اشتراک عمدی accept/FT است. Validation نزدیک‌ترین پیکربندی امکان‌پذیر باقی‌مانده به چهار هدف $(0.2,0.2,0.2,0.2)$، $(0.8,0.2,0.8,0.2)$، $(0.2,0.8,0.2,0.8)$ و $(0.8,0.8,0.8,0.8)$ را با فاصله اقلیدسی نرمال و tie-break مبتنی بر hash می‌گیرد. برای $\mathcal C_{\text{accept}}$، pool باقی‌مانده بر حسب $D=\mathrm{mean}(\boldsymbol\phi)$ به سه بازهٔ $[0,1/3)$، $[1/3,2/3]$ و $(2/3,1]$ تقسیم می‌شود؛ در هر بازه ابتدا نزدیک‌ترین نقطه به مرکز بازه و سپس دورترین نقطهٔ maximin نسبت به انتخاب‌های موجود برداشته می‌شود. یکی از دو نقطهٔ متوسط باید نزدیک‌ترین پیکربندی امکان‌پذیر به $(0.5,0.5,0.5,0.5)$ باشد و همان پیکربندی، با seed/rollout مستقل، در $\mathcal C_{\text{FT}}$ مصرف می‌شود. $\mathcal C_{\text{distill}}$ از pool باقی‌مانده و همان چهار هدف Validation انتخاب می‌شود. اگر pool برای یک قاعده کافی نباشد، ساخت manifest پیش از E1 با خطا متوقف و دامنهٔ مولد نامزدها بدون مشاهده outcome به‌طور متقارن گسترش می‌یابد؛ فاصله‌های تحقق‌یافته و همهٔ hashها در scenario_manifest.json ثبت می‌شوند و جایگزینی پس از مشاهده پیامد ممنوع است.

قرارداد hash نیز وابسته به کتابخانه نیست: هر پیکربندی ابتدا به JSON متعارف با کلیدهای مرتب، اعداد اعشاری گرد‌شده به ۸ رقم و encoding UTF-8 تبدیل و سپس SHA-256 می‌شود؛ مرتب‌سازی لغت‌نامه‌ای digest هگزادسیمال tie-break نهایی است. همین canonicalization در validator و scenario_manifest.json ثبت می‌شود.

قانون طلایی: هیچ seed تکراری بین Train / $\mathcal{C}_{\text{loc-score}}$ / Validation / SDS-Development / $\mathcal{G}_{\text{fit}}$ / $\mathcal{G}_{\text{H3-out}}$ / $\mathcal{C}_{\text{accept}}$ / $\mathcal{C}_{\text{FT}}$ / $\mathcal{C}_{\text{distill}}$ / $T_{\text{ID}}$ / $T_{\text{OOD}}$ وجود ندارد. درون هر نقش، بازوهای پروتکل‌همتا عمداً همان schedule قفل‌شده را به‌عنوان CRN مصرف می‌کنند؛ این pairing با ممنوعیت هم‌پوشانی بین نقش‌ها تفاوت دارد. Train، $\mathcal{C}_{\text{FT}}$ و گردآوری حالت در $\mathcal C_{\text{distill}}$ stochastic/on-policy اجرا می‌شوند؛ همهٔ جریان‌های صرفاً ارزیابی با عمل mean-action قطعی‌اند. local-score جزء کنترل آموزش است؛ G-fit فقط برازش و G-H3-out فقط آزمون سیاست نهایی است؛ Test فقط گزارش نهایی است.

هزینه: Validation Set حدود ۱۰٪ محاسبه اضافه؛ OOD Test بخشی از برنامه اصلی است (جدول ۱۳).

سلسله‌مراتب seed: env/traffic/OU/init برای آموزش، و خانواده‌های مستقل $\ell$ برای local-score، $e$ برای ID، $c$ برای پذیرش، $f$ برای fit، $h$ برای H3-out، $b$ برای FT، $q$ برای distillation، $d$ برای SDS-dev و $t$ برای OOD در seeds.json ثبت می‌شوند.

تفکیک این جریان‌ها فقط یک قرارداد نام‌گذاری نیست، بلکه مرز اطلاعاتی الگوریتم را تعریف می‌کند. Train مجاز است gradient بسازد؛ $\mathcal{C}_{\text{loc-score}}$ سیاست محلی منجمد را پس از update می‌سنجد و خروجی آن وارد وزن همان راند می‌شود، پس بخشی از حلقه آموزش است و نباید validation یا held-out نامیده شود. Validation فقط ابرپارامترهای از پیش مشخص‌شده را انتخاب می‌کند. $\mathcal{G}_{\text{fit}}$ منحنی انتظار ریسک را برای سیاست جهانی همان cadence برازش می‌کند، اما حق تصمیم PASS یا FT ندارد. $\mathcal{C}_{\text{accept}}$ نامزدهای همان راند را با rollout تازه مقایسه می‌کند، درحالی‌که $\mathcal{C}_{\text{FT}}$ فقط داده on-policy برای چند گام fine-tuning می‌سازد. $\mathcal{C}_{\text{distill}}$ فقط در E12 مجاز به ساخت نامزد تقطیرشده است و هیچ داده‌ای از $\mathcal{C}_{\text{accept}}$ دریافت نمی‌کند. آزمون‌های $T_{\text{ID}}$ و $T_{\text{OOD}}$ تا پایان کاملاً مهروموم باقی می‌مانند.

$\mathcal G_{\text{H3-out}}$ هم از نظر پیکربندی و هم از نظر seed با همهٔ جریان‌های آموزشی، تنظیمی و سروری غیرهمپوشان است. ابتدا یک candidate pool مجاز از ترکیب knobهای اختلال، ترافیک، هندسه و ریسک معنایی و بدون مشاهدهٔ هیچ پیامدی ساخته می‌شود؛ سپس ۱۷ نقطه با greedy-maximin در فضای نرمال‌شدهٔ $\boldsymbol\phi=(D^{\text{dist}},D^{\text{traf}},D^{\text{geo}},D^{\text{sem}})$ و tie-break مبتنی بر hash ثابت انتخاب و در scenario_manifest.json قفل می‌شوند. این قرارداد پوشش هر چهار بعدی را که H3b/H3c می‌آزمایند تضمین می‌کند؛ انتخاب صرفاً بر مبنای اختلال عملگر مجاز نیست. پس از پایان E1، snapshot ویژهٔ H3 منجمد می‌شود، اما خود H3-out تا انجماد همهٔ بازوهای مصوب و بازگشایی دسته‌ای آزمون مهروموم می‌ماند. داده‌های $\mathcal G_{\text{fit}}$ که در ساخت score مصرف شده‌اند فقط برای calibration-diagnostic مناسب‌اند و وارد آزمون اصلی H3 نمی‌شوند.

فایل seeds.json علاوه بر عدد seed، نقش، بازو، کلاینت، راند یا cadence، نسخه مولد سناریو و hash پیکربندی را نگه می‌دارد. یک validator پیش از هر run بررسی می‌کند که دو namespace ممنوع هم‌پوشانی نداشته باشند و پس از پایان نیز manifest واقعی seedهای مصرف‌شده را با طرح مقایسه می‌کند. اگر یک seed به‌علت خرابی زیرساخت تکرار شود، همان شناسه حفظ و شماره attempt جدا ثبت می‌شود؛ تولید یک seed جدید برای جایگزینی نتیجه نامطلوب ممنوع است. به این ترتیب استقلال جریان‌ها قابل ممیزی است و صرفاً به ادعای متنی اتکا ندارد.

قاعده «آزمون فقط یک‌بار» به معنای ممنوعیت بررسی صحت فایل یا pipeline نیست. پیش از مهروموم، اجرای smoke-test با سناریوهای مصنوعی و seedهایی خارج از تمام خانواده‌های تحلیل مجاز است تا schema، شمارش برخورد و تولید جدول آزمایش شود؛ اما هیچ پارامتر یا تصمیم علمی از آن گرفته نمی‌شود. پس از بازکردن $T_{\text{ID}}$ یا $T_{\text{OOD}}$، هر تحلیل جدید با همان داده باید به‌عنوان ثانویه/پسینی برچسب بخورد و اجرای مجدد برای انتخاب بهترین checkpoint مجاز نیست. checkpoint ارزیابی‌شونده همواره state نهایی پس از دقیقاً $T=100$ راند است: در بازوهای ServerOps همان $\theta_T$ پس از PASS/Fallback/Revert و FT/rollback، و در بازوهای بدون ServerOps خروجی آخرین update/aggregation. هیچ checkpointی با عملکرد Test انتخاب نمی‌شود.

قفل سنجهٔ جامع نیز قاعدهٔ عدم‌تباهی مستقل دارد. $d_{\text{prox}}$ و $T_{\text{TTC}}$ فقط از یک شبکهٔ مهندسی از پیش ثبت‌شده و با دادهٔ P0 انتخاب می‌شوند؛ شرط لازم آن است که تحت همان سیاست مرجع، $P(C^{\text{ind}}=1)\in[0.10,0.80]$ و هر یک از دو جزء CR و $V=OR+V_{\text{prox}}$ دست‌کم در ۲٪ اپیزودها مشاهده شود. اگر هیچ جفتی شرط را پاس نکند، جفت پیش‌فرض مهندسی حفظ، پرچم COST_DEGENERATE ثبت و ادعاهای مربوط به تفکیک انواع ناایمنی تنزل می‌یابند؛ هیچ آستانه‌ای با مشاهده نتایج E1–E13 بازتنظیم نمی‌شود.

۸-۲. تعریف حالت، عمل و تابع پاداش (CMDP) #

حالت (State): بردار مشاهده از رابط استاندارد MetaDrive — شامل وضعیت سینماتیکی خودرو (موقعیت، سرعت، جهت)، بردار هدف/مسیر ناوبری، خلاصه شبه‌لیدار فاصله تا مرزهای جاده، و حالت نزدیک‌ترین خودروهای پیرامونی (فاصله و سرعت نسبی). ابعاد دقیق بردار حالت بر اساس پیکربندی حسگرهای MetaDrive (lidar/state) تعیین می‌شود.

عمل (Action): پیوسته — فرمان (steering) + شتاب طولی (throttle/brake)، مطابق API کنترل پیوسته MetaDrive.

۸-۳. آموزش محلی با PPO #

در هر کلاینت، سیاست خودروی ego با PPO آموزش داده می‌شود. PPO با استفاده از clipping در تابع هدف، تغییرات سیاست را محدود می‌کند و باعث پایداری به‌روزرسانی‌ها می‌شود. برای کنترل محاسبات، شبکه سیاست کوچک انتخاب می‌شود (MLP با ۲ لایه مخفی) و تعداد گام‌های آموزش محلی در هر راند محدود است.

۸-۴. چرخه فدرال و جزئیات پیاده‌سازی #

چرخه کامل فدرال مطابق Algorithm 1 (بخش ۷-۴) اجرا می‌شود و برای جلوگیری از تکرار، در اینجا فقط جزئیات پیاده‌سازی ذکر می‌گردد:

• زیرساخت FL: Flower (flwr) [۸] به‌عنوان چارچوب اصلی، با Custom Strategy برای پیاده‌سازی گیت امکان‌پذیری، امتیاز باقیمانده‌ای، softmax وزن‌دهی و پذیرش/بازگشت سه‌شرطی.
• زیرساخت Safe RL: LPPO-Lag یک پیاده‌سازی سفارشی است؛ ساختار critic هزینه و الگوی به‌روزرسانی دوگان از reference implementationهای چارچوب OmniSafe [۴۶] الگوبرداری می‌شوند، اما target هزینه در این مطالعه صریحاً first-event با $\gamma_C=1$ است و قید رسمی (constraint-of-record) همان نرخ اپیزودی باینری $\bar C^{\text{ind}}$ است (بلوک ۱۰). OmniSafe به‌صورت plug-and-play مصرف نمی‌شود و این تمایز برای تکرارپذیری در مخزن مستند می‌گردد.
• موازی‌سازی و زیرساخت: K=16 کلاینت MetaDrive به‌صورت فرایندهای مستقل اجرا می‌شوند. محور CPU دو گزینه دارد: سه‌سرور یا تک‌سرور. محور GPU نیز GPU اختصاصی یا Google Colab Pro+ است. rollout فیزیک MetaDrive در حالت headless عمدتاً CPU-محور است؛ GPU فقط برای updateهای batch، Fine-tune، تقطیر E12 در صورت اجرا و رندر ویدئو مصرف می‌شود. «نیاز گرافیکی» مترادف «نیاز GPU» نیست و سود GPU برای MLP کوچک باید در P0 اندازه‌گیری شود.
• تبادل داده: کلاینت‌ها تنها پارامترهای شبکه و چهار عدد اسکالر ($SR_i, CR_i, V_i, D_i$) را آپلود می‌کنند؛ هیچ trajectory خامی منتقل نمی‌شود.
• سوئیت پذیرش $\mathcal C_{\text{accept}}$ و بافر FT: $n_{\text{eval}}\in\{24,48,96\}$ با OC قفل و مساوی میان ۶ پیکربندی توزیع می‌شود؛ گارد لایهٔ سخت از $n_{\mathsf H}=n_{\text{eval}}/3$ اپیزود استفاده می‌کند. بافر FT فقط از rollout خود $\theta^*$ ساخته می‌شود.
• Checkpointing: هر ۵ راند یا هر ۲ ساعت — هرکدام زودتر رخ دهد — checkpoint اتمی روی مخزن متمرکز ذخیره می‌شود (در توپولوژی سه‌سرور: سرور ۳؛ در تک‌سرور: volume محلی با نسخهٔ پشتیبان). jobهای Colab فقط مستقل و checkpointپذیرند و به state زندهٔ چرخه فدرال وابسته نمی‌شوند.
• نسخه‌ها و قفل محیط: نسخهٔ دقیق Python/PyTorch/MetaDrive/Flower/OmniSafe + فایل lockfile (pip freeze) و Dockerfile اختیاری در مخزن؛ هیچ ارتقای کتابخانه پس از E1؛ commit hash دقیق کد هر آزمایش در لاگ همان آزمایش ثبت می‌شود.
• دفترچهٔ انحراف (deviation log): هر انحراف از ANALYSIS_PLAN.md — تغییر پارامتر، حذف بازو، کاهش مقیاس — با تاریخ و دلیل ثبت و در پایان‌نامه گزارش می‌شود؛ «پیش‌ثبت بدون لاگ انحراف» قابل راستی‌آزمایی نیست.
• آزمون‌های واحد سبک (CI): (الف) مولد طرح فاکتوریل ۱۶ ترکیب و زنجیره‌های alias را بازتولید می‌کند؛ (ب) عدم نشت seed میان مجموعه‌های جدول ۱۰؛ (ج) ارزیابی پذیرش هر نامزد فقط از rollout تازهٔ همان نامزد تغذیه می‌شود؛ (د) ناوردایی softmax نسبت به جابه‌جایی ثابت score (پشتوانهٔ هم‌ارزی بازوی N با حذف $D_i$).
• ابرپارامترهای PPO پایه (قفل پیش از E1): lr=3e-4، clip=0.2، $\gamma=0.99$، $\lambda_{GAE}=0.95$، epochs/update=10، minibatch=64؛ هر iteration محلی یک rollout ۲۰۴۸ گامی و سپس ۱۰ epoch به‌روزرسانی روی همان batch دارد و $E=25$ iteration محلی در هر راند است. پس بودجهٔ آموزش محلی هر کلاینت/راند دقیقاً $25\times2048=51{,}200$ env-step است. افزون بر آن، هر کلاینت ۲۵ اپیزود post-update local-score اجرا می‌کند؛ «حداکثر ≈۲۵٬۰۰۰ گام» فقط به همین بخش ارزیابی و در افق ۱۰۰۰گامی مربوط است و برخورد/خروج/موفقیت زودهنگام مقدار واقعی آن را کاهش می‌دهد. شمارنده‌های train-env-step و eval-env-step جدا ثبت می‌شوند و تبدیل ثابت اپیزود به گام جای شمارش واقعی را نمی‌گیرد.
• قرارداد حالت اجرا: Train، $\mathcal C_{\text{FT}}$ و rollout ساخت $\mathcal B_{\text{srv}}$ در E12 با نمونه‌گیری stochastic از سیاست اجرا می‌شوند؛ local-score، Validation، $\mathcal G_{\text{fit}}$، $\mathcal G_{\text{H3-out}}$، $\mathcal C_{\text{accept}}$، $T_{\text{ID}}$ و $T_{\text{OOD}}$ با عمل mean-action قطعی‌اند. CRN در جریان‌های ارزیابی فقط منابع تصادفی برون‌زای محیط را با RNGهای جزء-مجزا جفت می‌کند و هیچ random draw از سیاست وجود ندارد.
• ارزیابی حین آموزش: ارزیابی post-update هر راند ($n^{\text{loc}}_{\text{eval}}=25$ اپیزود بر کلاینت، سیاست منجمد $\theta_{t,i}$ و جریان seed قفل‌شدهٔ مجزا از آموزش — ۷-۴) ورودی انحصاری گیت/score و نیز تله‌متری حین آموزش است. شاخص عدم بهبود میانگین متحرک پاداش طی ۲۰ راند فقط تشخیصی گزارش می‌شود؛ اجرای همهٔ بازوها دقیقاً $T=100$ راند دارد و early stopping نتیجه‌محور ممنوع است.
• سیاست خطا: در بازوهای Core و هر کنتراست استنباطی، timeout یک کلاینت اجازهٔ ادامهٔ راند با $K-1$ را نمی‌دهد؛ همان client/round با همان seed و RNG state retry می‌شود و در صورت شکست تکراری، کل run از آخرین checkpoint سالم بازیابی یا به‌عنوان failure زیرساختی متوقف می‌گردد. مشارکت ناقص فقط در E13 و با پروتکل از پیش ثبت‌شده مجاز است.
• سیاست نگه‌داری: آخرین checkpoint سالم + checkpointهای milestone هر ۲۰ راند + checkpoint نهایی نگه داشته می‌شوند؛ اصطلاح مبهم «بهترین checkpoint» حذف می‌شود و انتخاب مدل هرگز از روی Test انجام نمی‌گیرد.
• پیش‌ثبت تحلیل: ANALYSIS_PLAN.md پیش از اجرای E1 نهایی و هش SHA-256 آن در پایان‌نامه درج می‌شود؛ مخزن کد و seeds.json پس از دفاع عمومی می‌شود.

۸-۵. فلوچارت چرخه پیشنهادی #

1. مقداردهی اولیه: سرور snapshot مشترک و قفل‌شدهٔ $\theta_0$ را بارگذاری می‌کند؛ پیش از نخستین broadcast، $\mathcal G_{\text{fit}}$ را ارزیابی و منحنی‌ها/$c_{\max}(0)$ را می‌سازد، سپس مدل را به K=16 کلاینت می‌فرستد.

1. شبیه‌سازی محلی: هر کلاینت در MetaDrive با مدل اختلال عملگر OU اجرا می‌شود. کلاینت‌ها PPO یا LPPO-Lag را (بسته به تنظیم آزمایش) اجرا می‌کنند.

1. تجمیع SGDA: سرور گیت امکان‌پذیری → امتیاز باقیمانده‌ای → softmax weighting → $\theta_{\text{agg}}$ را محاسبه و با rollout تازهٔ CRN-جفت‌شده پذیرش سه‌شرطی را اجرا می‌کند ($\theta^{*}$).

1. Fine-tuning: $N_{ft}=50$ گام روی بافر $\mathcal{B}_{\text{FT}}(\theta^{*})$ — ساخته‌شده با rollout خود $\theta^{*}$ سمت سرور — و سپس بازارزیابی الزامی؛ فقط در صورت عبور، $\theta_{ft}$ منتشر می‌شود وگرنه $\theta^*$ حفظ می‌گردد. این گام برای کاهش تجربی افت ناشی از میانگین‌گیری پارامترهای سیاست طراحی شده است.

۹طراحی آزمایش، Baseline‌ها و معیارها #

۹-۱. Baseline‌ها — جدول ۱۱: برنامه آزمایش‌ها (هستهٔ تأییدی + ابلیشن‌های مکانیزمی + مراجع + تکمیلی) #

برای جلوگیری از scope creep و رفع ابهام در اولویت‌بندی اجرا، آزمایش‌ها به سه سطح طبقه‌بندی شده‌اند:

• Core (اجباری — ۵ آزمایش): E1′، E2′، E5 و E6 هستهٔ ۲×۲ پروتکل‌همتا را می‌سازند و E1 مرجع بدون ServerOps/ورودی H3 است. E2 فقط توصیفی است.
• Core-Mechanism (اجباری — ۲ آزمایش تمام‌مقیاس): E8 حذف گیت و E9′-N-full حذف تعدیل سختی؛ هر دو با $K=16$، همان $N_{\text{locked}}$ و CRN با E6 اجرا می‌شوند و قابل تنزل به مقیاس کوچک نیستند. بدون این دو، ادعای نقش گیت و SDS فقط توصیفی خواهد بود.
• Core-Reference: R2 آموزش متمرکز هم‌بودجه و R1 مرجع محلی توصیفی، هر دو برای پاسخ کامل به RQ1 قطعی‌اند؛ فقط R2 وارد مقایسهٔ متمرکز هم‌بودجه می‌شود و R1 ادعای تأییدی ندارد. R4 نزدیک‌ترین adapted baseline اختیاری است. شخصی‌سازی head با نام Opt-C به کار آینده منتقل شده است.
• Secondary/Optional: E3/E4، E7، بازوهای کوچک R/P/N/I در E9′ و E10–E13؛ این‌ها فقط پس از تکمیل هسته و در صورت تصویب نقطهٔ تصمیم ماه ۴ آموزش می‌بینند، اما هر بازویی که قرار است ID/OOD بگیرد باید پیش از بازگشایی دسته‌ای Test منجمد شده باشد. حذفشان هیچ ادعای اصلی را تغییر نمی‌دهد.

بستهٔ غیرقابل‌کاهش علمی برابر E1/E1′/E2′/E5/E6 + E8 + E9′-N-full + R1/R2 + ارزیابی ID/OOD و H3-out است. این فهرست برای جلوگیری از چرخهٔ افزودن/حذف بازوها پیش از E1 قفل می‌شود.

شناسه‌های E/R/Opt شناسه‌های پایدار artifactها، jobها و ANALYSIS_PLAN.md هستند؛ پیوسته‌نبودن شماره‌ها به معنای بازوی گمشده نیست و هیچ شناسه‌ای برای زیبایی شماره‌گذاری بازنام‌گذاری نمی‌شود.

قرارداد مقداردهی اولیه نیز مشترک است: هر بازوی E/R که معماری actor/critic یکسان دارد — از جمله R1 و R2 — یک کپی از همان $\theta_0$ قفل‌شده را می‌گیرد، optimizer شبکه را reset می‌کند و سپس بودجهٔ مخصوص خود را اجرا می‌کند؛ در R1 هر یک از ۱۶ سیاست محلی از همان کپی آغاز می‌شود و در R2 مدل متمرکز نیز از همان وزن‌ها شروع می‌کند. داده و گام‌های ساخت $\theta_0$ فقط به P0 مشترک تعلق دارند و به نتیجهٔ هیچ بازو نسبت داده نمی‌شوند. اگر baselineی به‌علت معماری متفاوت نتواند $\theta_0$ را بارگذاری کند، مقایسهٔ آن فقط توصیفی برچسب می‌خورد و initialization آن جداگانه افشا می‌شود.

قفل پیش از Test: هر بازویی که قرار است حتی به‌صورت توصیفی روی $T_{\text{ID}}$ یا $T_{\text{OOD}}$ گزارش شود باید تا نقطهٔ تصمیم ماه ۴ تصویب، آموزش و checkpoint نهایی‌اش پیش از نخستین بازگشایی Test منجمد شده باشد؛ snapshot ویژهٔ H3 نیز در پایان E1 منجمد می‌شود، ولی $\mathcal G_{\text{H3-out}}$ هم تا همین نقطه مهروموم می‌ماند. سپس همهٔ checkpointهای مصوب در یک batch با manifest مشترک ارزیابی می‌شوند. بازویی که پس از بازگشایی Test افزوده شود حق استفاده از این دو مجموعه را ندارد و فقط روی Validation/جریان مستقل تازه با برچسب اکتشافی گزارش می‌شود.

تعریف دقیق E7 برای H4: همهٔ مراحل SGDA و PASS/Fallback/Revert تا تولید $\theta^*$ عین E6 است، اما هیچ gradient FT اعمال نمی‌شود و $\theta_{t+1}=\theta^*$. برای حفظ قرارداد اندازه‌گیری، چهار اپیزود $\mathcal C_{\text{FT}}$ و یک بازارزیابی sham با همان seedها اجرا و فقط لاگ می‌شوند؛ خروجی آن‌ها تصمیم یا مدل را تغییر نمی‌دهد. بنابراین کنتراست E6−E7 فقط حضور gradientهای Fine-tune و امکان FT_ROLLBACK پس از آن را تغییر می‌دهد، نه گیت، تجمیع، PASS یا تعداد rolloutهای سرور.

تعریف دقیق E11: در این بازوی اختیاری، $\theta_{\text{agg}}$ مستقیماً به همان Fine-tune مشترک فرستاده و $\theta_{ft}$ بدون PASS، Fallback به FedAvg، Revert به $\theta_t$ یا FT_ROLLBACK منتشر می‌شود. همهٔ rolloutهای $\mathcal C_{\text{accept}}$ با همان تعداد و seedهای CRN اجرا می‌شوند، اما فقط برای لاگ و برابری بودجه‌اند و هیچ تصمیمی را تغییر نمی‌دهند. بنابراین کنتراست توصیفی E11 با $E6_{\text{small}}$ اثر کل «فیلتر انتشار و بازگشت» را می‌سنجد، نه اثری مبهم از حذف یکی از لایه‌ها.

تعریف دقیق E10: $g_i\equiv1$ و $\text{score}^{W}_i=\overline{SR^L}_i$؛ EMA مستقیم SR همان $\alpha_{\text{EMA}}$ و reset cadenceٔ بازوی R را دارد. $p_i$، $\beta_{\text{sched}}/\beta_{\text{work}}$، کنترل آنتروپی، LPPO-Lag محلی و کل ServerOps با $E6_{\text{small}}$ یکسان‌اند. بنابراین E10 دقیقاً بازوزنی softmax صرفاً بر مبنای عملکرد را می‌سنجد و هیچ CR، V یا $D$ وارد وزن نمی‌شود.

R4 یک adapted baseline اختیاری است. بردار شش‌عاملی هر کلاینت با میانگین/انحراف معیار فقط روی Train استاندارد می‌شود: $z(\phi_i)$. امتیاز ثابت $u_i=-\|z(\phi_i)-\overline{z(\phi)}\|_2$ است و در هر راند، از میان کلاینت‌های با کمترین شمار مشارکت قبلی، هشت کلاینت با $u_i$ بالاتر انتخاب می‌شوند؛ tie با seed قفل‌شده شکسته می‌شود. کنترل random-selection از همان $M=8$، local steps، ServerOps و seedها استفاده می‌کند. هیچ outcome از Validation/Test وارد انتخاب نمی‌شود و تمام تفاوت‌های این تطبیق مستند می‌شوند.

اختصارات: SR=نرخ موفقیت · CR=نرخ برخورد · OR=نرخ خروج از جادهٔ بدون برخورد · $V=OR+V_{\text{prox}}$=ناایمنی بدون برخورد · C=Safety Cost ($C^{\text{ind}}=CR+V$ قید باینری / $C^{\text{sum}}$ متریک درجه‌بندی‌شده) · OOD=خارج از توزیع · Comm=هزینه ارتباطی. در جدول‌ها «PPO» همان PPO-penalty با جفت $(\lambda_2,\lambda_3)$ قفل‌شدهٔ بخش ۸-۲ است؛ LPPO-Lag آن جریمه‌های ایمنی را از reward حذف می‌کند.

۹-۱-۱. برنامهٔ مطالعهٔ Ablation — مقایسهٔ مؤلفه‌ها #

این ablation به‌صورت systematic هر مؤلفه را جداگانه می‌آزماید تا سهم هر یک مستقل از دیگران سنجیده شود:

همه موارد با SR، CR، V، OR، $C^{\text{ind}}$ و معیارهای کارایی گزارش می‌شوند. E8 و E9′-N-full تمام‌مقیاس، seed-جفت با E6 و غیرقابل‌تنزل‌اند. E7 فقط برای H4 ثانویه است؛ در صورت حذف E7، H4 نیز حذف و هیچ اجرای کوچک یا نتیجهٔ توصیفی جای آن را نمی‌گیرد. E9′ کوچک و E10–E13 اختیاری‌اند و هیچ‌کدام جای دو ابلیشن مکانیزمی اصلی را نمی‌گیرند.

۹-۲. معیارهای ارزیابی #

• SR — نرخ موفقیت: درصد اپیزودهایی که خودروی ego بدون برخورد در زمان مجاز به هدف می‌رسد (واحد آماری: اپیزود تک-ego).
• CR — نرخ برخورد: $CR_i \in [0,1]$ — نسبت اپیزودهایی با حداقل یک برخورد (با مانع یا خودرو دیگر). در راند $t$، باقیماندهٔ جاری $e_i^C=CR_i^U-\widehat{CR}_t(D_i)$ است و score از EMA هم‌مرجع آن، $\widetilde e_i^C$، استفاده می‌کند؛ بنابراین دو طرف تفاضل به یک cadence برازش تعلق دارند.
• V — نرخ ناایمنی بدون برخورد و اسکالر آپلودشونده: $V=OR+V_{\text{prox}}$، که $OR=P(offroad\land\neg collision)$ و $V_{\text{prox}}=P((d_{obs}<d_{prox}\lor TTC<T_{TTC})\land\neg collision\land\neg offroad)$ است. بنابراین CR و V ناپوشا و $C^{\text{ind}}=CR+V=CR+OR+V_{\text{prox}}$ است؛ OR و $V_{\text{prox}}$ در جدول نهایی جدا نیز گزارش می‌شوند.
• Safety Cost: $C^{\text{ind}}=\sum_t c_t^{\text{first}}=\max_t c_t\in\{0,1\}$ کمیت واحد قید، cost critic، dual، PASS و گارد H1/H2 است؛ $C^{\text{sum}}=\sum_t c_t^{\text{grad}}$ فقط متریک درجه‌بندی‌شدهٔ CVaR/دیاگنوستیک است.
• Minimum Separation Distance: کمترین فاصله ثبت‌شده بین خودروها/مانع.
• $T_{\text{goal}}$ و $L_{\text{path}}$: برای جلوگیری از سوگیری انتخاب فقط اپیزودهای موفق، سقف زمانی اپیزود $T_{\max}=H\Delta t$ تعریف می‌شود و پیامد زمانی اصلی روی همهٔ اپیزودها برابر $T_{\text{goal}}^{cap}=\min(T_{\text{arrival}},T_{\max})$ است؛ برای عدم‌موفقیت $T_{\text{arrival}}=+\infty$ و در نتیجه مقدار capped دقیقاً $T_{\max}$ می‌شود. $T_{\text{goal}}\mid success$ و $L_{\text{path}}\mid success$ جداگانه و ثانویه‌اند؛ طول مسیر اپیزود ناموفق فقط تشخیصی گزارش می‌شود و به‌عنوان «کارایی مسیر» تفسیر نمی‌گردد، زیرا برخورد زودهنگام می‌تواند آن را کاذبانه کوتاه کند.
• نمایهٔ تلاش کنترلی — Control-Effort Proxy: پیامد اصلی قابل‌مقایسه میان اپیزودهای با طول متفاوت، میانگین گام‌نرمال‌شدهٔ $\bar E_{\text{proxy}}=T_\tau^{-1}\sum_{t=1}^{T_\tau}\|\mathbf u_t\|_2^2$ است؛ مجموع خام $E_{\text{sum}}=\sum_t\|\mathbf u_t\|_2^2$ فقط همراه طول اپیزود به‌صورت ثانویه گزارش می‌شود. $\mathbf u_t\in\mathbb R^2$ بردار فرمان و شتاب طولی است. این کمیت «تلاش کنترلی» است، نه «راحتی سرنشین»؛ راحتی jerk-محور جداگانه در جملهٔ پاداش $\lambda_4$ لحاظ می‌شود.
• Communication Cost: حجم داده مبادله‌شده در هر راند فدرال (بایت).
• پراکندگی بین-seed: انحراف معیار نتایج روی seedهای مستقل — به‌عنوان «گزارش» در همهٔ جداول، نه متریک مستقل.
• Worst-client safety (اولیهٔ مکمل): $\max_i C_i^{\text{ind}}$ و $\max_i CR_i$ روی ID-test، به‌همراه صدک دهم SR و داشبورد بدترین کلاینت.
• CVaR هزینهٔ اپیزودی (ثانویه): $\mathrm{CVaR}_{0.1}$ توزیع $C^{\text{sum}}(\tau)$ — میانگین ۱۰٪ بدترین اپیزودها. روی هزینهٔ باینری گزارش نمی‌شود، زیرا $\mathrm{CVaR}_{0.1}(C^{\text{ind}})=\min(1,(CR+V)/0.1)$ و پس از عبور نرخ کل ناایمنی از ۰٫۱ تباهیده است.
• شیب استحکام (ثانویه): در هسته، شاخص ترتیبی $L=0,1,2,3$ به‌ترتیب ID/Mild/Moderate/Severe است و شیب SR بر $L$ برای هر روش گزارش می‌شود؛ Extreme در صورت اجرا $L=4$ را فقط در نمودار stress-test می‌افزاید و شیب هسته را بازبرازش نمی‌کند. این کمیت توصیفی است و منحنی‌های $C^{\text{ind}}$/CR نیز کنار آن می‌آیند.
• تمرکز وزن (تشخیصی): $K_{\text{eff}}=e^{H(\tilde{\mathbf{w}})}$ در کنار آنتروپی $H$ و ضریب جینی وزن‌ها — برقراری عملی گزارهٔ ۵ ($K_{\text{eff}}\ge\sqrt{K}$) و گزارش شایستگی ایمنی $\text{comp}_i=-\widetilde e_i^C$ در تله‌متری.
• بازتوزیع شکست (تشخیصی از پیش ثبت‌شده): برای هر کنتراست اصلی، اختلاف‌های $\Delta CR$، $\Delta OR$ و $\Delta V_{\text{prox}}$ با CI جداگانه گزارش می‌شوند. اگر برآورد نقطه‌ای هر مؤلفه برای «روش منهای کنترل» دست‌کم $+0.05$ باشد، حتی با NI-$C^{\text{ind}}$، پرچم FAILURE_REDISTRIBUTION ثبت می‌شود؛ CI تعیین می‌کند شواهد چقدر دقیق‌اند، اما پرچم یک آزمون تأییدی تازه نیست و ادعای «نبود انتقال شکست» در هر حال مطرح نمی‌شود.
• TTC کمینه و نرخ near-miss (ثانویه): کمینهٔ time-to-collision اپیزود و نسبت اپیزودهای دارای $V_{\text{prox}}$، یعنی $(d_{\text{obs}}\lt d_{\text{prox}}\lor TTC<T_{\text{TTC}})$ بدون برخورد/خروج — مکمل CR دودویی و دقیقاً هم‌تعریف با جزء مجاورت $C^{\text{ind}}$.
• منحنی کالیبراسیون شرطی‌بر-سختی (تشخیصی): $CR$ مشاهده‌شده و باقیماندهٔ میانگین بر حسب $D$ با CI، در ID و OOD — پایش سلامت قلب فرم R، در کنار تله‌متری جداگانهٔ $R^2_{\text{fit},S/C/V}$ و پرچم fallback هر بازبرازش.
• خطای استاندارد $(r,c)$ در پذیرش + حساسیت به $n_{\text{eval}}$ (تشخیصی): گزارش SE برآوردهای پذیرش و نمودار اثر $n_{\text{eval}}$ بر نرخ برچسب‌ها — بدون آن، دفاع از قاعدهٔ پذیرش ناقص است (از لاگ، هزینهٔ صفر).

۹-۳. سطح‌بندی آزمون‌های OOD #

برای سنجش تعمیم‌پذیری به‌صورت گام‌به‌گام، ارزیابی OOD به چهار سطح تقسیم می‌شود. این چارچوب با پروتکل اخیر DEXTER (Nasvytis et al., AAMAS 2024) [۵۲] برای ارزیابی OOD در RL همسوست — DEXTER نشان داد که آنومالی‌های زمانی همبسته (مانند shift در توزیع اختلال) نیازمند سناریوهای benchmark با سطوح مختلف distribution shift هستند، که دقیقاً همان رویکردی است که در جدول زیر اتخاذ کرده‌ایم:

هر سطح دقیقاً سه پیکربندی از پیش قفل‌شده دارد: OOD-A (غلبهٔ بزرگی/ساختار اختلال عملگر و ثابت‌بودن سایر محورها در ID)، OOD-B (غلبهٔ اصطکاک/نویز مشاهده و ثابت‌بودن اختلال عملگر در ID)، و OOD-C (ترکیب mixed همه تغییرات همان ردیف؛ در Severe/Extreme همراه هندسه/ترافیک جدید). estimand سطحی H2 میانگین هم‌وزن این سه پیکربندی در سطح seed است؛ pooling اپیزودها به‌گونه‌ای که یک پیکربندی وزن بیشتری بگیرد ممنوع است. اگر محور اصطکاک در API حذف شود، OOD-B فقط نویز مشاهده را مصرف می‌کند و این amendment پیش از E1 ثبت می‌شود.

قرارداد ساختار OOD: الگوی ID برابر $(+,+)$ است؛ Moderate آن را به $(-,+)$ و Severe به $(-,-)$ تبدیل می‌کند. در Extreme، الگو از مجموعهٔ متوازن قفل‌شدهٔ $\{(+,+),(-,+),(+,-),(-,-)\}$ و $\rho$ از مجموعهٔ مثبت و قفل‌شدهٔ $\{\rho_{ID},0.75,0.50,0.25\}$ با schedule وابسته به seed اپیزود انتخاب می‌شود؛ بدین‌ترتیب فرآیند همچنان یک AR(1) mean-reverting معتبر باقی می‌ماند. این تصادفی‌سازی به الگوی بایاس و ساختار OU مربوط است؛ علامت شوک از ابتدا طبق مدل بخش ۷-۳ در هر آغاز به‌طور مستقل قرعه می‌شود و دوباره به‌عنوان محور OOD شمرده نمی‌شود. در همهٔ مقادیر $\rho$، innovation طوری باز‌مقیاس می‌شود که RMS مانا ثابت بماند.

$\mu_{f,\mathrm{train}}$ در P0 تثبیت می‌شود و تمام مقادیر اصطکاک پیش از E1 با API همان نسخهٔ MetaDrive راستی‌آزمایی می‌شوند؛ اگر کنترل مستقیم اصطکاک در نسخهٔ قفل‌شده پشتیبانی نشود، این محور پیش از E1 حذف و هیچ ادعای OOD اصطکاکی مطرح نمی‌شود. زیرنویس $f$ این پارامتر را از وزن جریمهٔ SGDA یعنی $\mu$ متمایز می‌کند. نویز مشاهده روی مؤلفه‌های نرمال‌شدهٔ لیدار/سرعت اعمال می‌شود و در آموزش هسته صفر است.

نتایج به‌صورت نمودار «افت SR در برابر سطح OOD» (performance degradation curve) نیز گزارش می‌شود، اما این نمودار توصیفی است؛ تصمیم استنباطی H2 بر اختلاف مستقیم SR و $C^{\text{ind}}$ دو روش در Moderate/Severe طبق تعریف estimand در ۵-۲ متکی است. انتظار می‌رود در Moderate، SGDA-R+LPPO-Lag (E6) از کنترل پروتکل‌همتای E1′ سطح SR بالاتری داشته باشد؛ در کنار افت SR، منحنی‌های $C^{\text{ind}}$ و تجزیهٔ CR/V/OR نیز در همهٔ سطوح گزارش می‌شوند. در Extreme، افت هر دو روش صرفاً به‌عنوان stress-test توصیفی گزارش می‌گردد.

۹-۴. تحلیل Trade-off و مقایسه چندمعیاره #

از آنجا که روش‌ها معیارهای متفاوتی را بهینه می‌کنند، نمودار پاداش–ایمنی و راه‌حل‌های غیرمسلط فقط نسبت به بازوهای واقعاً اجراشدهٔ همین مطالعه — هسته، E8/E9′-N-full، R1/R2 و در صورت اجرا R4/بازوهای اختیاری — گزارش می‌شود؛ Opt-C و ادعای مرز سراسری ادبیات خارج از این تحلیل‌اند.

علاوه بر نمودار trade-off، منحنی‌های «CR و $C^{\text{ind}}$ در برابر $D_i$» به تفکیک روش با باند CI ترسیم می‌شوند — بررسی بصری مستقیم این ادعا که SGDA-R در سطوح سختی بالا ایمن‌تر است و سختی را «نمی‌بخشد».

۹-۵. مقیاس‌پذیری و سربار ارتباطی #

تنظیم اصلی این پژوهش $K=16$ کلاینت است (طراحی فاکتوریل کسر یک‌چهارم $2^{6-2}_{IV}$؛ بخش ۷-۱). استحکام و مقیاس‌پذیری نسبت به فدراسیون‌های کوچک‌تر با اجرای $K\in\{4,8\}$ بررسی می‌شود ($K{=}8$: کسر یک‌هشتم $2^{6-3}$ با حداکثر تفکیک III؛ $K{=}4$ بدون ادعای تفکیک — هر دو فقط توصیفی و هرگز برای H3). علاوه بر پارامترهای مدل، هر کلاینت ۴ متریک scalar (SR, CR, V, D) ارسال می‌کند که سربار آن $\ll 1\%$ حجم وزن‌هاست — در جدول هزینه ارتباطی برای مقایسه منصفانه ذکر می‌شود.

۹-۶. پروتکل آماری #

تمام ادعاهای کمی این پژوهش باید با آزمون‌های آماری مناسب پشتیبانی شوند. پروتکل زیر برای همه آزمایش‌های Core اعمال می‌شود:

estimand مشترک ID برای هر seed، میانگین هم‌وزن نرخ‌های ۱۶ پیکربندی $T_{\text{ID}}$ است؛ ابتدا نرخ هر پیکربندی از شمارش خام همان پیکربندی ساخته و سپس ۱۶ نرخ با وزن برابر میانگین می‌شوند. pooling میان seedها یا وزن‌دهی پیکربندی برحسب طول اپیزود ممنوع است. همهٔ کنتراست‌ها «روش پیشنهادی منهای کنترل» و با همان seed/پیکربندی/ترتیب محیط به‌صورت CRN زوج می‌شوند.

سیاست هدف همهٔ فرضیه‌های ID/OOD و H3، نسخهٔ استقرار mean-action قطعی checkpoint منجمد است؛ نتایج rolloutهای stochastic آموزش یا FT به‌عنوان برآورد عملکرد نهایی تعبیر نمی‌شوند. بنابراین دامنهٔ ادعا به همین سیاست قطعی و تصادفی‌بودن برون‌زای محیط محدود است.

• تعداد seed: $N$ قفل‌شدهٔ آینده‌نگر (کوچک‌ترین عضو $\{10,15,20\}$ با توان توأمان ≥۰٫۸؛ ۹-۶) تعداد seedهای مستقل آموزش کامل و در نتیجه تعداد checkpointهای مستقل هر بازوی تأییدی است. استقلال نسبت به تصادفی‌بودن train/environment/update و مشروط بر warm-start ثابت و غیرتصادفی $\theta_0$ تعریف می‌شود؛ اشتراک همان مقدار ثابت میان بازوها pairing را می‌سازد و هیچ seed از P0/P1/P2 را به واحد استنباط تبدیل نمی‌کند. هر checkpoint روی همهٔ پیکربندی‌های مربوط و episode-seedهای سلسله‌مراتبی جدول ۱۰ ارزیابی می‌شود؛ seedهای P0/P1/P2 هرگز وارد تحلیل نهایی نمی‌شوند.
• گزارش نتایج: میانگین ± انحراف معیار در همه جداول. در نمودارها، شادینگ نشان‌دهنده CI 95٪ bootstrap است [۳۳].
• قرارداد CI نهایی: همهٔ CIهای ۹۰٪ عدم‌حقارت و ۹۵٪ اندازه‌اثر کنتراست‌های روش‌ها، بازهٔ percentile از $B_{\text{final}}=5000$ بازنمونه‌گیری زوجی seedها هستند؛ در هر بازنمونه کل بردار پیامدهای همان seed با هم برداشته می‌شود. BCa/studentized یا تعویض نوع CI پس از مشاهده نتیجه مجاز نیست. CIهای PASS و H3 از قراردادهای صریح همان بخش‌ها پیروی می‌کنند.
• قرارداد آزمون جایگشتی: چون $N\le20$ است، آزمون علامت‌گردانی زوجی با شمارش دقیق همهٔ $2^N$ بردار علامت اجرا می‌شود، نه نمونه‌گیری تصادفی permutation. برتری روی اختلاف خام «روش−کنترل» آزموده می‌شود؛ NI-SR روی $d_{SR}+0.03$ و NI-$C^{\text{ind}}$ روی $0.05-d_C$ به‌عنوان کمیت «بالاتر بهتر» علامت‌گردانی می‌شود. آزمون‌های برتری/NI یک‌طرفه و تعامل از پیش تعیین‌شده دوطرفه‌اند؛ صفرها بدون حذف در بردار اختلاف باقی می‌مانند. دقت exact به تقارن/تعویض‌پذیری علامت‌های اختلاف حول مرز نال وابسته است؛ نمودار اختلاف‌ها و آزمون t زوجی استوار به‌عنوان حساسیت گزارش می‌شوند، اما قاعدهٔ تصمیم پس از مشاهده داده عوض نمی‌شود.
• آزمون فرضیه‌ها — پروتکل روش‌شناختی: - H1 (IUT سه‌مؤلفه‌ای؛ E6 در برابر E1′): برتری CR ∧ عدم‌حقارت یک‌طرفهٔ SR با $\Delta_{NI}^{SR}=0.03$ ∧ عدم‌حقارت $C^{\text{ind}}$ با $\Delta_{NI}^{C}=0.05$؛ $p_{H1}=\max(p_{\Delta CR},p_{\mathrm{SR-NI}},p_{C^{\text{ind}}\mathrm{-NI}})$. - H1b (IUT سه‌مؤلفه‌ای؛ E5 در برابر E1′): همان سه شرط برتری CR، NI-SR و NI-$C^{\text{ind}}$؛ $p_{H1b}=\max(p_{\Delta CR},p_{\mathrm{SR-NI}},p_{C^{\text{ind}}\mathrm{-NI}})$. - H2 (IUT چهارمؤلفه‌ای): برتری SR در Moderate ∧ عدم‌حقارت SR در Severe ∧ عدم‌حقارت $C^{\text{ind}}$ در Moderate ∧ عدم‌حقارت $C^{\text{ind}}$ در Severe؛ $p_{H2}=\max$ چهار مؤلفه. CR، $V$ و OR فقط تجزیه‌های تشخیصی $C^{\text{ind}}$ هستند. - H4 (IUT سه‌مؤلفه‌ای): برتری CR در E6−E7 ∧ NI-SR ∧ NI-$C^{\text{ind}}$؛ فقط با E7 تمام‌مقیاس استنباطی است و $p_{H4}=\max$ سه مؤلفه در خانوادهٔ ثانویهٔ ابلیشن با BH-FDR کنترل می‌شود. - H5 (IUT سه‌مؤلفه‌ای؛ E6 در برابر E5): برتری یک‌طرفه در کاهش $V$ ∧ NI-SR ∧ NI-$C^{\text{ind}}$؛ آزمون‌های زوجی و $p_{H5}=\max$ سه مؤلفه در خانوادهٔ ثانویهٔ مکانیزم با BH-FDR کنترل می‌شوند. Holm در فرم آغازین میان $p_{H1},p_{H1b},p_{H2}$ است و فقط طبق قاعدهٔ تنزل پیش-E1 پایین می‌تواند به خانوادهٔ نهایی کاهش‌یافته تبدیل شود؛ TOST دوطرفه فقط تکمیلی است.
• سطح معناداری: $\alpha=0.05$ برای همه آزمون‌ها
• اثرسنج: اختلاف میانگین زوجی با CI و Cohen's $d_z$ برای کنتراست‌های سطح-seed؛ rank-biserial correlation فقط در تحلیل حساسیت Wilcoxon. در H3-out، اندازه‌اثر اصلی میانگین شیب‌ها/ضرایب استانداردشده یا $\Delta\mathrm{RMSE}_j$ روی seedهای مستقل، همراه CI سطح-seed است. $\hat b_1$ استانداردشده و CI در رگرسیون سطح-کلاینت لایهٔ A و مدل اثرات مختلط لایهٔ C فقط به تحلیل همگرای ثانویهٔ ۱۶ کلاینت تعلق دارند، نه برآورد اصلی H3-out. ادعای معنادار آماری بدون گزارش اندازه اثر مفید عملی نیست — هر دو گزارش می‌شوند.
• تصحیح مقایسه چندگانه [۷۲، ۷۳] — دو رژیم مجزا: (۱) خانوادهٔ تأییدی آغازین دقیقاً H1/H1b/H2 است و Holm میان سه $p$ مرکب اعمال می‌شود؛ ترکیب نهایی فقط با قاعدهٔ تنزل کم‌توان پیش-E1 در سطرهای بعد می‌تواند تغییر کند و سپس همان خانوادهٔ نهایی قفل می‌شود؛ (۲) BH با $q=0.10$ فقط برای خانواده‌های ثانویه است: مکانیزم (شامل H5)، SDS شامل H3a/b/c/c′، و ابلیشن‌های هم‌مقیاس (شامل H4 در صورت اجرای E7 تمام‌مقیاس). $p$ خام و $q$ تصحیح‌شده هر دو گزارش می‌شوند. خانواده‌بندی صریح آزمون‌ها: H1 و H1b هر دو IUT سه‌مؤلفه‌ای‌اند (برتری CR ∧ NI در SR ∧ NI در $C^{\text{ind}}$) و H2 یک IUT چهارمؤلفه‌ای با دو مؤلفهٔ SR و دو مؤلفهٔ $C^{\text{ind}}$ است. هر ادعا فقط با برقرارشدن همهٔ مؤلفه‌هایش پذیرفته می‌شود؛ سپس Holm میان سه $p$ مرکب اعمال می‌گردد. توان H1/H1b با نمونه‌گیری هم‌بستهٔ $(\Delta CR,\Delta SR,\Delta C^{\text{ind}})$ و توان H2 با بردار $(\Delta SR_{Mod},\Delta SR_{Sev},\Delta C^{\text{ind}}_{Mod},\Delta C^{\text{ind}}_{Sev})$ و کوواریانس کامل آن‌ها در Monte-Carlo P2 محاسبه می‌شود. اگر توان توأمان هر ادعا در $N=20$ کمتر از ۰٫۸ باشد، پیش از E1 تنزل می‌یابد: H1 به CR اولیه با دو دروازهٔ SR و $C^{\text{ind}}$ گزارشی؛ H2 به NI-SR و NI-$C^{\text{ind}}$ در Severe؛ H1b به خانوادهٔ ثانویهٔ مکانیزم و Holm دوتایی H1/H2. خانوادهٔ مکانیزم پنج عضو ثابت دارد: $p_{H5}$ برای E6−E5، $p_{L,FedAvg}$ برای E2′−E1′، $p_{S,LPPO}$ برای E6−E2′، $p_{ServerOps}$ برای E1′−E1 و $p_{int}$ برای $\Delta_{\text{int}}$؛ اگر H1b پیش از E1 تنزل یابد، $p_{H1b}$ عضو ششم می‌شود و هیچ آزمون دیگری افزوده نمی‌شود. خانوادهٔ ابلیشن دو عضو قطعی $p_{M_{gate}}$ (E6−E8) و $p_{M_D}$ (E6−E9′-N-full) دارد؛ $p_{H4}$ (E6−E7) فقط در صورت اجرای تمام‌مقیاس E7، پیش از بازکردن Test، عضو سوم می‌شود. BH-FDR با $q=0.10$ روی اعضای موجود و بدون جایگزینی آزمون حذف‌شده اعمال می‌شود. خانوادهٔ SDS دقیقاً ۱۱ آزمون دارد: یک $p_{H3a}$ مرکب، هشت ضریب H3b، یک $p_{H3c}$ مرکب و یک $p_{H3c′}$ مرکب؛ BH-FDR با $q=0.10$ روی همین ۱۱ $p$ و بدون افزودن نتیجهٔ پسینی اعمال می‌شود.

قاعدهٔ دقیق تنزل کم‌توان نیز پیش از E1 قفل می‌شود: اگر H1 تنزل یابد، $p_{H1}^{\text{reduced}}=p_{\Delta CR}$ وارد Holm می‌شود و دو NI فقط گاردهای گزارشی‌اند؛ اگر H2 تنزل یابد، $p_{H2}^{\text{reduced}}=\max(p_{\text{SR-NI,Sev}},p_{C^{\text{ind}}\text{-NI,Sev}})$ وارد Holm می‌شود؛ و اگر H1b تنزل یابد، از Holm خارج و به خانوادهٔ مکانیزم افزوده می‌شود. پس از اعمال همهٔ تنزل‌های لازم، محاسبهٔ توان و انتخاب کوچک‌ترین $N\in\{10,15,20\}$ یک‌بار دیگر روی خانوادهٔ نهایی قفل‌شده اجرا می‌شود. فرم کامل و فرم کاهش‌یافته هر دو در ANALYSIS_PLAN.md نام‌گذاری می‌شوند تا هیچ $p$ پس از مشاهدهٔ داده تغییر معنا ندهد.

منطق IUT برای جلوگیری از تعبیر غلط «ایمنی از راه توقف» ضروری است. در H1 و H1b، مؤلفهٔ برتری CR می‌پرسد آیا نرخ برخورد واقعاً کمتر شده است؛ NI-SR مانع خریدن این کاهش با افت بیش از سه واحد درصدی موفقیت می‌شود؛ و NI-$C^{\text{ind}}$ فقط مانع بدترشدن مادی نرخ کل ناایمنی می‌شود. چون $C^{\text{ind}}=CR+OR+V_{\text{prox}}$ است، این گارد به‌تنهایی افزایش جبران‌شدهٔ یک مؤلفه را رد نمی‌کند؛ ازاین‌رو CIهای جدا و پرچم FAILURE_REDISTRIBUTION جزء الزامی گزارش‌اند و «نبود انتقال شکست» ادعای تأییدی نیست. از آنجا که ادعای نهایی عطف سه شرط است، $p$ مرکب برابر بزرگ‌ترین $p$ مؤلفه‌هاست و فقط وقتی هر سه آزمون در سطح یک‌طرفهٔ ۰٫۰۵ موفق باشند ادعا پذیرفته می‌شود. میان مؤلفه‌های داخل یک IUT تصحیح اضافی لازم نیست؛ کنترل خطای خانواده‌ای در سطح بعد و با Holm روی سه ادعای H1/H1b/H2 انجام می‌شود. هم $p$ مؤلفه‌ها، هم $p$ مرکب و هم تصمیم پس از Holm گزارش خواهند شد تا خواننده بتواند منشأ شکست یک ادعا را تشخیص دهد.

H1 اثر سامانه کامل را در E6−E1′ می‌سنجد، حال‌آنکه H1b اثر خالص قاعده تجمیع را در E5−E1′ با PPO محلی و ServerOps یکسان جدا می‌کند. کنتراست E6−E1 برای انتساب علی مناسب نیست، زیرا هم‌زمان آموزش محلی، تجمیع، پذیرش و fine-tuning را تغییر می‌دهد و فقط یک مقایسه توصیفی با مرجع بدون ServerOps است. برهم‌کنش $\Delta_{\text{int}}=(E6-E5)-(E2′-E1′)$ نیز پیامد ثانویه است و نشان می‌دهد اثر LPPO-Lag در حضور SGDA با اثر آن زیر FedAvg تفاوت دارد یا نه؛ این کنتراست به‌دلیل توان محدود و چندگانگی با BH در خانواده مکانیزم گزارش می‌شود و جای H1/H1b را نمی‌گیرد.

اعضای خانوادهٔ مکانیزم یک outcome مبهم یا تکراری ندارند. $p_{H5}$ همان IUT سه‌مؤلفه‌ای کاهش $V$+NI-SR+NI-$C^{\text{ind}}$ در E6−E5 است؛ $p_{L,FedAvg}$ همین IUT را برای E2′−E1′ تکرار می‌کند. $p_{S,LPPO}$ و $p_{ServerOps}$ هر یک IUT دومؤلفه‌ای برتری $C^{\text{ind}}$+NI-SR هستند. $p_{int}$ یک آزمون دوطرفهٔ واحد روی تعامل $\Delta_{\text{int}}$ در $V$ است؛ تعامل‌های SR/CR/$C^{\text{ind}}$ فقط با CI توصیفی گزارش می‌شوند. بدین‌ترتیب E6−E5 دوباره به‌عنوان آزمونی جدا از H5 شمرده نمی‌شود.

خانواده SDS به‌طور مستقل کنترل می‌شود، زیرا سؤال آن اعتبار ساخت $D_i$ است نه کارایی نهایی سامانه. H3a اثر ترکیبی $D_i^4$ را با IUT جهت‌دار SR و $C^{\text{ind}}$، H3b هشت ضریب ابعاد چهارگانهٔ core، H3c ارزش افزوده نسبت به اختلال تنها برای هر دو پیامد، و H3c′ ارزش افزودهٔ kin/perc را پوشش می‌دهد. CR، $V$، OR و reward در این خانواده تشخیصی/ثانویه‌اند و جای دو پیامد اولیه را نمی‌گیرند. نتایج H3c′ اجازهٔ تغییر پسینی فرم اصلی را در همان مطالعه نمی‌دهند. در ابلیشن‌های E9′ نیز بازوی N آزمون حذف سختی، P جریمه مستقیم و I جهت معکوس را می‌سنجد؛ این بازوها برای بررسی مکانیزم‌اند و حتی اگر یکی بهتر باشد، تصمیم پیش‌ثبت‌شده فقط تفسیر نتیجه و پیشنهاد کار بعدی را تغییر می‌دهد، نه داده یا فرضیه اولیه را.

تحلیل توان Monte-Carlo برای فرم‌های کامل H1/H1b/H2 پیش از E1 انجام می‌شود؛ توان توأمان آن‌ها با نمونه‌گیری از بردار پیامدهای متناظر و ماتریس کوواریانس کامل P2 محاسبه می‌شود و حاصل‌ضرب توان‌های حاشیه‌ای به‌کار نمی‌رود. اگر تنزل لازم شود، توان دقیقاً یک‌بار برای فرم‌ها و خانوادهٔ نهایی کاهش‌یافته باز‌محاسبه می‌شود. کوچک‌ترین $N\in\{10,15,20\}$ که معیار ≥۰٫۸ را در Holm نهایی برآورده کند برای کل هسته قفل می‌شود؛ seedهای P2 هرگز وارد تحلیل نهایی نمی‌شوند.

اجرای Monte-Carlo از تفاضل‌های زوجی در سطح seed و دقیقاً $R_{\text{MC}}=20{,}000$ تکرار استفاده می‌کند. برای H1/H1b بردارهای $(\Delta CR_j,\Delta SR_j,\Delta C^{\text{ind}}_j)$ و برای H2 بردار چهارپیامدی سطح‌های Moderate/Severe از P2 مستقل برآورد می‌شوند؛ مرکز و ماتریس کوواریانس کامل با روش استوار ثبت، و نمونه‌های مصنوعی برای $N=10,15,20$ تولید می‌شوند. در هر تکرار دقیقاً آزمون‌ها، حاشیه‌ها و IUTهای همان فرم نامزد اعمال می‌شوند؛ Holm ابتدا روی خانوادهٔ سه‌عضوی کامل و، فقط در صورت فعال‌شدن قاعدهٔ تنزل، روی خانوادهٔ نهایی قفل‌شده اجرا می‌شود. توان گزارش‌شده نسبت تکرارهایی است که ادعای موردنظر پس از کل زنجیره پذیرفته می‌شود. علاوه بر توان در اثر P2، منحنی توان در چند اثر کوچک‌تر و بزرگ‌تر و MDE گزارش می‌شود تا حساسیت تصمیم N به نویز P2 روشن باشد.

پایلوت توان با شناسهٔ P2، یک اجرای مستقل پیش-E1 با $K=4$، پنج seed پایلوت و همان $T=100/E=25$ هسته روی سه بازوی E1′/E5/E6 است؛ ID و Moderate/Severe با ۲۰۰ اپیزود به‌ازای seed ارزیابی می‌شوند. برای توان تشخیصی H3 نیز checkpointهای P2 فقط روی یک شبکهٔ توسعه‌ای ۱۷نقطه‌ای مجزا از $\mathcal G_{\text{H3-out}}$ سنجیده می‌شوند؛ خود H3-out مهروموم می‌ماند. P2 فقط پس از تکمیل پیاده‌سازی LPPO-Lag، SGDA، ServerOps، schema/XAI، عبور پایلوت یکپارچه‌سازی P1 و قفل gridهای محلی/SGDA اجرا می‌شود؛ بنابراین بازوی ناقص یا تنظیمات موقت مبنای توان قرار نمی‌گیرد. این پایلوت فقط مرکز/کوواریانس تفاضل‌ها، MDE، توان تشخیصی H3 و انتخاب $N$ را تغذیه می‌کند؛ seed، checkpoint، rollout و نتیجهٔ آن هرگز وارد جدول نهایی یا انتخاب مدل نمی‌شود. برای پوشش انتقال $K=4\to16$ و ناپایداری پنج seed، سناریوی محافظه‌کار از پیش ثابت است: اثرهای برتری ۲۵٪ به سمت صفر و اثرهای NI ۲۵٪ به سمت مرز عدم‌حقارت منتقل، و کل ماتریس کوواریانس ۵۰٪ بزرگ می‌شود؛ shrinkage covariance نیز کنار برآورد خام گزارش می‌گردد. بزرگ‌ترین $N$ موردنیاز میان برآورد خام، shrinkage و سناریوی محافظه‌کار قفل می‌شود.

سه پایلوت نقش‌های غیرهمپوشان دارند: P0 فقط throughput، $\Delta t$، $L$، $R_{\text{scale}}$، بازه‌های دشواری و کفایت سیگنال اختلال را کالیبره می‌کند؛ P1 یکپارچگی $K=8$، $d_{\text{safe}}$، نخستین fit/gate، OC برای $(n_{\text{eval}},\varepsilon_c)$، PASS/A-A، resume و آزمون‌های fidelity/XAI را می‌بندد؛ P2 فقط تحلیل توان اصلی/تشخیصی، MDE و انتخاب $N$ را تغذیه می‌کند. هیچ داده‌ای از این سه در جدول نتیجه نهایی ادغام نمی‌شود. خانواده seedهای P0/P1/P2، آموزش هسته، امتیازدهی محلی، PASS، کالیبراسیون و آزمون نهایی با namespace جدا تولید و هش می‌شوند. افزایش N در میانه اجرا پس از مشاهده $p$ یا CI ممنوع است. اگر هیچ عضو مجموعه $\{10,15,20\}$ توان توأمان ۰٫۸ را فراهم نکند، ادعا طبق قاعده تنزل می‌یابد؛ انتخاب $N>20$ فقط با بازطراحی رسمی پیش از E1 و اجرای یکسان همه بازوهای هسته مجاز است.

برای پیامدهای نرخی، علاوه بر میانگین و CI، شمارش خام صورت و مخرج ذخیره می‌شود تا محاسبه نرخ و کران ویلسون قابل ممیزی باشد. estimand اصلی میانگین اختلاف زوجی در سطح seed است؛ آزمون جایگشتی علامت‌گردانی و bootstrap زوجی دقیقاً همین estimand را هدف می‌گیرند. Wilcoxon و rank-biserial correlation فقط تحلیل حساسیت‌اند و جای فرضیهٔ مبتنی بر $\mu$ را نمی‌گیرند. برای آزمون عدم‌حقارت، تفاضل به‌صورت «روش پیشنهادی منهای کنترل» تعریف می‌شود؛ در SR شرط پذیرش آن است که کران پایین CI90٪ بالاتر از $-0.03$ باشد و در $C^{\text{ind}}$ — چه ID و چه OOD — شرط آن است که کران بالای CI90٪ پایین‌تر از $+0.05$ قرار گیرد. جهت علامت‌ها در ANALYSIS_PLAN.md با مثال عددی ثبت می‌شود تا خطای رایج جابه‌جایی روش و کنترل رخ ندهد.

داده‌های مفقود و شکست اجرا نیز پیش‌ثبت می‌شوند. seed فقط وقتی نامعتبر است که خطای زیرساختی قابل اثبات مانند خرابی فایل، توقف سخت‌افزار یا exception خارج از الگوریتم رخ داده باشد؛ واگرایی، پاداش ضعیف یا CR بالا دلیل حذف نیست. seed نامعتبر با همان شناسه و از آخرین checkpoint سالم دوباره اجرا می‌شود و رخداد در دفترچه انحراف ثبت می‌گردد. اگر resume دقیق ممکن نباشد، کل seed از ابتدا اجرا می‌شود. هیچ seed جایگزینی بر اساس نتیجه انتخاب نمی‌شود و تعداد حذف/تکرار برای هر بازو در گزارش نهایی می‌آید.

• پیش‌ثبت دو‌مرحله‌ای است: PILOT_PLAN.md پیش از P0 هش می‌شود و نقش‌ها، seed namespaceها، آستانه‌ها و قواعد تصمیم P0/P1/P2 — از جمله OC، قاعدهٔ تغییر/تکرار $T/E$، توان و تلورانس‌های XAI — را قفل می‌کند. پس از عبور P2، فایل نهایی ANALYSIS_PLAN.md شامل فرضیه‌ها، خانواده‌های H1/H1b/H2 (ساختار IUT + Holm) و ثانویه، تعریف جامع $C^{\text{ind}}$ و حاشیه‌های outcome-specific، بازوهای الزامی E8 و E9′-N-full و بازوهای کوچک E9′، شبکه‌های مستقل $\mathcal G_{\text{fit}}/\mathcal G_{\text{H3-out}}$، برنامهٔ خطی $\beta_{\text{sched}}$، چهارگانه و تابع هدف مشترک FT، فعال‌بودن قطعی sham-rollout برای برابری بودجهٔ ServerOps، قاعدهٔ همیشه‌فعال گارد لایهٔ سخت و OC کامل PASS (گزارهٔ ۳)، جریان $\mathcal{C}_{\text{loc-score}}$، schema و تلورانس‌های fidelity/directional/stability XAI در ۷-۴-۳، مقادیر منتخب و قاعدهٔ انجماد پروتکل هسته است؛ هش SHA-256 آن پیش از E1 ثبت می‌شود. نتیجهٔ پایلوت فقط خانه‌های ازپیش‌مجاز این طرح را پر می‌کند و اجازهٔ تغییر قاعدهٔ تصمیم را نمی‌دهد.
• ساختار وابستگی: در کنتراست‌های نهایی روش‌ها، واحد استنباط seed است و bootstrap زوجی روی seed انجام می‌شود؛ episodeها فقط برای ساخت نرخ هر پیکربندی به‌کار می‌روند. در H3 نیز استنباط اصلی روی شیب/ضریب/$\Delta$RMSEهای سطح seed است؛ بازنمونه‌گیری پیکربندی فقط حساسیت دو‌مرحله‌ای است. تحلیل همگرای ۱۶ کلاینت از bootstrap متقاطع کلاینت × seed استفاده می‌کند و با H3-out یا bootstrap نهایی روش‌ها مخلوط نمی‌شود.
• تعداد و حالت ارزیابی نهایی: در $T_{\text{ID}}$ دقیقاً ۵۰ اپیزود برای هر یک از ۱۶ پیکربندی و هر seed (۸۰۰ اپیزود/seed) اجرا می‌شود. در $T_{\text{OOD}}$ نیز بودجه دقیقاً ۵۰ اپیزود/پیکربندی/seed است: ۹ پیکربندی Mild/Moderate/Severe برابر ۴۵۰ اپیزود/seed در هسته و، در صورت اجرای Extreme توصیفی، سه پیکربندی افزوده و جمع ۶۰۰ اپیزود/seed. سیاست با mean-action قطعی ارزیابی و CRN فقط برای تصادفی‌بودن برون‌زای محیط به‌کار می‌رود. هر مجموعه فقط یک‌بار پس از قفل checkpoint باز می‌شود و هرگز در پذیرش، FT یا تنظیم مصرف نمی‌شود.

۹-۷. تحلیل حساسیت پارامترهای کلیدی #

برای توصیف میزان وابستگی رفتار روش به انتخاب ابرپارامترها، یک تحلیل حساسیت ساختاریافته انجام می‌شود. این تحلیل برای «اثبات robustness» یا بازتعریف H1–H5 به‌کار نمی‌رود؛ هدف آن نمایش جهت و بزرگی تغییرات روی داده‌های غیرآزمون است.

۹-۸. تکرار ثانویه و اختیاری دامنه دوم — Safety-Gymnasium #

عنوان پژوهش به دامنه خودرو محدود است و ادعای چنددامنه‌ای از عنوان استنتاج نمی‌شود. Safety-Gymnasium صرفاً یک تکرار ثانویه و اختیاری برای سنجش قابلیت انتقال قاعده تجمیع است؛ دامنه اصلی و تنها مبنای دفاع MetaDrive است.

نگاشت فدرال و تغییرات دامنه‌محور: معماری سطح سامانه — آموزش محلی مقید، ترتیب gate→score→aggregation و ServerOps — ثابت می‌ماند، اما تعریف outcomeها، منبع $D_i$ و فرمول دقیق score/gate متناسب با هزینهٔ بومی دامنه بازنگاشت می‌شوند؛ بنابراین ادعای «بدون تغییر بودن فرمول» مطرح نمی‌شود. هر کلاینت به یک variant از وظیفه با تراکم متفاوت موانع/نواحی خطر و شدت اختلال نگاشت می‌شود (ناهمگنی طبیعی محیط)، و $D_i$ در این دامنه از پارامترهای تراکم خطر/اختلال وظیفه محاسبه می‌شود (قرینهٔ دامنه‌محور اختلال عملگر OU در MetaDrive). پروتکل حداقلی از پیش ثبت‌شده: $K=8$ کلاینت (هر کلاینت یک واریانت)؛ زیرشاخص‌های SDS که در این دامنه موضوعیت ندارند حذف و وزن‌های باقی‌مانده به‌صورت یکنواخت بازبهنجار می‌شوند (قاعدهٔ صریح در ANALYSIS_PLAN.md)؛ هزینهٔ بومی محک با عنوان عمومی generic constraint cost گزارش می‌شود — «برخورد» اصطلاح دامنهٔ رانندگی است و به این دامنه تعمیم داده نمی‌شود. پیاده‌سازی بر پایه reference implementation‌های OmniSafe [۴۶] انجام می‌شود؛ هزینه و ریسک یکپارچه‌سازی پیش از ورود این بازوی اختیاری جداگانه سنجیده می‌شود.

معیارها: در این دامنه فقط دو کمیت بومی گزارش می‌شود — نرخ رسیدن به هدف (episodic success) و نرخ هزینهٔ قید بومی محک (native constraint-cost rate)، هر دو نرخ اپیزودی. هیچ نگاشتی از cost-rate به $CR$ یا $V$ انجام نمی‌شود: هزینهٔ بومی Safety-Gymnasium تفکیک «برخورد در برابر نقض مرز» ندارد و نگاشت هم‌زمان به هر دو، یک سیگنال را دوباره‌شماری می‌کرد. گیت روی کران بالای همین نرخ هزینهٔ بومی (با بازاشتقاق بومی $c_{\max}$) و score روی باقیماندهٔ همان کمیت تعریف می‌شود؛ جملهٔ $V$ در این دامنه موضوعیت ندارد و حذف می‌گردد (قاعدهٔ صریح در ANALYSIS_PLAN.md).

۱۰برنامه زمان‌بندی پیشنهادی #

برنامه زمان‌بندی ۶ ماهه فقط شامل pipeline، آزمایش‌های Core، baselineهای قفل‌شده و ablationهای اصلی است؛ Opt-A/Opt-B/Opt-C وارد اجرا نمی‌شوند:

حداقل خروجی قابل دفاع و کنترل Scope:

حداقل خروجی قابل دفاع به هستهٔ تمام‌مقیاس (E1، E1′، E2′، E5 و E6؛ E2 توصیفی)، دو ابلیشن مکانیزمی تمام‌مقیاس E8 و E9′-N-full، سناریوهای R1/R2 و آزمون‌های OOD تا سطح Moderate/Severe با

$N$ قفل‌شدهٔ آینده‌نگر (۹-۶) محدود می‌شود. E8 و E9′-N-full قابل حذف یا تنزل به مقیاس کوچک نیستند؛ E7، بلوک کوچک E9′، E10–E13، R4 و Extreme-OOD فقط با منابع کافی اجرا می‌شوند. Opt-A/Opt-B/Opt-C در هیچ حالت وارد اجرای پایان‌نامه نمی‌شوند.

برآورد محاسباتی واقع‌بینانه:

مرجع محاسبات $S_0=300$ گام‌برثانیه است و مقدار واقعی در P0 اندازه‌گیری می‌شود. بودجه آموزش هر کلاینت/راند دقیقاً ۵۱٬۲۰۰ گام است؛ ارزیابی local-score شامل ۲۵ اپیزود با طول متغیر و حداکثر ۲۵٬۰۰۰ گام در افق ۱۰۰۰ است. بنابراین ۷۶٬۲۰۰ فقط سقف برنامه‌ریزی هر کلاینت/راند است، نه شمارش قطعی. ساعات و میلیاردگام‌های این بخش upper-bound هستند و حساب نهایی با env-step واقعی بازتولید می‌شود.

جزئیات حساب بودجه: iteration محلی PPO، epoch به‌روزرسانی، اپیزود و env-step واحدهای متفاوت‌اند. آموزش محلی $25\times2048=51{,}200$ گام ثابت دارد؛ هر iteration سپس ۱۰ epoch به‌روزرسانی روی batch همان rollout انجام می‌دهد. ارزیابی برابر $25\bar H_{\text{eval}}$ گام است که $\bar H_{\text{eval}}\le1000$ و با پایان زودهنگام تغییر می‌کند. پس بودجه مشاهده‌شدهٔ یک بازو $K\times T\times N\times(51{,}200+25\bar H_{\text{eval}})$ است. سناریوی محافظه‌کارانه از $\bar H_{\text{eval}}=1000$ استفاده می‌کند، اما گزارش نتایج بر شمارنده واقعی تکیه دارد.

عدد ۱٬۱۳۰ ساعت‌اجرا از تقسیم $1.2192\times10^9$ گام بر $300$ گام‌برثانیه به دست می‌آید. این عدد «ساعت‌اجرا» یا معادل تک‌جریان است، نه مدت تقویمی پروژه. اگر مثلاً ۱۶ جریان واقعاً مستقل با بازده موازی‌سازی ۷۵٪ در دسترس باشد، زمان دیواری ایدئال تقریباً $1130/(16\times0.75)$ ساعت خواهد بود؛ اما این تبدیل فقط پس از اندازه‌گیری رقابت RAM، پهنای‌باند حافظه، I/O و هزینهٔ هماهنگ‌سازی معتبر است. به همین دلیل در گزارش نهایی سه ستون جدا نگهداری می‌شود: CPU-hour مصرف‌شده، GPU-hour مصرف‌شده و wall-clock مشاهده‌شده. ادغام این سه واحد در یک «ساعت محاسباتی» واحد مجاز نیست، زیرا امکان مقایسهٔ پیکربندی‌های I1 تا I4 را از بین می‌برد.

قاعدهٔ K-سازگاری برای همه کنتراست‌های استنباطی برقرار است: هر دو بازوی یک کنتراست باید $K$، $T$، $E$، $N$، خانوادهٔ seed، بودجهٔ امتیازدهی پس از update و نقش‌های داده‌ای یکسان داشته باشند. استفاده از common random numbers در سطح seed، سناریو و ترتیب محیط باعث کاهش واریانس تفاضل می‌شود، اما seedهای آموزش با seedهای $\mathcal{C}_{\text{loc-score}}$، PASS، کالیبراسیون SDS و آزمون نهایی یکسان نیستند. آزمایش‌های کاهش‌یافتهٔ $K=8$ یا $N=5$ برای برآورد جهت اثر و عیب‌یابی مفیدند، ولی جای کنتراست تمام‌مقیاس را نمی‌گیرند و در خانوادهٔ تأییدی وارد نمی‌شوند.

سربار سمت سرور پارامتری ثبت می‌شود: همهٔ بازوهای پروتکل‌همتای E1′/E2′/E5/E6 در هر راند بودجهٔ برابر $(4n_{\text{eval}}+M_{FT})$ دارند؛ در E1′/E2′ چهارمین بلوک یک sham-rollout غیرتصمیم‌ساز است. ارزیابی نهایی، پنج پروب OOD و rolloutهای جداگانه E1×$\mathcal G_{\text{fit}}$ برای diagnostic و E1×$\mathcal G_{\text{H3-out}}$ برای H3 نیز مستقل بودجه‌بندی می‌شوند.

تفکیک سربار ServerOps ضروری است. در بازوی SGDA، سه نامزد $\theta_{\text{agg}}$، FedAvg و $\theta_t$ روی سوئیت PASS ارزیابی می‌شوند، نامزد منتخب پس از fine-tuning دوباره ارزیابی می‌شود و $M_{FT}=4$ اپیزود نیز برای ساخت بافر FT مصرف می‌گردد؛ ازاین‌رو فرمول $(4n_{\text{eval}}+M_{FT})$ حاصل می‌شود. در E1′ و E2′ سه ارزیابی تصمیم‌ساز avg/prev/post-FT وجود دارد و برای برابری بودجه، یک sham-rollout چهارم با همان $n_{\text{eval}}$ اجرا اما از هر تصمیم آماری حذف می‌شود؛ سربار آن‌ها نیز $(4n_{\text{eval}}+M_{FT})$ است. انتخاب نهایی $n_{\text{eval}}$ از مجموعهٔ $\{24,48,96\}$ با operating-characteristic در P1 انجام می‌شود، نه با مشاهدهٔ نتایج هسته؛ بنابراین رقم ۱۹۶ فقط مقدار شروع برای $n_{\text{eval}}=48$ است و نباید به‌عنوان ثابت سخت‌افزاری تفسیر شود.

در حساب نهایی، افزون بر آموزش و ServerOps، موارد زیر جداگانه ثبت می‌شوند: ارزیابی ID نهایی با ۸۰۰ اپیزود به‌ازای seed (۵۰×۱۶)؛ OOD هسته با ۴۵۰ اپیزود/seed (۵۰×۹) و در صورت اجرای Extreme جمع ۶۰۰ اپیزود/seed (۵۰×۱۲)؛ پنج پروب تک‌محورهٔ بزرگی عملگر، ساختار بایاس، شوک، اصطکاک و نویز مشاهده؛ بازارزیابی نهایی سیاست منجمد E1 روی $\mathcal{G}_{\text{H3-out}}$ برای H3؛ بازبرازش‌های دوره‌ای منحنی‌های $\widehat{CR}(D)$ و $\widehat V(D)$؛ OC و A/A؛ و زمان تحلیل آماری و تولید artifactها. هیچ‌یک از این اقلام نباید داخل زمان آموزش پنهان شود. گزارش جداگانهٔ آن‌ها مشخص می‌کند افزایش هزینه ناشی از خود SGDA است یا از پروتکل ارزیابی محافظه‌کارانهٔ سمت سرور.

زیرساخت محاسباتی — دو محور مستقل و چهار ترکیب:

محور CPU: (۱) سه‌سرور — سرور ۱ Flower/SGDA/ServerOps، سرور ۲ rolloutهای CPU، سرور ۳ اجراهای طولانی/لاگ/تحلیل؛ (۲) تک‌سرور — همه نقش‌ها روی یک ماشین و با wall-clock بیشتر. محور شتاب‌دهنده: (الف) GPU اختصاصی در یکی از سرورها یا node جدا؛ (ب) Google Colab Pro+ فقط برای jobهای مستقل و checkpointپذیر. ترکیب این دو محور چهار پیکربندی می‌سازد:

در توپولوژی سه‌سروره، «تفکیک نقش» به معنای وابستگی الگوریتم به سه ماشین فیزیکی نیست. سرور اول مسئول state هماهنگ‌ساز Flower، نسخهٔ پذیرفته‌شدهٔ مدل، محاسبه وزن‌های SGDA، اجرای گیت و ثبت تصمیم PASS است. سرور دوم بیشترین هسته و RAM را به rolloutهای headless MetaDrive اختصاص می‌دهد و کلاینت‌ها را به‌صورت فرایندهای جدا یا محیط‌های برداری اجرا می‌کند. سرور سوم seedها و بازوهای مستقل طولانی، نگهداری checkpointها، جمع‌آوری لاگ‌ها و تحلیل پس‌پردازش را می‌پذیرد. مزیت این تفکیک، کاهش رقابت I/O و امکان ادامهٔ rollout هنگام تحلیل نتایج قبلی است؛ عیب آن نیاز به هماهنگی نسخه کد، همگام‌سازی ساعت، انتقال checkpoint و کنترل خطاهای شبکه است.

در توپولوژی تک‌سروره، همین نقش‌های منطقی حفظ می‌شوند اما در قالب process، queue و directoryهای جدا روی یک ماشین اجرا می‌گردند. فدراسیون در این پایان‌نامه شبیه‌سازی پروتکل است و به توزیع فیزیکی کلاینت‌ها وابسته نیست؛ بنابراین تک‌سرور از نظر علمی معتبر است، مشروط بر آنکه پروتکل، seedها و بودجه گام تغییر نکنند. خطرهای عملی آن شامل اشباع RAM، رقابت rollout و update بر سر CPU، افت throughput هنگام نوشتن checkpoint و single point of failure است. برای مهار این خطرها، سقف هم‌زمانی بر اساس P0 تعیین، queueهای rollout محدود، checkpoint اتمی و resume test در P1 اجرا می‌شود.

GPU برای «گرافیک» به‌طور کلی تخصیص نمی‌یابد: آموزش headless MetaDrive CPU-محور است؛ update شبکه، تقطیر E12 در صورت اجرا و رندر خروجی وظایف شتاب‌پذیرند. اگر MLP کوچک روی GPU سریع‌تر نباشد، update هسته نیز CPU باقی می‌ماند. jobهای چندروزه یا متصل به state زنده فدراسیون فقط روی GPU اختصاصی مجازند؛ Colab در مسیر بحرانی چرخه اصلی قرار نمی‌گیرد.

تقسیم کار CPU/GPU بر پایهٔ profiling انجام می‌شود. تولید transition در MetaDrive headless، محاسبات فیزیک Bullet، منطق ترافیک و بخش بزرگی از wrapperهای سناریو معمولاً CPU-bound هستند. در مقابل، forward/backward شبکه، minibatchهای PPO/LPPO-Lag، critic هزینه و E12 در صورت اجرا می‌توانند از GPU سود ببرند. بااین‌حال انتقال batchهای کوچک از CPU به GPU و synchronization ممکن است مزیت MLP کوچک را خنثی کند؛ ازاین‌رو صرف وجود GPU دلیل انتقال update نیست. benchmark باید دست‌کم زمان rollout، زمان update، درصد بهره‌برداری CPU/GPU، حافظه اوج و انرژی/هزینهٔ تقریبی را برای workload یکسان گزارش کند.

GPU اختصاصی در I1 یا I3 برای jobهای طولانی، تکرارشونده و متصل به state زنده مناسب است: فرایند می‌تواند checkpointهای مکرر بسازد، نسخه CUDA و درایور ثابت می‌ماند و محدودیت session وجود ندارد. Colab Pro+ در I2 یا I4 یک منبع مکمل است، نه جایگزین سرور اصلی. فقط jobهایی به Colab فرستاده می‌شوند که ورودی و خروجی محدود، checkpoint مستقل و امکان restart بدون تغییر دنبالهٔ علمی داشته باشند؛ مانند benchmark کوتاه شبکه، prototype تقطیر، تولید رندر و تحلیل GPU-محور جدا. upload دستی state میانی فدراسیون، ادامه یک seed از وسط راند یا اجرای PASS متصل به orchestrator روی Colab مجاز نیست، زیرا قطع session می‌تواند ترتیب تصادفی و تکرارپذیری را مخدوش کند.

توپولوژی CPU و منبع GPU پس از بنچمارک ماه اول و پیش از E1 قفل می‌شوند. تغییر هرکدام پس از شروع core مستلزم اجرای مجدد همه بازوهای مقایسه‌شونده یا تنزل آن‌ها به توصیفی است. مشخصات CPU/RAM/disk/network/GPU، نسخه CUDA/driver و حالت determinism در ANALYSIS_PLAN.md ثبت می‌شود.

پروتکل انتخاب I1–I4 از پیش چنین تعریف می‌شود: یک workload نماینده با $K=4$، سناریوهای ثابت، تعداد گام برابر و سه تکرار اجرا می‌گردد؛ سپس throughput گام محیط، زمان update، زمان checkpoint، نرخ خطای resume و wall-clock انتهابه‌انتها مقایسه می‌شود. گزینه منتخب باید علاوه بر سرعت، پنجره شش‌ماهه، پایداری اجرا و دسترس‌پذیری واقعی منابع را برآورده کند. اگر تفاوت سرعت کمتر از نوسان بین تکرارها باشد، گزینه ساده‌تر و پایدارتر انتخاب می‌شود. این انتخاب یک ابرپارامتر علمی نیست و با CR یا SR سنجیده نمی‌شود؛ استفاده از نتیجهٔ عملکرد مدل برای انتخاب سخت‌افزار می‌تواند به انتخاب پسینی و سوگیری اجرایی منجر شود.

ثبت محیط اجرا شامل مدل CPU و تعداد هسته/نخ، RAM و سیاست NUMA، نوع و ظرفیت disk، فضای آزاد و سرعت نوشتن ترتیبی، شبکه داخلی، مدل GPU و VRAM، نسخه سیستم‌عامل، Python، PyTorch، CUDA/cuDNN، MetaDrive، Flower و کتابخانه‌های آماری است. متغیرهای determinism، تعداد threadهای BLAS، affinity فرایندها و نسخه container نیز ثبت می‌شوند. checkpointها علاوه بر پارامتر شبکه، optimizer state، $\lambda_{\text{local}}$ هر کلاینت، شمارنده راند، RNG state و نسخهٔ پذیرفته‌شدهٔ پیش از FT را نگه می‌دارند تا resume واقعاً ادامه همان اجرا باشد، نه شروع یک مسیر تصادفی جدید.

برآورد بودجهٔ طرح B شامل هسته، ServerOps، $\mathcal G_{\text{fit}}$، H3-out، baselineها، حساسیت و OOD است. اعداد ساعت پیشین فقط سناریوی سقف با اپیزود ۱۰۰۰گامی‌اند و پس از پایلوت با شمار env-step واقعی بازحساب می‌شوند؛ CPU-hour، GPU-hour و wall-clock جدا گزارش می‌شوند.

جمع عددی ممیزی‌پذیر طرح B در مرجع $S_0=300$ و با $N=10$ برابر تقریباً ۱۰٬۲۰۰ تا ۱۱٬۰۰۰ ساعت‌اجرای تک‌جریان است (در $S=450$: حدود ۶٬۸۰۰ تا ۷٬۳۰۰). اقلام این طرح عبارت‌اند از پنج بازوی هستهٔ سامانه، دو ابلیشن مکانیزمی الزامی E8/E9′-N-full، E2 توصیفی، ServerOps هم‌بودجه، $\mathcal G_{\text{fit}}$/H3-out، ارزیابی ID/OOD، مقیاس‌پذیری، حساسیت، R1/R2 و پایلوت؛ E3/E4، R4، Safety-Gymnasium و سایر بازوهای اختیاری فقط در ledger افزودهٔ جدا می‌آیند. این اعداد wall-clock نیستند؛ جدول ledger نهایی پس از پایلوت برای هر قلم env-step، CPU-hour، GPU-hour و wall-clock مشاهده‌شده را جدا ثبت می‌کند. اگر $N$ به ۱۵ یا ۲۰ قفل شود، فقط اقلام seed-محور به‌ترتیب در ۱٫۵ یا ۲ ضرب و ledger دوباره محاسبه می‌شود.

آیتم‌بندی طرح B در مرجع $S_0$ برای ممیزی حفظ می‌شود: هسته E1/E1′/E2′/E5/E6، E8/E9′-N-full، E2 توصیفی، ServerOps، R1/R2، H3-out، OOD و پایلوت جدا حساب می‌شوند؛ E3/E4، حساسیت افزوده، R4، Safety-Gymnasium و سایر بازوهای اختیاری در زیرledger جدا قرار می‌گیرند. همه اعداد ساعات این بخش برآورد یا سقف‌اند و پس از جایگزینی throughput و طول اپیزود اندازه‌گیری‌شده بازحساب می‌شوند.

رابطه مقیاس‌کردن زمان به‌صورت $H(S)=H(300)\times 300/S$ است. اگر throughput اندازه‌گیری‌شده ۴۵۰ باشد، همه اقلام rollout تقریباً در ضریب دو‌سوم ضرب می‌شوند، اما زمان update، I/O و تحلیل الزاماً خطی مقیاس نمی‌شود و جداگانه اندازه‌گیری خواهد شد. اگر $N$ از ۱۰ به ۱۵ یا ۲۰ قفل شود، بودجه بازوهای مبتنی بر seed تقریباً به‌ترتیب ۱٫۵ و ۲ برابر می‌شود؛ در این وضعیت نردبان کاهش scope پیش از شروع E1 فعال می‌شود. تعداد seed پس از مشاهدهٔ نتایج اصلی افزایش نمی‌یابد و کمبود توان با اجرای انتخابی seedهای بیشتر جبران نخواهد شد.

ب′) طرح تکمیلی (طرح ب + مجموعهٔ تکمیلی در مقیاس کاهش‌یافته) — حساب تصحیح‌شده در $S_0$: E9′ کوچک شامل هر چهار بازوی R/P/N/I روی $K{=}8$/$N{=}5$ است؛ R همان anchor هم‌مقیاس $E6_{small}$ است و نباید از ledger حذف شود. جمع این چهار بازو ≈ ۱٫۲۱۹ میلیارد گام ≈ ۱٬۱۳۰ ساعت است. E10 و E11 ($K{=}8$/$N{=}5$) ≈ ۵۶۵؛ E13 ($K{=}16$/$N{=}5$) ≈ ۵۶۵؛ E12 با سربار تقطیر سرور ≈ ۳۰۰ (E1′ دیگر عضو این مجموعه نیست — به هستهٔ تمام‌مقیاس منتقل شد). افزودهٔ ب′ ≈ ۲٬۵۰۰ تا ۲٬۷۰۰ ساعت‌اجرا و جمع طرح ب′ ≈ ۱۲٬۷۰۰ تا ۱۳٬۷۰۰ در $S_0$ (≈ ۸٬۵۰۰ تا ۹٬۱۰۰ در $S{=}450$). E7 تنها بازوی تمام‌مقیاس تصمیم‌پذیر است؛ E8 و E9′-N-full از آغاز جزء هستهٔ مکانیزمی‌اند. نردبان کاهش scope در تنگنا به‌ترتیب چنین است: (۱) حذف E3/E4؛ (۲) کاهش حساسیت توصیفی؛ (۳) حذف Safety-Gymnasium؛ (۴) حذف Extreme-OOD؛ (۵) حذف E10–E13 و E9′ کوچک؛ (۶) حذف E7 و حذف H4؛ (۷) حذف R4. E8 و E9′-N-full در این نردبان تنزل نمی‌یابند؛ اگر اجرای آن‌ها ممکن نباشد، مطالعه پیش از E1 رسماً بازطراحی می‌شود و ادعای مکانیزمی SGDA مطرح نخواهد شد.

نقش شتاب‌دهنده در بودجه: در I1/I3، ساعت و هزینه GPU اختصاصی جدا ثبت می‌شود؛ در I2/I4، Colab Pro+ فقط برای jobهای مستقل کوتاه با checkpoint کامل استفاده می‌شود. تصمیم میان این دو پس از بنچمارک update شبکه و یک workload نمایندهٔ Fine-tune گرفته می‌شود؛ E12 فقط در صورت تصویب بازوی اختیاری جدا benchmark می‌شود. نبود GPU نباید rolloutهای core یا امکان دفاع را متوقف کند.

قید صادقانه: throughput rollout، سرعت update روی CPU/GPU، تعداد جریان موازی و گام لازم برای همگرایی هنوز باید اندازه‌گیری شوند. P0 هر چهار ترکیب در دسترس را با workload یکسان مقایسه و یک پیکربندی را پیش از E1 قفل می‌کند؛ Colab فقط مکمل jobهای مستقل است.

سه ریسک اجرایی به‌طور جداگانه پایش می‌شوند. ریسک نخست، throughput کمتر از ۳۰۰ گام‌برثانیه است که در P0 سنجیده و مستقیماً نردبان scope را فعال می‌کند. ریسک دوم، کمبود همگرایی در $T=100$ یا $E=25$ است؛ این مورد فقط در P2 و پیش از قفل پروتکل قابل اصلاح است و هر تغییر $T/E$ مستلزم تکرار کامل P2 با نسخهٔ جدید پیش از قفل خواهد بود؛ پس از قفل، طولانی‌کردن انتخابی بازوی موفق مجاز نیست. ریسک سوم، ناپایداری زیرساخت است؛ نرخ resume ناموفق، checkpoint ناقص یا تفاوت غیرمنتظره پس از بازیابی باید در P1 صفر یا به‌طور مستند مهار شود. تصمیم نهایی زیرساخت باید بر بدترین این سه ریسک مبتنی باشد، نه صرفاً بیشترین سرعت لحظه‌ای.

گزینه‌های کاهش فشار محاسباتی — به ترتیب اولویت:

1. P0 — Pilot Calibration Run در ماه اول ($K=4,T=50$): P0 فقط برای اندازه‌گیری throughput، تثبیت $\Delta t,L,R_{\text{scale}}$، وارسی بازه‌های نرمال‌سازی SDS و کالیبراسیون شدت اختلال پیش از پیاده‌سازی کامل روش اجرا می‌شود؛ $c_{\max}$، $c_{\text{hard}}$، PASS یا توان آماری در P0 قفل نمی‌شوند. قاعدهٔ go/no-go از پیش ثبت‌شده: هدف طراحی تک-ego، توان‌عملیاتی مؤثر $S_{\text{eff}}\ge 450$ گام/ثانیه بر جریان است (≈ ۲٫۲ ثانیه بر اپیزود)؛ اگر P0 مقدار $S_{\text{eff}}<300$ بسنجد (> ~۳٫۳ ثانیه بر اپیزود)، نردبان کاهش scope از پلهٔ ۱ روی بازوهای اختیاری فعال می‌شود و E7 پیش‌فرض حذف می‌گیرد؛ E8/E9′-N-full تمام‌مقیاس حفظ می‌شوند. اگر حتی پس از حذف اختیاری‌ها ظرفیت این هسته فراهم نباشد، پیش از E1 بازطراحی رسمی لازم است؛ آستانه و مقدار سنجیده در ANALYSIS_PLAN.md ثبت می‌شوند. قاعدهٔ go/no-go دوم پیش‌ثبت‌شده — کفایت سیگنال اختلال ($D^{\text{dist}}$): P0 باید نشان دهد تغییر عامل‌های بایاس/OU/شوک با ترافیک و هندسه ثابت، CR را دست‌کم ۰٫۰۵ مطلق جابه‌جا می‌کند. اگر برقرار نشود، فقط یک‌بار و پیش از E1 شدت/طول شوک در فضای عملگر تقویت می‌شود. اگر همچنان ناکافی باشد، وزن‌های SDS تغییر نمی‌کنند؛ $D^{\text{dist}}$ به‌عنوان مؤلفه ضعیف گزارش و ادعا به سختی سناریوی چهاربعدی با وزن‌های مساوی محدود می‌شود. استفاده از CR P0 برای بازوزنی $\omega_m$ ممنوع است.
2. P1/P2 و دروازهٔ شروع Core: P1 پس از تکمیل Flower، LPPO-Lag، SGDA، ServerOps و schema/XAI روی $K=8$ اجرا می‌شود و دست‌کم پنج راند کامل شامل fit، local-score، gate/score، aggregation، PASS، FT/re-evaluation، checkpoint/resume و replay XAI را می‌پوشاند. P1 با دادهٔ مستقل، $c_{\text{hard}}$، OC، $n_{\text{eval}}$ و $\varepsilon_c$ را قفل و آزمون‌های واحد/یکپارچه‌سازی بخش ۷-۴-۳ و ۱۰ را پاس می‌کند. پس از آن gridهای محلی و SGDA قفل می‌شوند؛ سپس P2 با تعریف آماری بخش ۹-۶ اجرا و $N$ قفل می‌شود. آغاز E1 یا هر بازوی Core پیش از تکمیل P0→P1→grid→P2، ثبت همهٔ قفل‌های پیش-E1 و هش ANALYSIS_PLAN.md ممنوع است.
3. تثبیت طول آموزش: $T=100$ و $E=25$ برای همهٔ بازوهای مقایسه‌شونده ثابت‌اند و برای جبران فشار زمانی کاهش نمی‌یابند. کاهش scope فقط با حذف بازوهای اختیاری طبق نردبان از پیش ثبت‌شده انجام می‌شود؛ تغییر $T/E$ یک پروتکل علمی جدید است و مستلزم بازطراحی رسمی پیش از E1 خواهد بود.
4. حفظ بودجهٔ ارزیابی post-update: $n^{\text{loc}}_{\text{eval}}=n_{\text{fit}}=25$ بخشی از هم‌کمیتی کران‌ها و منحنی‌های مرجع است و در پروتکل نهایی کاهش نمی‌یابد. فشار اجرایی از راه حذف بازوهای اختیاری، موازی‌سازی یا تغییر زیرساخت مدیریت می‌شود، نه با تغییر تعداد اپیزودهای تصمیم‌ساز. هر کاهش این دو مقدار یک پروتکل علمی جدید و مستلزم بازطراحی رسمی پیش از E1 است، نه یک پلهٔ کاهش scope در همین مطالعه.
5. Vectorized Environments: استفاده از محیط‌های برداری (مانند SubprocVecEnv در Stable-Baselines3 یا VecEnv بومی MetaDrive) برای اجرای ۴–۸ محیط موازی در هر کلاینت؛ این کار throughput مرحلهٔ rollout را ۲–۳ برابر افزایش می‌دهد، بدون تغییر در الگوریتم پایه.
6. انتخاب شتاب‌دهنده و توپولوژی: P0 پیکربندی‌های I1–I4 را روی workload یکسان مقایسه می‌کند. GPU اختصاصی برای jobهای طولانی/متصل به چرخه و Colab Pro+ فقط برای jobهای مستقل کوتاه مجاز است. با MLP کوچک، CPU نیز نامزد معتبر است و استفاده GPU فقط در صورت speedup اندازه‌گیری‌شده انجام می‌شود. checkpoint هر ۵ راند یا ۲ ساعت روی ذخیره‌ساز پایدار حفظ می‌گردد.
7. تقدم دادن به هستهٔ تأییدی، مکانیزمی و مرجع (E1، E1′، E2′، E5، E6، E8، E9′-N-full و R1/R2): آزمایش‌های E3 (FedProx) و E4 (FedNova) به‌صورت پیش‌فرض توصیفی حداقلی‌اند ($K{=}8$، $N{=}3$)؛ در صورت تنگنا در زمان (مثلاً در پایان ماه چهارم)، این دو آزمایش اولین گزینه‌ها برای حذف از جدول زمان‌بندی خواهند بود. آزمایش‌های مجموعهٔ تکمیلی اختیاری (E9′ کوچک و E10–E13) از ابتدا با مقیاس کاهش‌یافته (K=8 یا N=5) تعریف شده‌اند تا وارد مسیر بحرانی نشوند و در تنگنا، پس از E3/E4 حذف‌شدنی‌اند. این عبارت E9′-N-full را شامل نمی‌شود.

ترتیب اجرا و مدیریت Scope:

ترتیب پیشنهادی اجرا: P0 کالیبراسیون محیط/زیرساخت → پیاده‌سازی کامل LPPO-Lag+Flower+SGDA+ServerOps+schema/XAI → P1 یکپارچه‌سازی $K=8$ و قفل fit/gate/OC/PASS → gridهای محلی و SGDA با Validation مهروموم‌شدهٔ Test → P2 توان با $K=4,T=100,E=25$ → تحلیل توان MC و قفل آینده‌نگر N + هش همهٔ قفل‌های پیش-E1 → E1 و انجماد snapshot ویژهٔ H3 (بدون بازکردن H3-out) → E1′ → E6 → E5 → E2′ → E8 → E9′-N-full → R2 → R1/E2 توصیفی → آموزش و انجماد هر بازوی اختیاری مصوب ماه ۴ (E7/E3/E4/E9′ کوچک/E10–E13/R4) → بازگشایی دسته‌ای و فقط‌یک‌بارهٔ $\mathcal G_{\text{H3-out}}$ و $T_{\text{ID}}/T_{\text{OOD}}$ تا Severe برای checkpointهای از پیش منجمد → Extreme-OOD فقط اگر پیش از همان بازگشایی تصویب شده باشد → Safety-Gymnasium. (E1′ عمداً بلافاصله پس از انجماد E1 می‌آید تا مقایسه‌گر اصلی H1/H2 زود منجمد شود؛ هیچ نتیجهٔ H3-out یا Test تا پایان آموزش بازوهای مصوب دیده نمی‌شود.) این ترتیب برای مدیریت جریان

کار و کاهش ریسک backlog انتخاب شده است، نه برای حذف آزمایش‌ها. در پایان ماه چهارم، در صورت عقب‌ماندگی نسبت به برنامه، تصمیم صریح دربارهٔ کاهش scope گرفته می‌شود — اما فقط در چارچوب قاعدهٔ زیر.

قاعدهٔ انجماد پروتکل هسته (پیش‌ثبت‌شده): از لحظهٔ شروع نخستین بازوی Core، هر تغییری در $T$، $E$، $K$، $N$، $n_{\text{eval}}$، چهارگانهٔ FT $(G_{\text{FT}},M_{\text{FT}},S_{\text{FT}},\mathcal{C}_{\text{FT}})$، splitهای سمت سرور (جدول ۱۰)، تصمیم sham-rollout یا زیرساخت/سخت‌افزار اجرا ممنوع است، مگر با یکی از دو پیامد الزامی: (الف) اجرای مجدد همهٔ بازوهای مقایسه‌شونده با پروتکل جدید (CRN کامل)؛ یا (ب) تنزل همهٔ کنتراست‌های متأثر به سطح «توصیفی» بدون وزن تأییدی. تغییر $T/E$ همواره نسخهٔ پروتکل جدید می‌سازد؛ تصمیم پایان ماه ۴ فقط می‌تواند حذف بازوهای اختیاری یا E7 را رقم بزند و حق تنزل E8/E9′-N-full را ندارد. هر اعمال این قاعده در دفترچهٔ انحراف ثبت و در پایان‌نامه گزارش می‌شود.

کنترل کیفیت و تکرارپذیری:

برای هر آزمایش، معیار توقف، فایل پیکربندی، فهرست seedها، نسخهٔ کد، checkpoint نهایی و جدول متریک‌ها

نگهداری می‌شود تا تکرارپذیری و امکان دفاع از نتایج تضمین شود.

هر run یک شناسهٔ یکتا دارد که از کد بازو، $K/T/E/N$، شناسه seed، نسخه پروتکل و hash فایل پیکربندی ساخته می‌شود. پوشهٔ run شامل config حل‌شده، manifest محیط نرم‌افزار، log ساختاریافتهٔ هر کلاینت/راند مطابق schema قانونی ۷-۴-۳، شمارش خام اپیزودها، وزن‌های واقعی و پادواقعی کلاینت‌ها، تصمیم‌های ACCEPT/FALLBACK/REVERT، checkpointهای دوره‌ای و خلاصه خطا است. جدول نهایی مستقیماً از این artifactها تولید می‌شود و ورود دستی عدد به جدول مجاز نیست. اسکریپت بازتولید باید بتواند از یک شناسه run، ردیف مربوط به معیارها، نمودار مسیر آموزش و گزارش fidelity/XAI را دوباره بسازد.

کنترل صحت پیش از آزمایش اصلی پنج سطح دارد: unit-test برای SDS، کران ویلسون، گیت و نرمال‌سازی وزن؛ integration-test برای یک راند کامل Flower؛ resume-test؛ A/A برای زنجیره PASS؛ و مجموعهٔ XAI شامل بازسازی وزن، shadow-replay E8/N، directional/stability و hash برابری XAI روشن/خاموش. مجموع وزن‌ها باید با تلورانس عددی یک باشد، NaN/Inf تولید نشود و عبور از سقف کالیبره با افزایش $D_i$ قابل دورزدن نباشد. integration-test جداگانه نیز دست‌کاری واقعی تراکم IDM و spawn عامل VRU/ریسک معنایی را در نسخه قفل‌شده شبیه‌ساز تأیید می‌کند. stateهای optimizer پس از broadcast reset می‌شوند، اما $\lambda_{\text{local}}$ در بازوهای LPPO-Lag به‌عنوان state محلی حفظ می‌شود؛ ثابت‌های clip/scale observation منجمد و مشترک‌اند.

معیار توقف نیز از پیش تعریف می‌شود. پایان عادی یک seed رسیدن به $T=100$ راند و ثبت موفق آخرین checkpoint است؛ early stopping مبتنی بر نتیجه برای بازوهای اصلی به‌کار نمی‌رود. توقف حفاظتی فقط برای خطای عددی تکرارشونده، خرابی محیط یا تجاوز از محدودیت سخت حافظه مجاز است و به‌عنوان failure زیرساختی ثبت می‌شود. اگر یک بازو به‌طور الگوریتمی واگرا شود، این خود نتیجه است و با تغییر learning rate یا حذف seed درمان نمی‌شود؛ هر اصلاح الگوریتم پس از قفل، نسخه پروتکل جدید می‌سازد و بازوهای مقایسه‌شونده باید دوباره اجرا شوند یا توصیفی بمانند.

در پایان هر ماه یک ممیزی داخلی انجام می‌شود: تطابق تعداد runهای برنامه‌ریزی‌شده و کامل، پوشش seedها، فضای ذخیره، سلامت checkpoint، نرخ شکست resume، مصرف CPU/GPU و انحراف از زمان‌بندی. این ممیزی حق نگاه انتخابی به $T_{\text{ID}}$ یا $T_{\text{OOD}}$ را ندارد و فقط متریک‌های train/validation مجاز را می‌بیند. تصمیم scope پایان ماه چهارم بر مبنای پیشرفت اجرا، throughput و بودجه باقیمانده گرفته می‌شود، نه بر اساس اینکه کدام ابلیشن نتیجه جذاب‌تری نشان داده است. هر حذف بازو همراه با دلیل، تاریخ و پیامد آماری در deviation log ثبت می‌گردد.

برای تحویل‌پذیری، نسخه نهایی شامل جدول مشخصات سخت‌افزار، جدول زمان CPU/GPU/wall-clock، فهرست نسخه کتابخانه‌ها، hash طرح تحلیل، فایل seed manifest و دستورهای بازتولید حداقل E1′ و E6 خواهد بود. داده خام اپیزودی تا حدی که حجم اجازه دهد با فرمت ستونی ذخیره و نسخه خلاصه‌شدهٔ شمارش‌ها به‌طور کامل نگهداری می‌شود. اطلاعات حساس یا وابسته به حساب Colab در config وارد نمی‌شود؛ credentialها خارج از مخزن و فقط از متغیر محیطی خوانده می‌شوند. این رویه سبب می‌شود تغییر میان GPU اختصاصی و Colab یا میان سه‌سرور و تک‌سرور، وابستگی محرمانه یا دستی در pipeline ایجاد نکند.

1. ماه ۱ — محیط + PPO تک‌کلاینت + CMDP reward + wrapper اختلال OU + P0 راه‌اندازی MetaDrive تک-ego، PPO پایه و wrapper OU. P0 با $K=4,T=50$ فقط $S_{\text{eff}},\Delta t,L,R_{\text{scale}}$، بازه‌های دشواری و سیگنال اختلال را کالیبره و چهار پیکربندی زیرساخت I1–I4 در دسترس را روی workload یکسان benchmark می‌کند: throughput rollout CPU، زمان update شبکه، GPU-hour، انتقال داده و wall-clock. توپولوژی CPU و منبع GPU منتخب در پایان ماه ثبت می‌شوند؛ هیچ fit/gate/PASS یا تحلیل توانی در P0 قفل نمی‌شود.
2. ماه ۲ — پیاده‌سازی کامل پیش‌نیازهای P1/P2 افزودن LPPO-Lag، چرخه Flower، SGDA-R/SGDA-N، SDS، ServerOps کامل (پذیرش سه‌شرطی + گارد لایه سخت + FT + بازارزیابی)، schema نسخه‌دار و replay/XAI بخش ۷-۴-۳. unit-testهای SDS/Wilson/gate/weight، integration-test، A/A، resume و hash برابری XAI روشن/خاموش پیاده می‌شوند. نردبان feasibility $d_{safe}$ و grid محلی PPO/LPPO آغاز می‌شود؛ هنوز هیچ بازوی Core شروع نمی‌شود.
3. ماه ۳ — P1 یکپارچه‌سازی → grid/OC → P2 توان → قفل پیش-E1 ابتدا P1 با $K=8$ همهٔ مسیرهای fit، gate، softmax، PASS، FT/re-evaluation، fallback/revert و XAI را می‌بندد؛ در همین مرحله نخستین $\widehat{SR}^{L},\widehat{CR},\widehat V$ و $c_{\text{hard}}$ با $\theta_0$ برازش و OC/A-A برای $(n_{eval},\varepsilon_c)$ قفل می‌شود. سپس gridهای محلی و grid مشترک SGDA برای $\lambda,\mu,\beta_{min},\beta_{max}$ با ترتیب غیرچرخشی تکمیل و وزن‌های SDS ثابت نگه داشته می‌شوند. پس از عبور P1 و قفل gridها، P2 روی E1′/E5/E6 با $K=4,T=100,E=25$ اجرا، توان MC و تصمیم H1b محاسبه و $N$ نهایی قفل می‌شود. فقط پس از هش ANALYSIS_PLAN.md و همهٔ artifactهای پیش-E1، اجرای E1 و سپس E1′ می‌تواند آغاز شود.
4. ماه ۴ — تکمیل هستهٔ پروتکل‌همتا + آماده‌سازی ابلیشن‌های الزامی تکمیل E1/E1′ و اجرای E6، E5 و E2′ با pipeline ازپیش‌آزموده و پارامترهای قفل‌شده؛ آماده‌سازی و dry-run پیکربندی‌های E8/E9′-N-full. وزن‌های $\{\omega_m\}$ تغییر نمی‌کنند و فقط بازتحلیل آفلاین توصیفی دارند؛ حساسیت $(\lambda,\mu)$ نیز نتیجهٔ تأییدی را بازتنظیم نمی‌کند. تصمیم پایان ماه فقط دربارهٔ E7 و بازوهای اختیاری است.
5. ماه ۵ — تکمیل بازوها، انجماد checkpointها و ارزیابی نهایی دسته‌ای اجرای تمام‌مقیاس و seed-جفت E8/E9′-N-full، مرجع متمرکز R2 و هر بازوی اختیاری که در نقطهٔ تصمیم ماه ۴ تصویب شده است؛ سپس انجماد همه checkpointها و بازگشایی یک‌بارهٔ H3-out، ID/OOD تا Severe و پنج پروب تک‌محوره. ارزیابی H3-out E1 مستقل است و دادهٔ $\mathcal G_{\text{fit}}$ هرگز به‌عنوان H3 مصرف نمی‌شود. هیچ بازوی تازه‌ای پس از مشاهده H3-out/Test به batch نهایی افزوده نمی‌شود. E8/E9′-N-full به تصمیم ماه ۴ وابسته نیستند.
6. ماه ۶ — نگارش و دفاع نگارش پایان‌نامه، آماده‌سازی اسلاید دفاع، بازتولید جداول نهایی و بررسی پروتکل آماری؛ هیچ ماژول خارج از scope آغاز نمی‌شود.

۱۱نتیجه‌گیری، نتایج مورد انتظار و کاربردها #

انتظار می‌رود چارچوب پیشنهادی نسبت به baseline‌های فدرال استاندارد، نرخ برخورد پایین‌تری ایجاد کند و در عین حال نرخ موفقیت و زمان رسیدن به هدف را حفظ یا بهبود دهد. تحلیل OOD ارزیابی می‌کند که روش پیشنهادی تا چه اندازه عملکرد خود را زیر shiftهای ازپیش‌ثبت‌شدهٔ اختلال عملگر، اصطکاک، نویز مشاهده و هندسه حفظ می‌کند؛ چون در این مطالعه کنترل آموزشی «کم‌تنوع در برابر پرتنوع» وجود ندارد، از نتایج OOD اثر علی تنوع سناریوهای آموزش استنتاج نمی‌شود.

از منظر کاربردی، نتایج این پژوهش می‌تواند برای توسعه نرم‌افزارهای کنترلی و سیستم‌های تصمیم‌گیری در ناوگان خودروهای خودران (حمل‌ونقل، لجستیک، تاکسی خودران) مفید باشد. همچنین خروجی کد و پروتکل آزمایش، امکان ادامه پژوهش به سمت روش‌های امن‌تر (Secure Aggregation/DP) را فراهم می‌کند.

۱۱-۱. محدودیت‌های پژوهش #

• اعتبارسنجی‌ها در محیط MetaDrive انجام می‌شود که دینامیک خودروی ساده‌شده دارد و تمام پیچیدگی‌های دینامیک خودروی واقعی (دینامیک دقیق تایر، لغزش و انتقال بار) را پوشش نمی‌دهد.
• مقیاس آزمایش‌ها محدود به K∈{4,8,16} کلاینت است؛ مقیاس‌پذیری به شبکه‌های بسیار بزرگ (K>100) بررسی نشده است.
• LPPO-Lag نسبت به PPO استاندارد سربار محاسباتی بیشتری دارد (پایش هزینه ایمنی و به‌روزرسانی $\lambda_{\text{local}}$).
• فرض صداقت کلاینت‌ها (honest clients) در نظر گرفته شده؛ حملات Byzantine یا poisoning در این پژوهش بررسی نمی‌شود.
• تأخیر ارتباطی، قطع ارتباط ناگهانی کلاینت، و نوسان‌های شبکه در پروتکل فعلی به‌طور کامل مدل‌سازی نشده‌اند.
• میانگین مستقیم وزن‌های PPO (policy averaging) فاقد ضمانت همگرایی نظری رسمی است؛ fine-tuning این مشکل را به‌صورت تجربی کاهش می‌دهد. برای مقابله با بی‌ثباتی احتمالی، مکانیزم پذیرش/بازگشت سه‌شرطی در الگوریتم ۱ تعبیه شده است: اگر کران اطمینان تفاضل جفت‌شدهٔ پاداش، نرخ جامع $C^{\text{ind}}$ یا هزینهٔ همان شاخص روی لایهٔ سخت سوئیت $\mathcal C_{\text{accept}}$ از حاشیه‌های افزایشی عبور کند، سرور به FedAvg و در صورت لزوم به $\theta_t$ بازمی‌گردد.
• وابستگی سهم اصلی به H3: SDS باید روی $\mathcal G_{\text{H3-out}}$ روند مورد انتظار را هم برای SR و هم برای $C^{\text{ind}}$ نشان دهد. CR/V/OR/reward فقط تجزیه‌های ثانویه‌اند. اگر فقط کارایی را پیش‌بینی کند، «دشواری ایمنی» نامیده نمی‌شود؛ اگر مدل چهاربعدی در H3c از اختلال تنها بهتر نباشد، SDS به heuristic مهندسی تنزل می‌یابد. E9′-N-full اثر حذف آن را می‌سنجد.
• محدودیت شاخص سختی $D_i$ در استقرار واقعی: SDS هسته از پارامترهای سناریوی شبیه‌ساز محاسبه می‌شود و یک متریک sim-only است. سرور واقعی به این پارامترها دسترسی تضمین‌شده ندارد. فرمول زیر فقط یک مسیر توسعه deployment-motivated است؛ در بودجه و فرضیه‌های اصلی این پایان‌نامه نیست و تا زمانی که مطالعه اعتبارسنجی مستقل اجرا نشود، هیچ ادعای تجربی درباره قابلیت استقرار آن مطرح نمی‌شود:

این فرمول فقط امکان‌پذیری مفهومی را نشان می‌دهد و شکاف عملیاتی sim-to-real را رفع نمی‌کند [۲۸].

• قدرت آماری H3: واحد استنباط اصلی $N_{\text{H3}}=N_{\text{locked}}$ snapshot مستقل آموزش است و هر برآورد seed بر ۱۷ نقطهٔ ثابت H3-out تکیه دارد؛ بنابراین هم تعداد seedها و هم دانه‌بندی ۱۷ پیکربندی، به‌ویژه برای مدل‌های چندپیش‌بین، توان را محدود می‌کنند. پیش از E1 یک Monte-Carlo تشخیصی با شیب استانداردشدهٔ هدف $|b|=0.30$، overdispersion و ناهمگنی بین-seed برآوردشده از P2 روی یک شبکهٔ توسعه‌ای مجزا از $\mathcal G_{\text{H3-out}}$ گزارش می‌شود؛ این تحلیل تعداد پیکربندی یا فرضیه را پس از مشاهده نتیجه تغییر نمی‌دهد. توان پایین به‌عنوان محدودیت و با CIهای متناظر گزارش می‌شود، نه مجوز تغییر پسینی H3. تحلیل ۱۶ کلاینت آموزش فقط convergent validity است.
• استنباط H3 به دامنه پیکربندی‌های Train و H3-out محدود است؛ تعمیم به نوع اختلال، شبیه‌ساز یا حسگر جدید بدون آزمون مستقل ادعا نمی‌شود.
• اثرانگشت متادیتا در استقرار واقعی: با طرح فاکتوریل شناخته‌شده، تاپل $(SR,CR,V,D)$ می‌تواند سناریوی کلاینت را برای سرور/شنودگر افشا کند؛ در شبیه‌سازی بی‌خطر است اما در استقرار واقعی یک کانال نشت متادیتاست (در کنار نشت گرادیان [۶، ۷]) و راهکار آن به مسیر آیندهٔ ۱ سپرده می‌شود.

۱۱-۲. مسیرهای پژوهشی آینده #

این بخش مسیرهای گسترش پژوهش را پس از اتمام بستهٔ غیرقابل‌کاهش مطالعه (E1، E1′، E2′، E5، E6، E8، E9′-N-full، R2، ID/OOD و H3-out؛ E2/R1 توصیفی) ترسیم می‌کند. تمرکز بر ایده‌هایی است که به‌دلیل scope کنترل‌شده، محدودیت زمان شش‌ماهه، یا وابستگی به پیش‌نیازهای پژوهشی دیگر در این پایان‌نامه اجرا نمی‌شوند اما از نظر ارزش علمی و امکان‌پذیری بلندمدت، در اولویت قرار دارند.

اشاره به scope: همه ماژول‌های بخش ۷-۶ تا ۷-۹ و ردیف‌های Opt-A/Opt-B/Opt-C خارج از scope پایان‌نامه و صرفاً کار آینده‌اند.

انگیزه: دانشجو پیش‌زمینه پژوهشی در ناوبری پهپاد دارد؛ تعمیم SGDA به دامنه هوایی امکان آزمون این فرض را فراهم می‌کند که قاعده تجمیع آگاه از سختی به یک حوزه کاربردی خاص محدود نیست و در رژیم‌های با اختلال شدیدتر نیز قابلیت انتقال دارد — پلی طبیعی به پژوهش دکتری در سیستم‌های چندعاملی ایمن.

چگونگی و قید صادقانه: بازآموزی سیاست در شبیه‌ساز پرواز، تعریف مجدد فضای عمل (RPM چهار موتور) و حالت (وضعیت شش‌درجه-آزادی)، و کالیبراسیون مجدد وزن‌های $D_i$. لازم به تأکید است که پیگیری این مسیر به دسترسی به گروه میزبان، بودجه محاسباتی و راهنمایی تخصصی در دوره دکتری بستگی دارد و خارج از scope پایان‌نامه حاضر است.

انگیزه: در استقرار واقعی ناوگان خودرویی، با وجود اینکه trajectory خام منتقل نمی‌شود، gradient‌های ارسالی ممکن است اطلاعات مسیر، مقصد یا الگوی تردد کاربر را افشا کنند؛ این در ناوگان تجاری و زیرساخت حمل‌ونقل حساس است.

چگونگی پیاده‌سازی: ترکیب سیاست سفارشی Flower با پروتکل Bonawitz-style (masked aggregation) [۷]، همراه با Gaussian noise mechanism با بودجه $ε=1–5$. برآورد یک مقاله مستقل + ۳–۶ ماه کار.

انگیزه: چارچوب فعلی SGDA مفروض می‌گیرد کلاینت‌ها صادق هستند؛ در استقرار واقعی، یک خودرو با سنسور خراب یا نرم‌افزار تحریف‌شده می‌تواند کل تجمیع را دچار انحراف کند.

چگونگی: جایگزینی میانگین وزنی با geometric median + filter کلاینت‌های نامنطبق با توزیع نرمال. ارزیابی تحت سناریوهای حمله مصنوعی با $f ≤ K/3$ مهاجم. این خود محور یک تز مستقل است.

انگیزه: کاربرد واقعی شامل ناوگان مختلط است (مثال: تحویل سبک + پایش سنگین)؛ تجمیع ناآگاه از ناهمگنی باعث انتقال منفی دانش بین کلاس‌ها می‌شود (متریک NTI).

چگونگی: تعریف بردار مشخصه پلتفرم $\psi_i ∈ ℝ^m$ (جرم، توان محرکه، فاصله محور)، وزن‌دهی تجمیع متناسب با $\cos(ψ_i, ψ_j)$. گزارش per-class SR/CR و متریک NTI برای سنجش انتقال دانش بین کلاس‌ها.

انگیزه: این پایان‌نامه محدود به شبیه‌سازی است؛ مسیر طبیعی بعدی، ارزیابی پایداری سیاست‌ها تحت دینامیک واقعی تایر-جاده، واکنش‌های actuator، و نویز حسگر واقعی است.

چگونگی: (الف) سیاست‌های نهایی با randomization پارامترهای دینامیک (mass 10%, drag 20%, motor delay) بازآموزی می‌شوند؛ (ب) آزمایش روی پلتفرم خودروی مقیاس‌شده مانند F1TENTH یا خودروی پژوهشی. در صورت دسترسی به آزمایشگاه اختصاصی.

انگیزه: کاهش هزینه ارتباطی و محاسباتی در شبکه‌های بزرگ $K>100$، بدون از دست دادن دقت. ادبیات FedCS [۲۹]، Power-of-Choice [۳۰] و Oort [۳۱] چارچوب‌های پایه فراهم می‌کند.

چگونگی: ترکیب معیار ایمنی (SGDA) با utility مدل Oort (خروجی موفقیت) و زمان‌بندی FedCS (deadline-aware). یک آزمایش مستقل برای سنجش چگونگی ترکیب این سه معیار لازم است.

انگیزه: در کاربردهای safety-critical، کنترل تجربی کافی نیست؛ برای نسخه‌های ایمنی-بحرانی باید کران‌های رسمی (شبیه به Achiam’s trust region constraint) برای رعایت قید اثبات شوند.

چگونگی: این محور از سطح پایان‌نامه ارشد فراتر است و نیاز به پابلیکیشن مستقل در venue نظری (ICML/NeurIPS theory track) دارد. فقط به عنوان direction ثبت می‌شود.

انگیزه: هیئت داوری معمولاً می‌پرسد: «چرا کلاینت $X$ وزن کم گرفت؟» — پاسخ این سؤال را ۷-۴-۳ در متن اصلی می‌دهد. محور حاضر برای تحلیل safety-critical تصمیمات خود سیاست کاربردی است.

چگونگی: XAI در RL یک مسئلهٔ باز است چون سیاست تابعی از توالی است و saliency map‌ها خود قابل تفسیر نیستند؛ خروجی طبیعی، مقالهٔ مستقل است (نه بخشی از ablationهای این پایان‌نامه).

انگیزه: در ناوگان واقعی خودرو، یادگیری از رخدادهای پرخطر برای کل ناوگان ارزشمند است. متریک‌های پیشنهادی: Hazard Avoidance Success Rate و False Alarm Rate.

چگونگی: رخداد near-miss با همان تعریف باینری آستانه‌ای ثبت می‌شود، اما شدت hazard به‌صورت پیوسته از کمینهٔ فاصله و TTC (پس از نرمال‌سازی و clipping) وزن می‌گیرد؛ بنابراین ادعای «سیگنال graded» به شدت نقشه مربوط است، نه خود indicator رخداد. اتکا به crash به‌تنهایی با رخدادهای کم‌تعداد و ابهام میان خطای محیطی و اختلال داخلی روبه‌روست و به مطالعه‌ای مستقل نیاز دارد.

۱۲ملاحظات اخلاقی، حقوقی و حریم خصوصی #

این پژوهش بر مبنای شبیه‌سازی انجام می‌شود و داده انسانی/پزشکی یا اطلاعات شخصی واقعی گردآوری نمی‌کند. بنابراین، در نسخه حاضر، حریم خصوصی یک انگیزه deployment-oriented برای توسعه‌های آینده است، نه یک claim تجربی درباره داده حساس واقعی. با این حال، از آنجا که انگیزه یکی از بخش‌های مسئله، کاهش وابستگی به معماری‌های متمرکز و هم‌راستایی با الزامات حفاظت از داده است، در گزارش نهایی به اصول کلی GDPR و محدودیت‌های امنیتی FL اشاره خواهد شد.

در صورت توسعه آتی در محیط واقعی، استفاده از تکنیک‌هایی مانند Secure Aggregation برای محافظت از به‌روزرسانی‌های مدل و کاهش ریسک افشای اطلاعات توصیه می‌شود.

مسیر آتی وسایل نقلیه هوایی بدون سرنشین در این سند منحصراً به ناوبری، پایش، بازرسی و کاربردهای مدنی غیرتسلیحاتی محدود است. این پژوهش برای هدف‌گیری، تسلیح، هدایت رزمی یا کاربردهای آسیب‌رسان طراحی نمی‌شود و هر توسعهٔ بعدی باید ارزیابی مستقل ایمنی، حقوقی و اخلاقی داشته باشد.

۱۳فهرست منابع #