اعتبارسنج مدل‌های هوش مصنوعی
AI Model Validator
«مهندس ارزیابی و اعتبارسنجی مدل» (Model Validation Engineer) عنوان شغلی رایجی نیست: در جستجوی آگهی‌ها در اکتبر ۲۰۲۶ آگهی بازی با این عنوان انگلیسی پیدا نکردیم. خودِ کار اما واقعی است و بانک‌ها، فین‌تک‌ها و بیمه‌ها آن را با عنوان‌هایی مثل AI Model Validator (در BNP Paribas)، Risk, AI Model Validation (در Goldman Sachs)، Lead Analyst - Model Validation و Model Validation Manager (در Starling)، Credit Model Validation Manager (در Monzo)، Model Risk Management Lead, Machine Learning (در Affirm) و Model Risk Manager (در Mercury) آگهی می‌کنند. اعتبارسنج مدل در «خط دوم دفاع» کار می‌کند: مدل‌هایی را که تیم‌های دیگر برای اعتبارسنجی وام، تشخیص تقلب، مبارزه با پول‌شویی، قیمت‌گذاری یا عملیات ساخته‌اند، مستقل از سازندهٔ آن‌ها می‌آزماید، محدودیت‌ها و ایرادها را در گزارش می‌نویسد و تا رفع آن‌ها پیگیری می‌کند. سهم مدل‌های یادگیری ماشین و AI مولد در این کار رو به افزایش است. اگر منظورتان ساختن ابزار ارزیابی (eval) برای محصولات LLM است، آن کار در صفحهٔ «مهندس نرم‌افزار مشاهده‌پذیری و ارزیابی هوش مصنوعی» آمده است.
مقدمه و تعریف شغل
اعتبارسنج مدل (Model Validator) بررسی می‌کند که مدلی که سازمان برای تصمیم‌های مهم به کار می‌برد، واقعاً همان کاری را می‌کند که قرار است، و محدودیت‌هایش کجاست. راهنمای تازهٔ ریسک مدل بانک‌های آمریکا (SR 26-2) اعتبارسنجی را ارزیابی این می‌داند که مدل‌ها همان‌طور که انتظار می‌رود عمل می‌کنند، همراه با سنجش قابلیت اتکا و محدودیت‌هایشان، و سه جزء برایش برمی‌شمارد: درستی مفهومی (conceptual soundness)، تحلیل نتایج (outcomes analysis) و پایش مستمر. اعتبارسنج در واحد مدیریت ریسک مدل (Model Risk Management) و مستقل از تیم سازنده کار می‌کند؛ Monzo تیمش را «خط دوم دفاع» می‌نامد که بر تیم‌های توسعهٔ مدل در خط اول نظارت مستقل و چالش فراهم می‌کند. خروجی کار گزارشی است که می‌گوید مدل برای کاربردش مناسب است یا نه، چه ایرادهایی باید رفع شود و تا آن موقع با چه محدودیتی می‌شود از آن استفاده کرد.
قاعدهٔ اصلی این کار در بانک‌های آمریکا پانزده سال راهنمای SR 11-7 بود که آوریل ۲۰۱۱ صادر شد. در ۱۷ آوریل ۲۰۲۶ فدرال رزرو، OCC و FDIC راهنمای بازنگری‌شده‌ای منتشر کردند (SR 26-2) که جای SR 11-7 را گرفت و بر رویکردی متناسب با ریسک و اندازهٔ هر بانک تأکید دارد؛ طبق متن آن، کیفیت اعتبارسنجی به دقت و اثربخشی بررسی بستگی دارد، نه به ساختار سازمانی. این راهنما مدل‌های AI مولد و ایجنتی را از دامنهٔ خود بیرون گذاشته، چون آن‌ها را «نوظهور و به‌سرعت در حال تغییر» می‌داند، اما اصولش را برای مدل‌های آماری سنتی و مدل‌های AI غیرمولد به کار می‌برد. در بریتانیا PRA در بیانیهٔ SS1/23، که از ۱۷ مه ۲۰۲۴ اجرایی شد، «اعتبارسنجی مستقل مدل» را یکی از پنج اصل مدیریت ریسک مدل گذاشته است. آگهی‌های ۲۰۲۶ تغییر محتوای کار را نشان می‌دهند: Starling می‌نویسد تمرکز تیمش بیش از پیش بر بررسی دقیق تکنیک‌های پیشرفتهٔ AI و ML است، Monzo یک مدیر ارشد جدا برای اعتبارسنجی موارد استفادهٔ AI مولد استخدام می‌کند و Goldman Sachs در گروه ریسک مدل خود آگهی جداگانه‌ای برای اعتبارسنجی مدل‌های AI داده است.
چه چیزی می‌سازید؟
مثال‌های واقعی از خروجی کار یک اعتبارسنج مدل‌های هوش مصنوعی
گزارش اعتبارسنجی
در آگهی Monzo، اعتبارسنج گزارش‌های روشن و اثرگذار می‌نویسد و یافته‌ها و اقدام‌های لازم را در کمیته‌های مربوط ارائه می‌کند. Starling هم نوشتن مقالهٔ کمیته و ارائهٔ یافته‌ها به مدیران ارشد را جزو کار آورده است.
مدل رقیب و مدل محک
Monzo از اعتبارسنج می‌خواهد در صورت لزوم مدل رقیب (challenger) بسازد تا فرض‌های مدل اصلی را بیازماید و نتیجه‌گیری اعتبارسنجی را محکم‌تر کند. Goldman Sachs هم برای مدل‌های AI روش‌ها و مدل‌های محک اختصاصی می‌خواهد.
آزمون‌های عملکرد و حساسیت
Mercury روش‌شناسی، فرض‌ها، کیفیت و منشأ داده، پیاده‌سازی و عملکرد هر مدل را با outcomes analysis، benchmarking، back-testing و sensitivity testing، به تناسب ریسک و اهمیت مدل، می‌سنجد. M&T آزمون استرس را هم به این فهرست اضافه می‌کند.
بازبینی پایش مستمر
Mercury برنامه و نتایج پایش را بازبینی می‌کند: آستانه‌های عملکرد، overrideها، data drift، تغییرات مدل و شرایطی که مدل را دیگر مناسب کاربردش نمی‌کند. The Mutual Group اعتبارسنجی سیستم‌های AI را سالی دو بار تکرار می‌کند و مدل‌ها را از نظر drift، پایداری و افت عملکرد پایش می‌کند.
ارزیابی مدل‌های فروشنده
Mercury مدل‌ها و محصولات تحلیلی شرکت‌های دیگر را از نظر مستندات، شفافیت، عملکرد، محدودیت‌ها، سفارشی‌سازی و امکان پایش و کنترل استفاده از آن‌ها ارزیابی می‌کند. SR 26-2 هم یادآوری می‌کند که بانک ممکن است کد، داده یا روش‌شناسی مدل فروشنده را دریافت نکند، اما اصول مدیریت ریسک مدل همچنان برقرار است.
روش‌ها و playbook اعتبارسنجی AI مولد
مدیر ارشد اعتبارسنجی Gen AI در Monzo روش‌های اعتبارسنجی، شواهد مورد انتظار و ابزارهای فنی قابل استفادهٔ مجدد را تعیین می‌کند، تجربهٔ مدل‌سازی را به playbook، آزمون و نمونه‌های کاری تبدیل می‌کند و این روش‌ها را به همکاران خط دوم که پیشینهٔ یادگیری ماشین دارند آموزش می‌دهد.
تخصص‌های مختلف اعتبارسنج مدل‌های هوش مصنوعی
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
اعتبارسنجی مدل‌های اعتباری
Credit Model Validation
مدل‌های اعطای وام و ریسک اعتباری: scorecardها، مدل‌های PD، مدل‌های NPV و مدل‌های IFRS 9 و آزمون استرس در Monzo؛ مدل‌های یادگیری ماشین اعطای اعتبار و ریسک اعتباری در Affirm؛ و CECL در Mercury.
مدل‌های تقلب و جرائم مالی
Fraud, AML & Financial Crime Models
مدل‌های تشخیص تقلب (Affirm) و BSA/AML، از جمله مدل‌های پیچیدهٔ فروشندگان مثل Alloy و Firco (Mercury). M&T هم اعتبارسنجی مدل‌های امنیت سایبری را ترجیح می‌دهد.
مدل‌های بازار، قیمت‌گذاری و سرمایه
Market & Pricing Model Validation
مدل‌های ارزش‌گذاری مشتقه، مدیریت ریسک، نقدینگی و محاسبهٔ سرمایه در بانک‌های سرمایه‌گذاری (گروه ریسک مدل Goldman Sachs)؛ BNP Paribas برای مدل‌های تیم Global Markets آشنایی با محصولات و استراتژی‌های معاملاتی را می‌خواهد. این شاخه به کار پژوهشگران کمّی نزدیک‌تر است.
اعتبارسنجی مدل‌های AI و AI مولد
AI & GenAI Model Validation
مدل‌های یادگیری عمیق، NLP، LLM و RAG: M&T اعتبارسنجی با تمرکز بر AI مولد و AI/ML را می‌خواهد، Monzo روش‌های اعتبارسنجی موارد استفادهٔ AI مولد را می‌سازد و BNP Paribas آشنایی با سیستم‌های ایجنتی را.
حاکمیت ریسک مدل
Model Risk Governance
نگه‌داری فهرست کامل مدل‌ها با مالک، رتبهٔ ریسک، وابستگی‌ها، محدودیت‌ها، وضعیت اعتبارسنجی و ایرادهای باز، گزارش‌دهی به کمیته‌ها و بهبود سیاست‌ها؛ در Mercury بخشی از همین نقش است و Starling هم مشارکت در توسعهٔ چارچوب حاکمیت ریسک مدل و AI را از مدیر اعتبارسنجی می‌خواهد. در شرکت‌های بزرگ‌تر بخشی از این کار نقش جداگانه‌ای است؛ مثلاً Goldman Sachs برای اداره کمیتهٔ نظارت بر AI و فهرست استفاده‌های AI آگهی جدایی دارد.
تفاوت با شغل‌های مشابه
کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟
توسعه‌دهنده در خط اول مدل را می‌سازد و مالک آن است؛ اعتبارسنج در خط دوم، مستقل از او، همان مدل را به چالش می‌کشد. مهارت‌ها تقریباً یکی‌اند و آگهی‌ها هر دو سابقه را می‌پذیرند: Affirm «توسعهٔ مدل، اعتبارسنجی مدل یا علم داده» را تجربهٔ مرتبط می‌داند و Goldman Sachs سابقه به‌عنوان توسعه‌دهندهٔ مدل یا پژوهشگر داده را. فرق در جایگاه است: اعتبارسنج باید درک خودش از مدل را مستقل از سازنده و با جمع کردن شواهد و تحلیل داده بسازد (آگهی Mercury) و رفع یافته‌ها را همراه مالک مدل پیگیری کند. برای بسیاری از کسانی که امروز مدل می‌سازند، این نزدیک‌ترین مسیر ورود است.
Goldman Sachs در همان گروه مدیریت ریسک مدل این دو کار را با دو آگهی جدا استخدام می‌کند. نقش AI Risk (سطح Analyst/Associate) کمیتهٔ نظارت بر AI را اداره می‌کند، ارزیابی و فرایند تأیید ریسک AI را پیش می‌برد، فهرست کل استفاده‌های AI در شرکت را نگه می‌دارد و چارچوب حاکمیت AI را طراحی می‌کند؛ مهارت برنامه‌نویسی در آن «ترجیحی» است. نقش AI Model Validation (سطح VP) خودِ مدل را مستقل می‌آزماید، از دقت و توضیح‌پذیری تا استحکام، و مدل محک می‌سازد؛ دکترا در آن ترجیح دارد. تحلیل‌گر ریسک بیشتر به پرسش «چه ریسک‌هایی، با چه کنترلی» می‌پردازد و اعتبارسنج به «این مدل خاص درست کار می‌کند یا نه».
متخصص انطباق از تعهدات قانونی شروع می‌کند و آن‌ها را به کنترل و شاهد تبدیل می‌کند؛ اعتبارسنج درستی آماری و فنی خود مدل را می‌سنجد. صفحهٔ متخصص انطباق هم همین مرز را از آگهی Mercury نقل می‌کند: تیم مدیریت ریسک مدل مالک فهرست، رده‌بندی و اعتبارسنجی مدل‌هاست و مشاور انطباق از نتایج آن استفاده می‌کند. آگهی Model Risk Manager همان شرکت هم از اعتبارسنج می‌خواهد با تیم‌های Data و AI Governance مرز و نحوهٔ تحویل کار بین مدیریت ریسک مدل سنتی و حاکمیت AI مولد و ایجنتی را روشن کند.
مهندس observability و eval عضو تیم سازنده است و ابزار و pipeline اندازه‌گیری می‌سازد تا تیم محصول کیفیت، هزینه و رفتار برنامه‌های LLM را ببیند؛ کارش مهندسی نرم‌افزار است. اعتبارسنج مدل مستقل از تیم سازنده دربارهٔ مناسب بودن مدل برای کاربردش و محدودیت‌هایش نظر می‌دهد و نتیجه را به کمیته‌های ریسک و ناظران گزارش می‌کند. در AI مولد دو کار به هم نزدیک می‌شوند: Monzo از مدیر ارشد اعتبارسنجی Gen AI تجربه در طراحی چارچوب‌ها، روش‌ها و ابزار عملی ارزیابی AI مولد را می‌خواهد.
تأثیر در صنایع مختلف
اعتبارسنج مدل‌های هوش مصنوعی در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری
بانک‌های تجاری آمریکا
M&T اعتبارسنج ارشدی می‌خواهد که اعتبارسنجی چند خانوادهٔ مدل را با تمرکز بر AI مولد و AI/ML از ابتدا تا انتها پیش ببرد و با خطوطی مثل فناوری و امنیت سایبری، ریسک اعتباری، مالی و مدیریت ثروت کار کند
بانکداری سرمایه‌گذاری
گروه ریسک مدل Goldman Sachs بر مدل‌های ارزش‌گذاری مشتقه، مدیریت ریسک، نقدینگی و سرمایه نظارت مستقل دارد و BNP Paribas مدل‌های AI تیم‌های Global Markets و Global Banking را اعتبارسنجی می‌کند
وام‌دهی فین‌تک (خرید اقساطی)
Affirm مدل‌های یادگیری ماشینی را که برای اعطای اعتبار، ریسک اعتباری و تشخیص تقلب به کار می‌رود، با اعتبارسنجی و پایش مستمر به چالش می‌کشد
بانک‌های دیجیتال
Monzo مدل‌های تصمیم‌گیری اعتباری و موارد استفادهٔ AI مولد در بخش عملیات را اعتبارسنجی می‌کند و Starling سبد رو به گسترش مدل‌های AI/ML را در کنار مدل‌های IFRS 9، پیش‌بینی و ریسک عملیاتی
فین‌تک بانکداری کسب‌وکار
Mercury، که خود را برای تبدیل شدن به بانک تحت نظارت آماده می‌کند، مدل‌های اعتباری، تقلب، BSA/AML، CECL، نقدینگی، قیمت‌گذاری و عملیات را اعتبارسنجی می‌کند
بیمه
The Mutual Group مدل‌های پیش‌بینی را که بر صدور بیمه‌نامه، خسارت و تصمیم‌گیری اثر دارند اعتبارسنجی می‌کند و همسویی آن‌ها را با انتظارات NAIC و شیوه‌های مدیریت ریسک مدل می‌سنجد
تصورات غلط رایج
قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید
اعتبارسنجی کار اداری و تیک زدن چک‌لیست است
آگهی‌ها کار فنی دست‌به‌کد می‌خواهند. Monzo می‌نویسد کار مستقیم با داده حیاتی است و SQL و Python قوی ضروری است، و از اعتبارسنج می‌خواهد در صورت لزوم مدل رقیب بسازد. Goldman Sachs ساخت مدل محک می‌خواهد و Mercury کسی که درکش از مدل را مستقل از سازنده، با جمع کردن شواهد و تحلیل داده، بسازد.
بدون دکترا وارد این کار نمی‌شوید
به کارفرما بستگی دارد. Goldman Sachs دکترا را در «شرایط ترجیحی» آورده و BNP Paribas کارشناسی ارشد یا دکترا می‌خواهد، اما Mercury کارشناسی در آمار، ریاضی، فیزیک، علوم کامپیوتر، مهندسی یا مهندسی مالی را کافی می‌داند و ارشد یا دکترا را ترجیح می‌دهد، و Starling تحصیلات دانشگاهی ترجیحاً در رشته‌ای عددی «یا تجربهٔ کاری معادل» را می‌پذیرد.
اعتبارسنجی یک بار، پیش از راه‌اندازی مدل انجام می‌شود
SR 26-2 پایش مستمر را یکی از سه جزء اعتبارسنجی می‌داند و The Mutual Group اعتبارسنجی سیستم‌های AI را سالی دو بار تکرار می‌کند. همین راهنما می‌پذیرد که گاهی، مثلاً به دلیل نیاز فوری کسب‌وکار، مدل پیش از اتمام اعتبارسنجی به کار می‌رود؛ آن وقت باید به محدودیت‌های مدل توجه بیشتری شود و کنترل‌هایی مثل محدود کردن استفاده یا پایش نزدیک‌تر گذاشته شود.
با SR 26-2، AI مولد از کار اعتبارسنج بیرون رفت
این راهنما مدل‌های AI مولد و ایجنتی را از دامنهٔ خود بیرون گذاشته، اما صریحاً می‌گوید شیوه‌های مدیریت ریسک و حاکمیت بانک باید کنترل‌های مناسب را برای ابزارهای خارج از این دامنه هم تعیین کنند. بازار هم همین را نشان می‌دهد: Monzo یک مدیر ارشد برای اعتبارسنجی AI مولد استخدام می‌کند، M&T دانش LLM، RAG و NLP می‌خواهد و BNP Paribas تجربه با LangChain یا LangGraph.
اعتبارسنج رقیب تیم سازنده است و کارش ترمز زدن است
Mercury موفقیت این نقش را چنین تعریف می‌کند که مالکان مدل تیم ریسک مدل را شریکی دقیق و سازنده ببینند که تصمیم‌ها را بهتر می‌کند، بدون اصطکاک غیرضروری. Monzo «چالش مؤثر و محترمانه» همراه با رابطهٔ قابل اعتماد می‌خواهد. SR 26-2 هم برای چالش مؤثر، علاوه بر تخصص و استقلال، جایگاه و نفوذ کافی برای ایجاد تغییر را لازم می‌داند.
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
جونیور (۰–۲ سال)
بیشتر وقت صرف فهمیدن مدل‌هایی می‌شود که دیگران ساخته‌اند و اجرای آزمون‌ها زیر نظر یک اعتبارسنج ارشد. M&T در آگهی سطح ارشدش از فرصت منتورینگ تحلیلگران جونیور نام می‌برد؛ یعنی این سطح در تیم‌ها وجود دارد.
- ◆بازاجرای کد و نتایج سازندهٔ مدل برای اطمینان از قابل تکرار بودن
- ◆بررسی کیفیت و نمایندگی دادهٔ آموزش و آزمون
- ◆محاسبهٔ معیارهای عملکرد و پایداری در دوره‌ها و زیرگروه‌های مختلف
- ◆نوشتن پیش‌نویس بخش‌هایی از گزارش اعتبارسنجی
میانی (۲–۵ سال)
اعتبارسنجی چند مدل را از ابتدا تا انتها هدایت می‌کنید، با سازندگان و مالکان مدل جلسه دارید و یافته‌ها را تا رفع پیگیری می‌کنید. آگهی M&T برای این سطح مدیریت هم‌زمان چند پروژهٔ اعتبارسنجی را می‌خواهد.
- ◆طراحی برنامهٔ اعتبارسنجی متناسب با ریسک و اهمیت مدل
- ◆ساخت مدل رقیب و اجرای back-testing و sensitivity analysis
- ◆جلسه با تیم سازنده برای بحث دربارهٔ فرض‌ها و یافته‌ها
- ◆نوشتن گزارش و ارائهٔ نتیجه در کمیتهٔ ریسک مدل
ارشد (۵+ سال)
نقطهٔ ارجاع برای اعتبارسنجی‌های دشوار و گفتگوهای سخت با مدیران ارشد هستید (آگهی Starling)، روش‌های اعتبارسنجی را برای مدل‌های تازه تعیین می‌کنید و ریسک کلی مدل‌ها را برای کمیته‌ها گزارش می‌دهید.
- ◆بازبینی گزارش‌های اعتبارسنجی تیم پیش از ارسال به کمیته
- ◆تعیین روش و شواهد مورد انتظار برای اعتبارسنجی موارد استفادهٔ AI مولد
- ◆پاسخ به پرسش‌های ناظران و حسابرسی داخلی
- ◆آموزش و منتورینگ اعتبارسنج‌های جوان‌تر
مسئولیت‌ها و وظایف
مسئولیت‌های اصلی
وظایف روزانه و مهارت‌های مورد نیاز در این شغل
- ◈اعتبارسنجی مستقل مدل‌های ساخت داخل و مدل‌های فروشندگان، از اعتباری و تقلب تا مبارزه با پول‌شویی، نقدینگی و قیمت‌گذاری
- ◈بررسی طراحی، فرض‌ها، کیفیت و منشأ داده، پیاده‌سازی و عملکرد مدل با آزمون‌هایی مثل outcomes analysis، benchmarking، back-testing و sensitivity testing
- ◈ساخت مدل رقیب یا مدل محک برای آزمودن فرض‌ها و کمّی کردن ریسک انتخاب مدل
- ◈ارزیابی توضیح‌پذیری، سوگیری و عدالت، و استحکام مدل‌های یادگیری ماشین و AI
- ◈بازبینی برنامه و نتایج پایش مستمر: آستانه‌های عملکرد، drift داده، تغییرات مدل و شرایطی که مدل را دیگر مناسب کاربردش نمی‌کند
- ◈نوشتن گزارش اعتبارسنجی روشن، ثبت یافته‌ها و پیگیری رفع آن‌ها با مالک مدل
- ◈چالش مؤثر و محترمانه با سازندگان و مالکان مدل، از جمله مدیران ارشد، با حفظ رابطهٔ کاری
- ◈ارائهٔ یافته‌ها در کمیته‌های ریسک مدل و به مدیران ارشد، و پشتیبانی از بازرسی ناظران و حسابرسی داخلی
- ◈بهبود سیاست‌ها، استانداردها و قالب‌های مدیریت ریسک مدل و به‌روز نگه داشتن آن‌ها با مقررات و فنون تازه
مهارت‌های مورد نیاز
مهارت‌های فنی، نرم و حوزه‌ای که یک اعتبارسنج مدل‌های هوش مصنوعی موفق به آن‌ها نیاز دارد
مهارت‌های فنی
BNP Paribas دانش آماری برای مدل‌سازی پیش‌بینی، تحلیل سری زمانی و استنباط آماری می‌خواهد؛ پایهٔ قضاوت دربارهٔ اینکه نتیجهٔ یک آزمون معنادار است یا نه
Starling درک عمیق الگوریتم‌های پیشرفته را لازم می‌داند تا بتوانید سازنده را به چالش بکشید؛ Mercury از XGBoost و random forest نام می‌برد
برای بازسازی و آزمودن مدل؛ در همهٔ آگهی‌های بررسی‌شده آمده است
Monzo آن را ضروری می‌داند و Affirm کار با دادهٔ حجیم با SQL را می‌خواهد
outcomes analysis، benchmarking، back-testing، sensitivity analysis و آزمون استرس (آگهی‌های Mercury و M&T)
scorecard، PD، NPV و IFRS 9 در Monzo، اعطای اعتبار در Affirm و CECL در Mercury
Goldman Sachs توضیح‌پذیری را جزو معیارهای اعتبارسنجی AI آورده و Monzo می‌خواهد مدل‌ها توضیح‌پذیر باشند
Mercury کیفیت و lineage داده را می‌سنجد و The Mutual Group کیفیت و نمایندگی دادهٔ آموزش و آزمون را
The Mutual Group پایش drift، پایداری و افت عملکرد را می‌خواهد و Mercury بازبینی آستانه‌ها و data drift را
M&T دانش LLM، RAG و NLP را ترجیح می‌دهد و Monzo تجربهٔ طراحی چارچوب ارزیابی AI مولد را می‌خواهد
در برخی تیم‌ها هنوز رایج‌اند؛ Starling از Python، R، SQL و SAS نام برده است
مهارت‌های نرم
Monzo گزارش اعتبارسنجی روشن و اثرگذار می‌خواهد و BNP Paribas مهارت نوشتن مستندات فنی باکیفیت را
Monzo «چالش مؤثر و محترمانه» و Mercury چالش سازنده با مالکان مدل، از جمله مدیران ارشد، را می‌خواهند
Starling ارائهٔ یافته‌ها به مدیران ارشد و در کمیته‌ها را جزو کار آورده است
Mercury می‌خواهد بتوانید ریسک مدل را هم برای دانشمند داده و هم برای ناظر توضیح دهید و برای هر کدام زبان متفاوتی به کار ببرید
Mercury تشخیص ریسک مهم از موارد کم‌اهمیت را می‌خواهد؛ SR 26-2 هم دقت اعتبارسنجی را متناسب با کاربرد و اهمیت مدل می‌داند
دانش حوزه‌ای
SR 26-2 (Mercury، BNP Paribas، M&T)، SR 11-7 (BNP Paribas، M&T) و رهنمودهای EBA، CRR و قواعد PRA (Starling)
Mercury مدل‌های پیچیدهٔ فروشندگان را ارزیابی می‌کند و The Mutual Group FactSheetها و مستندات فنی فروشنده را بررسی می‌کند
The Mutual Group آشنایی با بولتن مدل AI نهاد NAIC و NIST AI RMF را می‌خواهد
BNP Paribas آشنایی با محصولات و استراتژی‌های معاملاتی را می‌خواهد و Monzo درک اینکه مدل‌ها در تصمیم‌گیری لحظه‌ای و استراتژی وام‌دهی چطور به کار می‌روند
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به اعتبارسنج مدل‌های هوش مصنوعی
این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.
پایه: آمار، Python و SQL
اعتبارسنج باید بتواند کار سازندهٔ مدل را خودش از نو اجرا و وارسی کند. آگهی Monzo می‌نویسد کار مستقیم با داده حیاتی است و تسلط قوی به SQL و Python ضروری است؛ BNP Paribas هم دانش آماری برای مدل‌سازی پیش‌بینی، تحلیل سری زمانی و استنباط آماری می‌خواهد. آمار را جدی بگیرید: آزمون فرض، بازهٔ اطمینان، رگرسیون و سنجش خطای پیش‌بینی زبان روزمرهٔ این کار است.
مدل‌هایی که بانک‌ها و فین‌تک‌ها واقعاً به کار می‌برند
پیش از آنکه بتوانید مدلی را به چالش بکشید، باید ساختن آن را بلد باشید. آگهی Mercury اعتبارسنجی یا توسعهٔ مدل با روش‌هایی مثل یادگیری ماشین (XGBoost، random forest) و scorecard را می‌خواهد و Monzo روی scorecardها، مدل‌های PD برای اعطای وام و مدل‌های NPV تمرکز دارد. یک scorecard اعتباری و یک مدل gradient boosting روی دادهٔ عمومی بسازید و آن‌ها را با هم مقایسه کنید.
چارچوب ریسک مدل و مقررات
متن اصلی را خودتان بخوانید، نه خلاصه‌اش را. در آمریکا راهنمای SR 26-2 از آوریل ۲۰۲۶ جای SR 11-7 را گرفته و سه جزء اعتبارسنجی را برمی‌شمارد: درستی مفهومی، تحلیل نتایج و پایش مستمر. در بریتانیا PRA در SS1/23 «اعتبارسنجی مستقل مدل» را اصل چهارم از پنج اصل مدیریت ریسک مدل گذاشته است. آگهی Mercury دانش SR 26-2 را شرط کرده و BNP Paribas آشنایی با SR26-2 یا SR11-7 را؛ Starling هم آشنایی با رهنمودهای EBA، CRR و قواعد PRA را امتیاز می‌داند.
فنون اعتبارسنجی: تفسیرپذیری، استحکام، عدالت و پایش
اینجا کار اصلی اعتبارسنج است. Goldman Sachs اعتبارسنجی مدل‌های AI را از نظر دقت، توضیح‌پذیری، طراحی مدل و استحکام الگوریتمی می‌خواهد؛ The Mutual Group سوگیری و عدالت، تفسیرپذیری و حالت‌های مرزی را؛ و Mercury آزمون‌هایی مثل outcomes analysis، benchmarking، back-testing و sensitivity testing را. PiML، که Agus Sudjianto و همکارانش ساخته‌اند، بسیاری از این آزمون‌ها (نقاط ضعف، overfitting، قابلیت اطمینان، استحکام، عدالت) را یکجا دارد.
اعتبارسنجی AI مولد و ایجنت‌ها
SR 26-2 مدل‌های AI مولد و ایجنتی را از دامنهٔ خود بیرون گذاشته، اما بانک‌ها همچنان باید برای آن‌ها کنترل و حاکمیت تعیین کنند و آگهی‌ها این مهارت را می‌خواهند: M&T دانش LLM، RAG و NLP، Monzo تجربهٔ طراحی چارچوب ارزیابی AI مولد، و BNP Paribas تجربه با LangChain یا LangGraph و آشنایی با سیستم‌های ایجنتی. چارچوب‌های NIST نقطهٔ شروع مشترکی برای دسته‌بندی ریسک‌ها می‌دهند و Inspect ابزاری برای ساختن آزمون است.
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت
زبان و داده
زبان اصلی تحلیل و بازسازی مدل؛ در همهٔ آگهی‌های بررسی‌شده آمده است و Goldman Sachs کتابخانه‌های NumPy، Pandas، TensorFlow و PyTorch را نام برده است
خواندن دادهٔ خام مدل بدون واسطهٔ سازنده؛ Monzo برای مدل‌سازی داده از dbt و BigQuery SQL استفاده می‌کند و Affirm کار با دادهٔ حجیم با SQL را می‌خواهد
مدل‌سازی یادگیری ماشین
مدل‌های کلاسیک، معیارهای ارزیابی و ابزار calibration؛ Affirm آن را در کنار pyspark نام برده است
gradient boosting روی داده‌های جدولی؛ Mercury آن را در کنار random forest مثال روش‌های یادگیری ماشینی آورده که باید اعتبارسنجی کنید
gradient boosting سریع؛ BNP Paribas تخصص در LightGBM، TensorFlow یا PyTorch را برای ارزیابی معماری مدل‌ها می‌خواهد
اعتبارسنجی، تفسیرپذیری و عدالت
جعبه‌ابزار متن‌باز برای توسعه و اعتبارسنجی مدل‌های تفسیرپذیر، با آزمون‌های دقت، توضیح‌پذیری، عدالت، نقاط ضعف، overfitting، قابلیت اطمینان و استحکام؛ نسخهٔ بعدی آن MoDeVa است
سنجش تفاوت عملکرد مدل بین گروه‌ها؛ The Mutual Group ارزیابی سوگیری و عدالت را جزو ریسک‌های اصلی آورده است
پایش، مستندسازی و ارزیابی AI مولد
ابزار متن‌باز برای ارزیابی و پایش مدل‌های ML و LLM؛ برای بررسی drift و افت عملکرد پس از استقرار
چارچوب ارزیابی مدل‌های زبانی از UK AI Security Institute؛ برای ساختن آزمون‌های قابل تکرار روی LLM و ایجنت
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید
Model Validation Analyst / Associate
۰ تا ۳ سال
اجرای بخش‌هایی از اعتبارسنجی زیر نظر اعتبارسنج ارشد: بازاجرای کد سازنده، بررسی کیفیت داده، محاسبهٔ معیارهای عملکرد و نوشتن بخش‌هایی از گزارش
Senior Model Validation Analyst / Lead Analyst
۳ تا ۵ سال
هدایت کامل اعتبارسنجی چند خانوادهٔ مدل، ساخت مدل رقیب، نوشتن گزارش و ارائهٔ یافته‌ها؛ M&T برای این سطح ۴ سال سابقه و مدرک ارشد یا دکترا می‌خواهد
Model Validation Manager / Model Risk Manager
۵+ سال
نقطهٔ ارجاع برای اعتبارسنجی‌های دشوار، مدیریت تیم، بهبود سیاست‌ها و چارچوب ریسک مدل و حضور در کمیته‌ها؛ Starling از مدیر اعتبارسنجی سابقهٔ مدیریت تیم تحلیلگران کمّی می‌خواهد
Senior Manager / Head of Model Validation
پس از سطح مدیر
تعیین روش‌ها و استانداردهای اعتبارسنجی برای کل سازمان، سنجش ریسک کلی مدل‌ها و هدایت برنامه‌های رفع ایراد؛ Affirm برای مدیر ارشد ریسک مدل اعتباری ۹ سال سابقه یا بیشتر می‌خواهد
چالش‌ها و جنبه‌های منفی
واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید
فهمیدن مدلی که خودتان نساخته‌اید
عمومیاعتبارسنج با مستندات، کد و نتایج آزمونی کار می‌کند که دیگری آماده کرده است. Mercury کسی را می‌خواهد که درکش از مدل را مستقل از سازنده بسازد و در مستندات، کد، شواهد آزمون و تحلیل کمّی خط اول دقت استثنایی داشته باشد. وقتی مستندات ناقص است، بخش زیادی از کار بازسازی همین درک است.
مدل‌های فروشنده و جعبه‌سیاه
عمومیطبق SR 26-2، چون برخی اجزای مدل فروشنده اختصاصی‌اند، بانک ممکن است کد، داده یا روش‌شناسی آن را دریافت نکند، اما همچنان باید درکی از درستی مفهومی، طراحی، دادهٔ توسعه و عملکرد آن داشته باشد و آن را پایش کند. یعنی باید با اطلاعات کمتر نتیجهٔ قابل دفاع بگیرید.
فشار زمان و استفادهٔ پیش از اتمام اعتبارسنجی
استارتاپSR 26-2 می‌پذیرد که گاهی نیاز فوری کسب‌وکار باعث می‌شود مدل پیش از اتمام اعتبارسنجی به کار رود. Mercury از اعتبارسنج می‌خواهد در این حالت به تعیین محدودیت، کنترل جبرانی، پایش و تأییدها کمک کند. تصمیم دربارهٔ «تا کجا اجازه بدهیم» بخشی از کار است.
AI مولد بیرون از چارچوب‌های سنتی
شرکت بزرگSR 26-2 مدل‌های AI مولد و ایجنتی را از دامنهٔ خود بیرون گذاشته و طبق Orrick، ناظران قرار است دربارهٔ استفادهٔ بانک‌ها از AI درخواست اظهارنظر منتشر کنند. تا آن زمان هر شرکت روش خودش را می‌سازد: Monzo روش‌ها و شواهد مورد انتظار اعتبارسنجی AI مولد را تعریف می‌کند و Mercury مرز این کار با تیم حاکمیت AI را.
چالش کردن بدون خراب کردن رابطه
عمومیباید به مدیران ارشد هم بگویید مدلشان ایراد دارد. Mercury اعتماد به نفس برای چالش سازندهٔ مالکان مدل، از جمله مدیران ارشد، را می‌خواهد و Starling توانایی مدیریت گفتگوهای دشوار با سازندگان مدل و مدیران ارشد را. استقلال بدون رابطهٔ کاری خوب به تغییر واقعی نمی‌رسد.
گستردگی انواع مدل
استارتاپدر یک شرکت ممکن است هم مدل یادگیری ماشین اعتباری را بسنجید و هم مدل پیش‌بینی مالی یا مدل مبتنی بر صفحه‌گسترده. Starling اعتبارسنجی AI/ML را در کنار IFRS 9، پیش‌بینی و ریسک عملیاتی می‌خواهد و Mercury می‌نویسد مرز نقش عمداً گسترده است و اولویت‌ها سریع عوض می‌شوند.
حقوق و بازار کار جهانی
حقوق جهانی اعتبارسنج مدل‌های هوش مصنوعی
حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.
* ارقام سالانه‌اند. منبع هر رقم:
- M&T Bank posting, Model Risk Senior Analyst - Validation (AIML, GenAI, Technology) (Wilmington DE, 4 years + master's degree), posted Sep 23, 2026: pay range; median = midpoint
- Mercury posting, Model Risk Manager (Canada, any location, 5+ years), posted Oct 9, 2026: target base range in CAD; median = midpoint
- Goldman Sachs posting, Risk, AI Model Validation, Vice President (New York, 5+ years), seen Oct 2026: salary range; median = midpoint
- ZipRecruiter US, 'Model Validation', estimate as of Oct 22, 2026 (from job postings): 25th–75th pct; average
- Affirm posting, Model Risk Management Lead, Machine Learning (Remote Canada, 4–6 years), first posted Jun 19, 2026, open Oct 2026: CAN base pay range; median = midpoint
- ITJobsWatch, 6 months to 22 Oct 2026: UK permanent ads citing Model Validation; 25th–75th pct, median (59 salaries)
- Selby Jennings Risk Management Compensation Guide Europe 2024/25 (placement data), Netherlands, Model Risk / Analytics 'Vice President' base range; median = midpoint
چگونه از صفر شروع کنیم
برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی
ماه ۱: متن مقررات
SR 26-2 و SS1/23 را کامل بخوانید و فهرستی از آنچه هر کدام از اعتبارسنجی انتظار دارد بنویسید.
ماه ۲: مدل‌های اعتباری
یک scorecard و یک مدل XGBoost روی دادهٔ عمومی وام بسازید تا زبان مدل‌های بانکی دستتان بیاید.
ماه ۳: فنون اعتبارسنجی
توضیح‌پذیری، آزمون نقاط ضعف، overfitting و استحکام را روی همان مدل‌ها اجرا کنید.
ماه ۴: اولین گزارش اعتبارسنجی
برای یکی از مدل‌ها گزارش کامل بنویسید: درستی مفهومی، داده، عملکرد، محدودیت‌ها و توصیه‌ها. مدل رقیب را هم ضمیمه کنید.
ماه ۶: AI مولد و جستجوی کار
یک دستیار RAG را اعتبارسنجی کنید و با عنوان‌هایی مثل Model Validation Analyst، Model Validator و Model Risk Analyst دنبال کار بگردید.
پروژه‌های پیشنهادی برای رزومه
گزارش اعتبارسنجی یک مدل امتیازدهی اعتباری
مبتدیروی یک مجموعه‌دادهٔ عمومی وام، یک scorecard بسازید یا مدل آماده‌ای را بگیرید و گزارشی بنویسید با بخش‌های درستی مفهومی، کیفیت داده، عملکرد، پایداری و محدودیت‌ها؛ در پایان بگویید مدل برای چه کاربردی مناسب است و برای چه کاربردی نه.
مدل رقیب (challenger) برای آزمودن فرض‌ها
متوسطبرای همان مدل یک مدل رقیب با XGBoost بسازید و دو مدل را از نظر قدرت تفکیک، calibration و پایداری در زیرگروه‌ها و بازه‌های زمانی مختلف مقایسه کنید؛ همان کاری که Monzo از اعتبارسنج می‌خواهد.
آزمون استحکام و عدالت با PiML
متوسطنقاط ضعف مدل (ناحیه‌هایی با خطای زیاد)، ناحیه‌های overfitting، رفتار مدل زیر نویز و تغییر توزیع، و تفاوت عملکرد بین گروه‌ها را اندازه بگیرید و نتیجه را به زبان غیرفنی خلاصه کنید.
طرح پایش مستمر با آستانهٔ هشدار
متوسطبرای مدل، معیارهای پایش (drift ورودی‌ها، افت عملکرد، پایداری توزیع امتیاز) و آستانه‌های اقدام تعریف کنید و با دادهٔ چند دورهٔ زمانی نشان دهید چه زمانی مدل دیگر مناسب کاربردش نیست.
اعتبارسنجی یک دستیار RAG
پیشرفتهیک دستیار پرسش و پاسخ روی اسناد (ساخت خودتان یا متن‌باز) را مثل یک اعتبارسنج بررسی کنید: مجموعهٔ آزمون با پاسخ درست، آزمون‌های شکست (سؤال خارج از دامنه، prompt injection)، معیار پذیرش و گزارش محدودیت‌ها بر اساس دسته‌بندی ریسک NIST AI 600-1.
مثال‌های واقعی و Case Studies
داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند
پیش از بانکداری مدیر طراحی محصول در بخش پیشرانهٔ Ford Motor Company بود. بعد رئیس ریسک کمّی (Quantitative Risk) در Bank of America شد و سپس مدیر مدل‌سازی و تحلیل و مدیر ارشد ریسک مدل در Lloyds Banking Group در بریتانیا. مدرک کارشناسی ارشد و دکترای مهندسی و مدیریت را از Wayne State University و MIT گرفته است.
معاون ارشد اجرایی، رئیس ریسک مدل و عضو کمیتهٔ مدیریت Wells Fargo بود و مسئولیت مدیریت ریسک مدل در کل سازمان را داشت. چند حق ثبت اختراع آمریکایی در مالی و مهندسی دارد و از نویسندگان کتاب Design and Modeling for Computer Experiments است. طبق صفحهٔ UNC Charlotte، اکنون Executive in Residence دانشکدهٔ علم داده آن دانشگاه است و درس Model Risk Management را مشترکاً تدریس می‌کند.
مسیر او از طراحی محصول در صنعت خودرو به ریاست ریسک مدل یک بانک بزرگ نشان می‌دهد پایهٔ محکم مهندسی و آمار به این کار منتقل می‌شود. اعتبارسنجی بیش از هر چیز همان عادت مهندسی است: پیش از اعتماد به یک سیستم، آن را بیازمایید.
طبق صفحهٔ معرفی او در Global Economics Group، شیمی محاسباتی را در University of Illinois خواند و از Institute for Advanced Analytics در North Carolina State University فارغ‌التحصیل شد. در SAS Institute نقش‌های پژوهش و توسعه و کار با مشتری داشت و بعد در H2O.ai تلاش‌های شرکت در AI مسئولانه را هدایت کرد.
طبق همان صفحه، کارش در H2O.ai به یکی از نخستین کاربردهای تجاری توضیح‌پذیری و کاهش سوگیری در یادگیری ماشین منجر شد. BNH.AI، یک مؤسسهٔ حقوقی کوچک متمرکز بر حاکمیت و مدیریت ریسک AI، را هم‌بنیان‌گذاری کرد، نویسندهٔ اصلی کتاب Machine Learning for High-Risk Applications است و در دانشکدهٔ کسب‌وکار George Washington University استادیار علوم تصمیم است و در پشتیبانی از چارچوب مدیریت ریسک AI مؤسسهٔ NIST پژوهش می‌کند.
او میان مهندسی نرم‌افزار، حقوق و دانشگاه جابه‌جا شده و موضوع ثابتش ریسک مدل‌های یادگیری ماشین بوده است. به نظر می‌رسد کسی که هم آزمون فنی مدل را بلد است و هم زبان ریسک و مقررات را، در این حوزه جای خودش را پیدا می‌کند.
در ۱۹۷۳ از Columbia دکترای فیزیک نظری گرفت، چند سال در فیزیک ذرات پژوهش کرد و از ۱۹۸۰ تا ۱۹۸۵ در AT&T Bell Laboratories بود. در ۱۹۸۵ به Goldman Sachs رفت و از سازندگان مدل نرخ بهرهٔ Black–Derman–Toy شد؛ از ۱۹۹۰ تا ۲۰۰۰ گروه Quantitative Strategies بخش سهام را اداره کرد و در ۲۰۰۰ رئیس گروه Quantitative Risk Strategies شد.
طبق ویکی‌پدیا، پس از Goldman Sachs استاد Columbia و مدیر برنامهٔ مهندسی مالی آن شد و رئیس ریسک و شریک Prisma Capital Partners (که KKR آن را خرید) بود. با Paul Wilmott «Financial Modelers' Manifesto» را نوشت، مجموعه‌ای از اصول برای مدل‌سازی مالی مسئولانه، و در ۲۰۱۱ کتاب Models.Behaving.Badly را دربارهٔ تفاوت مدل‌های مالی با نظریه‌های علوم پایه منتشر کرد.
حرف اصلی او این است که مدل استعاره است، نه حقیقت. برای اعتبارسنج این یعنی سؤال درست فقط «مدل دقیق است؟» نیست؛ این هم هست که «کجا این استعاره دیگر کار نمی‌کند؟»
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
Model Risk Manager
تحلیل نیازمندی‌ها
5+ years of relevant experience in model validation, model development, quantitative risk analytics, or a related discipline within banking, fintech, financial services, or consulting.
این نقش ورودی نیست. اما در مسیرهای پذیرفته‌شده «توسعهٔ مدل» و «تحلیل کمّی ریسک» هم آمده؛ یعنی کسی که چند سال مدل اعتباری یا تقلب ساخته، بدون سابقهٔ رسمی اعتبارسنجی هم می‌تواند اقدام کند.
ضروریBachelor’s degree in Statistics, Mathematics, Physics, Computer Science, Engineering, Financial Engineering or a related field. Master’s degree or PhD is preferred.
کارشناسی در یک رشتهٔ کمّی کافی است و ارشد یا دکترا امتیاز است. رشته‌های مهندسی و فیزیک هم صریحاً پذیرفته شده‌اند.
ضروریStrong knowledge of model risk management principles and current regulatory expectations, including the revised interagency guidance reflected in SR 26-2.
آگهی به راهنمای تازهٔ آوریل ۲۰۲۶ اشاره می‌کند، نه فقط SR 11-7. باید بدانید چه چیزی در تعریف «مدل» می‌گنجد، رده‌بندی ریسک بر اساس ریسک ذاتی و اهمیت چطور است و چه چیزهایی، مثل AI مولد، بیرون از دامنه است.
ضروریIntensive experience validating or developing models in one or more areas such as BSA/AML, fraud, financial forecasting, CECL, capital, liquidity, and credit underwriting, using one or more methodologies such as machine learning (e.g., XGBoost, random forests), scorecards, complex vendor models (e.g., Alloy, Firco), and complex spreadsheet-based models.
فهرست نشان می‌دهد اعتبارسنج در یک فین‌تک با انواع بسیار متفاوتی از مدل سروکار دارد: از XGBoost تا مدل‌های فروشنده و حتی صفحه‌گستردهٔ پیچیده. تجربه در یکی از این حوزه‌ها کافی است، اما باید آماده باشید بقیه را هم یاد بگیرید.
ضروریProficiency with SQL and Python (from a data analytics lens); comfortable building understanding of models independently of their developers through collecting evidence and data analytics.
«از نگاه تحلیل داده» یعنی لازم نیست مهندس نرم‌افزار باشید، اما باید خودتان داده را بیرون بکشید و نتیجه را بازسازی کنید. جملهٔ دوم هستهٔ استقلال اعتبارسنج است: به گفتهٔ سازنده اکتفا نمی‌کنید.
ضروریStrong written and verbal communication skills; you can explain model risk to a data scientist and to a regulator, or translate your findings and recommendations to guidance for the 1LOD product/business teams, and use different language for each.
مخاطب گزارش شما هم فنی است و هم غیرفنی. یک یافته را باید برای دانشمند داده با جزئیات آماری، برای ناظر با زبان ریسک و برای تیم محصول به شکل اقدام مشخص بنویسید.
مهمSound judgment and a practical, risk-based mindset: you can distinguish significant model risk from lower-risk matters and have the confidence to challenge model owners constructively, including senior stakeholders.
همه‌چیز به یک اندازه مهم نیست. اعتبارسنج خوب انرژی را روی ریسک‌های بزرگ می‌گذارد و جرئت دارد حتی به مدیران ارشد بگوید مدلشان ایراد دارد، بدون اینکه رابطه را خراب کند.
مهمExperience helping build or materially enhance a model risk management program.
این مورد در بخش شرایط ترجیحی آمده. Mercury در حال ساختن این واحد است، پس تجربهٔ راه‌اندازی سیاست، قالب و فرایند امتیاز بزرگی است.
مفیدتحلیل مسئولیت‌ها
Perform independent validations and reviews of internally developed and third-party models across areas such as credit, fraud, BSA/AML, CECL, finance, liquidity, pricing, and operational risk.
کار اصلی همین است: بررسی مستقل مدل‌ها، چه ساخت داخل و چه خریداری‌شده، در تقریباً همهٔ بخش‌های یک بانک.
Evaluate each model’s methodology, assumptions, data quality and lineage, implementation, and performance through reviews and testings such as outcomes analysis, benchmarking, back-testing, and sensitivity testing scaled to its risk and materiality.
این جمله تقریباً کل جعبه‌ابزار اعتبارسنج را نام می‌برد. «scaled to its risk and materiality» مهم است: برای مدل کم‌اهمیت بررسی سبک‌تری انجام می‌دهید و وقت اصلی را صرف مدل‌های پراثر می‌کنید.
Assess model risk and materiality based on a model’s inherent risk, purpose, exposure, use, and potential impact.
پیش از آزمون باید تعیین کنید مدل چقدر خطرناک است. همین عوامل (ریسک ذاتی، هدف، میزان اتکا و کاربرد) در متن SR 26-2 هم آمده‌اند.
Review ongoing monitoring plans and results, including performance thresholds, overrides, data drift, model changes, and conditions that could make a model no longer fit for purpose.
مدلی که امروز خوب است ممکن است با تغییر مشتریان یا بازار خراب شود. باید آستانه‌هایی تعریف شود که بگوید کی مدل دیگر قابل اتکا نیست.
Evaluate vendor models and other third-party analytical products, including available documentation, transparency, performance, limitations, customization, and Mercury’s ability to monitor and control their use.
بخشی از مدل‌ها را شرکت نساخته و به کدشان دسترسی ندارد. اعتبارسنج باید با مستندات محدود و آزمون خروجی‌ها نتیجه بگیرد که می‌شود به آن‌ها تکیه کرد یا نه.
Support controlled model use when validation cannot be completed before implementation by helping establish appropriate limitations, compensating controls, monitoring, and approvals.
اعتبارسنج همیشه «بله» یا «نه» نمی‌گوید. گاهی کسب‌وکار نمی‌تواند صبر کند و کار شما تعیین شرایطی است که مدل تحت آن موقتاً استفاده شود.
Partner with Mercury’s Data and AI Governance teams to establish clear boundaries and handoffs between traditional model risk management and the governance of generative AI, agentic AI, and other analytical systems outside the formal model definition.
چون SR 26-2 AI مولد و ایجنتی را از دامنهٔ «مدل» بیرون گذاشته، شرکت‌ها باید تعیین کنند این سیستم‌ها را چه کسی و چطور بررسی کند. این مرز هنوز در حال شکل گرفتن است.
نتیجه‌گیری کلی
این آگهی تصویر روشنی از اعتبارسنج مدل در ۲۰۲۶ می‌دهد: کسی با دست‌کم ۵ سال سابقه در ساخت یا اعتبارسنجی مدل که مستقل از سازنده، با SQL و Python و آزمون‌هایی مثل back-testing و benchmarking، مدل‌های اعتباری، تقلب، پول‌شویی و مالی را می‌سنجد، با راهنمای تازهٔ SR 26-2 آشناست و می‌تواند یافته‌هایش را هم برای دانشمند داده و هم برای ناظر توضیح دهد. مرز این کار با حاکمیت AI مولد هم بخشی از وظایف است. بازهٔ حقوق پایه در آگهی ۱۶۶٬۶۰۰ تا ۲۰۸٬۳۰۰ دلار در نیویورک، لس‌آنجلس، سیاتل و منطقهٔ خلیج سان‌فرانسیسکو، ۱۴۹٬۹۰۰ تا ۱۸۷٬۵۰۰ دلار در بقیهٔ آمریکا و ۱۵۷٬۴۰۰ تا ۱۹۶٬۸۰۰ دلار کانادا است.
آینده و روندها
پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید
BLS پیش‌بینی می‌کند اشتغال «متخصصان ریسک مالی» (Financial risk specialists، کد 13-2054) در آمریکا از ۶۶٬۰۰۰ نفر در ۲۰۲۵ به ۷۰٬۸۰۰ نفر در ۲۰۳۵ برسد، یعنی ۷٪ رشد، در برابر ۳٪ برای کل مشاغل. BLS گروه جداگانه‌ای برای اعتبارسنج مدل ندارد و این نزدیک‌ترین گروه رسمی است؛ BLS این متخصصان را کسانی می‌داند که ریسک اعتباری و بازار را با نرم‌افزارهای آماری یا مدل‌های اقتصادسنجی اندازه می‌گیرند.
منبع: BLS Occupational Outlook Handbook — Financial Analysts (financial risk specialists, 2025–35)
مهارت‌های نوظهور که باید یاد بگیرید
پیش‌بینی‌های آینده
طبق گزارش Orrick، فدرال رزرو، OCC و FDIC همراه با انتشار SR 26-2 اعلام کردند دربارهٔ مدیریت ریسک مدل و استفادهٔ بانک‌ها از AI، از جمله AI مولد و ایجنتی، درخواست اظهارنظر (RFI) منتشر می‌کنند؛ Orrick می‌نویسد این فرایند ممکن است انتظارات آینده را شکل دهد.
BLS پیش‌بینی می‌کند تعداد شاغلان گروه «متخصصان ریسک مالی» در آمریکا از ۶۶٬۰۰۰ در ۲۰۲۵ به ۷۰٬۸۰۰ در ۲۰۳۵ برسد (۷٪ رشد، بسیار سریع‌تر از میانگین همهٔ مشاغل).
به نوشتهٔ Orrick، SR 26-2 کوتاه‌تر و اصول‌محورتر از راهنمای قبلی است و Orrick به بانک‌ها توصیه می‌کند سیاست‌هایی را که بر انتظارات تجویزی قبلی، مثل چرخه‌های ثابت اعتبارسنجی و الزام‌های ساختاری استقلال، بنا شده‌اند بازبینی کنند؛ طبق همین تحلیل، بانک می‌تواند مدلی را کم‌اهمیت و کم‌ریسک بداند و برایش نظارت سبک‌تری، مثلاً در حد شناسایی و پایش عملکرد، در نظر بگیرد. این ممکن است به معنای اعتبارسنجی روتین کمتر و تمرکز بیشتر روی مدل‌های پراثر باشد. از سوی دیگر خود ابزار کار هم عوض می‌شود: Monzo از اعتبارسنج می‌خواهد پیشگام استفاده از ابزارهای AI در اعتبارسنجی باشد و Mercury استفاده از خودکارسازی را برای کارآمدتر کردن فهرست مدل‌ها، آزمون، پایش و گزارش‌دهی. حقوق هم بین صنایع یکسان نیست: آگهی The Mutual Group در بیمه برای ۵ سال سابقه ۱۰۰٬۰۰۰ تا ۱۳۵٬۰۰۰ دلار پیشنهاد می‌دهد، کمتر از آگهی‌های بانکی و فین‌تکی که بررسی کردیم.
منابع
اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۲۶ منبع بررسی شده است.
- Model Risk Manager — Mercury (job posting)
- Model Risk Management Lead, Machine Learning — Affirm, Remote US (job posting)
- Model Risk Management Lead, Machine Learning — Affirm, Remote Canada (job posting)
- Underwriting/Credit Model Risk Senior Manager - Machine Learning — Affirm (job posting)
- Credit Model Validation Manager (Machine Learning & NPV Models) — Monzo (job posting)
- Model Validation Senior Manager — Monzo (job posting)
- Lead Analyst - Model Validation — Starling Bank (job posting)
- Model Validation Manager — Starling Bank (job posting)
- Risk, AI Model Validation, Vice President, New York — Goldman Sachs (job posting)
- Model Risk Management, AI Risk, Dallas, Analyst/Associate — Goldman Sachs (job posting)
- Model Risk Senior Analyst - Validation (AIML, GenAI, Technology) — M&T Bank (job posting)
- AI Model Risk Validation Specialist — The Mutual Group (job posting)
- AI Model Validator — BNP Paribas, Montreal (job posting, filled)
- Federal Reserve — SR 26-2: Revised Guidance on Model Risk Management (Apr 17, 2026)
- Fed, OCC, FDIC — Revised Guidance on Model Risk Management (PDF)
- Orrick — Agencies Overhaul Model Risk Management Guidance for Banks: Here’s What Changed (Apr 24, 2026)
- Bank of England PRA — SS1/23 Model risk management principles for banks
- BLS Occupational Outlook Handbook — Financial Analysts (incl. financial risk specialists)
- ZipRecruiter — Model Validation salary, United States
- ITJobsWatch — Model Validation (UK)
- Selby Jennings — Risk Management Compensation Guide Europe 2024/25 (PDF)
- UNC Charlotte, Center for TAIMing AI — Agus Sudjianto
- Global Economics Group — Patrick Hall
- Emanuel Derman — Wikipedia
- PiML Toolbox for Interpretable Machine Learning Model Development and Diagnostics (arXiv, 2023)
- PiML Toolbox — GitHub