محقق ایمنی هوش مصنوعی
AI Safety Researcher
محقق ایمنی هوش مصنوعی با آزمایش روی مدل‌های پیشرفته بررسی می‌کند این سیستم‌ها کجا ممکن است رفتار خطرناک، فریبنده یا خارج از کنترل نشان دهند، و روش‌هایی برای سنجیدن و کم کردن این خطرها می‌سازد: ارزیابی پیش از انتشار، تفسیر درون مدل، نظارت بر ایجنت‌ها و آموزش مدل برای رفتار ایمن‌تر. عنوان دقیق AI Safety Researcher در آگهی‌ها کم دیده می‌شود؛ Google با عنوان Senior AI Safety Researcher آگهی داده است. بیشتر کارفرماها همین کار را با عنوان Research Scientist یا Research Engineer و نام تیم آگهی می‌کنند، مثل Alignment، Interpretability، Safety یا Safeguards. OpenAI عنوان‌هایی مثل «Researcher, Alignment» به کار می‌برد، METR و Cohere عنوان Member of Technical Staff، و AI Security Institute بریتانیا پژوهشگر و مهندس فنی جذب می‌کند. برای ورود، برنامه‌های پژوهشی با منتور مثل MATS و Anthropic Fellows مسیر رایجی‌اند.
مقدمه و تعریف شغل
محقق ایمنی هوش مصنوعی (AI Safety Researcher) با روش علمی بررسی می‌کند مدل‌های پیشرفته کجا ممکن است آسیب بزنند یا از نیت سازندگانشان دور شوند، و چطور می‌شود این را سنجید و جلویش را گرفت. در آگهی‌های ۲۰۲۶ این کار چند شکل دارد. در آزمایشگاه‌های مدل‌ساز، تیم‌هایی با نام Alignment، Interpretability، Safety یا Safeguards پژوهشگرانی با عنوان Research Scientist و Research Engineer دارند. OpenAI این نقش‌ها را «Researcher, Alignment» یا «Researcher, Safety Training» می‌نامد و از پژوهشگر می‌خواهد از یک پرسش مبهم دربارهٔ رفتار مدل به آزمایش مشخص برسد: فرضیه بسازد، eval یا مداخله طراحی کند، آزمایش را اجرا کند و تصمیم بگیرد شواهد چه چیزی را نشان می‌دهند. در سازمان‌های غیرانتفاعی مثل METR، Apollo Research و Redwood Research، کار بیشتر ارزیابی مستقل مدل‌ها و آزمودن روش‌های ایمنی است، و در نهادهای دولتی مثل AI Security Institute بریتانیا ارزیابی ریسک برای دولت. ابزارها همان ابزارهای پژوهش عمومی AI است؛ تفاوت در پرسش است: محور کار ریسک است، نه بهتر کردن توانایی مدل.
پژوهش فنی ایمنی AI حوزهٔ جوانی است. مقالهٔ «Concrete Problems in AI Safety» در ۲۰۱۶، از Dario Amodei، Chris Olah، Jacob Steinhardt و همکاران، مسئله‌های ایمنی را به شکل مسئله‌های عملی یادگیری ماشین مطرح کرد. سال بعد Paul Christiano، Jan Leike و همکاران در مقالهٔ «Deep reinforcement learning from human preferences» روشی را معرفی کردند که پایهٔ RLHF شد. تا چند سال پیش حوزه بسیار کوچک بود: 80,000 Hours برآورد کرده بود در ۲۰۲۲ فقط حدود ۳۰۰ نفر روی راه‌های فنی کاهش ریسک‌های وجودی AI کار می‌کنند. امروز آزمایشگاه‌ها چارچوب ایمنی رسمی دارند، مثل Responsible Scaling Policy در Anthropic و Frontier Safety Framework در Google DeepMind، و طبق گزارش بین‌المللی ایمنی AI، از ۲۰۲۵ تعداد شرکت‌هایی که چنین چارچوبی منتشر کرده‌اند بیش از دو برابر شده است. دولت‌ها هم وارد شده‌اند: AI Security Institute بریتانیا خود را نخستین سازمان دولتی این حوزه می‌داند و بیش از ۱۰۰ کارمند فنی دارد، و مرکز وابسته به NIST در آمریکا ارزیابی قابلیت‌های پرخطر مدل‌ها در امنیت سایبری، امنیت زیستی و سلاح شیمیایی را برعهده دارد. گزارش بین‌المللی ایمنی AI ۲۰۲۶، به رهبری Yoshua Bengio و با بیش از ۱۰۰ متخصص، تصویر علمی مشترکی از این ریسک‌ها می‌دهد.
چه چیزی می‌سازید؟
مثال‌های واقعی از خروجی کار یک محقق ایمنی هوش مصنوعی
ارزیابی رفتار مدل پیش از انتشار
Apollo Research تقریباً هر دو هفته یک کارزار ارزیابی پیش از انتشار با یک آزمایشگاه پیشرو اجرا می‌کند: هزاران اجرا در صدها محیط برای پیدا کردن رفتارهایی مثل alignment faking، بعد آزمایش‌های تکمیلی و گزارش به آزمایشگاه. تیم سایبری AI Security Institute بریتانیا هم مدل‌های پیشرو را پیش از انتشار در cyber range و مجموعهٔ بزرگی از چالش‌های CTF می‌آزماید.
Model organism: نمونهٔ کنترل‌شدهٔ ناهم‌راستایی
در آگهی Alignment در Anthropic یکی از پروژه‌های نمونه این است: مدل زبانی را آموزش دهید که روش‌های ایمنی را دور بزند و بسنجید چقدر موفق می‌شود. fellowهای Anthropic هم ۱۶ مدل پیشرو را در محیط‌های شبیه‌سازی‌شدهٔ شرکتی آزمودند که در آن مدل می‌توانست خودش ایمیل بفرستد و به اطلاعات حساس دسترسی داشت.
ناظر و پروتکل کنترل برای ایجنت‌ها
Apollo Research ابزاری به نام Watcher برای نظارت بر coding agentها می‌سازد. پژوهشگر Control در این تیم ناظرهای سلسله‌مراتبی طراحی می‌کند که در آن ناظرهای سریع، کد مشکوک را برای بررسی دقیق‌تر علامت می‌زنند، و یک مدل متن‌باز را fine-tune می‌کند تا ناظر بهتری شود. تیم Agent Safety در OpenAI هم سازوکارهای نظارتی می‌سازد که کار مضر ایجنت را کم کند و خودمختاری مفیدش را نگه دارد.
فهم آنچه درون مدل می‌گذرد
تیم Interpretability در OpenAI بازنمایی‌های درونی مدل‌ها را مطالعه می‌کند تا رفتارشان را بفهمد و زیرساخت مطالعهٔ درون مدل را در مقیاس می‌سازد. fellowهای Anthropic روشی برای ردیابی مراحل درونی یک مدل زبانی در رسیدن به پاسخ (attribution graph) ساختند و آن را متن‌باز کردند.
آموزش ایمنی مدل
تیم Safety Training در OpenAI رفتار مدل را پس از پیش‌آموزش با RLHF، RLAIF، DPO، adversarial training و دادهٔ مصنوعی شکل می‌دهد و خطاهایی مثل hallucination، استفادهٔ ناامن از ابزار، prompt injection، امتناع بیش از حد یا ناکافی و چاپلوسی را تحلیل می‌کند تا بهبودها به مدل‌های اصلی و محصول برسد.
مدل‌سازی ریسک و گزارش ایمنی
در Google DeepMind، پژوهشگر بخش FSF Risk Modeling and Governance ریسک‌های پیش از mitigation را مدل می‌کند، مثلاً با تعیین آستانه‌های Frontier Safety Framework، می‌سنجد آیا safeguardها ریسک را به اندازهٔ کافی کم کرده‌اند و گزارش‌های ایمنی بیرونی را می‌نویسد. METR هم نتیجهٔ ارزیابی‌هایش را برای system cardها، گزارش‌های ریسک و نهادهای ناظر می‌نویسد.
تخصص‌های مختلف محقق ایمنی هوش مصنوعی
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
هم‌راستایی و نظارت مقیاس‌پذیر
Alignment & Scalable Oversight
روش‌هایی که مدل حتی وقتی در برخی حوزه‌ها از ناظر انسانی تواناتر می‌شود، به نیت انسان پایبند و صادق بماند؛ مثل AI Debate و آموزش مدل برای کالیبره بودن دربارهٔ درستی و ریسک. تیم Alignment در OpenAI و Alignment Science در Anthropic.
تفسیرپذیری مکانیستیک
Mechanistic Interpretability
مهندسی معکوس الگوریتم‌هایی که شبکه در وزن‌هایش یاد گرفته است؛ تیم Neel Nanda در Google DeepMind و تیم‌های Interpretability در Anthropic و OpenAI. به گفتهٔ Nanda با بازخورد سریع و منابع محاسباتی کم هم قابل یادگیری است.
ارزیابی قابلیت‌ها و گرایش‌ها
Evaluations
ساختن و اجرای eval برای سنجیدن قابلیت‌های پرخطر و رفتارهایی مثل scheming؛ METR، Apollo Research و AI Security Institute بریتانیا. Apollo برای این کار از Inspect استفاده می‌کند، فریم‌ورکی که AI Security Institute منتشر کرده است.
کنترل و نظارت بر ایجنت‌ها
AI Control & Monitoring
ساختن سازوکارهایی که حتی اگر مدل در موقعیت ناآشنا یا خصمانه رفتار نامطلوب داشته باشد، آسیب نزند: ناظرهای خودکار، پروتکل‌های کنترل و پایش ایجنت‌ها؛ Apollo Research، تیم Agent Safety در OpenAI و محور AI Control در تیم Alignment Science در Anthropic.
ایمنی در حوزه‌های پرخطر
Domain Safety (Bio, Chem, Cyber)
ترکیب تخصص زیست‌شناسی، شیمی یا امنیت سایبری با ارزیابی مدل و ساختن safeguard؛ تیم Biological Safety در Anthropic، تیم‌های Chem Bio و سایبری AI Security Institute و Biohub. Anthropic برای این نقش می‌نویسد لازم نیست امروز پژوهشگر ML باشید.
تفاوت با شغل‌های مشابه
کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟
هر دو در آگهی‌ها عنوان Research Scientist یا Research Engineer دارند و ابزارشان یکی است. تفاوت در پرسش است: پژوهشگر عمومی AI روش تازه‌ای برای ساختن، بهتر کردن یا فهمیدن مدل می‌سازد؛ پژوهشگر ایمنی می‌پرسد مدل کجا خطرناک یا ناهم‌راستا می‌شود و روش‌های ایمنی در برابر مدل‌های تواناتر دوام می‌آورند یا نه. در صفحهٔ محقق هوش مصنوعی، «هم‌راستایی و ایمنی» یکی از زیرشاخه‌هاست؛ اینجا همان زیرشاخه کل شغل است.
Red teamer با مجوز نقش مهاجم را بازی می‌کند تا آسیب‌پذیری‌هایی مثل jailbreak، prompt injection و سوءاستفاده از ابزارها را پیدا کند. پژوهشگر ایمنی از red teaming به‌عنوان یکی از ابزارها استفاده می‌کند، اما کارش ساختن و سنجیدن دفاع و فهمیدن رفتار خود مدل هم هست. Apollo Research این دو را در دو آگهی جدا دارد: AI Red Team Engineer، و Research Scientist (Control) که باید یافته‌های red teaming را در طراحی ناظرها به کار ببرد تا «حلقهٔ میان حمله و دفاع» بسته شود.
ایمنی AI بیشتر روی قابلیت‌های خطرناک، ناهم‌راستایی و آزمون فنی مدل تمرکز دارد؛ اخلاق AI بیشتر به اثر بر آدم‌ها و نهادها، عدالت در تصمیم‌ها و حاکمیت. خروجی پژوهشگر ایمنی معمولاً آزمایش، کد و گزارش فنی است؛ خروجی متخصص اخلاق و حاکمیت بیشتر سیاست، فرایند و چارچوب. مرز همیشه روشن نیست: Google DeepMind برای مدل‌سازی ریسک چارچوب ایمنی‌اش پژوهشگری با دکترای اقتصاد یا فلسفه هم می‌پذیرد.
تیم‌های Safeguards و Trust & Safety سوءاستفاده از مدل را در محصول واقعی تشخیص می‌دهند و جلویش را می‌گیرند. Anthropic از ML/Research Engineer تیم Safeguards می‌خواهد برای تشخیص سوءاستفاده classifier بسازد و آسیب‌هایی را که در چند گفت‌وگو پخش شده‌اند، مثل حملات سایبری هماهنگ، پایش کند. پژوهشگر ایمنی بیشتر روی رفتار خود مدل و ریسک سیستم‌های تواناتر کار می‌کند. نقش Senior AI Safety Researcher در Google هم در تیم Trust and Safety است و بیشتر به تحلیل داده و ساختن سازوکار حفاظتی نزدیک است.
تأثیر در صنایع مختلف
محقق ایمنی هوش مصنوعی در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری
آزمایشگاه‌های مدل‌های پیشرو
Anthropic، OpenAI و Google DeepMind تیم‌های جدا برای alignment، تفسیرپذیری، آموزش ایمنی و safeguards دارند؛ OpenAI در اکتبر ۲۰۲۶ پانزده آگهی Researcher در تیم‌های Alignment و Safety Systems داشت
نهادهای دولتی
AI Security Institute بریتانیا بیش از ۱۰۰ کارمند فنی دارد و پیش از انتشار به مدل‌های پیشرو دسترسی دارد؛ مرکز وابستهٔ NIST در آمریکا ارزیابی قابلیت‌های پرخطر را برعهده دارد
سازمان‌های غیرانتفاعی ارزیابی و پژوهش
METR، Apollo Research و Redwood Research مدل‌ها را مستقل ارزیابی می‌کنند؛ METR پژوهشگرانش را برای چند هفته درون آزمایشگاه‌ها مستقر می‌کند
شرکت‌های مدل‌ساز سازمانی
Cohere تیمی برای ایمنی و امنیت ایجنت‌ها دارد که روی داده، پس‌آموزش و ارزیابی ایمنی مدل‌هایی کار می‌کند که می‌توانند در دنیای واقعی کار انجام دهند
شرکت‌های بزرگ فناوری
تیم AI Safety Protections در Google برای Gemini، Veo، ایجنت‌ها و رباتیک حفاظ می‌سازد و Meta نقش AI Research Scientist در ایمنی و امنیت AI آگهی کرده است
زیست‌فناوری و علوم زیستی
Anthropic تیم Biological Safety دارد، AI Security Institute تیم Chem Bio، و Biohub پژوهشگر ارشد ایمنی AI برای مدل‌های زیستی استخدام می‌کند
امنیت سایبری و امنیت ملی
تیم سایبری و سیستم‌های خودمختار AI Security Institute قابلیت سایبری مدل‌ها را می‌سنجد و OpenAI نقشی با عنوان Researcher, Frontier Cybersecurity Risks دارد
آموزش و fellowship
MATS، Anthropic Fellows، Astra و ARENA پژوهشگران تازه را آموزش می‌دهند؛ به گفتهٔ Constellation بیش از ۸۰٪ دورهٔ اول Astra اکنون تمام‌وقت در نقش‌های ایمنی AI کار می‌کنند
تصورات غلط رایج
قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید
بدون دکترا نمی‌شود پژوهشگر ایمنی AI شد
بعضی آگهی‌ها دکترا یا معادل آن را می‌خواهند: OpenAI «دکترا یا تجربهٔ معادل در پژوهش» و Google DeepMind «دکترا یا تجربهٔ عملی معادل». اما Anthropic در آگهی Alignment نوشته متقاضی لازم نیست مدرک یا گواهی رسمی داشته باشد و Apollo Research صریحاً خودآموخته‌ها را می‌پذیرد. به گفتهٔ 80,000 Hours دکترا برای رهبر پژوهش تقریباً پیش‌فرض است، اما بسیاری از نقش‌های contributor در پژوهش تجربی مهندس‌اند.
ایمنی AI یعنی فلسفه و بحث نظری
بخش بزرگ بازار کار تجربی و کدنویسی است. Anthropic مصاحبه‌های نقش Alignment را با Python برگزار می‌کند، کل stack در Apollo Research با Python است و METR از اعضای فنی‌اش مهندسی نرم‌افزار قوی می‌خواهد. 80,000 Hours هم می‌نویسد مسیر تجربی شامل برنامه‌نویسی و مهندسی ML فراوان است و نقش‌های نظری کمترند.
باید از قبل در حوزهٔ ایمنی سابقه داشته باشید
چند آگهی و برنامه خلاف این را می‌گویند. OpenAI در آگهی Agent Safety نوشته سابقهٔ قبلی در ایمنی یا alignment لازم نیست، Biohub برای پژوهشگر ارشد ایمنی AI سابقهٔ قبلی در ایمنی نمی‌خواهد، Astra سابقهٔ ایمنی AI را شرط نمی‌داند و Anthropic Fellows را برای استعدادهای فنی «صرف‌نظر از تجربهٔ قبلی» معرفی می‌کند. آنچه می‌خواهند توانایی اجرای آزمایش و انگیزهٔ واقعی برای این مسئله است.
این کار فقط در دو سه آزمایشگاه بزرگ است
کارفرماها متنوع‌اند: آزمایشگاه‌های مدل‌ساز، سازمان‌های غیرانتفاعی مثل METR، Apollo Research و Redwood Research، نهادهای دولتی مثل AI Security Institute بریتانیا، شرکت‌هایی مثل Cohere، Google و Meta و سازمان‌های علمی مثل Biohub. اما از نظر جغرافیا تمرکز زیاد است: 80,000 Hours بیشتر از Bay Area کالیفرنیا و لندن نام می‌برد.
سازمان‌های غیرانتفاعی ایمنی حقوق کمی می‌دهند
دست‌کم در آمریکا این‌طور نیست. Redwood Research برای Empirical Researcher بازهٔ ۳۵۰ تا ۸۵۰ هزار دلار و METR برای Member of Technical Staff, Evaluation Execution بازهٔ ۳۲۸٬۳۸۰ تا ۵۷۸٬۵۸۳ دلار اعلام کرده‌اند. در بریتانیا AI Security Institute، که نهادی دولتی است، بازهٔ ۶۵ تا ۱۴۵ هزار پوند به‌اضافهٔ سهم بازنشستگی ۲۸٫۹۷٪ از حقوق پایه را اعلام کرده است.
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
تازه‌وارد: fellow یا Research Engineer تازه‌کار (۰–۲ سال)
معمولاً روی یک پروژهٔ مشخص با منتور کار می‌کنید. در Anthropic Fellows، منتورها ایده‌های پروژه را پیشنهاد می‌دهند و fellow یکی را انتخاب می‌کند و با منتور شکل می‌دهد. بیشتر وقت به اجرای آزمایش روی مدل‌های متن‌باز یا API، خواندن خروجی‌ها و نوشتن نتیجه می‌گذرد.
- ◆اجرای یک eval روی چند مدل با Inspect و خواندن دستی نمونه‌هایی که نمره‌شان عجیب است
- ◆خواندن transcript ایجنت‌ها برای پیدا کردن رفتار غیرمنتظره یا باگ در خود eval
- ◆جلسه با منتور: ارائهٔ نتیجه‌ها، حتی منفی، و تصمیم دربارهٔ قدم بعد
- ◆نوشتن خلاصهٔ یافته‌ها همراه نمودار برای تیم
Research Scientist / Engineer (۲–۵ سال)
مسئول یک خط آزمایش از فرضیه تا نتیجه‌اید. در Apollo Research این یعنی شرکت در کارزارهای ارزیابی پیش از انتشار با آزمایشگاه‌ها و بهتر کردن روش‌ها در فاصلهٔ کارزارها. در آزمایشگاه‌ها با تیم‌های آموزش مدل همکاری می‌کنید تا یافته‌ها به آموزش و انتشار مدل برسد.
- ◆طراحی محیط یا eval تازه برای سنجیدن یک رفتار مشخص، مثل alignment faking
- ◆اجرای یک آزمایش آموزش، مثلاً fine-tune یا RL، و مقایسهٔ نتیجه با baseline
- ◆ساخت ناظر با LLM-as-a-judge و سنجیدن نرخ تشخیص در برابر هشدار اشتباه
- ◆نوشتن گزارش برای آزمایشگاه همکار یا بخشی از system card
پژوهشگر ارشد یا رهبر پژوهش (۵+ سال)
انتخاب مسئله، تعیین اولویت تیم و تبدیل نتیجه‌ها به تصمیم. در Google DeepMind، پژوهشگری که ارزیابی ریسک چارچوب ایمنی را رهبری می‌کند باید بسنجد آیا safeguardها برای ادامهٔ توسعه و انتشار مدل کافی‌اند و برنامهٔ ارزیابی ریسک را در فرایند انتشار نمایندگی کند.
- ◆بررسی پیشنهاد پروژهٔ اعضای تیم و محدود کردن پرسش اصلی
- ◆ارائهٔ شواهد ارزیابی‌ها در تصمیم انتشار یک مدل
- ◆نوشتن یا بازبینی گزارش ایمنی بیرونی
- ◆هماهنگی با تیم‌های سیاست‌گذاری، محصول و آموزش مدل
- ◆منتورینگ پژوهشگران تازه‌کار
مسئولیت‌ها و وظایف
مسئولیت‌های اصلی
وظایف روزانه و مهارت‌های مورد نیاز در این شغل
- ◈طراحی و اجرای آزمایش روی مدل‌های پیشرو برای سنجیدن ریسک‌ها و آزمودن روش‌های ایمنی
- ◈ساخت eval برای سنجیدن ریسک، هم‌راستایی با نیت انسان و مقاومت مدل در موقعیت‌های مختلف
- ◈ارزیابی مدل پیش از انتشار، همراه با آزمایشگاه سازندهٔ مدل یا برای دولت
- ◈پس‌آموزش ایمنی با روش‌هایی مثل RLHF، DPO و adversarial training و تحلیل خطاهایی مثل چاپلوسی، امتناع بیش از حد یا ناکافی
- ◈طراحی ناظر و پروتکل کنترل برای ایجنت‌ها و آزمودن آن‌ها روی سیستم‌های واقعی
- ◈پژوهش تفسیرپذیری روی بازنمایی‌های درون مدل و ساخت زیرساخت مطالعهٔ آن در مقیاس
- ◈مدل‌سازی تهدید و تبدیل یافته‌ها به توصیهٔ مشخص برای انتشار مدل یا گزارش ایمنی
- ◈نوشتن مقاله، پست و گزارش و توضیح یافته‌ها برای مخاطب فنی و غیرفنی
- ◈در نقش ارشد: تعیین دستور کار پژوهش، مدیریت تیم و نمایندگی برنامهٔ ارزیابی ریسک در تصمیم‌های داخلی و بیرونی
مهارت‌های مورد نیاز
مهارت‌های فنی، نرم و حوزه‌ای که یک محقق ایمنی هوش مصنوعی موفق به آن‌ها نیاز دارد
مهارت‌های فنی
زبان مشترک بیشتر آگهی‌های بررسی‌شده؛ Anthropic مصاحبه‌های Alignment را با Python برگزار می‌کند و کل stack در Apollo Research با Python است
OpenAI مهارت مهندسی قوی در طراحی و بهینه‌سازی سیستم‌های بزرگ یادگیری ماشین مثل PyTorch را شرط گذاشته است
prompting، scaffolding، طراحی ایجنت، fine-tuning یا RL؛ Apollo برای نقش Control تجربهٔ طراحی و اجرای چنین آزمایش‌هایی را می‌خواهد
طراحی ارزیابی که ریسک و هم‌راستایی را قابل‌اعتماد بسنجد؛ Apollo از Inspect به‌عنوان فریم‌ورک اصلی استفاده می‌کند
OpenAI تجربهٔ عملی در آموزش یا پس‌آموزش مدل‌ها با این روش‌ها را برای تیم Safety Training می‌خواهد
مطالعهٔ بازنمایی‌های درون مدل با ابزارهایی مثل TransformerLens؛ OpenAI و Anthropic تیم‌های جدا برای آن دارند
بیرون کشیدن سیگنال از داده‌های بزرگ و نامرتب (Apollo) و مهارت آماری در سنجیدن آزمایش‌ها (Cohere)
METR و Apollo مهندسی نرم‌افزار قوی، از جمله نگهداری کد در پروداکشن، می‌خواهند
آموزش مدل روی زیرساخت توزیع‌شده (Cohere) و کار با کلاسترهای Kubernetes (Anthropic)
مهارت‌های پژوهشی و ارتباطی
رسیدن از پرسش مبهم به فرضیه، eval یا مداخله، اجرا، تحلیل و تصمیم دربارهٔ اینکه شواهد چه می‌گویند (OpenAI)
Google DeepMind «قضاوت خوب دربارهٔ baseline، ablation و آنچه ارزش آزمودن دارد» را امتیاز می‌داند
انتقال کوتاه و روشن یافته‌های کمّی و کیفی برای مخاطب فنی و غیرفنی (Apollo، Anthropic)
Apollo توانایی کار مستقل روی مسئله‌های پژوهشی بی‌ساختار را شرط گذاشته و METR از کسی می‌گوید که بیشتر چیزها را خودش در لحظه حل کند
Anthropic پروژه‌های سریع و گروهی را به کار طولانی انفرادی ترجیح می‌دهد و OpenAI از «team player» حرف می‌زند
Apollo از متقاضی می‌خواهد بداند کدام مدل برای کدام کار مناسب است و کی نباید از AI استفاده کرد
دانش حوزه‌ای
Redwood Research آشنایی پایه با ایمنی AI و مدل‌های تهدید را حداقل شرط گذاشته است
METR از کسی می‌خواهد در مدل‌سازی تهدید از دست رفتن کنترل و شکستن safety caseها عالی باشد
Redwood خواندن گزارش‌های ریسک و system cardها را توصیه می‌کند؛ آزمایش‌های Anthropic به Responsible Scaling Policy و کار DeepMind به Frontier Safety Framework می‌رسد
Redwood و Apollo آشنایی با امنیت کامپیوتر را امتیاز می‌دانند
برای نقش‌هایی مثل Biological Safety در Anthropic یا تیم Chem Bio در AI Security Institute، تخصص حوزه همان ورودی اصلی است
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به محقق ایمنی هوش مصنوعی
این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.
پایه‌های یادگیری ماشین و Transformer
تقریباً همهٔ آگهی‌ها Python و کار عملی با مدل‌های زبانی را می‌خواهند. Anthropic مصاحبه‌های نقش Alignment را با Python برگزار می‌کند و OpenAI مهارت مهندسی قوی در سیستم‌های بزرگ یادگیری ماشین، مثلاً با PyTorch، را شرط گذاشته است. در پایان این مرحله باید بتوانید یک Transformer کوچک را خودتان بنویسید، آموزش دهید و fine-tune کنید. ریاضیِ لازم را کتاب Mathematics for Machine Learning پوشش می‌دهد که نسخهٔ PDF آن رایگان است.
مبانی ایمنی AI و مسئله‌های اصلی
پیش از آزمایش باید بدانید حوزه دنبال چه مسئله‌هایی است: reward hacking، نظارت مقیاس‌پذیر (scalable oversight)، فریب و scheming، سوءاستفاده از مدل و قابلیت‌های پرخطر. Redwood Research «آشنایی پایه با ایمنی AI و مدل‌های تهدید» را حداقل شرط گذاشته و Anthropic «کمی آشنایی با پژوهش فنی ایمنی AI» را. دورهٔ Technical AI Safety در BlueDot Impact به دو شکل فشرده (۶ روز، روزی ۵ ساعت) و پاره‌وقت (۶ هفته، هفته‌ای ۵ ساعت) برگزار می‌شود. گزارش بین‌المللی ایمنی AI تصویر کلی ریسک‌ها را از نگاه بیش از ۱۰۰ متخصص می‌دهد.
ابزارهای عملی: ارزیابی و تفسیرپذیری
دو مهارت عملی که در آگهی‌ها زیاد تکرار می‌شود ساختن ارزیابی (eval) و نگاه کردن به درون مدل است. برنامهٔ درسی ARENA این‌ها را همراه با RLHF و Alignment Science به تمرین کدنویسی تبدیل کرده و همهٔ مطالبش برای خودآموزی در دسترس است. Apollo Research برای آمادگی مصاحبه پیشنهاد می‌کند با Inspect ارزیابی برای ایجنت‌های زبانی بسازید. Neel Nanda در راهنمای خود می‌نویسد تفسیرپذیری مکانیستیک را می‌شود با بازخورد سریع و منابع محاسباتی کم، به‌تنهایی یاد گرفت.
Alignment، Control و پژوهش‌های پایه
در این مرحله با پژوهش‌هایی آشنا می‌شوید که آگهی‌ها مستقیم به آن‌ها اشاره می‌کنند. Apollo در آگهی Research Scientist (Control) از متقاضی می‌خواهد پروتکل‌های کنترل را به سبک مقالهٔ AI Control (Greenblatt و همکاران، ۲۰۲۳) طراحی و روی سیستم‌های واقعی آزمایش کند. Anthropic در آگهی Alignment از ساختن «model organisms of misalignment» و آزمودن روشی مثل AI Debate نام می‌برد. پست «Recommendations for Technical AI Safety Research Directions» از Anthropic فهرستی از مسئله‌های باز حوزه است؛ از ارزیابی alignment و AI control تا نظارت مقیاس‌پذیر و unlearning.
پروژهٔ پژوهشی، fellowship و ورود به بازار
بسیاری از تازه‌واردان از مسیر یک برنامهٔ پژوهشی با منتور وارد می‌شوند. MATS برنامه‌ای دوازده‌هفته‌ای در Berkeley و لندن است با کمک‌هزینهٔ ۱٬۶۰۰ دلار در هفته. Anthropic Fellows چهار ماه پژوهش تمام‌وقت با منتورهای Anthropic است و به گفتهٔ Anthropic بیش از ۶۵٪ fellowها از کارشان خروجی منتشرشده داشته‌اند. Redwood Research هم برای fellowship همین MATS و Astra را پیشنهاد می‌کند. نتیجهٔ پروژه را بنویسید و منتشر کنید، مثلاً در Alignment Forum؛ این نوشته نمونه‌کار اصلی شماست.
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت
تفسیرپذیری (Interpretability)
کتابخانهٔ تفسیرپذیری مکانیستیک مدل‌های زبانی شبیه GPT که Neel Nanda ساخته است؛ برای cache کردن activationها، hook و patching
ارزیابی و ممیزی (Evals)
فریم‌ورک ارزیابی مدل‌های زبانی که AI Security Institute بریتانیا منتشر کرده؛ Apollo Research آن را فریم‌ورک اصلی ارزیابی خود می‌داند
مجموعهٔ ارزیابی‌های آماده برای Inspect؛ برای دیدن ساختار evalهای واقعی و شروع از روی آن‌ها
آموزش و آزمایش
فریم‌ورک اصلی آزمایش‌ها؛ OpenAI در آگهی Researcher, Alignment مهارت در سیستم‌های بزرگ یادگیری ماشین مثل PyTorch را شرط گذاشته است
کتابخانهٔ Hugging Face برای تعریف و اجرای مدل‌های باز؛ fellowهای Anthropic بیشتر روی مدل‌های متن‌باز و APIهای عمومی کار می‌کنند
کتابخانهٔ Hugging Face برای پس‌آموزش مدل‌های زبانی با یادگیری تقویتی؛ روش‌هایی مثل RLHF و DPO محور کار تیم Safety Training در OpenAI است
داده و بنچمارک‌های ایمنی
دادهٔ ترجیح انسانی برای «کمک‌کننده و بی‌ضرر» بودن، همراه مقالهٔ ۲۰۲۲ Anthropic دربارهٔ آموزش با RLHF
بنچمارک ۳٬۶۶۸ پرسش چندگزینه‌ای برای سنجیدن دانش پرخطر در امنیت زیستی، سایبری و شیمیایی و سنجش روش‌های unlearning
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید
Fellow / پژوهشگر تازه‌وارد
۰ تا ۱ سال
یک پروژهٔ پژوهشی محدود زیر نظر منتور، معمولاً در یک fellowship. MATS دوازده هفته با کمک‌هزینهٔ ۱٬۶۰۰ دلار در هفته است و Anthropic Fellows چهار ماه با کمک‌هزینهٔ ۳٬۸۵۰ دلار در هفته و بودجهٔ محاسباتی حدود ۱۵ هزار دلار در ماه. هدف یک خروجی عمومی مثل مقاله است.
Research Engineer / Research Scientist
۱ تا ۵ سال
مسئول طراحی و اجرای آزمایش در یک تیم ایمنی، از فرضیه تا eval، اجرا و تحلیل. Apollo Research برای Research Scientist (Control) دست‌کم ۲ سال پژوهش تجربی با مدل‌های زبانی می‌خواهد و Google DeepMind برای Research Scientist تیم Gemini Safety and Behavior دو سال تجربه در ایمنی یا امنیت مدل‌های زبانی.
Senior / Staff Researcher
۵+ سال
مالک یک خط پژوهشی و راهنمای دیگران. Google برای Senior AI Safety Researcher پنج سال تجربهٔ تحلیل داده و رهبری فنی اعضای جوان‌تر تیم را می‌خواهد و Cohere برای Senior Member of Technical Staff دست‌کم یک مقاله در کنفرانس‌های سطح اول مثل NeurIPS یا ICML.
Research Lead / Manager
پس از نقش ارشد
تعیین دستور کار تیم، مدیریت پژوهشگران و نمایندگی کار ایمنی در تصمیم‌های انتشار مدل. Google DeepMind از Research Scientist بخش FSF Risk Modeling and Governance می‌خواهد یک تیم پژوهشی را رهبری کند، ریسک‌های جدی را مدل کند و گزارش‌های ایمنی بیرونی را بنویسد. به گفتهٔ 80,000 Hours دکترا برای رهبر پژوهش تقریباً پیش‌فرض است، اما می‌شود از نقش contributor هم به آن رسید.
چالش‌ها و جنبه‌های منفی
واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید
ورود رقابتی و تمرکز جغرافیایی
عمومی80,000 Hours ورود به این مسیر را بسیار رقابتی می‌داند و می‌نویسد کار بیشتر در Bay Area کالیفرنیا و لندن متمرکز است. Anthropic در آگهی لندن نوشته اولویتش گسترش تیم‌های سان‌فرانسیسکو است و ممکن است فقط در صورت تناسب استثنایی پاسخ بدهد. بیشتر نقش‌های بررسی‌شده حضوری یا نیمه‌حضوری‌اند.
سنجیدن چیزی که به‌سختی سنجیده می‌شود
تحقیقاتیOpenAI از پژوهشگر Alignment می‌خواهد قابلیت‌هایی را بسنجد که «ذهنی، وابسته به زمینه و سخت‌سنج»اند. گزارش بین‌المللی ایمنی AI هم می‌گوید اثر واقعی بسیاری از safeguardها نامعلوم است و مهاجمان پیشرفته اغلب از دفاع‌های فعلی عبور می‌کنند. نتیجهٔ کار شما همیشه قطعی نیست و باید محدودیت آن را صادقانه گزارش کنید.
تعادل میان ایمنی و مفید بودن
شرکت بزرگAnthropic تنش اصلی نقش Biological Safety را دقت می‌داند: safeguard باید در برابر بازیگران پیچیده مقاوم باشد و هم‌زمان مزاحم پژوهشگران مشروعی نشود که بسیار بیشترند. OpenAI هم امتناع بیش از حد و امتناع ناکافی را کنار هم جزو خطاهای قابل‌تحلیل می‌آورد. هر دو طرف این تعادل هزینه دارد.
اعتماد، محرمانگی و روابط حساس
تحقیقاتیارزیابی مستقل یعنی دسترسی به مدل‌ها و اطلاعات محرمانهٔ آزمایشگاه‌ها. METR از کارکنان Embedded Assessments می‌خواهد قابل‌اعتماد باشند و روابط پیچیده با آزمایشگاه‌ها را مدیریت کنند، و ممکن است برای چند هفته لازم باشد نزدیک آزمایشگاه مستقر شوند. اعتبار حرفه‌ای در این کار سرمایهٔ اصلی است.
مواجهه با محتوای آزاردهنده
شرکت بزرگGoogle در آگهی Senior AI Safety Researcher صریحاً نوشته این نقش ممکن است با موضوع‌ها یا محتوای خشن، بحث‌برانگیز یا ناراحت‌کننده سروکار داشته باشد. در نقش‌هایی که با سوءاستفاده و حوزه‌های پرخطر کار می‌کنند، این بخشی از شغل است.
حوزه‌ای که سریع عوض می‌شود
عمومیAnthropic در آگهی Biological Safety «راحتی با ابهام و تغییر اولویت‌ها با تغییر قابلیت‌های AI» را شرط گذاشته، METR می‌نویسد روش Time Horizon نزدیک اشباع است و نسخهٔ تازه‌اش را می‌سازد، و Apollo دربارهٔ راهنمای evals خود می‌گوید ممکن است توصیه‌هایش زود عوض شود. چیزی که امروز یاد می‌گیرید ممکن است یک سال بعد کافی نباشد.
استخدام عملی و طولانی
استارتاپفرایند استخدام معمولاً بر کار واقعی تکیه دارد. Apollo Research یک مصاحبهٔ اولیه، یک آزمون خانگی چندساعته، سه مصاحبهٔ فنی و یک مصاحبهٔ نهایی با مدیرعامل دارد. Redwood Research می‌نویسد در بیشتر موارد ابتدا یک دورهٔ آزمایشی چهارماهه پیشنهاد می‌دهد، نه استخدام تمام‌وقت فوری.
حقوق و بازار کار جهانی
حقوق جهانی محقق ایمنی هوش مصنوعی
حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.
* ارقام سالانه‌اند. منبع هر رقم:
- OpenAI posting, Researcher, Alignment (San Francisco; no years stated), posted Aug 27, 2024, open Oct 2026: salary range + equity; median = midpoint
- Anthropic posting, Research Engineer / Scientist, Alignment (San Francisco; no years stated), posted Apr 14, 2025, updated Aug 21, 2026: annual salary range; median = midpoint
- Redwood Research posting, Empirical Researcher (Berkeley, on-site; no years stated), posted Oct 6, 2026: salary range; median = midpoint
- Google DeepMind posting, Research Scientist, Gemini Safety and Behavior (US; 2 years LLM safety/security), seen Oct 2026: base range + 20% bonus target + equity; median = midpoint
- Apollo Research posting, Research Scientist (Control) (London; 2+ years), posted Sep 1, 2026: London salary range; median = midpoint
- Google posting, Senior AI Safety Researcher, Trust & Safety (Kirkland, WA; 5 years data analysis; Google lists it as 'Mid'), seen Oct 2026: base range + 15% bonus target + equity; median = midpoint
- UK AI Security Institute posting, EOI Agentic Controls and Forensics, technical roles (London; Levels 3–7), posted Aug 6, 2026, updated Oct 16, 2026: base + technical allowance range; median = midpoint
- Apollo Research posting, Research Scientist/Engineer (Evaluations) (London & SF; no years stated), posted Feb 13, 2026: salary range in GBP; median = midpoint
- Anthropic posting, [EOI] Research Engineer / Scientist, Alignment - London (no years stated), posted Mar 31, 2025, updated Aug 28, 2026: annual salary range; median = midpoint
- Cohere posting, Senior Member of Technical Staff, Safety and Security for Agents (Toronto/Montreal; Senior title, no years stated), posted Mar 23, 2026: Toronto (GTA)/Montreal base range + equity; median = midpoint
چگونه از صفر شروع کنیم
برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی
ماه ۱: دورهٔ Technical AI Safety
دورهٔ BlueDot Impact را بگذرانید تا نقشهٔ مسئله‌ها و سازمان‌های حوزه را بشناسید و بفهمید مهارت فنی شما کجا بیشترین کاربرد را دارد.
ماه ۲: فصل‌های ARENA
فصل‌های Transformer Interpretability و LLM Evaluations برنامهٔ ARENA را با کدنویسی کامل کنید. مطالب برای خودآموزی آنلاین در دسترس است.
ماه ۳: اولین eval با Inspect
یک eval برای یک رفتار مشخص بسازید و روی چند مدل اجرا کنید. Apollo Research همین را برای آمادگی مصاحبه پیشنهاد می‌کند.
ماه ۴: پروژه‌های کوچک پژوهشی
به پیشنهاد Neel Nanda چند پروژهٔ یک تا پنج روزه انجام دهید تا مهارت‌های با بازخورد سریع، مثل نوشتن و دیباگ آزمایش، را تمرین کنید.
ماه ۵: نوشتن و انتشار
بهترین پروژه را با کد، نمودار و محدودیت‌هایش بنویسید و منتشر کنید تا دیگران بتوانند نقدش کنند.
ماه ۶: درخواست fellowship و نقش
برای MATS، Anthropic Fellows یا Astra درخواست بدهید. نقش‌هایی مثل Agent Safety در OpenAI هم سابقهٔ قبلی در ایمنی را شرط نمی‌دانند.
پروژه‌های پیشنهادی برای رزومه
بازتولید یک نتیجهٔ تفسیرپذیری روی مدل کوچک
مبتدییک نتیجهٔ شناخته‌شده، مثلاً induction heads، را با TransformerLens روی یک مدل کوچک باز بازتولید کنید و نشان دهید کدام attention headها در آن نقش دارند. Neel Nanda پروژه‌های کوچک یک تا پنج روزه را برای تمرین مهارت پژوهش پیشنهاد می‌کند؛ این پروژه از همان جنس است. کد و نمودارها را در یک notebook منتشر کنید.
یک eval برای رفتار مرتبط با ایمنی با Inspect
متوسطبرای یک رفتار مشخص، مثلاً چاپلوسی (sycophancy) یا امتناع بیش از حد، یک eval با Inspect بسازید، روی چند مدل اجرا کنید و نمونه‌هایی را که نمره‌شان عجیب است دستی بخوانید. Apollo Research همین نوع پروژه، یعنی ساختن ارزیابی ایجنت در Inspect، را برای آمادگی مصاحبه پیشنهاد کرده است.
ناظر (monitor) برای coding agent
متوسطیک ناظر مبتنی بر LLM-as-a-judge بسازید که در transcript یک coding agent کارهای ناامن، مثل گذاشتن رمز در خود کد یا ایجاد آسیب‌پذیری SQL injection، را علامت بزند. نرخ تشخیص را در برابر هشدار اشتباه بسنجید و گزارش کنید. Apollo برای آمادگی نقش Control دقیقاً پیشنهاد می‌کند ناظرهای ساده بسازید و روی خروجی ایجنت‌هایی مثل Claude Code یا Codex اجرا کنید.
پس‌آموزش ایمنی و سنجش امتناع
پیشرفتهیک مدل کوچک باز را با DPO روی داده‌ای از پاسخ‌های ایمن و ناایمن پس‌آموزش دهید و پیش و بعد از آن هم امتناع ناکافی (under-refusal) و هم امتناع بیش از حد (over-refusal) را بسنجید. OpenAI هر دو را جزو خطاهایی آورده که تیم Safety Training تحلیل می‌کند.
Model organism: رفتار پنهان و تشخیص آن
پیشرفتهیک مدل کوچک را طوری fine-tune کنید که فقط با یک محرک خاص رفتار متفاوتی نشان دهد، با الهام از مقالهٔ Sleeper Agents، و بعد بسنجید آیا probe روی activationها یا یک ناظر خارجی این رفتار را پیدا می‌کند. آگهی Alignment در Anthropic ساختن «model organisms of misalignment» را یکی از محورهای کار تیم معرفی می‌کند.
مثال‌های واقعی و Case Studies
داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند
طبق ویکی‌پدیا، دکترای یادگیری ماشین را در Australian National University زیر نظر Marcus Hutter گرفت، یک دورهٔ پسادکترای شش‌ماهه در Future of Humanity Institute گذراند و بعد برای پژوهش تجربی ایمنی AI به DeepMind رفت. در ۲۰۲۱ به OpenAI پیوست و در مه ۲۰۲۴ به Anthropic رفت.
در OpenAI عنوان Head of Alignment داشت و از ژوئن ۲۰۲۳ همراه Ilya Sutskever پروژهٔ superalignment را رهبری کرد؛ پروژه‌ای برای اینکه بفهمند چطور ابرهوش‌های آینده را هم‌راستا کنند. هنگام استعفا در مه ۲۰۲۴ نوشت در سال‌های اخیر فرهنگ و فرایندهای ایمنی پشت محصولات پرزرق‌وبرق جا مانده است. مجلهٔ Time او را در ۲۰۲۳ و ۲۰۲۴ در فهرست ۱۰۰ چهرهٔ تأثیرگذار AI آورد.
مسیر Leike نشان می‌دهد این کار را می‌شود هم از دانشگاه و هم از درون آزمایشگاه‌های بزرگ پیش برد، و اینکه پژوهشگر ایمنی گاهی باید دربارهٔ جایی که کار می‌کند موضع روشن بگیرد.
طبق ویکی‌پدیا، کارشناسی ریاضی را در ۲۰۱۲ از MIT و دکترا را در ۲۰۱۷ از UC Berkeley گرفت. از ۲۰۱۷ تا ۲۰۲۱ در OpenAI تیم alignment مدل‌های زبانی را رهبری کرد و در ۲۰۲۱ سازمان غیرانتفاعی Alignment Research Center (ARC) را بنیان گذاشت.
از معماران اصلی RLHF و از نویسندگان مقالهٔ «Deep Reinforcement Learning from Human Preferences» (۲۰۱۷) است؛ مقالهٔ «AI safety via debate» (۲۰۱۸) هم به مسئلهٔ نظارت مقیاس‌پذیر می‌پردازد. تیم ارزیابی ARC در دسامبر ۲۰۲۳ با نام METR مستقل شد و خود او در آوریل ۲۰۲۴ رئیس بخش ایمنی AI در مؤسسهٔ ایمنی AI آمریکا در NIST شد.
RLHF از دل یک پرسش ایمنی بیرون آمد و امروز روش رایج آموزش مدل‌هاست؛ کار ایمنی خوب گاهی به ابزار مشترک کل حوزه تبدیل می‌شود.
به گفتهٔ خودش، کارشناسی ریاضی محض را در ۲۰۲۰ از Cambridge گرفت و در شرکت‌های مالی کمّی مثل Jane Street کارآموزی کرد. سال بعد از فارغ‌التحصیلی را صرف شناختن ایمنی AI کرد و در Future of Humanity Institute، DeepMind و Centre for Human-Compatible AI کارآموز بود. بعد پژوهش مستقل تفسیرپذیری کرد و در Anthropic زیر نظر Chris Olah پژوهشگر تفسیرپذیری مدل‌های زبانی شد.
امروز تیم تفسیرپذیری مکانیستیک Google DeepMind را اداره می‌کند. کتابخانهٔ TransformerLens را ساخته و از طریق stream خودش در MATS، برنامه‌ای پژوهشی که سالی دو بار برگزار می‌شود، پژوهشگران تازه‌کار را منتورینگ می‌کند.
مسیر او از کارشناسی ریاضی تا رهبری یک تیم، از کارآموزی‌های کوتاه، پژوهش مستقل و ساختن ابزاری گذشت که دیگران هم به کار می‌برند؛ ابزار عمومی خوب خودش نمونه‌کار است.
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
Researcher, Alignment
تحلیل نیازمندی‌ها
Have a PhD or equivalent experience in research in computer science, computational science, data science, cognitive science, or similar fields.
«یا تجربهٔ معادل» مهم است: چیزی که می‌سنجند سابقهٔ پژوهش واقعی است، نه خود مدرک. پروژه‌ای که پرسش، آزمایش و نتیجهٔ روشن داشته و منتشر شده، مثلاً خروجی یک fellowship، می‌تواند همین «تجربهٔ معادل» باشد. رشته هم باز است و علوم شناختی و علم داده هم پذیرفته‌اند.
مهمHave strong engineering skills, particularly in designing and optimizing large-scale machine learning systems(e.g., PyTorch).
این شرط نشان می‌دهد نقش به همان اندازه که پژوهشی است، مهندسی هم هست. باید بتوانید آزمایش را روی مدل‌های بزرگ اجرا کنید، کد آموزش را بهینه کنید و خطای آن را پیدا کنید. تجربهٔ fine-tune یا RL روی مدل‌های باز با PyTorch شروع خوبی است.
ضروریHave a deep understanding of the science behind alignment algorithms and techniques.
باید بدانید روش‌هایی مثل RLHF، مدل پاداش و نظارت مقیاس‌پذیر چرا کار می‌کنند و کجا شکست می‌خورند، نه فقط چطور اجرا می‌شوند. خواندن مقاله‌های پایه و بازتولید دست‌کم یکی از آن‌ها راه ساختن این فهم است.
ضروریCan develop data visualization or data collection interfaces (e.g., TypeScript, Python).
بخشی از کار ساختن ابزار برای دیدن داده و جمع‌آوری بازخورد انسانی است؛ چون تیم روی رابط‌هایی کار می‌کند که انسان با آن‌ها مدل را نظارت می‌کند. تسلط پایه به یک فریم‌ورک وب یا ساخت داشبورد با Python کافی است.
مفیدAre a team player – willing to do a variety of tasks that move the team forward.
در تیم‌های پژوهشی کوچک، کارهای مهندسی، داده و نوشتن بین همه تقسیم می‌شود. اگر فقط می‌خواهید روی ایدهٔ خودتان کار کنید، این نقش مناسب نیست.
مهمWant to focus on developing AI models that are trustworthy, safe, and reliable, especially in high-stakes scenarios.
انگیزهٔ واقعی برای ایمنی را در مصاحبه می‌سنجند. باید بتوانید توضیح دهید کدام ریسک برایتان مهم است و چرا، ترجیحاً با پروژه‌ای که روی آن کار کرده‌اید.
مهمEnjoy fast-paced, collaborative, and cutting-edge research environments.
اولویت‌ها سریع عوض می‌شوند و کار گروهی است. تجربهٔ کار در تیم‌های پژوهشی یا پروژه‌های متن‌باز با چند همکار نشانهٔ خوبی برای این بند است.
مفیدتحلیل مسئولیت‌ها
Develop and evaluate alignment capabilities that are subjective, context-dependent, and hard to measure.
بخش سخت کار همین است: رفتاری مثل «پیروی از نیت کاربر» عدد سادهٔ درست یا غلط ندارد. باید راهی برای سنجیدنش طراحی کنید، مثلاً با ارزیاب انسانی یا LLM-as-a-judge، و نشان دهید سنجه قابل‌اعتماد است.
Design evaluations to reliably measure risks and alignment with human intent and values.
ساختن eval مهارت اصلی این نقش است. «Reliably» یعنی eval باید تکرارپذیر باشد و واقعاً همان چیزی را بسنجد که ادعا می‌کند؛ نمونه‌های مشکوک را دستی بخوانید و خطای خود eval را پیدا کنید.
Build tools and evaluations to study and test model robustness in different situations.
مقاومت یعنی رفتار مدل وقتی شرایط عوض می‌شود یا کسی عمداً تلاش می‌کند آن را منحرف کند ثابت بماند. اینجا ابزارسازی برای آزمودن موقعیت‌های متنوع، از جمله موقعیت‌های خصمانه، بخشی از کار است.
Design experiments to understand laws for how alignment scales as a function of compute, data, lengths of context and action, as well as resources of adversaries.
پرسش این است که با بزرگ‌تر شدن مدل، داده یا طول کار، روش‌های alignment بهتر می‌شوند یا می‌شکنند. این کار یعنی آزمایش‌های منظم در چند اندازه و رسم روند، شبیه پژوهش scaling laws اما برای ایمنی.
Design and evaluate new Human-AI-interaction paradigms and scalable oversight methods that redefine how humans interact with, understand, and supervise our models.
نظارت مقیاس‌پذیر یعنی انسان بتواند مدلی را که در برخی کارها از او تواناتر است، باز هم درست قضاوت کند. این بند کار پژوهشی را به طراحی رابط و فرایند نظارت انسانی هم وصل می‌کند.
Train model to be calibrated on correctness and risk.
مدل کالیبره وقتی مطمئن نیست همین را می‌گوید و ریسک کارش را درست تخمین می‌زند. این بند یعنی کار آموزشی مستقیم روی مدل، با پس‌آموزش یا RL، نه فقط ارزیابی آن.
Designing novel approaches for using AI in alignment research
استفاده از خود مدل‌ها برای سرعت دادن به پژوهش alignment، مثلاً برای تولید داده، ارزیابی یا تحلیل خودکار نتایج. کسی که با ابزارهای AI حرفه‌ای کار می‌کند اینجا مزیت دارد.
نتیجه‌گیری کلی
این آگهی نشان می‌دهد پژوهش ایمنی در یک آزمایشگاه پیشرو بیش از هر چیز کار تجربی است: از یک پرسش مبهم دربارهٔ رفتار مدل به آزمایش مشخص رسیدن، ساختن eval یا مداخله، اجرا و تحلیل. شرط «دکترا یا تجربهٔ معادل» یعنی سابقهٔ پژوهش واقعی مهم‌تر از خود مدرک است. بازهٔ حقوق اعلام‌شده ۲۹۵ تا ۵۰۰ هزار دلار به‌اضافهٔ سهام است.
آینده و روندها
پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید
طبق BLS، اشتغال گروه پژوهشگران کامپیوتر و اطلاعات، نزدیک‌ترین گروه شغلی رسمی، در آمریکا از ۲۰۲۵ تا ۲۰۳۵ حدود ۲۲٪ رشد می‌کند و به‌طور میانگین سالانه حدود ۲٬۹۰۰ فرصت شغلی دارد. آمار رسمی جداگانه‌ای برای پژوهش ایمنی AI وجود ندارد.
منبع: BLS Occupational Outlook Handbook
مهارت‌های نوظهور که باید یاد بگیرید
پیش‌بینی‌های آینده
طبق به‌روزرسانی نوامبر ۲۰۲۵ گزارش بین‌المللی ایمنی AI، از انتشار گزارش ۲۰۲۵ تعداد شرکت‌هایی که چارچوب ایمنی مدل‌های پیشرو منتشر کرده‌اند بیش از دو برابر شده است.
AI Security Institute بریتانیا می‌گوید بیش از ۱۰۰ کارمند فنی دارد و به‌سرعت در حال گسترش است.
MATS دورهٔ زمستان ۲۰۲۷ را از ۱۹ ژانویه تا ۱۰ آوریل در Berkeley و لندن برگزار می‌کند و Anthropic برای دورهٔ ژانویهٔ برنامهٔ Fellows درخواست می‌پذیرد.
METR در آگهی Evaluation Execution نوشته انتظار دارد نسخهٔ دوم روش Time Horizon را طی ۶ تا ۱۸ ماه آینده روی مدل‌ها اجرا کند و ظرفیت ارزیابی‌هایش را بسیار بیشتر کند.
ورود رقابتی است و کار در چند شهر متمرکز است؛ 80,000 Hours بیشتر از Bay Area کالیفرنیا و لندن نام می‌برد. عنوان‌ها پراکنده‌اند و جست‌وجوی «AI Safety Researcher» به‌تنهایی بیشتر آگهی‌ها را نشان نمی‌دهد؛ باید Research Scientist، Research Engineer و Member of Technical Staff را با واژه‌هایی مثل Safety، Alignment و Interpretability جست‌وجو کنید. خود حوزه هم سریع عوض می‌شود: METR می‌نویسد روش Time Horizon نزدیک اشباع است و Apollo می‌گوید توصیه‌هایش دربارهٔ evals ممکن است زود تغییر کند. گزارش بین‌المللی ایمنی AI هم یادآوری می‌کند مهاجمان پیشرفته اغلب از دفاع‌های فعلی عبور می‌کنند و اثر واقعی بسیاری از safeguardها نامعلوم است.
منابع
اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۵۲ منبع بررسی شده است.
- Researcher, Alignment — OpenAI (job posting)
- Researcher, Safety Training — OpenAI (job posting)
- Researcher, Agent Safety, Training and Evaluations — OpenAI (job posting)
- Researcher, Alignment Interpretability — OpenAI (job posting)
- Research Engineer / Scientist, Alignment — Anthropic (job posting)
- [Expression of Interest] Research Engineer / Scientist, Alignment - London — Anthropic (job posting)
- Research Scientist/Engineer, Biological Safety — Anthropic (job posting)
- ML/Research Engineer, Safeguards — Anthropic (job posting)
- Anthropic Fellows Program, AI Safety & Security — Anthropic (fellowship posting)
- Research Scientist, Gemini Safety and Behavior, DeepMind — Google (job posting)
- Research Engineer, Frontier Safety Mitigations, DeepMind — Google (job posting)
- Research Scientist, FSF Risk Modeling and Governance, DeepMind — Google (job posting)
- Senior AI Safety Researcher — Google, Trust and Safety (job posting)
- Research Scientist/Engineer (Evaluations) — Apollo Research (job posting)
- Research Scientist (Control) — Apollo Research (job posting)
- Member of Technical Staff, Evaluation Execution — METR (job posting)
- Member of Technical Staff, Embedded Assessments — METR (job posting)
- Empirical Researcher — Redwood Research (job posting)
- Senior Member of Technical Staff, Safety and Security for Agents — Cohere (job posting)
- Expression of Interest: Next-generation Agentic Controls and Forensics — UK AI Security Institute (job posting)
- Expression of Interest: Cyber & Autonomous Systems Team — UK AI Security Institute (job posting)
- Expression of Interest: Chem Bio — UK AI Security Institute (job posting)
- AI Research Scientist, AI Safety and Security — Meta (job posting, LinkedIn)
- Staff Research Scientist, AI Safety — Biohub (job posting, LinkedIn)
- AI Safety Researcher — Digital India Corporation (job posting, closed 14 Oct 2026)
- BLS Occupational Outlook Handbook — Computer and Information Research Scientists
- Glassdoor — Ai Safety Researcher salaries, United States (no reports)
- 80,000 Hours — AI safety technical research: career review
- MATS Research
- MATS Winter 2027
- Anthropic Fellows Program for AI safety research — Alignment Science Blog
- Astra Fellowship — Constellation Institute
- ARENA Curriculum
- BlueDot Impact — Online AI safety courses
- The AI Security Institute (AISI)
- NIST — Center for Advancing Innovation and Standards for Super Intelligence (CAISSI)
- International AI Safety Report
- Recommendations for Technical AI Safety Research Directions — Anthropic
- A Starter Guide For Evals — Apollo Research
- Careers — Redwood Research
- Jan Leike — Wikipedia
- Paul Christiano — Wikipedia
- About — Neel Nanda
- How To Become A Mechanistic Interpretability Researcher — Neel Nanda (AI Alignment Forum)
- Concrete Problems in AI Safety — Amodei et al. (arXiv)
- Deep reinforcement learning from human preferences — Christiano et al. (arXiv)
- AI safety via debate — Irving, Christiano, Amodei (arXiv)
- AI Control: Improving Safety Despite Intentional Subversion — Greenblatt et al. (arXiv)
- Sleeper Agents — Hubinger et al. (arXiv)
- inspect_petri — GitHub
- The WMDP Benchmark — Li et al. (arXiv)
- Mathematics for Machine Learning — companion site