متخصص تست نفوذ مدل
AI Red Teamer
متخصص تست نفوذ مدل (AI Red Teamer) نقشی هیبریدی بین security engineer و ML researcher است که هدفش پیدا کردن آسیبپذیریهای مدلهای هوش مصنوعی پیش از مهاجمان واقعی است. این متخصص با تکنیکهایی مثل prompt injection، jailbreaking، data poisoning، model extraction و adversarial perturbation به مدلهای production حمله میکند تا نقاط ضعف رفتاری، خطرات misuse و آسیبپذیریهای امنیتی را قبل از launch کشف کند. در ۲۰۲۶ با اجرایی شدن EU AI Act و افزایش deploy LLM در حوزههای critical (سلامت، مالی، defense)، تقاضا برای red teamer در OpenAI، Anthropic، Google DeepMind و دولت آمریکا انفجاری شده و حقوق ارشد به ۳۵۰هزار+ دلار رسیده است.
مقدمه و تعریف شغل
متخصص تست نفوذ مدل (AI Red Teamer) کسی است که با ذهنیت مهاجم به سیستمهای AI نزدیک میشود و قبل از مهاجمان واقعی، آسیبپذیریهای امنیتی، رفتاری و policy آنها را کشف میکند. این نقش ترکیبی از security engineer سنتی، ML researcher و policy analyst است. خروجی کار یک red teamer مجموعهای از یافتههای مستند به همراه proof-of-concept attack و توصیههای mitigation است که توسط تیمهای alignment، product و policy استفاده میشود تا مدل پیش از launch ایمنتر شود.
تا سال ۲۰۲۲ مفهوم red teaming در حوزه ML بیشتر آکادمیک بود و در مقالههای adversarial examples (مثل کار Goodfellow در ۲۰۱۴) خلاصه میشد. با launch ChatGPT و کشف جیلبریکهای ویروسی مثل DAN، صنعت متوجه شد LLM ها کلاس کاملاً جدیدی از حملات دارند که هیچ playbook ای برایش وجود ندارد. OpenAI، Anthropic و Google DeepMind به سرعت تیمهای red team داخلی ساختند. در ۲۰۲۳ executive order کاخ سفید الزام red teaming برای frontier models را تصویب کرد. در ۲۰۲۴ UK AI Safety Institute و US AISI شکل گرفتند. EU AI Act که از ۲۰۲۵ اجرایی میشود، red teaming را برای high-risk system ها mandate میکند. در ۲۰۲۶ این نقش از یک تخصص niche به یکی از سریعترین حوزههای در حال رشد security تبدیل شده است.
چه چیزی میسازید؟
مثالهای واقعی از خروجی کار یک متخصص تست نفوذ مدل
Campaign های red team برای launch مدل
Anthropic قبل از release مدل Claude Opus 4 یک campaign چند هفتهای اجرا میکند که شامل هزاران attempt با تخصصهای CBRN، cyber و persuasion است. شما orchestration و evaluation این campaign را طراحی میکنید.
ابزار اتوماسیون حمله
Microsoft تیم AI Red Team خود ابزار PyRIT را open-source کرد. شما orchestrator یا converter جدیدی روی PyRIT میسازید که حملات multilingual و multimodal را در مقیاس اجرا میکند.
Jailbreak Dataset و Eval Harness
Center for AI Safety با ساخت HarmBench یک benchmark مرجع ساخت. شما dataset مشابه میسازید یا روی آن evaluation harness داخلی شرکت را build میکنید.
گزارش policy و system card
Google DeepMind در system card مدل Gemini یافتههای red team را منتشر میکند. شما این گزارشها را مینویسید — هم به engineer میفهماند و هم به regulator.
Threat Model مخصوص محصول
وقتی یک شرکت میخواهد LLM در workflow پزشکی deploy کند، شما diagram threat model اختصاصی میسازید که شامل patient data leak، misinformation و prescription manipulation است.
Agent و Tool-use Attack
یک autonomous agent مثل Devin به browser، code execution و API دسترسی دارد. شما scenarios هایی میسازید که agent با inputs مخرب hijack شود — مثلاً شکست credential exfiltration.
تخصصهای مختلف متخصص تست نفوذ مدل
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
متخصص red team روی LLM
LLM Red Teamer
تمرکز کامل روی text-based LLM ها: jailbreak، prompt injection، system prompt extraction. استخدامکنندگان اصلی OpenAI، Anthropic و Google DeepMind هستند.
متخصص multimodal
Multimodal Red Teamer
حمله به مدلهای vision-language مثل GPT-4o، Gemini و Claude — adversarial image، steganographic prompt injection و audio attack. تخصصی تقریباً نایاب در ۲۰۲۶.
متخصص امنیت agent
Agent Security Specialist
تمرکز روی autonomous agents مثل Devin، Operator و AutoGen — tool poisoning، agent hijacking و chain-of-thought manipulation. در labs مثل Cognition و Adept مرکزی است.
متخصص ریسک CBRN
CBRN & Bio Risk Red Teamer
ارزیابی توانایی مدل در کمک به ساخت سلاح شیمیایی، بیولوژیک یا هستهای. نیاز به PhD در علوم زیستی یا شیمی. استخدام در Anthropic، UK AISI و US AISI.
رهبر policy و governance
Policy & Governance Lead
ترجمه یافتههای فنی به زبان regulator. نوشتن feedback به NIST، EU Commission و OSTP. در شرکتهایی مثل OpenAI و Google نقش پل بین فنی و دولت.
تفاوت با شغلهای مشابه
کجا این شغل تمام میشود و شغل دیگری شروع میشود؟
Pentester کلاسیک روی network، web و infrastructure attack میکند با ابزارهایی مثل Metasploit و Burp. AI red teamer سیستم احتمالاتی و emergent را هدف میگیرد که bug ندارد بلکه behavior نامناسب دارد. مهارتها overlap دارند اما mental model کاملاً متفاوت است.
Safety researcher روی alignment تئوریک، interpretability و long-horizon risk کار میکند. Red teamer empirical و کوتاهمدت است — هدفش پیدا کردن weakness قابل اثبات در مدل امروز است نه نظریهپردازی درباره superintelligence.
ML engineer مدل میسازد و deploy میکند تا کار کند. Red teamer میسازد تا مدل را شکست دهد. اولی موفقیت را با accuracy میسنجد، دومی با تعداد attack ای که گذر نکردهاند. این دو نقش complementary هستند و در تیمهای مدرن کنار هم مینشینند.
AppSec engineer روی SQL injection، XSS و OAuth misconfig تمرکز دارد. AI red teamer روی attack هایی کار میکند که در هیچ checklist OWASP کلاسیک نیستند: prompt injection، training data poisoning و emergent capability. بسیاری از red teamer ها از AppSec وارد این حوزه میشوند.
تأثیر در صنایع مختلف
متخصص تست نفوذ مدل در همه صنایع مشغول به کار است — نه فقط شرکتهای فناوری
Frontier AI Labs
OpenAI، Anthropic و DeepMind قبل از هر model release، red team campaign اجرا میکنند و یافتهها را در system card منتشر میکنند
دفاع و امنیت ملی
US AISI، UK AISI و Pentagon تیمهای red team دولتی دارند که frontier models را برای ریسک national security ارزیابی میکنند
مالی و بانکی
قبل از deploy LLM در customer service یا underwriting، تیمهای security باید فرار اطلاعات و prompt injection را arzیابی کنند
سلامت و درمان
FDA و EMA برای تأیید مدلهای clinical decision support شواهد red testing مستند میخواهند — حوزه با نرخ استخدام بالا
خودروسازی autonomous
Tesla، Waymo و Mobileye باید perception model را در برابر adversarial sign و patch attack red team کنند
Cybersecurity vendor
CrowdStrike، Palo Alto و SentinelOne محصولات MLSecOps میسازند و red teamer بهعنوان product specialist استخدام میکنند
Legal و compliance
EU AI Act red teaming را برای high-risk system ها mandate کرده — هر سازمان مستقر در اروپا به متخصص نیاز دارد
Education و Research
Stanford CRFM، Berkeley CHAI و MIT Lincoln Lab تیمهای آکادمیک red teaming دارند که benchmark های جدید منتشر میکنند
تصورات غلط رایج
قبل از تصمیمگیری، این باورهای اشتباه را بشناسید
Red teaming یعنی فقط نوشتن جیلبریک
نوشتن یک jailbreak یک نوع کار سطح junior است. red teamer ارشد سیستم میسازد، evaluation harness طراحی میکند و با policy stakeholder کار میکند. نوشتن jailbreak شاید ۱۰٪ کار باشد.
فقط hacker بودن کافی است
بدون درک عمیق از transformer، RLHF و training pipeline نمیتوانید attack جدید بسازید. red teamer مدرن هم security engineer است هم ML practitioner — یک پایه به تنهایی کافی نیست.
این کار غیرقانونی یا غیراخلاقی است
Red teaming قانونی، استخدامشده و mandate شده توسط دولت آمریکا و EU است. تمام attack ها در محیط authorized انجام میشود و گزارش از طریق responsible disclosure منتشر میشود.
AI خودش red team را replace میکند
ابزارهای automated مثل PyRIT کمک میکنند اما تشخیص subtle harm، policy reasoning و design حملات novel هنوز نیاز به انسان دارد. AI بازوی red teamer است نه جایگزین.
باید PhD داشته باشید
Frontier labs PhD ترجیح میدهند اما الزامی نیست. بسیاری از red teamer های ارشد در OpenAI و Anthropic از پسزمینه pentest سنتی آمدهاند. portfolio عمومی قوی جایگزین مدرک میشود.
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
جونیور (۰–۲ سال)
بیشتر روز در حال اجرای playbook های آماده، تست variant های جدید jailbreak و یادگیری ابزار است. کار با guidance انجام میشود و outcome شفاف است.
- ◆صبح: standup تیم safety + بررسی finding های کشفشده دیشب توسط automation
- ◆بلاک اول: اجرای ۲۰۰ prompt با Garak روی مدل target و triage نتایج
- ◆ناهار: شرکت در reading group هفتگی روی paper جدید adversarial ML
- ◆بعد از ناهار: نوشتن proof-of-concept برای یک jailbreak novel و reproduce کردن آن
- ◆پایان روز: ثبت finding ها در tracker، update به lead و آمادهسازی PR روی repo داخلی
میانی (۲–۵ سال)
تعادل بین کار technical و رهبری بخشهایی از campaign. خودتان hypothesis میسازید و evaluation طراحی میکنید. ارتباط با product و alignment team بخش مهمی از روز است.
- ◆صبح: triage severity یافتههای campaign اخیر و escalation موارد critical
- ◆جلسه با تیم alignment: بررسی mitigation های پیشنهادی و طراحی regression test
- ◆بلاک کدنویسی: توسعه یک converter یا orchestrator جدید روی PyRIT
- ◆بعد از ناهار: mentoring یک جونیور روی روششناسی jailbreak و code review
- ◆عصر: نوشتن بخش technical یک system card که هفته بعد همراه launch منتشر میشود
ارشد (۵+ سال)
تمرکز روی استراتژی و impact گسترده. کمتر مستقیم attack مینویسید اما direction تیم را تعیین میکنید. زمان زیادی صرف رابطه با regulator، press و leadership شرکت میشود.
- ◆صبح: review نهایی plan campaign که برای launch مدل بعدی طراحی شده
- ◆جلسه با Chief Safety Officer و VP Engineering: تصمیم go/no-go روی release
- ◆بلاک متمرکز: نوشتن feedback رسمی شرکت به NIST درباره چارچوب جدید AI risk
- ◆بعد از ناهار: مصاحبه با خبرنگار Wired درباره یافتههای اخیر یا برگزاری بریفینگ برای US AISI
- ◆عصر: ۱:۱ با لیدهای زیرمجموعه، تنظیم OKR کوارتر بعد و planning استخدام
مسئولیتها و وظایف
مسئولیتهای اصلی
وظایف روزانه و مهارتهای مورد نیاز در این شغل
- ◈طراحی و اجرای red team campaign های ساختاریافته روی مدلهای قبل از launch
- ◈توسعه prompt injection، jailbreak و adversarial attack های novel متناسب با threat model محصول
- ◈اتوماسیون حملات با ابزارهایی مثل PyRIT و Garak برای پوشش هزاران تست در روز
- ◈ارزیابی multimodal attack ها روی مدلهای vision-language و audio
- ◈حمله به LLM Agents و tool use برای کشف agent hijacking و tool poisoning
- ◈نوشتن گزارشهای فنی و قابلفهم برای engineering team و policy stakeholder ها
- ◈همکاری با team های alignment و safety برای توسعه mitigation و guardrail
- ◈رهبری بخش security مرتبط با مدل در launch review ها و انتشار system card
مهارتهای مورد نیاز
مهارتهای فنی، نرم و حوزهای که یک متخصص تست نفوذ مدل موفق به آنها نیاز دارد
مهارتهای فنی
تسلط بر تکنیکهای FGSM، PGD، Carlini-Wagner و defense های مرتبط — پایه آکادمیک هر red teamer
ساخت prompt هایی که safety filter را دور میزنند، system prompt را افشا میکنند یا behavior را hijack میکنند
نوشتن automation حملات، orchestration campaign و parsing نتایج با حداقل code overhead
درک tokenizer، attention، RLHF و سرکوب behavior — بدون این هر attack تصادفی میماند نه systematic
ساخت diagram های STRIDE یا attack tree روی pipeline ML و تشخیص surface مهم برای red teaming
حمله به vision-language و audio model — adversarial image، steganographic prompt و jailbreak صوتی
تشخیص آسیبپذیری در tool use، browser action و agent loops — حوزهای که در ۲۰۲۶ بیشترین رشد را دارد
مهارتهای نرم
ترجمه finding پیچیده به متن قابلفهم برای engineer، product و policy stakeholder در یک سند
توانایی قضاوت چه finding ای را، کی و به چه کسی افشا کنیم بدون آسیب به کاربر یا brand
توانایی mental model حمله — همیشه پرسیدن «اگر بد بودم چطور این را شکست میدادم؟»
توضیح jailbreak به VP حقوقی یا regulator بدون افتادن در jargon یا alarmism
کار مداوم با alignment، product، legal و PR — red teamer منزوی موفق نمیشود
حوزه هر چند هفته با مدل جدید و technique جدید تغییر میکند — مهارت reading paper و reproducing سریع کلیدی است
دانش حوزهای
آشنایی کامل با ۱۰ ریسک رسمی LLM application و mapping آن به محصول واقعی
چارچوب رسمی دولت آمریکا برای risk management مدلهای AI و الزامات گزارشدهی
درک تقسیمبندی high-risk، الزامات red teaming و timeline اجرایی شدن مقررات اروپا
knowledge base حملات adversarial علیه AI — مرجع مشترک تیمها برای naming و categorization
آشنایی با عرف industry برای گزارش آسیبپذیری به vendor، embargo و coordinated release
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به متخصص تست نفوذ مدل
این مسیر گام به گام شما را از صفر تا حرفهای هدایت میکند.
پایههای امنیت و یادگیری ماشین
پیش از حمله به مدلها باید هم بنیانهای security engineering و هم mechanics یادگیری ماشین را بشناسید — بدون هر دو هیچ red teamer جدی گرفته نمیشود
Deep Learning و LLM Internals
برای پیدا کردن نقطه ضعف یک مدل باید بدانید چطور آموزش میبیند، چطور inference انجام میدهد و در کجا fragile است — Transformer، tokenization، RLHF و alignment
Adversarial ML و Attack Vectors کلاسیک
مطالعه عمیق تکنیکهای حمله: evasion، poisoning، model extraction، membership inference و defenseهای موجود — بخش آکادمیک و mathematical حرفه
LLM Red Teaming و Prompt Attacks
تخصصیسازی روی LLM: prompt injection مستقیم و indirect، jailbreaking، system prompt leak و چارچوبهای ارزیابی مثل HarmBench و Microsoft PyRIT
Production Red Teaming، Policy و تخصص
گذر از تکنیک به استراتژی: طراحی campaign های red team در مقیاس، نوشتن گزارش policy، آشنایی با NIST AI RMF و EU AI Act و انتخاب specialization (multimodal، agent، autonomy)
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دستهبندیشده بر اساس اولویت
فریمورکهای Red Teaming
Python Risk Identification Toolkit مایکروسافت برای automation حمله به مدلهای generative — استاندارد industry برای red team campaign
Adversarial ML
کتابخانه جامع برای تولید adversarial example، defense و robustness evaluation روی مدلهای classical و deep
Threat Modeling و Frameworks
ابزارهای جانبی
platform مشاهده trace و log اپهای LangChain — برای reverse engineering agent ها در red team
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارتهایی نیاز دارید و چه درآمدی انتظار داشته باشید
Red Teamer جونیور
۰ تا ۲ سال
~$110K
میانگین سالانه (آمریکا)
اجرای playbook های آماده red team، نوشتن جیلبریکهای ساده، گزارشنویسی finding ها و یادگیری از تیم
Red Teamer میانی
۲ تا ۵ سال
~$175K
میانگین سالانه (آمریکا)
طراحی campaign های اختصاصی، توسعه automation برای حملات novel، همکاری با policy team و mentoring جونیورها
Red Teamer ارشد
۵ تا ۸ سال
~$260K
میانگین سالانه (آمریکا)
رهبری red team برای launch مدلهای frontier، نوشتن system card، نمایندگی شرکت در standardization و دولت
Principal / Head of Red Team
۸+ سال
~$380K
میانگین سالانه (آمریکا)
تعریف استراتژی AI safety شرکت، مذاکره با NIST/AISI، تأسیس و رهبری تیم چند دهنفره و حضور در board
چالشها و جنبههای منفی
واقعیتهایی که کمتر در آگهیهای شغلی میبینید — قبل از ورود بدانید
گذر از anecdotal به measurable
عمومییک finding تک «این prompt مدل را شکست» جالب است اما کافی نیست. شما باید evaluation harness بسازید تا نشان دهید attack در ۱۰۰۰ variant با چه نرخ موفقیت کار میکند. این مهارت سختی است که اغلب جونیورها در آن گیر میکنند.
تنش بین speed استارتاپ و depth red team
استارتاپدر استارتاپ ها فشار release هفتگی است اما red teaming صحیح هفتهها زمان میبرد. شما باید بتوانید campaign کمعمق ولی سریع طراحی کنید بدون آنکه خود را در موقعیت signing-off روی محصول ناایمن قرار دهید.
Compliance vs اکتشاف واقعی
شرکت بزرگدر شرکتهای بزرگ red teaming اغلب به checklist تبدیل میشود تا regulator راضی شود. مبارزه با این فرهنگ — اطمینان از اینکه تیم به جای box-checking واقعاً risk کشف میکند — یکی از سختترین چالشهای role است.
تغییر سریع landscape
عمومیابزاری که سه ماه پیش state-of-the-art بود امروز outdated است. مدلهای جدید رفتارهای جدید دارند و الگوهای قبلی attack دیگر کار نمیکنند. red teamer مدرن باید مدام reading، reproducing و adapt کند.
هزینه روانی مواجهه با محتوای مضر
عمومیبخشی از کار شامل تولید و بررسی محتوای violent، sexual یا extremist است. این محتوا به مرور زمان روی روان شما اثر میگذارد. تیمهای جدی mental health support و rotation policy دارند اما در استارتاپهای کوچک این support وجود ندارد.
publishing بدون give-away
تحقیقاتیشما میخواهید یافتهها را برای پیشرفت community منتشر کنید، اما هر detail اضافه میتواند به مهاجم واقعی کمک کند. خط بین transparency و responsibility در research آکادمیک هنر ظریفی است.
حقوق و بازار کار جهانی
حقوق جهانی متخصص تست نفوذ مدل
میانگین حقوق سالانه بر اساس تجربه در کشورهای مختلف
| کشور | میانه | ارز |
|---|---|---|
🇮🇳هند | ₹4,200,000 | INR |
🇦🇪امارات | AED 330,000 | AED |
🇺🇸آمریکا | $310,000 | USD |
🇨🇦کانادا | CA$195,000 | CAD |
🇨🇭سوئیس | CHF 185,000 | CHF |
🇸🇬سنگاپور | SGD 180,000 | SGD |
🇦🇺استرالیا | A$175,000 | AUD |
🇬🇧انگلستان | £150,000 | GBP |
🇩🇪آلمان | €120,000 | EUR |
🇳🇱هلند | €115,000 | EUR |
* ارقام سالانه و تقریبی هستند و بر اساس میانگین بازار در سال ۲۰۲۵ محاسبه شدهاند.
چگونه از صفر شروع کنیم
برنامه گامبهگام برای ورود به مهندسی هوش مصنوعی
ماه ۱: پایههای امنیت + Python
OWASP Top 10 کلاسیک و OWASP LLM Top 10 را بخوانید. Python را در حد scripting روی API ها مسلط شوید. blog هایی مثل Simon Willison و Embrace The Red را دنبال کنید.
ماه ۲: مبانی ML و LLM
Andrew Ng Machine Learning + Hugging Face NLP Course. هدف: دانستن چطور transformer کار میکند و چطور fine-tune میشود — نه ساختن از صفر.
ماه ۳: Prompt Injection Practice
روی Llama 3 محلی jailbreak تمرین کنید. در Gandalf، HackAPrompt و challenge های مشابه شرکت کنید. اولین blog post خود را منتشر کنید.
ماه ۴: PyRIT و Garak
نصب و اجرای Garak روی مدلهای open و سپس PyRIT. یک campaign کوچک طراحی کنید و نتایج را در GitHub منتشر کنید.
ماه ۵: Adversarial ML آکادمیک
مطالعه tutorial آکادمیک Madry و چند paper کلاسیک: Goodfellow 2014، Carlini-Wagner 2017. حداقل یک adversarial example روی CIFAR-10 reproduce کنید.
ماه ۶: Portfolio و Apply
۳ پروژه عمومی روی GitHub، حساب LinkedIn با تمرکز AI security، شرکت در DEF CON AI Village. apply برای junior role در lab های frontier یا boutique security firm ها.
پروژههای پیشنهادی برای رزومه
Jailbreak Dataset روی Open Models
مبتدیروی Llama 3 یا Mistral یک مجموعه ۵۰+ jailbreak مستند بسازید. هر کدام را با Garak تأیید کنید و نتایج را در GitHub منتشر کنید.
Indirect Prompt Injection روی RAG
متوسطیک سیستم RAG ساده بسازید و سپس با تزریق پرامپت در سند ورودی نشان دهید چطور پاسخ مدل dictate میشود. defenseها را هم پیاده کنید.
Adversarial Image Attack روی Vision Model
متوسطبا PGD یک adversarial example روی ResNet یا CLIP بسازید که از انسان عبور میکند اما مدل را گمراه میکند. defense با adversarial training را هم تست کنید.
Red Team Automation با PyRIT
پیشرفتهیک campaign کامل با Microsoft PyRIT بنویسید که چندین orchestrator مختلف را روی یک LLM target اجرا میکند و dashboard نتایج تولید میکند.
Agent Hijacking روی LLM Agent
پیشرفتهیک autonomous agent با LangChain یا AutoGen بسازید و سپس از طریق tool poisoning و indirect injection کنترل آن را در دست بگیرید. تمام سناریوها را در report تحلیل کنید.
مثالهای واقعی و Case Studies
داستانهای واقعی از مهندسانی که در این حوزه تأثیرگذار بودهاند
بنیانگذار و رهبر AI Red Team در مایکروسافت. پس از کار طولانی روی security و ML، تیم AI Red Team را در ۲۰۱۹ تأسیس کرد و فریمورک رسمی شرکت برای red teaming AI را شکل داد.
هدایت تیمی که PyRIT را open-source کرد، نگارش راهنمای رسمی Microsoft برای red teaming generative AI و انتشار مقالات تأثیرگذار درباره threat landscape مدلهای زبانی. مشاور Pentagon، NIST و چندین دولت در زمینه AI security.
ساخت یک حوزه جدید از خاکستر ممکن است. وقتی Ram شروع کرد «AI Red Team» بهعنوان عنوان شغلی وجود نداشت. او با ساخت ابزار، نوشتن paper و sharing public روششناسی، نقش را تعریف کرد. اگر میخواهید leader حوزه نوظهور باشید، باید چارچوب آن را خودتان بسازید.
محقق ارشد Google DeepMind و یکی از تأثیرگذارترین محققان adversarial ML در جهان. PhD از UC Berkeley زیر نظر David Wagner و ادامه کار بهعنوان research scientist.
همنویسنده حمله Carlini-Wagner که هنوز benchmark آکادمیک adversarial example است. کشف اولین حملات extraction روی LLM های production و مقالات پیشگامانه روی membership inference و training data leakage. صدها سیتیشن در پایه نظری red teaming امروز.
Red teaming در سطح آکادمیک نیاز به rigor ریاضی دارد. Carlini نشان داد که یک محقق با تمرکز عمیق روی attack میتواند نه فقط security بلکه drs deep learning را شکل دهد. اگر علاقه شما تحقیقاتی است، PhD در adversarial ML مسیر مستقیمی به frontier lab است.
متخصص امنیت سابقهدار با بیش از ۲۰ سال تجربه در application security و سپس تمرکز کامل روی AI security. بنیانگذار Unsupervised Learning و سازنده ابزارهای محبوب open-source.
خالق Fabric — فریمورک open-source برای استفاده عملی از LLM در security workflow. سالها نوشتن و podcast درباره AI security قبل از اینکه mainstream شود. الگوی موفق گذر از AppSec کلاسیک به AI security بدون PhD.
مسیر AppSec → AI Red Team کاملاً قابل عبور است. اگر چند سال در security سنتی کار کردهاید، با اضافه کردن دانش ML و LLM میتوانید بدون تغییر مسیر بنیادی به یکی از پرتقاضاترین تخصصهای ۲۰۲۶ برسید.
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
Research Engineer, Frontier Red Team
تحلیل نیازمندیها
Experience with adversarial techniques against frontier AI models
این نیاز اصلی است. باید بتوانید پروژهای را که در آن مستقیماً مدل را شکست دادهاید نشان دهید. یک jailbreak document شده یا participation در HarmBench نشانه قوی است.
ضروریStrong software engineering skills, particularly in Python
Anthropic انتظار دارد شما نهتنها attack بسازید بلکه آن را به evaluation harness قابل reproduce و run در مقیاس تبدیل کنید. Python فقط scripting نیست — software engineering واقعی است.
ضروریFamiliarity with LLM training, fine-tuning, and evaluation pipelines
بدون درک RLHF و DPO نمیتوانید پیشبینی کنید کدام attack موفق خواهد بود. تجربه fine-tune مدل با Hugging Face PEFT حداقل لازم است.
ضروریBackground in security, ML, or related field (industry or academic)
Anthropic هر دو background را قبول میکند. مهمتر از مدرک، خروجی قابلدفاع است: paper، open-source یا گزارش red team. اگر هیچ portfolio عمومی ندارید این مهم میشود.
ضروریExcellent communication skills for technical writing and policy engagement
نتیجه کار شما در system card، paper و گاهی testimony به Congress استفاده میشود. توانایی نوشتن متن قابلفهم برای regulator و دانشمند همزمان حیاتی است.
مهمBackground in CBRN, persuasion, or autonomy evaluations
این nice-to-have بزرگی است. Anthropic روی این سه risk دسته تمرکز ویژه دارد. اگر background در یکی از این حوزهها دارید (PhD بیولوژی، روانشناسی متقاعدسازی، RL) درخواست شما متمایز میشود.
مفیدتحلیل مسئولیتها
Design and execute red teaming campaigns against frontier Claude models
شما قبل از launch هر مدل بزرگ یک campaign میسازید: scope، metric، orchestrator، رپورت. این یعنی project management قوی به اضافه عمق technical.
Develop novel attack techniques and automate them at scale
تکتک finding ها کافی نیست — باید attack ها قابل reproduce و runnable در batch باشند. یعنی نوشتن code تمیز و infrastructure مناسب.
Contribute to system cards and policy publications
system card های Anthropic مرجع صنعت هستند. نوشتن آنها شامل ترجمه finding فنی به زبان قابلفهم برای regulator و عموم است.
Collaborate with alignment, policy, and product teams on mitigations
شما finding میدهید اما mitigation با alignment طراحی میشود. این یعنی هفتهای چندین جلسه cross-functional و توانایی push back محترمانه روی trade-off ها.
نتیجهگیری کلی
Anthropic به دنبال generalist عمیق است — کسی که هم adversarial ML technical بفهمد، هم software engineer قوی باشد، هم بتواند policy گزارش بنویسد. اگر در یکی از این سه ضعف دارید، روی پر کردن آن قبل از apply تمرکز کنید. portfolio عمومی روی GitHub با ۲–۳ پروژه جدی red teaming نقطه شروع لازم است.
آینده و روندها
پیشبینی ۵–۱۰ ساله و مهارتهایی که باید یاد بگیرید
رشد ۳۸٪ سالانه تخمینی تا ۲۰۳۰ — از کمتر از ۵ هزار متخصص جدی امروز به ۵۰ هزار+ نفر در سطح جهانی
منبع: Gartner AI TRiSM Report 2025 / WEF Future of Jobs Report 2025 / MLSecOps Community Survey
مهارتهای نوظهور که باید یاد بگیرید
پیشبینیهای آینده
EU AI Act اجرایی میشود و هر سازمان مستقر در اروپا با high-risk system نیاز به مستندات red teaming دارد — تقاضای انفجاری در consulting
Agentic systems جریان اصلی میشوند و agent red teaming به sub-specialty مستقل با حقوق premium تبدیل میشود
گواهینامه رسمی AI Red Team (شبیه OSCP) منتشر میشود و entry barrier نسبت به دوران open-portfolio بالا میرود
هر شرکت Fortune 500 حداقل یک تیم داخلی AI Red Team خواهد داشت و این نقش از niche به استاندارد امنیت سازمانی تبدیل میشود
یک ریسک واقعی: آیا automation حملات (مثل خود LLM ها برای کشف jailbreak) جایگزین red teamer انسانی میشود؟ پاسخ کوتاه: نه به این زودی. ابزارها در ۲۰۲۶ کارهای repetitive را replace میکنند ولی طراحی threat model، قضاوت خطرات novel و engagement با policy stakeholder همچنان human-only هستند. ریسک واقعیتر این است که حوزه به سرعت در حال professional شدن است و کسانی که از پنج سال پیش وارد شدهاند barrier to entry بالاتری برای تازهواردان ایجاد میکنند. توصیه: هرچه زودتر portfolio بسازید و یک تخصص (multimodal، agent، CBRN) را عمیق پیگیری کنید.
ویدیوهای آموزشی
یک روز در زندگی یک AI Red Teamer
ویدیوهای واقعی از متخصصان این حوزه که روزانه چه کارهایی انجام میدهند
![10 INSANE ClawdBot/Openclaw Use Cases You Can Use Instantly [OpenClaw Tutorial]](/_next/image?url=https%3A%2F%2Fi.ytimg.com%2Fvi%2FzX-9xXlBTtA%2Fhqdefault.jpg&w=3840&q=75)