متخصص تست نفوذ مدل
AI Red Teamer
متخصص تست نفوذ مدل (AI Red Teamer) با اجازهٔ صاحب سیستم و در محدوده‌ای تعریف‌شده نقش مهاجم یا کاربر سوءاستفاده‌گر را بازی می‌کند تا پیش از سوءاستفادهٔ واقعی معلوم شود یک مدل، ایجنت یا محصول هوش مصنوعی کجا از قاعده‌ها و حفاظ‌هایش (safeguards) خارج می‌شود، کجا داده نشت می‌دهد و کجا ابزارهای متصل به آن قابل سوءاستفاده‌اند. خروجی کار یافته‌های قابل بازتولید، سنجش جدی بودن هر ریسک و پیشنهاد اصلاح برای تیم‌های محصول، مهندسی و سیاست‌گذاری است. بازار این کار واقعی اما کوچک است: ردیاب بازار کار SANS در هفتهٔ ۱۴ سپتامبر ۲۰۲۶، ۸۸ آگهی برای AI Red Team Specialist شمرد، در برابر ۸۵۶ آگهی برای AI/ML Security Engineer. خود عنوان AI Red Teamer کم دیده می‌شود (نمونه: AI Red Teamer, Cyber در 10a Labs) و کارفرماها بیشتر عنوان‌هایی مثل Red Team Engineer، AI Red Team Engineer و Content Adversarial Analyst را به کار می‌برند.
مقدمه و تعریف شغل
Red teaming یعنی آزمودن خصمانهٔ یک سیستم برای پیدا کردن آسیب‌پذیری‌های احتمالی؛ Anthropic آن را همین‌طور تعریف می‌کند. متخصص تست نفوذ مدل این کار را روی مدل‌های زبانی، ایجنت‌ها و محصولاتی که روی آن‌ها ساخته شده‌اند انجام می‌دهد: با مجوز و در محدودهٔ تعریف‌شده مثل یک مهاجم یا کاربر سوءاستفاده‌گر فکر می‌کند، رفتار ناامن یا ناخواسته را پیدا می‌کند، جدی بودن آن را می‌سنجد و یافته را به اصلاح مشخص تبدیل می‌کند. در آگهی‌های ۲۰۲۶ این کار سه بخش دارد: تست دستی و خلاقانه، ساخت ابزار و پایپ‌لاین تست خودکار، و نوشتن گزارش و توصیه برای تیم‌های محصول، مهندسی و سیاست‌گذاری. بخش امنیتی کار (امنیت وب و API، تست نفوذ) و بخش ایمنی (سیاست محتوا، سوءاستفاده، رفتار ایجنت) معمولاً کنار هم می‌آیند و وزن هر کدام از شرکتی به شرکت دیگر فرق می‌کند.
پژوهش دربارهٔ رد تیمینگ مدل‌های زبانی از حدود ۲۰۲۲ جدی شد: Perez و همکاران روشی منتشر کردند که با کمک یک مدل زبانی، موارد رفتار زیان‌بار مدل دیگر را خودکار پیدا می‌کند، و Ganguli و همکاران در Anthropic از تلاش‌های اولیه برای کشف، سنجش و کاهش خروجی‌های زیان‌بار نوشتند. در ۲۰۲۳ Greshake و همکاران نشان دادند برنامه‌هایی که LLM در آن‌ها یکپارچه شده مرز داده و دستور را مبهم می‌کنند و دستهٔ تازه‌ای از ریسک به نام indirect prompt injection را معرفی کردند. تیم AI Red Team مایکروسافت در مقاله‌ای درس‌های رد تیمینگ بیش از ۱۰۰ محصول هوش مصنوعی مولد را جمع کرده و Anthropic یادآوری می‌کند که هنوز روش استانداردی برای این کار وجود ندارد. مقررات هم این کار را رسمی‌تر کرده است: طبق مادهٔ ۵۵ قانون AI اتحادیهٔ اروپا، ارائه‌دهندگان مدل‌های هوش مصنوعی همه‌منظوره (GPAI) با ریسک سیستمی باید آزمون خصمانه انجام دهند و آن را مستند کنند؛ تعهدهای مربوط به GPAI از ۲ اوت ۲۰۲۵ اجرایی شده است. بازار کار هنوز کوچک است: به گزارش Cybersecurity Dive از ردیاب SANS، نزدیک به ۱۰۰ آگهی در میانهٔ سپتامبر ۲۰۲۶ دنبال متخصص AI red team بودند، با میانهٔ حقوق ۱۲۴ هزار دلار، و تعداد آن‌ها نسبت به هفتهٔ قبل ۱۳٪ بیشتر شده بود. Cloudflare و Lucid Motors از جمله این کارفرماها بودند.
چه چیزی می‌سازید؟
مثال‌های واقعی از خروجی کار یک متخصص تست نفوذ مدل
کمپین تست خصمانه روی محصول
در Anthropic، Red Team Engineer تیم Safeguards روی همهٔ سطوح محصول تست خصمانهٔ جامع انجام می‌دهد و سناریوهایی می‌سازد که رفتار مهاجمان واقعی را از ابتدا تا انتها شبیه‌سازی می‌کنند تا معلوم شود سیستم‌های تشخیص و حفاظت کجا جا می‌مانند.
ارزیابی قابلیت‌ها و حفاظ‌های مدل
تیم Red Team - Cyber در OpenAI ارزیابی‌هایی طراحی می‌کند که پایبندی مدل به سیاست، امتناع درست، امتناع بی‌جا (over refusal) و مقاومت در برابر jailbreak را می‌سنجند، و رفتاری را که ریسک واقعی دارد از خطای صرف بنچمارک یا سیاست جدا می‌کند.
پایپ‌لاین تست خودکار
Apollo Research پایپ‌لاین‌های خودکاری می‌خواهد که سیستم‌های پایش (monitor) ایجنت‌ها را در مقیاس بیازمایند، به‌جای آزمودن دستی و یک‌باره. Anthropic و OpenAI هم ساخت فریم‌ورک و زیرساخت تست خودکار را جزو وظایف آورده‌اند.
کتابخانهٔ سناریو و تست رگرسیون
در White Circle یافته‌های موفق به تست رگرسیون و نیازمندی محصول تبدیل می‌شوند و در یک کتابخانهٔ داخلی از سناریوها، موارد تست و معیارهای امتیازدهی نگه‌داری می‌شوند تا خطای رفع‌شده دوباره برنگردد.
گزارش یافته و توصیهٔ اصلاح
به تعبیر آگهی White Circle، هر گزارش باید بگوید چه اتفاقی افتاد، چرا مهم است، چطور بازتولید می‌شود، چقدر جدی است و چطور رفع می‌شود. Apollo Research بخشی از یافته‌های کمپین‌ها را به‌صورت انتشار عمومی هم منتشر می‌کند.
متریک تشخیص و playbook تست
Anthropic از این نقش می‌خواهد در تعریف متریک‌هایی برای سنجش اثربخشی تشخیص سوءاستفاده‌های تازه کمک کند، و تیم CART گوگل playbookها و دستورالعمل‌های عملیاتی (SOP) تست را بازبینی و اصلاح می‌کند تا کار تیم مقیاس پیدا کند.
تخصص‌های مختلف متخصص تست نفوذ مدل
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
رد تیمینگ حفاظ‌ها و سوءاستفاده
Safeguards & Abuse Red Teaming
تمرکز روی راه‌هایی که یک محصول AI ممکن است برای سوءاستفاده به کار رود و سنجش اینکه سیستم‌های تشخیص و اعمال سیاست آن را می‌گیرند یا نه؛ مثل نقش Red Team Engineer در تیم Safeguards شرکت Anthropic که سابقه در مقابله با تقلب، Trust & Safety یا پیشگیری از سوءاستفاده را امتیاز می‌داند.
ارزیابی قابلیت‌های سایبری مدل
Cyber Capability Evaluation
سنجش اینکه یک مدل در دست متخصص امنیت چه کاری را ممکن می‌کند و آیا این توانایی واقعاً خطرناک است، با در نظر گرفتن امکان‌پذیری، کمکی که به مهاجم می‌کند و قابلیت‌هایی که از جاهای دیگر هم در دسترس است؛ مثل تیم Red Team - Cyber در OpenAI و نقش AI Red Teamer, Cyber در 10a Labs.
رد تیمینگ ایمنی محتوا
Content Safety Red Teaming
پیدا کردن ریسک‌های محتوایی تازه در محصولات AI مولد با تست بدون ساختار؛ مثل تیم CART در بخش Trust and Safety گوگل که آگهی‌اش ۴ سال تجربه در تست خصمانه، red teaming، ایمنی یا اخلاق AI مولد یا حوزه‌ای مشابه می‌خواهد.
رد تیمینگ ایجنت‌ها و سیستم‌های پایش
Agent & Monitor Red Teaming
آزمودن ایجنت‌هایی که ابزار به کار می‌گیرند و سیستم‌هایی که رفتار آن‌ها را پایش می‌کنند. Apollo Research برای این کار تجربهٔ قوی با ایجنت‌های کدنویسی و طراحی بازی‌های تکراری red team/blue team با تیم دفاعی را می‌خواهد تا سختی تست همراه با بهتر شدن monitorها بالا برود.
رد تیم AI در سازمان
Enterprise AI Red Team
ساختن و اداره کردن توان تست خصمانه برای سیستم‌های AI یک سازمان: تعریف راهبرد، به‌کارگیری چارچوب‌هایی مثل NIST AI RMF، MITRE ATLAS و OWASP، و مدیریت شرکت‌های بیرونی رد تیمینگ؛ مثل نقش AI Security Architect & Red Team Lead در دانشگاه تورنتو.
تفاوت با شغل‌های مشابه
کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟
تست نفوذ و red team سنتی شبکه، سرور و برنامه را هدف می‌گیرد. در رد تیمینگ AI همان ذهنیت مهاجم روی مدل و ایجنت به کار می‌رود و رفتار مدل، سیاست محتوا و حفاظ‌ها هم بخشی از سطح تست می‌شوند. مرز این دو باز است: تیم AI Red Team مایکروسافت می‌نویسد LLMها ریسک‌های امنیتی موجود را تشدید می‌کنند و ریسک‌های تازه هم می‌آورند، و آگهی Sr. AI Red Team Engineer در Moderna یک نقش red team سازمانی است که سیستم‌های AI را هم در کنار شبکه و ابر هدف می‌گیرد.
مهندس امنیت AI بیشتر سازنده و نگه‌دارندهٔ دفاع است: کنترل دسترسی، guardrail و پایش. متخصص رد تیم این دفاع‌ها را می‌آزماید و نقاط ضعف را گزارش می‌کند؛ هرچند در تیم‌های کوچک یک نفر هر دو کار را می‌کند. بازار نقش دفاعی بزرگ‌تر است: ردیاب SANS در هفتهٔ ۱۴ سپتامبر ۲۰۲۶، ۸۵۶ آگهی AI/ML Security Engineer شمرد و ۸۸ آگهی AI Red Team Specialist.
پژوهشگر روش، پروتکل ارزیابی و بنچمارک تازه می‌سازد و نتیجه را منتشر می‌کند. آگهی Research Scientist, AI Safety and Security در Google دکترا یا تجربهٔ عملی معادل و دست‌کم یک مقالهٔ ارسالی به کنفرانس، مجله یا مخزن علمی می‌خواهد. در مقابل، آگهی Red Team Engineer در Anthropic کارشناسی یا ترکیب معادلی از آموزش و تجربه را کافی می‌داند و به‌جای مقاله، سابقهٔ عمومی مثل CVE، پست وبلاگ یا گزارش bug bounty می‌خواهد.
ارزیابی ساختاریافته مدل را با مجموعه‌ای ثابت از تست‌ها می‌سنجد و نتیجهٔ قابل مقایسه می‌دهد. رد تیمینگ دنبال خطاهایی است که این تست‌ها پیدا نمی‌کنند: تیم AI Red Team مایکروسافت صریحاً می‌نویسد رد تیمینگ AI همان بنچمارک ایمنی نیست، و تیم CART گوگل برای پیدا کردن ریسک‌هایی ساخته شده که در ارزیابی‌های ساختاریافته دیده نمی‌شوند. در عمل این دو به هم وصل‌اند و یافتهٔ رد تیم اغلب به تست تازه در مجموعهٔ ارزیابی تبدیل می‌شود.
تأثیر در صنایع مختلف
متخصص تست نفوذ مدل در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری
آزمایشگاه‌های مدل‌های پیشرو
Anthropic و OpenAI تیم‌های red team دارند که محصولات، ایجنت‌ها و حفاظ‌های مدل را می‌آزمایند؛ OpenAI بخشی از وقت این نقش را به گزارش‌های Safety Bug Bounty اختصاص داده است
پژوهش ایمنی AI
Apollo Research سیستم‌های پایش ایجنت‌ها را به‌طور خصمانه می‌آزماید و یافته‌ها را هم منتشر می‌کند و هم به توسعهٔ محصول پایش خود (Watcher) برمی‌گرداند
داروسازی و بیوتکنولوژی
red team داخلی Moderna شبیه‌سازی مهاجم را بر پایهٔ اطلاعات تهدید مرتبط با بیوتک، داروسازی و تولید حیاتی انجام می‌دهد و سیستم‌های AI هم جزو اهداف آن‌اند
دانشگاه و بخش عمومی
دانشگاه تورنتو نقشی تعریف کرد تا توان تست خصمانهٔ سیستم‌های AI دانشگاه را از صفر بسازد و رابطه با شرکت‌های بیرونی رد تیمینگ را مدیریت کند
دولت، دفاع و زیرساخت حیاتی
آگهی AI Red Teamer, Cyber در 10a Labs تجربه در پشتیبانی از محیط‌های دولتی، دفاعی، اطلاعاتی یا زیرساخت حیاتی را امتیاز می‌داند
شرکت‌های امنیت AI
White Circle محصولات LLM را رد تیم می‌کند و از یافته‌ها برای دمو، بررسی امنیتی و گفتگوهای فروش شواهد معتبر می‌سازد
پلتفرم‌های بزرگ و Trust & Safety
تیم CART گوگل محصولات اصلی هوش مصنوعی مولد گوگل را برای پیدا کردن ریسک‌های محتوایی تازه و ناشناخته می‌آزماید
داده و ارزیابی برای سازندگان مدل
تیم Red Team and Safety در Scale AI با سازندگان بزرگ مدل همکاری می‌کند تا دادهٔ خصمانه تولید کند، ارزیابی اجرا کند و بنچمارک منتشر کند
تصورات غلط رایج
قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید
رد تیمینگ AI یعنی نوشتن چند پرامپت زیرکانه برای دور زدن مدل
پرامپت‌نویسی بخش کوچکی از کار است. آگهی‌ها ساخت فریم‌ورک تست خودکار (Anthropic و OpenAI)، پایپ‌لاین خودکار در مقیاس (Apollo Research) و تبدیل یافته‌ها به تست رگرسیون (White Circle) را می‌خواهند. White Circle صریحاً کسی را می‌خواهد که ریسک واقعی مشتری را از ترفندهای کم‌اثر جدا کند، و OpenAI از این نقش می‌خواهد خطای بنچمارک یا سیاست را از رفتاری که ریسک واقعی ایجاد می‌کند تشخیص دهد.
بدون دکترای یادگیری ماشین نمی‌شود وارد این کار شد
تیم AI Red Team مایکروسافت در مقاله‌اش می‌نویسد برای شکستن یک سیستم AI لازم نیست gradient محاسبه کنید. آگهی Anthropic کارشناسی یا ترکیب معادلی از آموزش و تجربه می‌خواهد و 10a Labs مدرک مرتبط یا تجربهٔ عملی معادل. دکترا بیشتر برای نقش‌های پژوهشی خواسته می‌شود، مثل Research Scientist, AI Safety and Security در Google.
این کار فقط مال متخصصان امنیت سایبری است
پیش‌زمینهٔ امنیتی رایج‌ترین مسیر است، اما تنها مسیر نیست. آگهی CART گوگل تجربه در ایمنی یا اخلاق AI مولد را هم می‌پذیرد، فلوشیپ 10a Labs از دانشجویان علوم سیاسی و روابط بین‌الملل هم دعوت می‌کند و تسلط به زبانی غیر از انگلیسی را امتیاز می‌داند، و طبق مقالهٔ OpenAI، رد تیمرهای بیرونی می‌توانند افرادی با دانش تخصصی یک حوزه باشند.
ابزارهای خودکار جای رد تیمر انسانی را می‌گیرند
مایکروسافت هر دو را با هم می‌گوید: اتوماسیون کمک می‌کند بخش بزرگ‌تری از فضای ریسک پوشش داده شود، اما عنصر انسانی در رد تیمینگ AI حیاتی است. آگهی OpenAI هم در کنار ساخت زیرساخت تست خودکار، «ذهنیت مهاجم» و علاقه به کشف حالت‌های خطایی را می‌خواهد که ارزیابی‌های استاندارد نمی‌گیرند.
سیستمی که یک بار رد تیم شده، امن است
مقالهٔ OpenAI دربارهٔ رد تیمینگ بیرونی یکی از محدودیت‌های این کار را این می‌داند که نتیجه‌اش به یک لحظهٔ مشخص مربوط است، و درس آخر مقالهٔ مایکروسافت این است که کار امن کردن سیستم‌های AI هیچ‌وقت تمام نمی‌شود. به همین دلیل Moderna از حرکت به سمت مدل «red team پیوسته» و Anthropic از ارزیابی پیوسته در مقیاس حرف می‌زنند.
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
جونیور (۰–۲ سال)
در سطح ورود، کار بیشتر اجرای تست طبق پروتکل و مستندسازی دقیق است. بخشی از بازار در این سطح قراردادی یا پاره‌وقت است: فلوشیپ 10a Labs تا ۲۰ ساعت در هفته و نقش AI Red Team Tester در Alignerr بین ۱۰ تا ۴۰ ساعت در هفته.
- ◆اجرای تست‌های خصمانه روی یک مدل طبق محدوده و پروتکل تعریف‌شده
- ◆ارزیابی خروجی‌ها از نظر رفتار ناامن، سوگیری و نقض سیاست با یک rubric مشخص
- ◆نوشتن گزارش ساختاریافته و قابل بازتولید برای هر یافته
- ◆پیشنهاد اصلاح برای rubricها و پروتکل‌های تست
میانی (۲–۵ سال)
مسئولیت یک کمپین یا یک حوزه، مثلاً ایجنت‌ها یا قابلیت‌های سایبری، را دارید: از تبدیل هدف مبهم به برنامهٔ تست تا ساخت ابزار خودکار و ارائهٔ نتیجه.
- ◆تبدیل یک پرسش مبهم دربارهٔ ریسک به برنامهٔ تست ساختاریافته و قابل تکرار
- ◆نوشتن اسکریپت Python برای اجرای مجموعهٔ تست، صدا زدن API مدل و امتیازدهی پاسخ‌ها
- ◆جلسه با تیم محصول یا مهندسی برای توضیح یک یافته و توافق دربارهٔ اصلاح
- ◆تبدیل یافتهٔ رفع‌شده به تست رگرسیون
ارشد (۵+ سال)
تمرکز روی روش‌شناسی، اولویت‌بندی ریسک‌ها و ساختن توان تیم است. در نقشی مثل AI Security Architect & Red Team Lead دانشگاه تورنتو، بخشی از کار تعریف راهبرد و مدیریت شرکت‌های بیرونی رد تیمینگ است.
- ◆طراحی روش‌شناسی تست برای قابلیتی تازه، مثل ایجنت‌ها یا ابزارهای متصل
- ◆تعیین محدودهٔ تست و قاعده‌های کار با مالک سیستم
- ◆ارائهٔ ارزیابی ریسک به مدیران و تیم‌های غیرفنی
- ◆جلسهٔ بازبینی پس از عملیات با تیم پاسخ به حادثه برای پیدا کردن فرصت‌های تازهٔ تشخیص
- ◆بازبینی گزارش‌ها و منتورینگ اعضای تیم
مسئولیت‌ها و وظایف
مسئولیت‌های اصلی
وظایف روزانه و مهارت‌های مورد نیاز در این شغل
- ◈طراحی و اجرای تست خصمانه روی مدل‌ها، ایجنت‌ها و محصولات AI، در محدوده‌ای که با صاحب سیستم تعریف شده است
- ◈تبدیل هدف‌ها و پرسش‌های مبهم دربارهٔ ریسک به برنامهٔ تست ساختاریافته و قابل تکرار
- ◈ارزیابی پایبندی مدل به سیاست، امتناع درست، امتناع بی‌جا و دوام حفاظ‌ها زیر فشار خصمانه
- ◈آزمودن ریسک‌های سوءاستفاده در سیستم‌های ایجنتی که ابزار به کار می‌گیرند یا اطلاعات بیرونی می‌خوانند
- ◈ساخت و نگه‌داری فریم‌ورک‌ها و پایپ‌لاین‌های تست خودکار برای سنجش پیوسته در مقیاس
- ◈تبدیل یافته‌های رفع‌شده به تست رگرسیون و نیازمندی محصول
- ◈نوشتن گزارش قابل بازتولید با سنجش شدت ریسک و توصیهٔ اصلاح
- ◈همکاری با تیم‌های محصول، مهندسی، سیاست‌گذاری و تشخیص برای تبدیل یافته‌ها به بهبود مشخص
- ◈دنبال کردن پژوهش‌ها، حادثه‌های واقعی و روش‌های تازهٔ ارزیابی و به‌روز کردن روش‌شناسی تست
- ◈تعریف متریک برای سنجش اثربخشی تشخیص و پیشبرد بلوغ برنامهٔ red team
مهارت‌های مورد نیاز
مهارت‌های فنی، نرم و حوزه‌ای که یک متخصص تست نفوذ مدل موفق به آن‌ها نیاز دارد
مهارت‌های فنی
آزمودن مدل، RAG، ایجنت و workflowهای tool-calling برای رفتار ناامن، نشت داده و دور زدن سیاست؛ هستهٔ همهٔ آگهی‌های بررسی‌شده
Anthropic مهارت قوی در امنیت برنامه‌های وب و کار با ابزارهایی مثل Burp Suite را می‌خواهد و White Circle تجربهٔ تست API، وب‌اپ و بک‌اند را
نوشتن ابزار برای اجرای تست، صدا زدن API مدل و تحلیل نتیجه؛ Apollo Research «مهارت قوی Python» و OpenAI توانایی ساخت ابزار تست عملی را می‌خواهند
طراحی و اجرای eval، ساخت دیتاست و تحلیل رفتار مدل در مقیاس؛ یکی از دو حوزهٔ تخصصی‌ای که آگهی OpenAI نام می‌برد
Anthropic تجربه در تست نفوذ، red teaming یا امنیت برنامه را شرط اول گذاشته و Apollo Research دست‌کم ۲ سال تجربه در امنیت تهاجمی، ML خصمانه یا رد تیمینگ AI را می‌خواهد
White Circle کار عملی با LLM، system prompt، RAG، ایجنت و function calling را می‌خواهد
10a Labs راحتی کار در Linux و محیط ترمینال را می‌خواهد
OpenAI زیرساختی می‌خواهد که اندازه‌گیری تکرارپذیر و تحلیل مبتنی بر آمار را در میان مدل‌ها و محصولات ممکن کند
Apollo Research تجربه با LLM-as-a-judge یا پایش AI را امتیاز می‌داند
Anthropic آن را امتیاز می‌داند و دانشگاه تورنتو آشنایی با کتابخانه‌هایی مثل ART، PyRIT، Garak، TextAttack و CleverHans را می‌خواهد
Anthropic آشنایی با سیستم‌های توزیع‌شده و امنیت زیرساخت را امتیاز می‌داند
مهارت‌های نرم
دانشگاه تورنتو «ذهنیت خصمانه همراه با قضاوت اخلاقی و صداقت» را می‌خواهد و White Circle مرز اخلاقی محکم: کار در محدوده و طبق قانون
White Circle گزارش باگ روشن و قابل بازتولید می‌خواهد و Apollo Research نوشته‌هایی که برای مخاطب بیرونی روشن و معتبر باشند
Anthropic، OpenAI و Moderna همه توانایی توضیح یافته‌های فنی برای مخاطبان فنی و غیرفنی، از جمله مدیران ارشد، را می‌خواهند
OpenAI تجربهٔ کار با تیم‌های فنی و غیرفنی برای رسیدن از یک یافته به تصمیم، اصلاح یا تست بعدی را می‌خواهد
Apollo Research توانایی کار مستقل روی مسئله‌های خصمانهٔ باز را می‌خواهد
دانش حوزه‌ای
NIST AI RMF، NIST AI 600-1، MITRE ATLAS، OWASP LLM Top 10 و OWASP Agentic Top 10؛ فهرست آگهی دانشگاه تورنتو
Anthropic درک ملاحظات ایمنی AI، از جمله حفاظ‌های مدرن در برابر jailbreak، را امتیاز می‌داند و Apollo Research آشنایی با ریسک‌های ایجنت‌ها را
Anthropic و White Circle هر دو سابقه در Trust & Safety، مقابله با تقلب یا پیشگیری از سوءاستفاده را امتیاز می‌دانند
OpenAI در رد تیمینگ بیرونی GPT-4 حوزه‌هایی مثل علوم طبیعی و امنیت سایبری را اولویت داده بود و فلوشیپ 10a Labs تسلط به زبانی غیر از انگلیسی را امتیاز می‌داند
مادهٔ ۵۵ قانون AI اتحادیهٔ اروپا آزمون خصمانهٔ مستند را برای مدل‌های GPAI با ریسک سیستمی الزامی کرده است
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به متخصص تست نفوذ مدل
این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.
پایه‌ها: Python، Linux و مبانی امنیت
Python را تا جایی یاد بگیرید که بتوانید اسکریپت تست بنویسید، API صدا بزنید و نتیجه را تحلیل کنید؛ Linux و خط فرمان را هم همین‌جا تمرین کنید. آگهی AI Red Teamer, Cyber در 10a Labs راحتی کار در Linux و ترمینال و اسکریپت‌نویسی با Python یا Bash را می‌خواهد و مدرک CompTIA Security+ یا Google Cybersecurity Certificate را امتیاز می‌داند.
امنیت وب، API و تست نفوذ
بیشتر آگهی‌ها پیش‌زمینهٔ امنیتی می‌خواهند. Anthropic تجربه در تست نفوذ، red teaming یا امنیت برنامه را شرط اول گذاشته و مهارت قوی در امنیت برنامه‌های وب و کار با ابزارهایی مثل Burp Suite را می‌خواهد. محصولات AI روی وب و API اجرا می‌شوند، پس این لایه بخش بزرگی از سطح تست است. تمرین را فقط در محیط‌هایی انجام دهید که برای همین کار ساخته شده‌اند.
شناخت مدل‌های زبانی و ایجنت‌ها
باید بفهمید مدل زبانی چطور کار می‌کند، RAG و tool calling چیست و ایجنت چطور ابزار به کار می‌گیرد. آگهی White Circle کار عملی با LLM، system prompt، RAG، ایجنت و tool/function calling را می‌خواهد و Apollo Research تجربهٔ قوی با ایجنت‌های کدنویسی را.
امنیت و ایمنی LLM: چارچوب‌ها و روش رد تیمینگ
دسته‌های ریسک را از چارچوب‌های مرجع یاد بگیرید و روش کار را از تیم‌هایی که سال‌ها این کار را کرده‌اند. مایکروسافت راهنمایی برای برنامه‌ریزی رد تیمینگ LLMها منتشر کرده و مقالهٔ تیم AI Red Team آن، درس‌های رد تیمینگ بیش از ۱۰۰ محصول هوش مصنوعی مولد را جمع کرده است. دانشگاه تورنتو در آگهی خود شناخت OWASP LLM Top 10، OWASP Agentic Top 10 و MITRE ATLAS را می‌خواهد. همیشه روی سیستم خودتان یا محیط‌هایی کار کنید که برای تمرین ساخته شده‌اند.
منابع پیشنهادی
ابزار، ارزیابی و کار حرفه‌ای
ابزارهای تست و ارزیابی را یاد بگیرید و یافته‌هایتان را به شکل عمومی و مسئولانه منتشر کنید. Anthropic «مجموعه‌ای از کار عمومی» مثل CVE، پست وبلاگ یا گزارش bug bounty افشاشده را می‌خواهد. AI Village جامعه‌ای برای آموزش عملی و تمرین red team است و BlueDot دوره‌های آنلاین ایمنی AI برگزار می‌کند.
منابع پیشنهادی
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت
رد تیمینگ و ارزیابی مدل
فریم‌ورک متن‌باز مایکروسافت برای اینکه متخصصان امنیت و مهندسان ریسک‌های سیستم‌های AI مولد را پیش‌دستانه شناسایی کنند؛ مخزن فعال آن microsoft/PyRIT است و دانشگاه تورنتو آن را در آگهی خود نام برده است
اسکنر آسیب‌پذیری LLM از NVIDIA که مدل را برای ضعف‌هایی مثل توهم، نشت داده، prompt injection، تولید محتوای سمی و jailbreak بررسی می‌کند
امنیت وب، شبکه و تست نرم‌افزار
Guardrail و ابزارهای دفاعی
ابزار متن‌باز NVIDIA برای افزودن guardrail برنامه‌پذیر به سیستم‌های گفتگوی مبتنی بر LLM؛ دانشگاه تورنتو تجربهٔ آزمودن آن را امتیاز می‌داند
مجموعه ابزارهای Meta برای سنجش و بهبود امنیت LLM، از جمله Llama Guard که دانشگاه تورنتو در آگهی خود نام برده است
چارچوب‌ها و طبقه‌بندی‌های ریسک
فهرست مرجع ریسک‌های امنیتی برنامه‌های LLM؛ White Circle و دانشگاه تورنتو آن را نام برده‌اند
پایگاه دانش زنده از تاکتیک‌ها و تکنیک‌های مهاجمان علیه سیستم‌های AI، بر پایهٔ حمله‌های واقعی و نمایش‌های تیم‌های red team
چارچوبی که با همکاری بیش از ۱۰۰ متخصص، مهم‌ترین ریسک‌های امنیتی سیستم‌های ایجنتی را فهرست می‌کند
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید
رد تیمر قراردادی / فلوشیپ
۰ تا ۲ سال
اجرای تست خصمانه طبق پروتکل، ارزیابی خروجی‌ها با rubric و نوشتن گزارش ساختاریافته؛ بیشتر قراردادی یا پاره‌وقت، مثل AI Red Team Tester در Alignerr (۱۵ تا ۷۵ دلار در ساعت، ۱۰ تا ۴۰ ساعت در هفته) یا فلوشیپ 10a Labs (۲۵ دلار در ساعت برای دانشجوی کارشناسی و ۳۲٫۵ دلار برای دانشجوی تحصیلات تکمیلی، تا ۲۰ ساعت در هفته)
AI Red Team Engineer
۲ تا ۵ سال
مسئولیت کمپین‌های تست از طراحی تا گزارش، ساخت ابزار تست خودکار و همکاری با تیم‌های محصول و مهندسی؛ بازه‌های اعلام‌شده در آگهی‌های این سطح در آمریکا از ۱۰۰ تا ۱۲۰ هزار دلار (10a Labs) تا ۱۸۲ تا ۲۳۸ هزار دلار (Apollo Research، سان‌فرانسیسکو) است
رد تیمر ارشد / Lead
۵+ سال
تعریف روش‌شناسی، رهبری کمپین‌ها و عملیات بزرگ، ساختن توان رد تیمینگ و ارائهٔ ریسک به مدیران؛ مثل AI Security Architect & Red Team Lead در دانشگاه تورنتو که دست‌کم ۵ سال تجربه، از جمله ۳ سال در امنیت AI/ML، تست خصمانه یا red teaming، می‌خواست
سرپرست یا مدیر برنامهٔ Red Team
پس از سطح ارشد
ادارهٔ برنامهٔ red team یک سازمان و تعیین جهت آن؛ در Moderna نقش Sr. AI Red Team Engineer به Red Team Program Lead گزارش می‌دهد و Johann Rehberger، طبق معرفی‌نامه‌اش در 39C3، Red Team Director در Electronic Arts است. مسیر مدیریت برنامه هم وجود دارد، مثل Technical Program Manager, Red Team در Scale AI و Research Program Manager – Adversarial Model Research در OpenAI
چالش‌ها و جنبه‌های منفی
واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید
مواجهه با محتوای آزاردهنده
عمومیمقالهٔ OpenAI دربارهٔ رد تیمینگ بیرونی، آسیب به شرکت‌کنندگان و اعضای تیم را از محدودیت‌های این کار می‌شمارد. کسی که مدل را برای خروجی زیان‌بار می‌آزماید ممکن است مدام با چنین محتوایی روبه‌رو شود و باید برای این بار روانی برنامه داشته باشد.
اطلاعات حساس در خود یافته‌ها
عمومیهمان مقاله از خطر اطلاعاتی (information hazards) نام می‌برد: یافته‌های رد تیم خودشان می‌توانند اطلاعات حساس باشند. White Circle مرز اخلاقی روشنی می‌خواهد: کار در محدوده و طبق قانون، و تولید یا جابه‌جا نکردن محتوای واقعاً زیان‌بار. یعنی باید بدانید چه چیزی را، چطور و برای چه کسی گزارش کنید.
نبود روش استاندارد
تحقیقاتیAnthropic می‌نویسد نبود روش‌های استاندارد برای رد تیمینگ AI کار را پیچیده‌تر می‌کند. هر تیم روش خودش را دارد و نتیجهٔ دو تیم همیشه قابل مقایسه نیست؛ به همین دلیل آگهی‌ها ساختن و مستند کردن روش‌شناسی را جزو وظایف آورده‌اند.
هدف متحرک
عمومیمدلها و قابلیت‌ها مدام عوض می‌شوند و Anthropic پژوهش روی روش‌های تازهٔ تست برای قابلیت‌های نوظهور، مثل ایجنت‌ها و استفاده از ابزار، را جزو وظایف این نقش آورده است. Nicholas Carlini می‌گوید مدل‌های زبانی در پیدا کردن آسیب‌پذیری، در یکی دو سال از «نسبتاً ضعیف» به «فوق‌العاده» رسیده‌اند.
جدا کردن ریسک واقعی از نویز
شرکت بزرگهر رفتار عجیب مدل ریسک واقعی نیست. آگهی OpenAI از این نقش می‌خواهد خطای بنچمارک یا سیاست را از رفتاری جدا کند که در دنیای واقعی ریسک ایجاد می‌کند، با در نظر گرفتن امکان‌پذیری، کمکی که به مهاجم می‌کند، قابلیت اطمینان و قابلیت‌هایی که از جاهای دیگر هم در دسترس است.
بازار کوچک و ورود دشوار
عمومیردیاب SANS در هفتهٔ ۱۴ سپتامبر ۲۰۲۶ تنها ۸۸ آگهی برای این نقش شمرد و Glassdoor هیچ گزارش حقوقی برای عنوان AI Red Teamer ندارد. نقش‌های تمام‌وقت معمولاً دست‌کم ۲ سال تجربه در امنیت تهاجمی، ML خصمانه یا رد تیمینگ می‌خواهند و بخش زیادی از کار سطح ورود قراردادی و ساعتی است. در بریتانیا، ITJobsWatch در شش ماه منتهی به ۲۲ اکتبر ۲۰۲۶، ۱۴۶ آگهی دائم با مهارت Red Team (نه فقط AI) ثبت کرده، در برابر ۸۰۷ آگهی در همین بازه در ۲۰۲۵؛ میانهٔ حقوق این آگهی‌ها ۷۵ هزار پوند بوده است.
حقوق و بازار کار جهانی
حقوق جهانی متخصص تست نفوذ مدل
حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.
* ارقام سالانه‌اند. منبع هر رقم:
- Anthropic posting, Red Team Engineer, Safeguards (San Francisco; years tied to internal level), posted Jul 10, 2026, open Oct 2026: annual salary range; median = midpoint
- OpenAI posting, Red Team - Cyber (San Francisco/Seattle; no years stated), posted Aug 18, 2026, open Oct 2026: posted pay range, plus equity; median = midpoint
- Apollo Research posting, AI Red Team Engineer (London, 2+ years), posted Sep 1, 2026: London salary range; median = midpoint
- Moderna posting, Sr. AI Red Team Engineer (Cambridge, MA, 4+ years), posted Jul 8, 2026: salary range; median = midpoint
- 10a Labs posting, AI Red Teamer, Cyber (Washington DC / US remote, 2–5 years), posted Jun 1, 2026: salary range plus bonus; median = midpoint
- University of Toronto posting (via Inside Higher Ed Careers), AI Security Architect & Red Team Lead (Toronto, 5+ years incl. 3 in AI/ML security), posted Jul 10, 2026, closed Jul 31, 2026: hiring zone (broadband up to C$200,831); median = midpoint
چگونه از صفر شروع کنیم
برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی
ماه ۱: مدل‌های زبانی و ایجنت‌ها
بفهمید LLM، RAG، tool calling و ایجنت چطور کار می‌کنند و با API یک مدل کار کنید.
ماه ۲: چارچوب‌های ریسک AI
دسته‌های ریسک را از OWASP و MITRE ATLAS یاد بگیرید و آن‌ها را با تجربهٔ امنیتی خودتان مقایسه کنید.
ماه ۳: روش کار رد تیمینگ AI
برنامه‌ریزی، تعیین محدوده و گزارش‌نویسی را از راهنماهای مایکروسافت یاد بگیرید و در محیط‌های آموزشی تمرین کنید.
ماه ۵: ارزیابی
یک ارزیابی قابل تکرار بسازید، مثلاً برای امتناع درست و امتناع بی‌جا، و یافته‌ها را به تست رگرسیون تبدیل کنید.
ماه ۶: کار عمومی و درخواست
یک نوشتهٔ عمومی دربارهٔ پروژه‌هایتان منتشر کنید و برای نقش‌های AI Red Team Engineer یا Red Team Engineer اقدام کنید؛ Anthropic سابقهٔ عمومی مثل پست وبلاگ را می‌خواهد.
پروژه‌های پیشنهادی برای رزومه
اسکن یک برنامهٔ LLM شخصی با ابزارهای متن‌باز
مبتدییک چت‌بات یا برنامهٔ RAG کوچک برای خودتان بسازید و آن را با garak یا PyRIT بیازمایید. نتیجه را در یک گزارش کوتاه بنویسید: چه چیزی پیدا شد، چرا مهم است، چقدر جدی است و چه اصلاحی پیشنهاد می‌کنید. فقط روی سیستمی کار کنید که مال خودتان است.
ارزیابی امتناع درست و امتناع بی‌جا
متوسطبا Inspect ارزیابی‌ای بسازید که بسنجد مدل به درخواست‌های مجاز پاسخ می‌دهد و درخواست‌های خارج از یک سیاست فرضی ساده را رد می‌کند، و هر دو نوع خطا را گزارش کنید. آگهی Red Team - Cyber در OpenAI هر دو (correct refusal و over refusal) را جزو ارزیابی‌ها آورده است. برای دیتاست از نمونه‌های بی‌خطر استفاده کنید.
مجموعهٔ تست رگرسیون از یافته‌ها
متوسطیافتههای پروژهٔ اول را به تست خودکار تبدیل کنید تا بعد از هر تغییر پرامپت یا مدل دوباره اجرا شوند؛ همان کاری که White Circle از این نقش می‌خواهد. تست‌ها را در CI اجرا کنید و نتیجه را در README توضیح دهید.
مدل‌سازی تهدید یک ایجنت و نگاشت به چارچوب‌ها
پیشرفتهبرای یک ایجنت ساده با چند ابزار، سند threat model بنویسید و هر ریسک را به OWASP LLM Top 10، OWASP Agentic Top 10 و MITRE ATLAS نگاشت کنید. بعد یک guardrail مثل NeMo Guardrails اضافه کنید و بسنجید چه ریسک‌هایی را پوشش می‌دهد و چه ریسک‌هایی را نه.
پایش ساده برای ایجنت کدنویسی و نوشتهٔ عمومی
پیشرفتهApollo Research در آگهی خود برای آمادگی مصاحبه پیشنهاد می‌کند یک monitor ساده برای ایجنت‌های کدنویسی بسازید و آن را روی ترافیک Claude Code، Cursor یا Codex خودتان اجرا کنید. نتیجه و محدودیت‌های آن را در یک نوشتهٔ عمومی منتشر کنید؛ Anthropic «مجموعه‌ای از کار عمومی» مثل پست وبلاگ را می‌خواهد.
مثال‌های واقعی و Case Studies
داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند
طبق معرفی‌نامه‌اش در مرکز Berkman Klein دانشگاه هاروارد، «Data Cowboy»ای است که روی نقطهٔ تلاقی یادگیری ماشین و امنیت کار می‌کند. در مایکروسافت تیم AI Red Team را بنیان گذاشت؛ گروهی میان‌رشته‌ای از پژوهشگران و مهندسان که پیش‌دستانه به سیستم‌های AI حمله می‌کنند تا از آن‌ها در برابر حمله دفاع کنند. در Berkman Klein بررسی می‌کند که ایمنی سیستم‌های یادگیری ماشین را چطور باید سنجید.
Adversarial ML Threat Matrix را بنیان گذاشت، چارچوبی به سبک ATT&CK که تهدیدهای سیستم‌های یادگیری ماشین را فهرست می‌کند. کارهایش در کنفرانس‌های صنعتی مثل RSA، BlackHat و Defcon و کارگاه‌های دانشگاهی NeurIPS، ICLR، ICML، IEEE S&P و ACM CCS ارائه شده و در گزارش نهایی کمیسیون امنیت ملی آمریکا دربارهٔ هوش مصنوعی (NSCAI) آمده است. کتاب Not With A Bug, But With A Sticker را دربارهٔ حمله به سیستم‌های AI نوشته است.
تیمی که او ساخت از ابتدا میان‌رشته‌ای بود. به نظر می‌رسد در این حوزه ترکیب امنیت، یادگیری ماشین و توانایی توضیح ریسک برای سیاست‌گذاران، از تسلط عمیق فقط بر یکی از آن‌ها کارسازتر است.
کارشناسی علوم کامپیوتر و ریاضی را در UC Berkeley گرفت و دکترایش را در همان‌جا زیر نظر David Wagner گذراند. از ۲۰۱۸ تا ۲۰۲۳ پژوهشگر Google Brain و از ۲۰۲۳ تا ۲۰۲۵ پژوهشگر DeepMind بود و اکنون Research Scientist در Anthropic است؛ به گفتهٔ خودش آنجا مطالعه می‌کند که چه کارهای بدی می‌شود با مدل‌های زبانی یا علیه آن‌ها انجام داد.
طبق سایت شخصی‌اش، مقاله‌هایش دربارهٔ پیدا کردن نقص در مدل‌های یادگیری ماشین جایزهٔ بهترین مقاله را در IEEE S&P، EuroCrypt، USENIX Security (دو بار) و ICML (سه بار) گرفته‌اند. اخیراً دربارهٔ استفاده از مدل‌های زبانی برای پیدا کردن آسیب‌پذیری صحبت کرده و گفته این مدل‌ها در یکی دو سال از «نسبتاً ضعیف» به «فوق‌العاده» رسیده‌اند.
مسیر او از پژوهش امنیت یادگیری ماشین به آزمایشگاه‌های بزرگ AI رسیده است. این نشان می‌دهد سمت پژوهشی رد تیمینگ، انتشار مقاله و پیشینهٔ دانشگاهی را ارزشمند می‌داند؛ چیزی که نقش‌های مهندسی این حوزه همیشه نمی‌خواهند.
طبق معرفی‌نامهٔ سخنرانی‌اش در کنگرهٔ 39C3 (CCC)، بیش از بیست سال در threat modeling، تست نفوذ و red teaming تجربه دارد. در مایکروسافت یک Red Team در Azure Data راه انداخت و آن را با سمت Principal Security Engineering Manager اداره کرد، بعد در Uber یک Red Team ساخت و اکنون Red Team Director در Electronic Arts است. کارشناسی ارشد امنیت کامپیوتر از دانشگاه Liverpool دارد و پیش‌تر در دانشگاه واشنگتن هک اخلاقی درس می‌داد.
در چارچوب‌های MITRE ATT&CK و ATLAS مشارکت داشته، کتاب «Cybersecurity Attacks – Red Team Strategies» را نوشته و پژوهش‌هایش را در embracethered.com منتشر می‌کند. در 39C3 دربارهٔ امنیت ایجنت‌های computer-use و ایجنت‌های کدنویسی سخنرانی کرد.
او از red team سنتی به امنیت AI آمد و پایهٔ قبلی‌اش را کنار نگذاشت. به نظر می‌رسد برای یک متخصص امنیت، کوتاه‌ترین راه ورود به این حوزه به کار بستن همان مهارت‌ها روی ایجنت‌ها و انتشار منظم یافته‌هاست.
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
Red Team Engineer, Safeguards
تحلیل نیازمندی‌ها
Experience in penetration testing, red teaming, or application security
شرط اصلی ورود، سابقهٔ کار امنیتی تهاجمی یا امنیت برنامه است. این نقش برای کسی است که پیش از AI در امنیت کار کرده؛ اگر از برنامه‌نویسی یا یادگیری ماشین می‌آیید، باید اول این پایه را بسازید.
ضروریExperience in model jailbreaking and testing large-scale agentic workflows for non-obvious prompt injection vectors
یعنی تجربه در آزمودن اینکه حفاظ‌های مدل زیر فشار خصمانه دوام می‌آورند یا نه، و اینکه ایجنت‌هایی که محتوای بیرونی می‌خوانند و ابزار به کار می‌گیرند از مسیرهای غیرمنتظره منحرف می‌شوند یا نه. «large-scale» نشان می‌دهد تست روی workflowهای واقعی و پیچیده انجام می‌شود، نه روی یک گفتگوی ساده.
ضروریStrong technical skills in web application security, including hands-on expertise with security testing tools (e.g., Burp Suite, Metasploit, custom scripting frameworks)
محصولات AI روی وب و API اجرا می‌شوند و بسیاری از ریسک‌ها در همین لایه‌اند. کار عملی با Burp Suite و نوشتن اسکریپت‌های تست خودتان بخشی از کار روزمره است.
ضروریExperience building custom automation, including LLM-specific testing frameworks
تست دستی برای پوشش همهٔ سطوح یک محصول کافی نیست. باید بتوانید ابزاری بسازید که سناریوها را خودکار اجرا کند، پاسخ‌ها را جمع و امتیازدهی کند و نتیجه را قابل تکرار نگه دارد.
ضروریA public body of work such as CVEs, blog posts, or disclosed bug bounty reports
کارفرما شواهد قابل بررسی می‌خواهد. نوشتهٔ عمومی دربارهٔ یافته‌ای که با افشای مسئولانه گزارش شده، یا گزارش‌های bug bounty منتشرشده، برای کسی که سابقهٔ رسمی کمتری دارد بهترین راه نشان دادن توانایی است.
مهمStrong written and verbal communication skills, with the ability to explain technical concepts to varied audiences
یافته‌ها به تیم‌های محصول، مهندسی و سیاست‌گذاری می‌رسند. اگر نتوانید ریسک را برای کسی که فنی نیست روشن توضیح دهید، یافته به اصلاح تبدیل نمی‌شود.
مهمMinimum education: Bachelor’s degree or an equivalent combination of education, training, and/or experience
مدرک کارشناسی خواسته شده، اما ترکیب معادلی از آموزش و تجربه هم پذیرفته می‌شود. تعداد سال‌های تجربه هم به سطح داخلی نقش بستگی دارد و عدد ثابتی در آگهی نیامده است.
مهمExperience with AI/ML security or adversarial machine learning
این مورد در بخش امتیازی آگهی آمده است؛ یعنی یک متخصص امنیت بدون سابقهٔ ML هم می‌تواند اقدام کند، اما آشنایی با ML خصمانه برتری می‌دهد.
مفیدBackground in anti-fraud, trust & safety, or abuse prevention systems
این نقش در تیم Safeguards است که با سوءاستفاده از محصول سروکار دارد. تجربه در مقابله با تقلب یا Trust & Safety مسیر ورودی است که از ظاهر عنوان شغل پیدا نیست. این مورد هم در بخش امتیازی آمده است.
مفیدتحلیل مسئولیت‌ها
Conduct comprehensive adversarial testing across Anthropic's product surfaces, developing creative attack scenarios that combine multiple exploitation techniques
کار به یک مدل محدود نیست؛ همهٔ سطوح محصول، از رابط کاربری تا API و ابزارهای متصل، در محدودهٔ تست‌اند. ارزش اصلی در دیدن این است که چند ضعف کوچک، که هر کدام به‌تنهایی بی‌خطر به نظر می‌رسند، کنار هم چه ریسک واقعی‌ای می‌سازند.
Research and implement novel testing approaches for emerging capabilities, including agent systems, tool use, and new interaction paradigms
قابلیت‌های تازه روش تست آماده ندارند. بخشی از کار پژوهش است: فهمیدن اینکه یک قابلیت جدید چه ریسک‌هایی می‌آورد و چطور می‌شود آن را نظام‌مند آزمود.
Design and execute "full kill chain" attacks that emulate real-world threat actors attempting to achieve specific malicious objectives
«kill chain» یعنی شبیه‌سازی کامل یک مهاجم واقعی از شروع تا رسیدن به هدفش، نه فقط پیدا کردن یک نقطه ضعف. این نگاه نشان می‌دهد دفاع‌ها در کدام مرحله عمل می‌کنند و در کدام مرحله نه.
Build and maintain systematic testing methodologies that evaluate every aspect of our systems
روش‌شناسی یعنی تست‌ها مستند، قابل تکرار و قابل انتقال به دیگران باشند. همین است که رد تیمینگ حرفه‌ای را از آزمودن پراکنده جدا می‌کند.
Develop automated testing frameworks to enable continuous assessment at scale
محصول مدام عوض می‌شود، پس تست هم باید پیوسته اجرا شود. این بخش از کار عملاً مهندسی نرم‌افزار است.
Collaborate with Product, Engineering, and Policy teams to translate findings into concrete improvements
یافته وقتی ارزش دارد که چیزی را تغییر دهد. همکاری با تیم سیاست‌گذاری نشان می‌دهد بخشی از یافته‌ها به قاعده‌های استفاده و نحوهٔ اجرای آن‌ها مربوط است، نه فقط به کد.
Help establish metrics for measuring detection effectiveness of novel abuse
علاوه بر پیدا کردن ضعف، باید کمک کنید معلوم شود سیستم‌های تشخیص چه سهمی از سوءاستفاده‌های تازه را می‌گیرند؛ یعنی کار شما به اندازه‌گیری خود دفاع هم می‌رسد.
نتیجه‌گیری کلی
این آگهی تصویر یک نقش رد تیمینگ در یک آزمایشگاه مدل پیشرو است: پایهٔ محکم امنیت تهاجمی و امنیت وب، تجربهٔ آزمودن حفاظ‌های مدل و ایجنت‌ها، توانایی ساخت ابزار تست خودکار و سابقهٔ کار عمومی که بشود آن را بررسی کرد. هدف نهایی بهتر شدن دفاع است، نه فقط پیدا کردن ضعف. بازهٔ حقوق اعلام‌شده در آگهی ۳۲۰ تا ۴۰۵ هزار دلار در سال است؛ آگهی‌های دیگر این حوزه بازه‌های پایین‌تری دارند، مثلاً ۱۰۰ تا ۱۲۰ هزار دلار در 10a Labs برای ۲ تا ۵ سال تجربه.
آینده و روندها
پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید
BLS آمریکا پیش‌بینی می‌کند اشتغال تحلیلگران امنیت اطلاعات (Information Security Analysts) از ۲۰۲۵ تا ۲۰۳۵، ۲۱٪ رشد کند که بسیار سریع‌تر از میانگین همهٔ شغل‌هاست. BLS گروه جداگانه‌ای برای رد تیمینگ AI ندارد و این نزدیک‌ترین گروه رسمی است.
منبع: BLS Occupational Outlook Handbook — Information Security Analysts
مهارت‌های نوظهور که باید یاد بگیرید
پیش‌بینی‌های آینده
طبق کمیسیون اروپا، از ۲ اوت ۲۰۲۶ دفتر AI اتحادیهٔ اروپا (AI Office) اختیار اجرای قانون دربارهٔ مدل‌های GPAI را دارد: می‌تواند مستندات فنی بخواهد، مدل‌ها را ارزیابی کند، اقدام اصلاحی بخواهد و جریمه کند. مادهٔ ۵۵ همین قانون ارائه‌دهندگان مدل‌های GPAI با ریسک سیستمی را به انجام و مستندسازی آزمون خصمانه ملزم کرده است.
طبق جدول زمانی کمیسیون اروپا، تعهدهای سیستم‌های پرخطر فهرست Annex III از ۲ دسامبر ۲۰۲۷ اجرایی می‌شود. مادهٔ ۱۵ قانون AI از این سیستم‌ها می‌خواهد در برابر تلاش اشخاص غیرمجاز برای تغییر کاربرد، خروجی یا عملکردشان از راه آسیب‌پذیری‌های سیستم مقاوم باشند.
BLS پیش‌بینی می‌کند اشتغال تحلیلگران امنیت اطلاعات در آمریکا از ۲۰۲۵ تا ۲۰۳۵، ۲۱٪ رشد کند؛ این نزدیک‌ترین گروه رسمی به رد تیمینگ AI است.
بخشی از تست تکراری به ابزار سپرده می‌شود: Apollo Research صریحاً پایپ‌لاین خودکار را به‌جای آزمودن دستی و یک‌باره می‌خواهد و مایکروسافت می‌نویسد اتوماسیون به پوشش بخش بزرگ‌تری از فضای ریسک کمک می‌کند. همان مقالهٔ مایکروسافت تأکید می‌کند عنصر انسانی حیاتی می‌ماند، پس ارزش متخصص بیشتر در طراحی سناریو، قضاوت دربارهٔ جدی بودن ریسک و ساخت خود ابزارهاست. ریسک دیگر کوچکی بازار است: ردیاب SANS در یک هفته ۸۸ آگهی شمرد و سهم زیادی از کار سطح ورود قراردادی و ساعتی است. نبود روش استاندارد، به گفتهٔ Anthropic، هم یعنی تعریف این نقش از شرکتی به شرکت دیگر فرق می‌کند.
منابع
اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۳۹ منبع بررسی شده است.
- Red Team Engineer, Safeguards — Anthropic (job posting)
- Red Team - Cyber — OpenAI (job posting)
- Research Program Manager – Adversarial Model Research — OpenAI (job posting)
- AI Red Teamer, Cyber — 10a Labs (job posting)
- Red Teaming Fellowship — 10a Labs (job posting)
- AI Red Team Engineer — Apollo Research (job posting)
- Sr. AI Red Team Engineer — Moderna (job posting)
- AI Red Team Engineer — White Circle (job posting)
- Content Adversarial Analyst, Red Team — Google (job posting)
- Research Scientist, AI Safety and Security — Google (job posting)
- Technical Program Manager, Red Team — Scale AI (job posting)
- AI Security Architect & Red Team Lead — University of Toronto (Inside Higher Ed Careers copy)
- AI Red Team Tester — Alignerr (contract posting)
- SANS — Workforce resources hub (Job Market Tracker)
- Cybersecurity Dive — AI security jobs, SANS tracker (Oct 2026)
- BLS Occupational Outlook Handbook — Information Security Analysts
- Glassdoor — Ai Red Teamer salaries, United States (no reports)
- ITJobsWatch — Red Team (UK)
- Lessons From Red Teaming 100 Generative AI Products — Microsoft (arXiv)
- OpenAI's Approach to External Red Teaming for AI Models and Systems (arXiv)
- Challenges in red teaming AI systems — Anthropic
- EU AI Act — Article 55: Obligations for providers of GPAI models with systemic risk
- EU AI Act — Article 15: Accuracy, robustness and cybersecurity
- European Commission — AI Act (regulatory framework and timeline)
- Red Teaming Language Models with Language Models — Perez et al. (arXiv)
- Red Teaming Language Models to Reduce Harms — Ganguli et al. (arXiv)
- Indirect Prompt Injection — Greshake et al. (arXiv)
- HarmBench — Mazeika et al. (arXiv)
- MITRE ATLAS
- PyRIT — microsoft/PyRIT (GitHub)
- garak — NVIDIA/garak (GitHub)
- Ram Shankar Siva Kumar — Berkman Klein Center, Harvard
- Nicholas Carlini — personal site
- Johann Rehberger — 39C3 speaker profile (CCC)
- OWASP Top 10 for LLM Applications
- OWASP Top 10 for Agentic Applications for 2026
- NIST AI Risk Management Framework
- NIST AI 600-1 — Generative AI Profile
- Microsoft AI Red Team — Microsoft Learn