مهندس نرم‌افزار اعتماد و ایمنی
Software Engineer, Trust & Safety
مهندس نرم‌افزار اعتماد و ایمنی (Software Engineer, Trust & Safety) سیستم‌هایی می‌سازد که سوءاستفاده از یک پلتفرم را تشخیص می‌دهند و جلویش را می‌گیرند: تقلب و حساب‌های جعلی، اسپم و بات، فیشینگ، محتوای مضر و در محصولات AI، استفادهٔ مخرب از خود مدل. کار روزمره ترکیبی از مهندسی backend و داده، قواعد تشخیص (rules engine)، مدل‌های یادگیری ماشین و ابزارهایی است که تیم‌های بررسی و تحقیقات با آن کار می‌کنند. TSPA، انجمن حرفه‌ای این حوزه، کار مهندسی در Trust & Safety را ساختن مدل‌های ML برای مقیاس دادن یا خودکار کردن برخورد با رفتار ناقض قواعد و ساختن سیستم‌های گزارش‌دهی، اجرای تصمیم و بررسی داخلی تعریف می‌کند. «Trust & Safety Engineer» عنوان رایجی در آگهی‌ها نیست: در بررسی آگهی‌های باز اکتبر ۲۰۲۶ فقط Lovable دقیقاً با این عنوان آگهی داده بود. کارفرماها بیشتر «Software Engineer, Trust & Safety» می‌نویسند (Gamma، Suno، Chime و Vercel) یا Software Engineer را با نام تیمی مثل Safety، Integrity یا Abuse می‌آورند (Discord، Roblox، OpenAI و Anthropic). اثر AI در آگهی‌های ۲۰۲۶ از دو سو دیده می‌شود: Gamma می‌نویسد AI مانع ورود مهاجمان را به‌شدت پایین آورده است، و همان آگهی و آگهی Vercel از مهندس می‌خواهند با LLM ها سیستم تشخیص و طبقه‌بندی سوءاستفاده بسازد.
مقدمه و تعریف شغل
مهندس نرم‌افزار Trust & Safety لایهٔ دفاعی یک پلتفرم را در برابر سوءاستفادهٔ کاربرانش می‌سازد. TSPA وظیفهٔ مهندسی در Trust & Safety را ساختن مدل‌های یادگیری ماشین برای مقیاس دادن یا خودکار کردن برخورد با رفتار ناقض قواعد، و ساختن و نگهداری سیستم‌ها و ابزارهایی برای گزارش‌دهی کاربر، اجرای تصمیم و بررسی داخلی تعریف می‌کند و نقش‌های معمول آن را Software Engineer و Security Engineer می‌داند. در آگهی‌ها این کار سه لایه دارد: تشخیص (قواعد، rate limiting، سیگنال‌های رفتاری و مدل‌های ML و LLM)، اجرا (مسدود کردن، محدود کردن یا فرستادن به بررسی انسانی) و ابزار (داشبورد و صف بررسی برای تیم‌های عملیات و تحقیقات). تفاوتش با امنیت کلاسیک این است که در بسیاری از موارد سوءاستفاده‌کننده به سیستم نفوذ نمی‌کند: حساب باز می‌کند، از قابلیت‌های عادی محصول استفاده می‌کند و قواعد پلتفرم را زیر پا می‌گذارد. عنوان رایج بازار «Software Engineer, Trust & Safety» است و گونه‌هایی با Safety، Integrity، Abuse، Fraud یا Trust در عنوان هم زیاد دیده می‌شود.
درس CS 152 دانشگاه استنفورد (بهار ۲۰۲۶) Trust & Safety را حوزه‌ای حرفه‌ای و دانشگاهی تعریف می‌کند برای اینکه مردم بتوانند از فناوری به شکل مثبت استفاده کنند و از آسیب در امان بمانند، و یکی از هدف‌های آموزشی‌اش را طراحی و پیاده‌سازی یک سیستم content moderation مبتنی بر classifier یادگیری ماشین گذاشته است. در یک سازمان Trust & Safety، طبق TSPA، کنار مهندسی کارکردهای دیگری هم هست، از سیاست‌گذاری محصول تا عملیات، تحقیقات، داده و حقوقی، و مهندس سیستم‌ها و ابزارهای همهٔ آن‌ها را می‌سازد. مقررات هم بخشی از کار است: DSA اتحادیهٔ اروپا از پلتفرم‌ها می‌خواهد دلیل حذف محتوا را توضیح دهند، امکان اعتراض بدهند و گزارش محتوای غیرقانونی را آسان کنند، و هر کدام از این‌ها در عمل یک سیستم نرم‌افزاری است. AI کار را از دو طرف عوض کرده است. آگهی Gamma می‌نویسد ساختن صفحه‌های فیشینگ قانع‌کننده، حساب‌های جعلی واقع‌نما و محتوای آزارنده در مقیاس بالا دیگر مهارت خاصی نمی‌خواهد، و ROOST می‌نویسد تهدیدهایی از CSAM ساخته‌شده با AI تا کلاه‌برداری‌های خودکار سریع‌تر از توان ابزارهای قدیمی رشد می‌کنند. در سمت دفاع، همان آگهی Gamma می‌گوید یک تیم کوچک با مدل‌های پیشرفته اکنون سیستم‌های تشخیص، triage و پاسخی می‌سازد که چند سال پیش تیمی پنج برابر بزرگ‌تر لازم داشت. دربارهٔ حقوق: بازهٔ حقوق پایه در آگهی‌های آمریکایی از ۱۱۷ تا ۱۸۴ هزار دلار برای نقش ۳+ ساله در Chime شروع می‌شود و برای نقش‌های ۵+ ساله به ۱۸۰ تا ۳۱۰ هزار دلار در Gamma، ۲۰۸ تا ۳۱۲ هزار دلار در Vercel و ۲۲۸٬۹۶۰ تا ۳۶۳٬۵۱۰ دلار در Suno می‌رسد؛ نقش ارشد ML در تیم Safety شرکت Discord (۴+ سال) هم ۲۷۲ تا ۳۴۰ هزار دلار است. Glassdoor برای عنوان Trust and Safety Engineer در آمریکا فقط ۹ حقوق گزارش‌شده دارد و به همین دلیل در جدول نیامده است. رقم Glassdoor بریتانیا برای همین عنوان (میانهٔ حقوق پایه ۴۴٬۸۷۳ پوند بر پایهٔ ۴۸۱ حقوق) حتی در صدک ۹۰ هم بسیار پایین‌تر از کف بازهٔ آگهی‌های مهندسی لندن است (۱۶۱ هزار پوند در OpenAI و ۳۲۵ هزار پوند برای نقش Staff+ در Anthropic)، پس شغل دیگری را می‌سنجد و کنار گذاشته شد. بازهٔ آگهی فارغ‌التحصیلان TikTok در سیاتل (۱۲۱٬۶۰۰ تا ۲۴۳٬۲۰۰ دلار) هم آن‌قدر پهن است که از بازهٔ سطح میانی Chime بالاتر می‌رود؛ برای اینکه ترتیب سطح‌ها در جدول به هم نریزد، فقط در متن آمده است.
چه چیزی می‌سازید؟
مثال‌های واقعی از خروجی کار یک مهندس نرم‌افزار اعتماد و ایمنی
سکوی تشخیص و جلوگیری از تقلب در لحظه
Lovable سکویی می‌خواهد که پرداخت‌ها، اعتبارها و نسخهٔ رایگانش را از سوءاستفاده حفظ کند: سیگنال، feature، امتیازدهی و تصمیمی که در چند میلی‌ثانیه گرفته شود، و حلقهٔ بازخوردی با chargeback ها، پشتیبانی و Trust & Safety که هر هفته برچسب بزند، یاد بگیرد و دوباره منتشر کند.
rate limiting و دفاع در برابر بات
Gamma زیرساختی با rate limiting، اسکن محتوا، anomaly detection و امنیت حساب می‌خواهد و Lovable دفاع در برابر بات را در ثبت‌نام، ساختن اپ و انتشار، بدون مختل کردن کاربران واقعی.
تشخیص سوءاستفاده با LLM
Vercel سیستم‌های مبتنی بر LLM برای تشخیص، طبقه‌بندی و جلوگیری از سوءاستفاده می‌خواهد، همراه با دیتاست و pipeline ارزیابی که کیفیتشان را بسنجد؛ Gamma از LLM برای رسیدن به فیشینگ و تقلبی استفاده می‌کند که با AI ساخته شده و از فعالیت عادی به‌سختی قابل‌تشخیص است.
مدل‌های ML روی رفتار حساب‌ها
تیم Account Abuse در Anthropic سکوی محاسبهٔ feature برای آموزش و امتیازدهی real-time می‌سازد، مدل‌هایی برای تشخیص سوءاستفاده و تقلب در سطح حساب آموزش می‌دهد و backtesting، shadow deployment و انتشار مرحله‌ای را مسیر پیش‌فرض رسیدن به production می‌کند.
classifier های محتوا و اجرای تصمیم
تیم YouTube Trust and Safety Automation در Google برای ویدیو و پخش زنده با چند نوع داده (ویدیو، تصویر، صدا، متن گفتار و metadata) classifier می‌سازد، زیرساختی برای هماهنگ کردن classifier ها و اجرای تصمیم می‌سازد و بررسی انسانی و ظرفیت Gemini را برای بیشترین ایمنی به کار می‌گیرد.
ابزار بررسی و تحقیقات
OpenAI در لندن مهندس full-stack می‌خواهد تا سیستم‌هایی بسازد که آسیب‌های بسیار جدی را تشخیص دهند، اولویت‌بندی کنند و بررسی انسانی را کارآمد کنند، و کنار اپراتورها و محققان ابزاری بسازد که کارشان را سریع‌تر، دقیق‌تر و ایمن‌تر کند.
تخصص‌های مختلف مهندس نرم‌افزار اعتماد و ایمنی
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
مقابله با تقلب و سوءاستفادهٔ پرداخت
Anti-Fraud & Payments Abuse
تشخیص تقلب پرداخت، حساب جعلی و سوءاستفاده از اعتبار رایگان؛ مثل Lovable، Chime که هدف گروه Trust and Safety خود را کاهش زیان تقلب می‌داند، Scaled Abuse در OpenAI و Payment Fraud در Anthropic.
سیستم‌های ایمنی محتوا و moderation
Content Safety & Moderation Systems
classifier های محتوا، اجرای تصمیم و گردش کار بررسی؛ مثل تیم Safety and Moderation در Reddit که روی تشخیص پیش‌دستانهٔ محتوا و کاربران ناقض قواعد کار می‌کند و تیم‌های Trust and Safety در TikTok و YouTube.
یادگیری ماشین برای ایمنی
Safety / Integrity ML
مدل‌های تشخیص ریسک و رفتار غیرعادی و کیفیت برچسب‌ها؛ مثل Safety ML در Discord، Account Abuse (Machine Learning) در Anthropic، Machine Learning Engineer در تیم Trust & Safety شرکت Vercel و Trust در Airbnb.
ایمنی محصولات AI و guardrail های LLM
AI Product Safety & LLM Guardrails
حفاظت از محصولی که خودش AI است: guardrail برای ایجنت‌ها در ElevenLabs، مقابله با تقلب از راه ایجنت‌های AI در Vercel و محافظت در برابر سوءاستفاده از مدل‌های مولد و تولید محتوای مضر در Character.AI.
سکوی ایمنی و ابزار بررسی
Safety Platform & Review Tooling
زیرساختی که بقیهٔ تیم‌های ایمنی روی آن می‌سازند و ابزار بررسی انسانی؛ مثل Safety Foundation در Roblox، Safeguards Human Review Tooling در Anthropic و Child Safety Tools & Systems در OpenAI.
تفاوت با شغل‌های مشابه
کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟
امنیت از سیستم و داده در برابر نفوذ محافظت می‌کند؛ Trust & Safety با سوءاستفادهٔ حساب‌هایی سروکار دارد که از خود محصول استفاده می‌کنند: تقلب، اسپم، بات و محتوای مضر. مرز این دو باز است: TSPA مهندس امنیت را از نقش‌های معمول مهندسی Trust & Safety می‌داند، Datadog نقش Senior Security Engineer - Platform Trust & Safety را آگهی کرده و Gamma رسیدگی به رخدادهای امنیتی را جزو وظایف مهندس Trust & Safety آورده است.
مهندس حریم خصوصی تعیین می‌کند چه داده‌ای جمع، نگهداری و استفاده شود؛ مهندس Trust & Safety رفتار و محتوای مضر را تشخیص می‌دهد. این دو به هم برمی‌خورند چون سیستم‌های تشخیص روی دادهٔ حساس کاربران کار می‌کنند؛ Datadog حریم خصوصی را یکی از موضوع‌های تیم Platform Trust & Safety خود نام برده است.
طبق TSPA، تیم‌های Product Policy اصول و سیاست‌های هر محصول را تدوین می‌کنند و افسر اخلاق AI آسیب‌های احتمالی یک سیستم را پیش از انتشار می‌سنجد. مهندس Trust & Safety همان قاعده را به سیستم اجرایی تبدیل می‌کند. ElevenLabs این رابطه را دوطرفه می‌بیند: مهندس با تیم Safety Policy روی شیوهٔ پیاده‌سازی فنی سیاست‌ها کار می‌کند و با شناختی که از توان و محدودیت مهندسی دارد به تصمیم‌های سیاستی هم کمک می‌کند.
طبق TSPA، تیم‌های عملیات کارهای روزمرهٔ moderation، کنترل کیفیت، آموزش و مدیریت رخداد را انجام می‌دهند و نقش‌های معمولشان Analyst، Investigator و Specialist است. مهندس ابزار همین تیم‌ها را می‌سازد: Gamma ابزاری برای تیم پشتیبانی تا فعالیت مشکوک را بررسی کند و OpenAI سیستم‌هایی برای اپراتورها و محققان می‌خواهد. OpenAI برای Scaled Abuse تجربهٔ قبلی در تحلیل یا عملیات سوءاستفاده را هم شرط گذاشته، پس تجربهٔ تحلیلگری راهی به این شغل است.
تأثیر در صنایع مختلف
مهندس نرم‌افزار اعتماد و ایمنی در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری
شبکه‌های اجتماعی و انجمن‌ها
سازمان Safety and Moderation در Reddit، با حدود ۱۳۰ میلیون بازدیدکنندهٔ یکتای روزانه به نوشتهٔ آگهی، سیستم‌های تشخیص، خودکارسازی و ابزار می‌سازد و روی تشخیص پیش‌دستانهٔ محتوا و کاربران ناقض قواعد تمرکز دارد
بازی و ارتباط آنلاین
در Roblox هر اقدام moderation از سکوی تیم Safety Foundation عبور می‌کند و تیم برای ۱۰ برابر ترافیک آماده می‌شود؛ Discord برای تیم Safety ML مدل‌های real-time و batch برای فهم محتوا، سنجش ریسک و سلامت حساب‌ها می‌خواهد
آزمایشگاه‌های AI
OpenAI تیم‌هایی برای Scaled Abuse و ابزارهای ایمنی کودکان دارد و از مهندسانش می‌خواهد از GPT-5 برای مقابله با تقلب استفاده کنند؛ تیم Account Abuse در Anthropic تلاش می‌کند ظرفیت محاسباتی منصفانه تقسیم شود و منابع کمتری به دست سوءاستفاده‌گران برسد
ابزارهای ساخت با AI
Gamma برای مقابله با فیشینگ و تقلب، Lovable (سکوی ساخت نرم‌افزار) برای تقلب پرداخت و سوءاستفاده از اعتبار و نسخهٔ رایگان، و Suno (موسیقی با AI) برای بات، تقلب و جعل هویت مهندس Trust & Safety استخدام می‌کنند
زیرساخت توسعه‌دهندگان
Vercel با تقلب از راه ایجنت‌های AI و سوءاستفاده از منابع محاسباتی روبه‌روست و Datadog می‌نویسد توسعهٔ کمک‌گرفته از AI هم سرعت انتشار نرم‌افزار و هم حجم فعالیت ایجنت‌ها را روی پلتفرمش بالا برده است
فین‌تک
گروه Trust and Safety در Chime مأمور رشد پایدار، حفاظت از اعضا و کاهش زیان تقلب و هزینهٔ عملیات است و برای هر سه سطح میانی، ارشد و Staff آگهی داده است
سفر و حمل‌ونقل
تیم Trust در Airbnb با تقلب آنلاین (تصاحب حساب، اسپم و کلاه‌برداری در پیام‌ها، آگهی جعلی) و آسیب‌های آفلاین (سرقت، خسارت به ملک، ایمنی شخصی) مقابله می‌کند و Trust & Safety در Lyft برای ایمنی هر سفر، هم برای مسافر و هم راننده، کار می‌کند
دیتاست‌ها و مدل‌های مولد
گزارش David Thiel در Stanford Internet Observatory (دسامبر ۲۰۲۳) با ترکیب PhotoDNA، hash رمزنگاری، جست‌وجوی k-nearest neighbors و classifier های ML، صدها نمونه از CSAM شناخته‌شده را در دیتاست LAION-5B پیدا کرد؛ دیتاستی که بخش‌هایی از آن برای آموزش مدل‌های Stable Diffusion به کار رفته بود
تصورات غلط رایج
قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید
Trust & Safety یعنی moderator هایی که محتوا را دستی بررسی می‌کنند
بررسی انسانی بخشی از کار است، اما TSPA مهندسی را یکی از کارکردهای اصلی Trust & Safety می‌داند و آگهی‌ها کار ساختن را توصیف می‌کنند: سیستم‌های تشخیص real-time، pipeline رویداد، مدل‌های ML و ابزارهایی که خود moderator ها و محققان با آن کار می‌کنند.
با AI دیگر به بررسی انسانی نیازی نیست
آگهی‌ها ترکیب این دو را می‌خواهند. Google در YouTube بررسی انسانی و ظرفیت Gemini را کنار هم به کار می‌گیرد، Google دربارهٔ Content Safety API تأکید می‌کند تصمیم نهایی با بررسی خود شریک است، و هدف Gamma از triage خودکار این است که یک تیم کوچک در مقیاس تیمی بزرگ‌تر کار کند، نه اینکه تصمیم را کاملاً به ماشین بسپارد.
برای این شغل باید متخصص deep learning بود
بسیاری از آگهی‌ها backend-محورند: Gamma و Roblox روی API، صف و سیستم توزیع‌شده تأکید دارند و Chime روی Ruby on Rails کار می‌کند. حتی نقش ML در Anthropic صریحاً می‌نویسد کار ML کلاسیک روی دادهٔ ساخت‌یافته است و پیش‌زمینهٔ deep learning لازم نیست، و Vercel نقش ML خود را حدود ۸۰٪ نوشتن کد production و ۲۰٪ مدل‌سازی توصیف می‌کند.
هرچه سخت‌گیرتر، امن‌تر
خطای مثبت کاذب هزینه دارد. آگهی Anthropic می‌نویسد هر مثبت کاذب یعنی مشتری واقعی‌ای که از حسابش بیرون انداخته شده، Lovable از مهندس می‌خواهد «از کاربران محافظت کند بی‌آنکه تنبیهشان کند» و نرخ مثبت کاذب را کنار نرخ زیان تقلب جزو معیارهای اصلی آورده است.
این کار فقط مال شبکه‌های اجتماعی است
در آگهی‌های ۲۰۲۶ فین‌تک (Chime)، زیرساخت توسعه‌دهندگان (Vercel و Datadog)، سفر و حمل‌ونقل (Airbnb و Lyft)، ابزارهای ساخت با AI (Gamma، Lovable و Suno) و آزمایشگاه‌های AI (OpenAI و Anthropic) همه برای این کار مهندس استخدام می‌کنند.
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
جونیور (۰–۲ سال)
بیشتر روی بخش مشخصی از یک سیستم موجود کار می‌کنید: یک قاعدهٔ تشخیص، یک endpoint، یک داشبورد یا یک feature برای مدل. بخش مهمی از یادگیری، شناختن الگوهای سوءاستفاده از روی داده و گفت‌وگو با تحلیلگران است.
- ◆بررسی داشبورد تصمیم‌ها: کدام قاعده‌ها امروز بیشتر از معمول فعال شده‌اند
- ◆پیاده‌سازی یک قاعدهٔ تشخیص تازه که مهندس ارشد طراحی کرده و نوشتن آزمون برای آن
- ◆نوشتن کوئری SQL برای بررسی نمونه‌هایی که تحلیلگران به‌عنوان مثبت کاذب گزارش کرده‌اند
- ◆افزودن یک فیلد تازه به ابزار بررسی داخلی که تیم عملیات خواسته است
- ◆مستندسازی تغییرات و بازبینی کد با هم‌تیمی‌ها
میانی (۲–۵ سال)
مالک یک بخش کامل از سیستم هستید، مثلاً دفاع در برابر بات در ثبت‌نام یا pipeline امتیازدهی یک مدل. با تیم‌های policy، عملیات و محصول کار می‌کنید و در نوبت on-call هستید.
- ◆بررسی یک موج تازهٔ حساب‌های جعلی که تحلیلگران گزارش داده‌اند و یافتن سیگنال مشترک آن‌ها
- ◆طراحی یک قاعدهٔ تازه و اجرای آن در حالت shadow پیش از فعال‌سازی
- ◆جلسه با تیم policy برای تبدیل یک قاعدهٔ تازهٔ محتوایی به معیار قابل‌اجرا
- ◆تحلیل اثر یک تغییر: چقدر سوءاستفاده کم شد و چند کاربر عادی آسیب دیدند
- ◆پاسخ به یک هشدار on-call دربارهٔ افزایش ناگهانی ترافیک مشکوک
ارشد (۵+ سال)
معماری و نقشهٔ فنی را تعریف می‌کنید، موازنهٔ ایمنی و تجربهٔ کاربر را با محصول و حقوقی تنظیم می‌کنید و مهندسان دیگر را راهنمایی می‌کنید. بیشتر وقتتان صرف تصمیم‌هایی می‌شود که روی چند تیم اثر می‌گذارد.
- ◆بازبینی طراحی سکوی تشخیص برای پشتیبانی از مدل‌های LLM در کنار قواعد موجود
- ◆تعریف معیارهای اصلی تیم، مثل نرخ زیان تقلب، نرخ مثبت کاذب و زمانی که مهاجم برای دور زدن دفاع لازم دارد
- ◆جلسه با تیم حقوقی دربارهٔ یک الزام قانونی تازه و برنامه‌ریزی پیاده‌سازی آن
- ◆رهبری بررسی پس از رخداد (postmortem) برای حمله‌ای که از دفاع‌ها عبور کرد
- ◆منتورینگ مهندسان میانی و بازبینی طراحی‌هایشان
مسئولیت‌ها و وظایف
مسئولیت‌های اصلی
وظایف روزانه و مهارت‌های مورد نیاز در این شغل
- ◈طراحی و نگهداری سیستم‌های تشخیص و جلوگیری از تقلب، سوءاستفاده، اسپم و محتوای مخرب در مقیاس میلیون‌ها کاربر
- ◈ساختن زیرساخت اعتماد: rate limiting، اسکن محتوا، anomaly detection و امنیت حساب
- ◈ساختن pipeline های رویداد و تصمیم‌گیری real-time با سیگنال، feature، امتیازدهی و اقدام در چند میلی‌ثانیه
- ◈آموزش، ارزیابی و انتشار مدل‌های ML و سیستم‌های مبتنی بر LLM برای طبقه‌بندی سوءاستفاده، همراه با دیتاست و pipeline ارزیابی
- ◈ساختن ابزار، داشبورد و صف بررسی برای تیم‌های پشتیبانی، عملیات و تحقیقات
- ◈تحلیل رفتار مهاجمان و داده‌ها برای یافتن الگوهای حملهٔ تازه و تبدیل آن‌ها به منطق تشخیص
- ◈تبدیل سیاست‌های ایمنی و الزام‌های حقوقی به سیستم اجرایی همراه با تیم‌های policy، حقوقی، محصول و عملیات
- ◈شرکت در on-call و رسیدگی به رخدادهای امنیتی و ایمنی، گاهی با اطلاعات ناقص
مهارت‌های مورد نیاز
مهارت‌های فنی، نرم و حوزه‌ای که یک مهندس نرم‌افزار اعتماد و ایمنی موفق به آن‌ها نیاز دارد
مهارت‌های فنی
ساختن API های پردسترس و سرویس‌های کم‌تأخیر با Python، Go یا TypeScript؛ حداقل شرط تقریباً همهٔ آگهی‌ها
کوئری روی انبار داده برای یافتن الگوهای حمله؛ Suno پنج سال کار با SQL، Snowflake، Dagster و Airflow می‌خواهد
Kafka، Redis و pipeline های پرحجم که تصمیم را در لحظه می‌گیرند
لایهٔ اول دفاع؛ Gamma تجربهٔ عملی با rate limiting و تشخیص محتوا را حداقل شرط گذاشته است
مدل‌های درختی روی دادهٔ رفتاری، classifier های محتوا و امتیازدهی ریسک
precision/recall، backtesting، shadow deployment و پایش drift و تطبیق مهاجم
prompt engineering، ارزیابی و به‌کارگیری LLM برای طبقه‌بندی؛ Vercel تجربهٔ عملی با LLM را حداقل شرط گذاشته است
پایش سیستم‌های تصمیم و رسیدگی به رخداد؛ Chime حضور در on-call را الزامی می‌داند
دانش حوزه‌ای
تقلب پرداخت، تصاحب حساب، حساب جعلی، بات، اسپم، فیشینگ و جعل هویت و اینکه هر کدام چه ردی در داده می‌گذارد
device fingerprinting، الگوی رفتار و سیگنال‌های حساب که Lovable صریحاً می‌خواهد
تبدیل قاعدهٔ محتوایی به معیار قابل‌اجرا، اقدام‌های درجه‌بندی‌شده و گردش کار اعتراض
فیشینگ و تقلب ساخته‌شده با AI، prompt injection در مقیاس، سوءاستفاده از اعتبار رایگان و تقلب از راه ایجنت‌ها
مفهوم perceptual hashing و ابزارهایی مثل PhotoDNA، PDQ و HMA
الزام‌های DSA برای توضیح حذف، اعتراض و گزارش، و قواعد شفافیت و ممنوعیت‌های قانون AI اتحادیهٔ اروپا
مهارت‌های نرم
به تعبیر Lovable، مهاجم را مدل کنید، پاسخ بسازید و پیش از آنکه او خود را تطبیق دهد اثرش را بسنجید
کار روزانه با policy، حقوقی، محصول، عملیات و علم داده؛ تقریباً همهٔ آگهی‌ها آن را آورده‌اند
Gamma از مهندس می‌خواهد امنیت را با تجربهٔ کاربر متعادل کند و OpenAI زیان تقلب را با هزینهٔ پیاده‌سازی و تجربهٔ مشتری
OpenAI مسائل این حوزه را «به‌طور پیش‌فرض پویا و مبهم» می‌داند و Gamma رسیدگی به رخداد با اطلاعات ناقص را می‌خواهد
Anthropic توانایی توضیح موازنه‌های فنی برای ذی‌نفعان غیرفنی را حداقل شرط گذاشته است
بعضی نقش‌ها، مثل ابزارهای ایمنی کودکان در OpenAI، با مواجهه با محتوای حساس و آزارنده همراه‌اند
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به مهندس نرم‌افزار اعتماد و ایمنی
این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.
پایهٔ مهندسی backend و داده
این شغل پیش از هر چیز مهندسی نرم‌افزار است. Gamma سیستم‌های تشخیص را روی API های پردسترس، PostgreSQL و Redis و pipeline های رویداد پرحجم می‌سازد؛ Suno پنج سال تجربهٔ backend با Python و پنج سال کار با داده (SQL، Snowflake، Dagster، Airflow) می‌خواهد؛ Roblox زبان Go را «به‌شدت ترجیح» می‌دهد و Chime روی Ruby on Rails کار می‌کند. یک زبان backend، SQL، طراحی API و مفهوم صف و streaming را خوب یاد بگیرید.
شناخت حوزهٔ Trust & Safety
پیش از ساختن سیستم تشخیص باید بدانید با چه آسیب‌هایی طرفید و تیم‌های دیگر چه می‌کنند. درس CS 152 «Trust and Safety» دانشگاه استنفورد (بهار ۲۰۲۶، Alex Stamos و Jeff Hancock) بررسی می‌کند سرویس‌های آنلاین و سیستم‌های AI چطور برای آسیب واقعی سوءاستفاده می‌شوند و چه پاسخ‌های عملیاتی، محصولی، حقوقی و مهندسی وجود دارد. TSPA کارکردهای یک تیم Trust & Safety را جدا تعریف کرده است: سیاست‌گذاری محصول، عملیات و بررسی محتوا، تحقیقات، داده، حقوقی و مهندسی. مقررات را هم در همین مرحله بشناسید: قانون خدمات دیجیتال اتحادیهٔ اروپا (DSA) از پلتفرم‌ها می‌خواهد دلیل حذف محتوا را توضیح دهند، امکان اعتراض بدهند و گزارش محتوای غیرقانونی را آسان کنند.
تشخیص real-time: قواعد، سیگنال‌ها و rate limiting
لایهٔ اول دفاع معمولاً ML نیست. Gamma تجربهٔ عملی با rate limiting، تشخیص محتوا و جلوگیری از تقلب را حداقل شرط گذاشته و Lovable آشنایی با rules engine، feature store های real-time، امتیازدهی ML، device fingerprinting و سیگنال‌های رفتاری را می‌خواهد تا تصمیم در چند میلی‌ثانیه گرفته شود. Osprey، rules engine متن‌بازی که در Discord برای مقابله با اسپم، سوءاستفاده و بات ساخته شد و حالا ROOST نگهداری‌اش می‌کند، نمونهٔ خوبی برای دیدن این معماری است: رویدادها وارد می‌شوند، قواعد نوشته‌شده به دست انسان روی هر رویداد اجرا می‌شود و تصمیم و برچسب بیرون می‌آید.
یادگیری ماشین برای تشخیص سوءاستفاده
آگهی Account Abuse در Anthropic صریحاً می‌نویسد کار، ML کلاسیک روی دادهٔ ساخت‌یافته و رفتاری است و پیش‌زمینهٔ deep learning لازم نیست؛ چیزی که مهم است درستیِ زمانی داده‌های آموزش (point-in-time correctness)، جلوگیری از اختلاف training و serving، کار با برچسب‌های کم، دیررس یا پرنویز و انتشار امن با backtesting و shadow deployment است. Discord از مهندس ML تیم Safety می‌خواهد همراه تیم Trust & Safety مجموعه برچسب‌های مرجع (golden label sets) بسازد. Airbnb روی تصاحب حساب، حساب جعلی، تقلب پرداخت و تشخیص بات کار می‌کند و Google در YouTube classifier هایی برای ویدیو و پخش زنده با چند نوع داده (تصویر، صدا، متن و metadata) می‌سازد.
تطبیق محتوای شناخته‌شده، LLM و ایمنی محصولات AI
دو ابزار متفاوت را بشناسید. برای محتوای «شناخته‌شده» از hash استفاده می‌شود: PhotoDNA که Microsoft از ۲۰۰۹ همراه Dartmouth ساخت، و PDQ و Hasher-Matcher-Actioner در مخزن ThreatExchange شرکت Meta. برای محتوای تازه، classifier و LLM: Llama Guard 4 ورودی و خروجی LLM را طبقه‌بندی می‌کند و gpt-oss-safeguard متن را بر پایهٔ سیاستی که خودتان می‌نویسید دسته‌بندی می‌کند. در محصولات AI کار تازه‌ای هم اضافه شده: ElevenLabs ساختن guardrail برای ایجنت‌های AI را می‌خواهد و Vercel مقابله با تقلبی که از راه ایجنت‌های AI انجام می‌شود. طبق کمیسیون اروپا، قواعد شفافیت قانون AI اتحادیهٔ اروپا (قابل‌تشخیص بودن محتوای ساخته‌شده با AI و برچسب deepfake) از اوت ۲۰۲۶ اجرایی شده است.
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت
زبان‌ها، داده و زیرساخت real-time
Suno، Anthropic، ElevenLabs و Discord آن را صریحاً می‌خواهند و در فهرست فناوری‌های تیم Scaled Abuse در OpenAI هم آمده است؛ هم برای backend و هم برای pipeline داده و مدل
زبان سرویس‌های ایمنی در Roblox (به‌شدت ترجیح داده‌شده) و از زبان‌های نام‌برده در Reddit، Lyft و Lovable
پایهٔ pipeline های رویدادمحور؛ Gamma تجربه با Kafka یا مشابه آن را می‌خواهد، ElevenLabs آن را امتیاز می‌داند و Kafka در فهرست فناوری‌های تیم Scaled Abuse در OpenAI هم آمده است
قواعد، بررسی انسانی و تطبیق محتوا
rules engine و کنسول تحقیق متن‌باز برای پردازش real-time رویدادها؛ در اصل در Discord ساخته شد و طبق ROOST در Bluesky، Discord و Matrix استفاده می‌شود
ابزار متن‌باز بررسی و moderation با کنسول بررسی انسانی، rules engine و API؛ گردش کار ایمنی کودکان در آن اولویت دارد
PDQ هر تصویر را به امضای ۲۵۶ بیتی تبدیل می‌کند و HMA سامانهٔ آماده‌ای است که فهرست محتوای شناخته‌شده را نگه می‌دارد و با آن تطبیق می‌دهد
یادگیری ماشین و امتیازدهی ریسک
gradient boosting روی دادهٔ جدولی و رفتاری؛ Anthropic تجربه با مدل‌های درختی روی دادهٔ جدولی را امتیاز می‌داند و Airbnb شناخت الگوریتم‌هایی مثل gradient boosted trees را می‌خواهد
برای classifier های متن، تصویر و چندوجهی؛ Discord و Airbnb آن را در کنار TensorFlow یا JAX نام برده‌اند
مدل‌ها و ابزارهای ایمنی AI
classifier ایمنی چندوجهی Meta با ۱۲ میلیارد پارامتر که هم prompt و هم پاسخ LLM را طبقه‌بندی می‌کند و دسته‌های نقض‌شده را نام می‌برد
مدل‌های استدلال ایمنی OpenAI با وزن باز که متن را بر پایهٔ سیاستی که خودتان می‌دهید طبقه‌بندی می‌کنند؛ نسخهٔ 20b روی GPU با ۱۶ گیگابایت حافظه اجرا می‌شود
classifier گوگل برای اولویت‌بندی تصاویر و ویدیوها پیش از بررسی انسانی، رایگان برای شرکای واجد شرایط؛ گوگل تأکید می‌کند تصمیم نهایی با بررسی خود شریک است
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید
ورودی / فارغ‌التحصیل
۰ تا ۲ سال
نقش‌های ورودی وجود دارند ولی کم‌اند؛ در آگهی‌هایی که بررسی کردیم، نقش مخصوص تازه‌کارها فقط در برنامه‌های فارغ‌التحصیلان TikTok بود. TikTok برای شروع ۲۰۲۷ نقش‌هایی مثل Backend Software Engineer Graduate در تیم مهندسی Trust and Safety (سیدنی) و Machine Learning Engineer Graduate (سیاتل و سن‌خوزه) آگهی کرده است؛ تیم سیدنی سیستم‌های فرایند moderation، rules engine، feature engine و سکوهای بررسی انسانی می‌سازد. راه رایج‌تر چند سال کار به‌عنوان مهندس backend، داده یا امنیت و حرکت به تیم ایمنی است؛ TSPA هم پیشنهاد می‌کند اگر نقش Trust & Safety باز نبود، نقشی در تیم محصول بگیرید که با تیم Trust & Safety همکاری دارد.
Software Engineer, Trust & Safety (میانی)
۲ تا ۵ سال
~$151K
میانگین سالانه (آمریکا)
ساختن و نگهداری API ها و سرویس‌هایی که سکوی Trust & Safety روی آن‌ها کار می‌کند و شرکت در on-call. آگهی Software Engineer, Trust & Safety در Chime سه سال تجربه می‌خواهد و حضور در نوبت on-call را الزامی می‌داند؛ نقش Software Engineer III در تیم YouTube Trust and Safety Automation در Google دو سال تجربهٔ برنامه‌نویسی و یک سال تجربهٔ end-to-end یادگیری ماشین می‌خواهد.
Senior Software Engineer, Trust & Safety
۵+ سال
~$212K
میانگین سالانه (آمریکا)
مالکیت کامل یک سیستم تشخیص و جلوگیری، از طراحی تا سنجش اثر. بیشتر آگهی‌های این دسته دست‌کم ۵ سال تجربه می‌خواهند (Gamma، Vercel، Lovable، Roblox، ElevenLabs، Lyft و Chime Senior) و OpenAI برای Scaled Abuse علاوه بر ۵ سال مهندسی، ۲ سال تجربه در تحلیل، تحقیق یا عملیات تقلب و سوءاستفاده را هم شرط گذاشته است.
Staff / Principal
۸+ سال
تعریف معماری و نقشهٔ فنی ایمنی برای چند تیم. Reddit برای Staff Backend Engineer, User Safety هشت سال تجربه و رهبری یک تیم مهندسی را می‌خواهد و Chime از Staff Engineer انتظار دارد چشم‌انداز فنی گروه Trust and Safety را رهبری کند. بازهٔ حقوق پایهٔ این سطح در آگهی‌ها پهن است: ۲۲۳ تا ۳۷۳ هزار دلار در Chime و ۳۲۰ تا ۴۸۵ هزار دلار برای Staff+ Account Abuse در Anthropic.
چالش‌ها و جنبه‌های منفی
واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید
موازنهٔ precision و recall
عمومیهر آستانه‌ای یک طرف را قربانی می‌کند. Anthropic می‌نویسد هر مثبت کاذب یعنی مشتری واقعی‌ای که از حسابش بیرون افتاده و به همین دلیل سنجش و انتشار امن بخشی از کار است؛ Lovable نرخ مثبت کاذب را کنار نرخ زیان تقلب معیار اصلی می‌داند.
مهاجمی که خود را تطبیق می‌دهد
عمومیسیستم تشخیص با رقیبی فکور طرف است. OpenAI از مهندس می‌خواهد چند قدم جلوتر از مهاجمان مصمم و پرامکانات بماند، Anthropic پایش «تطبیق مهاجم» را کنار drift آورده و Lovable «زمانی که مهاجم برای شکست دادن دفاع لازم دارد» را یکی از معیارهای اصلی گذاشته است.
برچسب‌های کم، دیررس و پرنویز
تحقیقاتیدر این حوزه حقیقت زمینی (ground truth) دیر و ناقص می‌رسد: chargeback با تأخیر می‌آید و برچسب انسانی هم خطا دارد. Anthropic تجربهٔ کار با برچسب‌های کم، دیررس یا پرنویز را امتیاز می‌داند و Discord ساختن مجموعه برچسب‌های مرجع را همراه تیم Trust & Safety جزو وظایف آورده است.
سوءاستفاده‌ای که با AI ارزان شده
استارتاپGamma می‌نویسد فیشینگ، تقلب و محتوای مخربی که با AI ساخته می‌شود روزبه‌روز از فعالیت عادی سخت‌تر قابل‌تشخیص است و حجم و پیچیدگی سوءاستفاده سریع‌تر از روش‌های سنتی رشد می‌کند. تیم‌ها کوچک می‌مانند و انتظار می‌رود با خودکارسازی جبران کنند.
مواجهه با محتوای آزارنده
عمومیهمهٔ نقش‌ها این‌طور نیستند، اما بعضی هستند: آگهی ابزارهای ایمنی کودکان در OpenAI صریحاً هشدار می‌دهد نقش با مواجهه با محتوای حساس و بسیار آزارنده همراه است. ROOST هم ابزار بررسی Coop را «wellness-first» معرفی می‌کند. پیش از پذیرفتن پیشنهاد کار بپرسید چه حمایتی از سلامت روان وجود دارد.
on-call و رخدادها
شرکت بزرگحمله ساعت کاری نمی‌شناسد. Chime حضور در on-call و پاسخ به رخداد خارج از ساعت کاری را الزامی می‌داند، Lyft مشارکت فعال در حل رخدادهای جاری را می‌خواهد و Gamma رسیدگی به رخدادهای پیچیدهٔ امنیتی با اطلاعات ناقص را.
الزام‌های قانونی که به سیستم تبدیل می‌شوند
شرکت بزرگElevenLabs از مهندس می‌خواهد الزام‌های حقوقی و مقرراتی را به سیستم‌های ایمنی عملی و مقیاس‌پذیر تبدیل کند. DSA توضیح دلیل حذف، امکان اعتراض و گزارش آسان را می‌خواهد و طبق کمیسیون اروپا ممنوعیت سیستم‌های AI سازندهٔ تصاویر جنسی بدون رضایت یا CSAM از دسامبر ۲۰۲۶ اجرایی می‌شود.
حقوق و بازار کار جهانی
حقوق جهانی مهندس نرم‌افزار اعتماد و ایمنی
حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.
* ارقام سالانه‌اند. منبع هر رقم:
- Chime posting, Software Engineer, Trust & Safety (Chicago/San Francisco), posted Oct 7, 2026: posted US base range for a 3+ yrs role; median = midpoint
- Chime posting, Senior Software Engineer, Trust & Safety (Chicago/San Francisco), posted Oct 7, 2026: posted US base range, 5+ yrs required; median = midpoint
- Lyft posting, Senior Software Engineer, Community Safety (Toronto, Trust & Safety function), posted Aug 27, 2026: Toronto base range, 5+ yrs required; median = midpoint
- OpenAI posting, Full-Stack Software Engineer, Child Safety Tools & Systems (London), posted Oct 16, 2026: posted range, 7+ yrs required; median = midpoint
چگونه از صفر شروع کنیم
برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی
ماه ۱: شناخت حوزه
اسلایدهای چند جلسهٔ اول CS 152 استنفورد و بخش «Key Functions and Roles» در برنامهٔ آموزشی TSPA را بخوانید تا بدانید تیم Trust & Safety از چه بخش‌هایی تشکیل شده و مهندس کجای آن است.
ماه ۲: rate limiting و دفاع در برابر بات
پروژهٔ سرویس rate limiting برای ثبت‌نام را بسازید و فهرست تهدیدهای خودکار OWASP را با آن مقایسه کنید: سرویس شما در برابر کدام‌ها کار می‌کند و کدام نه.
ماه ۳: rules engine و pipeline رویداد
دموی Osprey را اجرا کنید، چند قاعده برای اسپم بنویسید و رویدادها را از Kafka به آن بدهید.
ماه ۴: classifier و تحلیل خطا
روی Civil Comments یک classifier بسازید و برای دو آستانه نتیجه را از نگاه کاربر عادی و از نگاه ایمنی گزارش کنید.
ماه ۵: classifier مبتنی بر LLM
با gpt-oss-safeguard یک سیاست کوتاه را اجرا کنید، با classifier ماه ۴ مقایسه کنید و موارد نامطمئن را به صف بررسی Coop بفرستید.
ماه ۶: نمونه‌کار و درخواست
برای هر پروژه README بنویسید که معیارها، موازنه‌ها و خطاها را صادقانه نشان دهد. به تیم‌های ایمنی، تقلب و integrity درخواست بدهید و اگر نقش Trust & Safety باز نبود، طبق توصیهٔ TSPA نقشی در تیم محصولی بگیرید که با Trust & Safety همکاری دارد.
پروژه‌های پیشنهادی برای رزومه
classifier متن سمی با تحلیل خطا
مبتدیروی دیتاست عمومی Civil Comments یک baseline با scikit-learn و یک مدل transformer آموزش دهید. به‌جای گزارش یک عدد دقت، منحنی precision/recall بکشید، برای دو آستانهٔ مختلف بنویسید چند کاربر عادی به اشتباه مسدود می‌شوند و چه مقدار محتوای مضر رد می‌شود، و نمونه‌های خطا را دسته‌بندی کنید؛ همان تمرینی که درس CS 152 استنفورد برای hate speech دارد.
سرویس rate limiting و دفاع در برابر بات در ثبت‌نام
متوسطبرای یک اپ نمونه سرویسی بسازید که درخواست‌های ثبت‌نام و ورود را بر اساس IP، حساب و الگوی رفتار محدود کند، رفتار مشکوک (مثلاً صدها ثبت‌نام از یک منبع) را علامت بزند و هر تصمیم را با دلیلش ثبت کند. با یک اسکریپت شبیه‌ساز ترافیک عادی و ترافیک بات آزمایش کنید و نشان دهید کاربر عادی چقدر اذیت می‌شود.
pipeline تشخیص اسپم real-time با rules engine
متوسطرویدادهای یک انجمن نمونه (پست، کامنت، ثبت‌نام) را روی Kafka بفرستید و با Osprey یا یک rules engine ساده‌ی خودتان قواعدی بنویسید که اسپم و حساب‌های تازهٔ پرفعالیت را برچسب بزند. یک داشبورد کوچک بسازید که حجم تصمیم‌ها و نرخ اعتراض به آن‌ها را نشان دهد.
مدل تشخیص حساب سوءاستفاده‌گر با انتشار امن
پیشرفتهروی یک دیتاست رفتاری عمومی یا دادهٔ شبیه‌سازی‌شده، feature ها را با درستی زمانی بسازید (فقط اطلاعاتی که در لحظهٔ تصمیم در دسترس بود)، یک مدل XGBoost آموزش دهید، آن را روی دادهٔ گذشته backtest کنید و در حالت shadow کنار قواعد موجود اجرا کنید. گزارش بدهید مدل چه چیزی را بهتر یا بدتر از قواعد می‌گیرد؛ این همان مسیر انتشاری است که آگهی Anthropic پیش‌فرض می‌داند.
classifier مبتنی بر LLM با سیاست قابل‌ویرایش و صف بررسی انسانی
پیشرفتهیک سیاست محتوایی کوتاه بنویسید (مثلاً برای کلاه‌برداری در آگهی‌های یک بازارچه)، با gpt-oss-safeguard یا Llama Guard 4 محتوا را بر پایهٔ آن طبقه‌بندی کنید، نتیجه را با baseline مرحلهٔ اول مقایسه کنید و موارد نامطمئن را به یک صف بررسی در Coop بفرستید. نشان دهید با تغییر متن سیاست، رفتار سیستم بدون آموزش دوباره عوض می‌شود.
مثال‌های واقعی و Case Studies
داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند
طبق ویکی‌پدیا، در ۲۰۰۱ از UC Berkeley مدرک EECS گرفت، در ۲۰۰۴ شرکت مشاورهٔ امنیتی iSEC Partners را هم‌بنیان‌گذاری کرد و بعد مدیر ارشد امنیت (CSO) در Yahoo و سپس Facebook شد.
طبق ویکی‌پدیا، پس از اختلاف با مدیران دیگر Facebook دربارهٔ شیوهٔ برخورد با استفادهٔ دولت روسیه از این پلتفرم برای پخش اطلاعات نادرست در انتخابات ۲۰۱۶ آمریکا، در ۲۰۱۸ برای یک موقعیت پژوهشی به دانشگاه استنفورد رفت و Stanford Internet Observatory را بنیان گذاشت. اکنون مدرس دانشگاه استنفورد و مدیر ارشد امنیت Corridor، یک استارتاپ امنیت AI، است.
مسیر Stamos نشان می‌دهد امنیت و Trust & Safety دو حرفهٔ نزدیک‌اند: تجربهٔ امنیتی می‌تواند راه ورود به ایمنی پلتفرم باشد، و تصمیم‌های این حوزه گاهی پیامدهایی فراتر از مهندسی دارند.
طبق ویکی‌پدیا، کارشناسی علوم کامپیوتر و ریاضی کاربردی را در ۱۹۸۹ از University of Rochester، کارشناسی ارشد علوم کامپیوتر را در ۱۹۹۲ از SUNY Albany و دکترای علوم کامپیوتر را در ۱۹۹۷ از University of Pennsylvania گرفت. از ۱۹۹۹ تا ۲۰۱۹ در Dartmouth بود و اکنون استاد UC Berkeley با انتصاب مشترک در دانشکدهٔ مهندسی برق و علوم کامپیوتر و School of Information است.
طبق ویکی‌پدیا، متخصص تحلیل تصاویر دیجیتال و تشخیص تصاویر دستکاری‌شده مثل deepfake و یکی از طراحان الگوریتم PhotoDNA است؛ برنامهٔ NOVA scienceNOW او را «پدر» forensics تصویر دیجیتال خوانده است.
مسیر Farid نشان می‌دهد پژوهش عمیق در یک تکنیک مشخص، اینجا تحلیل تصویر، می‌تواند به ابزاری تبدیل شود که بخش بزرگی از صنعت برای ایمنی به کار می‌گیرد.
طبق معرفی‌نامه‌اش در دانشگاه استنفورد، پیش‌تر معاون (VP) در iSEC Partners و بعد NCC Group بود و تیم مشاوره و پژوهش امنیتی آمریکای شمالی را مدیریت می‌کرد: پژوهش امنیتی، هماهنگی افشای آسیب‌پذیری، ارزیابی امنیتی و تست نفوذ. سپس در Facebook روی امنیت و ایمنی پروژه‌های Facebook Connectivity کار کرد. نویسندهٔ کتاب iOS Application Security (No Starch Press) است.
طبق همان معرفی‌نامه، Chief Technologist در Stanford Internet Observatory بود و روی کارزارهای هماهنگ اطلاعات نادرست، پلتفرم‌های «alt»، شبکه‌های اجتماعی غیرمتمرکز و ایمنی آنلاین کودکان پژوهش می‌کند؛ managing editor نشریهٔ Journal of Online Trust and Safety است و گزارش‌هایی مثل «Generative ML and CSAM: Implications and Mitigations» (ژوئن ۲۰۲۳) و «How to Fix the Online Child Exploitation Reporting System» (آوریل ۲۰۲۴) در فهرست انتشاراتش آمده است.
مسیر Thiel نشان می‌دهد مهارت‌های کلاسیک امنیت، مثل ارزیابی امنیتی و تست نفوذ، می‌تواند به پژوهش فنی ایمنی کودکان و Trust & Safety در دوران AI مولد برسد.
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
Software Engineer, Trust & Safety
تحلیل نیازمندی‌ها
5+ years as a software engineer with a focus on abuse, spam, or fraud prevention
این نقش ورودی نیست. پنج سال مهندسی کافی نیست؛ باید بخشی از آن روی جلوگیری از سوءاستفاده، اسپم یا تقلب بوده باشد. اگر الان در تیم دیگری هستید، کار روی ویژگی‌های ضدتقلب یا ضداسپم همان تیم بهترین راه ساختن این سابقه است.
ضروریStrong systems thinking and experience building highly available web APIs, with proficiency in at least one programming language and comfort working across a modern web stack
سیستم تشخیص در مسیر هر درخواست کاربر قرار دارد؛ اگر کند شود یا از کار بیفتد، کل محصول آسیب می‌بیند. برای همین طراحی API پردسترس پایهٔ کار است، نه مهارت جانبی.
ضروریHands-on experience implementing trust features like rate limiting, content detection, and fraud prevention
«hands-on» یعنی خودتان ساخته باشید: محدود کردن نرخ درخواست، تشخیص محتوای مشکوک یا جلوگیری از تقلب. پروژهٔ rate limiting و دفاع در برابر بات در نمونه‌کار مستقیماً همین را نشان می‌دهد.
ضروریExperience with event streaming systems (Redis, Kafka, or similar)
تشخیص در لحظه روی جریان رویدادها کار می‌کند: هر ثبت‌نام، ورود یا انتشار یک رویداد است. باید بدانید رویدادها را چطور با تأخیر کم پردازش و شمارش کنید.
مهمPassion for security, user protection, and solving problems at scale
این علاقه را با کار نشان دهید، نه با ادعا: آماده باشید توضیح دهید اگر جای مهاجم بودید سیستمی را که ساخته‌اید چطور دور می‌زدید و چه چیزی جلویتان را می‌گرفت.
مهمExperience with AI/LLMs for content moderation, or familiarity with TypeScript, Prisma, Apollo GraphQL, or AWS
دو نوع امتیاز است: تجربهٔ moderation با LLM، یا آشنایی با فناوری‌های خود Gamma. اولی به هستهٔ کار این نقش نزدیک‌تر است؛ دومی فقط شروع کار را سریع‌تر می‌کند.
مفیدExperience building AI-assisted moderation pipelines or using frontier models for automated abuse detection and response
منظور سیستمی است که مدل‌های پیشرفته را برای تشخیص و پاسخ خودکار به کار می‌گیرد؛ پروژهٔ classifier مبتنی بر LLM با صف بررسی انسانی نمونهٔ کوچکی از همین است.
مفیدFamiliarity with the evolving AI threat landscape—how generative models are being used for phishing, social engineering, and content abuse at scale
باید بدانید مهاجمان امروز با مدل‌های مولد چه می‌کنند: صفحهٔ فیشینگ، مهندسی اجتماعی و محتوای آزارنده در مقیاس بالا. دنبال کردن گزارش‌ها و درس‌هایی مثل بخش AI Safety در CS 152 استنفورد کمک می‌کند.
مفیدتحلیل مسئولیت‌ها
Own detection and prevention systems for fraud, abuse, spam, and malicious content across millions of daily users
«own» یعنی مسئولیت کامل: طراحی، ساخت، پایش و پاسخ‌گویی وقتی چیزی از دفاع رد می‌شود. در تیم کوچک، کسی نیست که این مسئولیت را با شما تقسیم کند.
Design and build scalable trust infrastructure including rate limiting, content scanning, anomaly detection, and account security
چهار ابزار پایهٔ Trust & Safety در یک جمله: محدود کردن نرخ، اسکن محتوا، یافتن رفتار غیرعادی و امنیت حساب (مثلاً جلوگیری از تصاحب حساب).
Build tools that empower internal support teams to investigate and act on suspicious or malicious activity
بخشی از کار ساختن ابزار داخلی است: صفحه‌ای که تیم پشتیبانی با آن یک حساب مشکوک را ببیند، تاریخچه‌اش را بفهمد و اقدام کند. کیفیت این ابزارها سرعت کل تیم را تعیین می‌کند.
Investigate and resolve complex security incidents with limited context
گاهی خودتان محقق هستید: در لاگ‌ها و داده دنبال ردپای حمله می‌گردید، بی‌آنکه همهٔ اطلاعات را داشته باشید. همین‌جاست که مرز Trust & Safety و امنیت باریک می‌شود.
Partner with engineering and product to balance security with user experience
هر لایهٔ دفاعی برای کاربر عادی هم اصطکاک می‌سازد. باید بتوانید با تیم محصول دربارهٔ اینکه کجا سخت‌گیری بیرزد و کجا نه گفت‌وگو کنید.
Shape Gamma's long-term trust and safety strategy and technical roadmap
در شرکتی با تیم کوچک، مهندس ارشد فقط مجری نیست؛ تعیین می‌کند در سال آینده روی کدام نوع سوءاستفاده و کدام زیرساخت سرمایه‌گذاری شود.
Leverage AI/LLM-based detection to stay ahead of AI-generated abuse—phishing, fraud, and malicious content that's increasingly indistinguishable from legitimate activity
اثر مستقیم AI بر این شغل: وقتی محتوای مخرب با AI ساخته می‌شود و شبیه فعالیت عادی است، قواعد ساده کافی نیست و باید از LLM در خود تشخیص استفاده کرد.
Build automated triage and investigation workflows that let a small team operate at the scale of a much larger one
هدف خودکارسازی این است که تیم کوچک بیشترِ هشدارها را خودکار دسته‌بندی کند و وقت انسان‌ها صرف موارد واقعاً مبهم شود.
نتیجه‌گیری کلی
این آگهی تصویر روشنی از اثر AI بر این شغل می‌دهد. هستهٔ کار مهندسی backend کلاسیک است: API پردسترس، pipeline رویداد با Redis یا Kafka، rate limiting و جلوگیری از تقلب. اما دو لایهٔ تازه به آن اضافه شده: تشخیص سوءاستفاده‌ای که با AI ساخته شده و از فعالیت عادی به‌سختی قابل‌تشخیص است، و خودکارسازی triage و تحقیقات تا یک تیم کوچک در مقیاس تیمی بسیار بزرگ‌تر کار کند. Gamma در متن آگهی همین نقش را «Trust & Safety Engineer» هم می‌نامد. بازهٔ حقوق پایه ۱۸۰ تا ۳۱۰ هزار دلار است و به گفتهٔ آگهی چند سطح داخلی را پوشش می‌دهد، و حداقل ۵ سال تجربه با تمرکز بر سوءاستفاده، اسپم یا تقلب لازم است؛ برای رسیدن به آن، اول مهندس backend شوید و بعد در تیم خودتان روی ویژگی‌های ضدتقلب و ضداسپم کار کنید.
آینده و روندها
پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید
طبق BLS، اشتغال توسعه‌دهندگان نرم‌افزار، تحلیلگران تضمین کیفیت و تسترها در آمریکا از ۲۰۲۵ تا ۲۰۳۵، ۱۰٪ رشد می‌کند که بسیار سریع‌تر از میانگین همهٔ مشاغل است. آمار رسمی جداگانه‌ای برای مهندسان Trust & Safety وجود ندارد و این نزدیک‌ترین شغل رسمی است.
منبع: BLS Occupational Outlook Handbook — Software Developers, Quality Assurance Analysts, and Testers (projections 2025–35)
مهارت‌های نوظهور که باید یاد بگیرید
پیش‌بینی‌های آینده
طبق کمیسیون اروپا، قواعد شفافیت قانون AI از اوت ۲۰۲۶ اجرایی شده است: ارائه‌دهندگان AI مولد باید محتوای ساخته‌شده با AI را قابل‌تشخیص کنند و deepfake ها باید به‌روشنی برچسب بخورند. ممنوعیت سیستم‌های AI سازندهٔ تصاویر جنسی بدون رضایت یا CSAM، مثل اپ‌های «nudification»، هم از دسامبر ۲۰۲۶ اجرایی می‌شود.
طبق اعلام Jigsaw در سایت Perspective API، این سرویس تشخیص toxicity تا ۳۱ دسامبر ۲۰۲۶ فعال می‌ماند و بعد از آن ارائه نمی‌شود، و پشتیبانی مستقیمی هم برای مهاجرت در کار نیست.
BLS پیش‌بینی می‌کند اشتغال توسعه‌دهندگان نرم‌افزار، تحلیلگران تضمین کیفیت و تسترها در آمریکا از ۲۰۲۵ تا ۲۰۳۵، ۱۰٪ رشد کند.
دو روند هم‌زمان دیده می‌شود. از یک سو AI سوءاستفاده را ارزان‌تر کرده (Gamma و ROOST) و خود شرکت‌های AI برای حفاظت از محصولاتشان مهندس Trust & Safety استخدام می‌کنند (OpenAI، Anthropic، ElevenLabs و Character.AI). از سوی دیگر همان AI بخشی از کار را خودکار می‌کند: Gamma صریحاً می‌خواهد یک تیم کوچک با triage و تحقیقات خودکار در مقیاس تیمی بسیار بزرگ‌تر کار کند، Anthropic از مهندس می‌خواهد با Claude ساختن و نگهداری مدل‌ها را سریع‌تر کند، و Jigsaw در اعلام پایان Perspective API نوشته با پیشرفت AI تقاضا برای یک ابزار مستقل در این حوزه کم شده است. نقش‌های ورودی هم کم‌اند: بیشتر آگهی‌هایی که بررسی کردیم دست‌کم ۵ سال تجربه می‌خواستند و نقش مخصوص تازه‌کارها را فقط در برنامه‌های فارغ‌التحصیلان TikTok دیدیم. نتیجهٔ عملی: کسی که فقط قاعدهٔ دستی می‌نویسد یا classifier ساده آموزش می‌دهد آسیب‌پذیرتر است از کسی که سیستم end-to-end می‌سازد، LLM را در تشخیص به کار می‌گیرد و خطاهایش را می‌سنجد. فرسودگی هم ریسک واقعی است: آگهی ایمنی کودکان OpenAI صریحاً از مواجهه با محتوای حساس و بسیار آزارنده می‌گوید.
منابع
اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۴۸ منبع بررسی شده است.
- Software Engineer, Trust & Safety — Gamma (job posting)
- Software Engineer, Distributed Systems - Trust & Safety — Gamma (job posting)
- Software Engineer, Trust & Safety — Suno (job posting)
- Software Engineer, Trust & Safety — Chime (job posting)
- Senior Software Engineer, Trust & Safety — Chime (job posting)
- Senior Staff / Staff Software Engineer, Trust & Safety — Chime (job posting)
- Software Engineer, Trust & Safety — Vercel (job posting)
- Machine Learning Engineer, Trust & Safety — Vercel (job posting)
- Trust & Safety Engineer — Lovable (job posting)
- Software Engineer, Scaled Abuse — OpenAI (job posting)
- Full-Stack Software Engineer, Child Safety Tools & Systems (London) — OpenAI (job posting)
- Staff+ Software Engineer, Account Abuse (Machine Learning) — Anthropic (job posting)
- Staff+ Software Engineer, Safeguards Infrastructure (London) — Anthropic (job posting)
- Senior Software Engineer, Machine Learning (Safety) — Discord (job posting)
- Staff Backend Engineer, User Safety — Reddit (job posting)
- Senior Software Engineer, Safety Foundation — Roblox (job posting)
- Safety Engineer (Backend Leaning) — ElevenLabs (job posting)
- Software Engineer, Backend/Applied ML (Safety & Integrity) — Character.AI (job posting)
- Senior Software Engineer, Community Safety (Toronto) — Lyft (job posting)
- Machine Learning Engineer Graduate (TikTok Trust and Safety) - 2027 Start — TikTok (job posting)
- Backend Software Engineer Graduate (Trust and Safety Engineering) - 2027 Start — TikTok (job posting)
- Software Engineer III, YouTube Trust and Safety Automation — Google (job posting)
- Senior Machine Learning Engineer, Trust — Airbnb (job posting)
- Senior Security Engineer - Platform Trust & Safety — Datadog (job posting)
- Glassdoor — Trust and Safety Engineer salaries, United States
- Glassdoor — Trust and Safety Engineer salaries, United Kingdom
- BLS Occupational Outlook Handbook — Software Developers, Quality Assurance Analysts, and Testers
- TSPA — Key Functions and Roles in Trust & Safety
- TSPA — Careers in Trust & Safety
- Stanford CS 152: Trust and Safety (Spring 2026)
- Stanford CS 152 — Schedule (Spring 2026)
- Trust & Safety Teaching Consortium — curriculum
- ROOST — Robust Open Online Safety Tools
- Osprey — ROOST safety rules engine (GitHub)
- Coop — ROOST review and moderation tool (GitHub)
- Meta ThreatExchange — PDQ, TMK and Hasher-Matcher-Actioner (GitHub)
- Microsoft — PhotoDNA
- Wikipedia — PhotoDNA
- Google — Child safety toolkit (Content Safety API, CSAI Match)
- Perspective API — sunset announcement
- Meta — Llama Guard 4 model card (Hugging Face)
- OpenAI — gpt-oss-safeguard-20b model card (Hugging Face)
- European Commission — The Digital Services Act
- European Commission — AI Act (regulatory framework and timeline)
- Stanford Digital Repository — Identifying and Eliminating CSAM in Generative ML Training Data and Models (Thiel, 2023)
- Wikipedia — Alex Stamos
- Wikipedia — Hany Farid
- Stanford FSI — David Thiel