🚀

مهندس عملیات مدل‌های زبانی

LLMOps Engineer

مهندس LLMOps سیستم‌هایی را که با مدل‌های زبانی بزرگ کار می‌کنند در پروداکشن قابل اتکا، قابل اندازه‌گیری و با هزینهٔ قابل پیش‌بینی نگه می‌دارد: نسخه‌بندی پرامپت و pipeline، ارزیابی خودکار، پایش تأخیر و هزینه و کیفیت، guardrail، نگهداری RAG و مسیریابی بین مدل‌ها. عنوان دقیق «LLMOps Engineer» در آگهی‌ها کم است؛ همین کار بیشتر با عنوان‌هایی مثل AI Platform Engineer، GenAI Platform Engineer، ML Platform Engineer یا AI Infrastructure Engineer آگهی می‌شود.

PythonDocker و KubernetesCI/CDLLM EvaluationObservability و TracingLLM Gateway / Model RoutingRAG و Vector DBTerraform

مقدمه و تعریف شغل

مهندس LLMOps (مهندس عملیات مدل‌های زبانی) کسی است که سیستم‌های مبتنی بر LLM را در پروداکشن قابل اتکا، قابل اندازه‌گیری و با هزینهٔ قابل پیش‌بینی نگه می‌دارد. Databricks، LLMOps را «روش‌ها، تکنیک‌ها و ابزارهای مدیریت عملیاتی مدل‌های زبانی بزرگ در محیط پروداکشن» تعریف می‌کند. آگهی LLMOps Engineer در Coursera کار را این‌طور خلاصه کرده است: مالکیت «ستون فقرات عملیاتی» که سیستم‌های ایجنتی را در پروداکشن سرپا نگه می‌دارد، از نسخه‌بندی پرامپت و pipeline تا ارزیابی، پایش، مدیریت حادثه و هزینه. تمرکز این نقش روی خودِ مدل نیست، روی سیستمی است که مدل در آن کار می‌کند؛ در بعضی تیم‌ها، مثل DoorDash و LTS، زیرساخت serving یا fine-tuning هم به آن اضافه می‌شود.

بازار برای این کار عنوان ثابتی ندارد. در بررسی ما در اکتبر ۲۰۲۶ روی تابلوی استخدام ۲۸۵ شرکت (Greenhouse، Ashby و Lever، با ۳۲٬۷۷۶ آگهی باز) فقط یک آگهی «LLMOps» در عنوانش داشت: «LLMops Engineer» در Coursera. دو آگهی دیگر با همین عنوان را بیرون از این تابلوها پیدا کردیم: Capgemini در بنگلور و Steampunk، پیمانکار دولت آمریکا، در ویرجینیا. در همان تابلوها عنوان‌هایی مثل AI Platform (۳۶ آگهی در ۲۱ شرکت)، ML Infrastructure (۳۵ آگهی در ۲۳ شرکت) و ML Platform (۲۵ آگهی در ۱۷ شرکت) خیلی بیشتر بودند؛ خود آگهی Coursera هم نقش را «AI Platform and LLMOps Engineer» می‌نامد. شرکت‌های بزرگ این کار را معمولاً در تیمی به نام GenAI Platform یا AI Platform انجام می‌دهند، مثل DoorDash، Deliveroo، Reddit و Harvey. مرز با MLOps هم باز است: طبق ITJobsWatch، در شش ماه منتهی به ۲۲ اکتبر ۲۰۲۶، ۵۰٫۶٪ از آگهی‌های دائم بریتانیا که MLOps خواسته‌اند LLM را هم نام برده‌اند. برای پیدا کردن این شغل باید با همهٔ این عنوان‌ها جستجو کنید و شرح آگهی را بخوانید.

چه چیزی می‌سازید؟

مثال‌های واقعی از خروجی کار یک مهندس عملیات مدل‌های زبانی

🔀

LLM Gateway و مسیریابی بین مدل‌ها

Reddit در آگهی پلتفرم GenAI خود یک LLM Gateway توصیف می‌کند با API یکپارچه برای مدل‌های داخلی و بیرونی، مدیریت محدودیت نرخ و توکن و failover هوشمند. Suno هم مسیریابی بین ارائه‌دهندگان مدل، fallback، محدودیت نرخ و کنترل هزینه را جزو وظایف مهندس پلتفرم آورده است.

🧪

eval harness و تست رگرسیون

Coursera مجموعه‌های ارزیابی خودکاری می‌خواهد که رگرسیون، توهم و افت کیفیت را پیش از رسیدن به مشتری بگیرند. LTS اسم این ابزارها را «AI harness» گذاشته است: تست خودکار، ارزیابی پرامپت، بنچمارک مدل و تست رگرسیون.

📈

پایش و tracing

Coursera پایش تأخیر، مصرف توکن، هزینهٔ هر درخواست، کیفیت خروجی و drift را در طول زمان می‌خواهد. در Suno، tracing باید آن‌قدر کامل باشد که هر درخواست از پرامپت تا فایل صوتی نهایی در همهٔ سرویس‌ها دنبال شود.

⚡

serving مدل‌های open-weight

DoorDash مدل‌های open-weight را روی GPU های خودش سرو می‌کند و به گفتهٔ آگهی، تولید یک میلیارد embedding را حدود ۲۰ برابر ارزان‌تر کرده است. Paytm هم پلتفرم inference به نام Pi دارد که مدل‌های خود شرکت (صدا، تصویر، ریسک) و مدل‌های بیرونی را برای تیم‌های داخلی و مشتریان سرو می‌کند.

🛡️

guardrail و انطباق

Coursera فیلتر محتوا، حذف اطلاعات شخصی (PII) و کنترل دسترسی را مطابق الزامات حریم خصوصی و محل نگهداری داده (data residency) می‌خواهد. Steampunk از guardrail های پایهٔ MLSecOps نام می‌برد: اعتبارسنجی ورودی، محافظت از پرامپت و فیلتر خروجی.

💰

کنترل هزینه

در Coursera مهندس LLMOps مالک «حاکمیت هزینه» است: caching، مسیریابی بین مدل‌ها و گزارش مصرف، تا هزینه با گسترش استفاده قابل پیش‌بینی بماند. DoorDash هم تخصیص هزینه (cost attribution) را یکی از بخش‌های اصلی پلتفرم خود آورده است.

تخصص‌های مختلف مهندس عملیات مدل‌های زبانی

این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد

🔀

gateway و مسیریابی مدل

LLM Gateway & Model Routing

یک نقطهٔ ورود برای همهٔ مدل‌ها با کنترل کلید، بودجه، محدودیت نرخ و fallback. Reddit، Suno و Harvey این را از تیم پلتفرم می‌خواهند و Coursera از LiteLLM و OpenRouter نام برده است.

⚡

پلتفرم inference

Inference Platform

سرو کردن مدل‌های open-weight روی GPU با تأخیر و هزینهٔ کمتر: autoscaling، batching و موتورهایی مثل vLLM. نمونه‌ها: DoorDash، Paytm و تیم AI Infra در Fin که به گفتهٔ آگهی inference مدل‌های اختصاصی مثل Fin Apex را اجرا می‌کند.

📊

زیرساخت ارزیابی و پایش

Evals & Observability Infrastructure

اجراکنندهٔ eval، ذخیرهٔ نتایج، داشبورد و tracing که همهٔ تیم‌ها از آن استفاده کنند. Suno، Harvey و LTS این بخش را جداگانه نام برده‌اند.

🤖

پلتفرم ایجنت

Agent Platform

runtime، ارکستراسیون، دسترسی امن ایجنت به ابزارها و guardrail. Paytm پلتفرم ایجنت خود را با TypeScript روی Bun و Temporal روی Kubernetes ساخته و DoorDash یک Agent Gateway دارد.

🏛️

LLMOps در محیط‌های سازمانی و دولتی

Enterprise & Regulated LLMOps

حریم خصوصی، محل نگهداری داده، کنترل دسترسی و ممیزی. Coursera شناخت حاکمیت AI در استقرارهای سازمانی را امتیاز می‌داند و Steampunk و LTS برای پروژه‌های دولت آمریکا صلاحیت Public Trust می‌خواهند.

تفاوت با شغل‌های مشابه

کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟

مهندس مدل‌های زبانی بزرگLLM Engineer

مهندس LLM با خودِ مدل کار می‌کند: انتخاب، fine-tune، فشرده‌سازی و سرو کردن آن و ساختن RAG و ایجنت روی آن. مهندس LLMOps سیستمی را می‌سازد که آن مدل‌ها در آن قابل اتکا بمانند: نسخه‌بندی پرامپت و pipeline، ارزیابی خودکار در CI، پایش هزینه و کیفیت، guardrail و gateway. آگهی Coursera هدف را تبدیل نمونه‌های اولیهٔ امیدوارکنندهٔ AI به سیستم‌های پروداکشن «قابل اتکا، قابل مشاهده و مقرون‌به‌صرفه» می‌داند. در تیم‌های کوچک یک نفر هر دو کار را می‌کند و در DoorDash serving و fine-tuning مدل‌های open-weight هم در همان تیم پلتفرم است.

مهندس MLOpsMLOps Engineer

به نوشتهٔ Databricks، الزامات عملیاتی MLOps معمولاً برای LLMOps هم صدق می‌کند، اما چند چیز فرق دارد: مدل زبانی معمولاً از یک مدل پایه شروع و fine-tune می‌شود، نه اینکه از صفر آموزش ببیند؛ معیارهای ارزیابی متفاوت‌اند؛ و پرامپت و زنجیره‌های فراخوانی مدل بخشی از سیستم‌اند. در بازار این دو در هم رفته‌اند: Reddit استانداردهای «MLOps و LLMOps» را یک‌جا از مهندس پلتفرم می‌خواهد و طبق ITJobsWatch نیمی از آگهی‌های MLOps بریتانیا LLM را هم نام می‌برند. برای نقش مدیریتی این حوزه صفحهٔ MLOps Lead را ببینید.

مهندس DevOps / پلتفرمDevOps / Platform Engineer

مهندس DevOps زیرساخت و مسیر تحویل نرم‌افزار را می‌سازد. مهندس LLMOps همین پایه را لازم دارد؛ Coursera «پیشینهٔ محکم در مهندسی بک‌اند و مبانی DevOps» و آشنایی با Terraform و GitHub Actions را شرط پایه گذاشته است. فرق در چیزی است که روی این زیرساخت اجرا می‌شود: خروجی مدل قطعی نیست، پس CI/CD باید برای «خروجی‌های غیرقطعی AI» طراحی شود و پایش، علاوه بر CPU و تأخیر، مصرف توکن، هزینهٔ هر درخواست و کیفیت پاسخ را هم بسنجد.

مهندس هوش مصنوعیAI Engineer

مهندس هوش مصنوعی ویژگی‌ها و ایجنت‌های محصول را روی مدل‌های آماده می‌سازد. مهندس LLMOps ابزار و پلتفرمی را می‌سازد که آن ویژگی‌ها روی آن اجرا، سنجیده و پایش می‌شوند، و مشتری او معمولاً مهندسان دیگرند. Suno صریحاً می‌نویسد مشتریان مهندس پلتفرم AI مهندسان دیگرند و میزان استفادهٔ آن‌ها معیار موفقیت است، و Steampunk همکاری با «AI Product Engineers» برای بردن نمونه‌های اولیه به پروداکشن را جزو کار آورده است.

تأثیر در صنایع مختلف

مهندس عملیات مدل‌های زبانی در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری

📚

آموزش آنلاین

Coursera پلتفرمی می‌سازد که کارکنان غیرفنی با آن ابزار AI بسازند و مستقر کنند، و برای مشتریان سازمانی راه‌حل‌های AI اختصاصی می‌سازد

🛵

تحویل غذا و کالا

تیم GenAI Platform در DoorDash زیرساخت مشترک GenAI را برای DoorDash، Wolt و Deliveroo می‌سازد، از serving مدل‌های open-weight تا LLM Gateway و تخصیص هزینه

💬

شبکهٔ اجتماعی

Reddit یک LLM Gateway برای مدل‌های داخلی و بیرونی و یک سیستم RAG در سطح سازمان می‌سازد

⚖️

حقوقی

Harvey برای اسناد صدها صفحه‌ای و پرونده‌هایی با میلیون‌ها فایل، مدیریت context، مسیریابی بین مدل‌ها و ارزیابی را در یک پلتفرم مشترک می‌سازد

🎵

سرگرمی و موسیقی

Suno زیرساخت ارزیابی، tracing از پرامپت تا فایل صوتی و مسیریابی بین ارائه‌دهندگان مدل را برای تیم‌هایی می‌سازد که روی ایجنت ساخت آهنگ کار می‌کنند

💳

فین‌تک

Paytm Labs پلتفرم inference و ایجنت می‌سازد که به گفتهٔ آگهی در پرداخت، ریسک، تقلب، وصول مطالبات و پشتیبانی به کار می‌رود

🏛️

دولت و پیمانکاران دولتی

Steampunk و LTS برای مأموریت‌های دولت فدرال آمریکا pipeline های LLM، ارزیابی و guardrail می‌سازند و صلاحیت Public Trust می‌خواهند

🧑‍💼

خدمات فناوری و مشاوره

Capgemini از مهندس LLMOps پشتیبانی عملیاتی LLM، مدیریت حادثه، بررسی guardrail ها از جمله ممیزی سوگیری و بهینه‌سازی هزینه و کارایی بر اساس داده‌های پایش را می‌خواهد

تصورات غلط رایج

قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید

LLMOps Engineer عنوان رایجی است و کافی است همین را جستجو کنم

این عنوان کم است. در بررسی ما روی تابلوی استخدام ۲۸۵ شرکت فقط یک آگهی «LLMOps» در عنوان داشت و Glassdoor و ZipRecruiter هم برای آن دادهٔ حقوق ندارند. همین کار بیشتر با عنوان‌هایی مثل AI Platform Engineer، GenAI Platform، ML Platform، AI/ML Infrastructure و MLOps آگهی می‌شود.

اگر فقط API مدل‌های تجاری را صدا بزنیم، به LLMOps نیازی نداریم

آگهی Coursera صریحاً سیستم‌هایی را که «از طریق API» کار می‌کنند هم جزو کار می‌داند. مدل پشت API هم عوض می‌شود: نویسندگان applied-llms.org توصیه می‌کنند نسخهٔ مدل را pin کنید و نسخهٔ تازه را اول در یک shadow pipeline بسنجید، و نقل می‌کنند که Voiceflow با رفتن از gpt-3.5-turbo-0301 به نسخهٔ 1106 در یک کار دسته‌بندی افت ۱۰ درصدی دید. هزینه، محدودیت نرخ و fallback هم با API از بین نمی‌روند.

LLMOps همان MLOps با اسم تازه است

پایه‌ها مشترک‌اند و Databricks هم می‌نویسد الزامات عملیاتی MLOps معمولاً برای LLMOps صدق می‌کند. اما کار روزانه فرق دارد: به‌جای آموزش مدل از صفر، با مدل پایه، پرامپت و زنجیرهٔ فراخوانی‌ها سروکار دارید؛ تست باید با خروجی غیرقطعی کنار بیاید؛ و هزینهٔ هر درخواست و ریسک‌هایی مثل prompt injection به سیستم اضافه می‌شوند.

برای این کار باید پژوهشگر یادگیری ماشین یا دارای دکترا بود

آگهی‌ها بیشتر مهندسی نرم‌افزار و DevOps می‌خواهند. Coursera چهار سال سابقهٔ مهندسی نرم‌افزار با پایهٔ بک‌اند و DevOps، Steampunk کارشناسی یا ارشد همراه با سابقهٔ کار، و Suno سابقهٔ بک‌اند یا پلتفرم «با هر زبانی» را شرط گذاشته‌اند. در آگهی‌هایی که بررسی کردیم، دکترا شرط هیچ‌کدام نبود.

مهم‌ترین چیز یاد گرفتن یک ابزار مشخص LLMOps است

ابزارها سریع عوض می‌شوند: Hugging Face موتور TGI را به حالت نگهداری برده و vLLM و SGLang را توصیه می‌کند، Promptfoo بخشی از OpenAI شده و Langfuse از ژانویهٔ ۲۰۲۶ بخشی از ClickHouse است. در آگهی Coursera هم ابزارهایی مثل Langfuse، LangSmith و LiteLLM در بخش «ترجیحی» آمده‌اند، نه شرط پایه. یکی از سرفصل‌های applied-llms.org هم همین است: روی فرایند تمرکز کنید، نه ابزار.

یک روز کاری واقعی

در هر سطح روز کاری چه شکلی است؟

جونیور (۰–۲ سال)

معمولاً در نقش DevOps، بک‌اند یا SRE هستید و بخشی از کارهای LLM تیم به شما سپرده می‌شود. کارها مشخص‌اند و زیر نظر یک مهندس ارشد انجام می‌شوند.

  • ◆افزودن trace و متریک توکن و هزینه به یک سرویس LLM
  • ◆نوشتن چند نمونهٔ تازه برای مجموعهٔ ارزیابی یک قابلیت
  • ◆بررسی یک خطای پروداکشن و نوشتن گزارش کوتاه آن
  • ◆به‌روز کردن runbook یک سرویس پس از تغییر

میانی (۲–۵ سال)

مسئولیت بخشی از ابزارهای عملیاتی را دارید: eval harness، داشبوردهای پایش، guardrail یا RAG. با مدیر محصول و مهندسان AI دربارهٔ نیازهای عملیاتی هر قابلیت تازه تصمیم می‌گیرید.

  • ◆بررسی داشبورد هزینه و پیدا کردن درخواست‌هایی که بی‌دلیل گران‌اند
  • ◆اجرای مجموعهٔ ارزیابی روی نسخهٔ تازهٔ یک مدل پیش از جایگزینی
  • ◆افزودن caching یا مسیریابی به مدل ارزان‌تر برای یک نوع درخواست
  • ◆جلسه با تیم محصول برای تعیین معیارهای کیفیت یک قابلیت تازه
  • ◆رسیدگی به یک حادثه: افت کیفیت پاسخ‌ها پس از تغییر پرامپت

ارشد (۵+ سال)

تمرکز روی طراحی پلتفرم، استانداردها و راهنمایی دیگران است. تصمیم‌هایتان روی هزینه، کیفیت و سرعت کار چند تیم اثر دارد.

  • ◆طراحی gateway یا زیرساخت ارزیابی‌ای که همهٔ تیم‌ها از آن استفاده کنند
  • ◆تصمیم دربارهٔ سرو کردن یک مدل open-weight یا استفاده از API تجاری برای یک کاربرد
  • ◆بازبینی طراحی یک سیستم ایجنتی از نظر امنیت و guardrail
  • ◆راهنمایی مهندسان جوان‌تر و بازبینی کد و طراحی آن‌ها

مسئولیت‌ها و وظایف

مسئولیت‌های اصلی

وظایف روزانه و مهارت‌های مورد نیاز در این شغل

فنی
  • ◈ساخت و نگهداری ابزارهای عملیاتی سیستم‌های LLM: نسخه‌بندی پرامپت و pipeline، eval harness و CI/CD متناسب با خروجی‌های غیرقطعی
  • ◈پایش سیستم‌های LLM در پروداکشن: تأخیر، مصرف توکن، هزینهٔ هر درخواست، کیفیت خروجی و drift
  • ◈طراحی و اجرای ارزیابی خودکار برای گرفتن رگرسیون، توهم (hallucination) و افت کیفیت پیش از رسیدن به کاربر
  • ◈نگهداری pipeline های RAG و زیرساخت vector store، با منابع به‌روز و دقیق
  • ◈پیاده‌سازی guardrail های ایمنی و انطباق: فیلتر محتوا، حذف اطلاعات شخصی (PII) و کنترل دسترسی
  • ◈کنترل هزینهٔ مصرف LLM با caching، مسیریابی بین مدل‌ها و گزارش مصرف
  • ◈ساخت و نگهداری LLM Gateway: API یکپارچه برای مدل‌های داخلی و بیرونی، محدودیت نرخ و توکن و failover
  • ◈پیکربندی و بهینه‌سازی موتورهای inference، کانتینرها و سرویس‌ها برای پاسخ سریع و کم‌هزینه
  • ◈رسیدگی به حادثه‌های پروداکشن در pipeline ها و زیرساخت LLM و تحلیل علت ریشه‌ای
  • ◈مستندسازی workflow ها، runbook ها و روش‌های عملیاتی برای تیم
مهارت نرم
  • ◈همکاری با مدیران محصول و مهندسان AI برای تبدیل نمونه‌های اولیه به سیستم‌های قابل اتکا
  • ◈همراهی تیم‌های دیگر برای استفاده از پلتفرم، با مستندات و پشتیبانی عملی
مدیریتی
  • ◈تعریف استانداردهای MLOps و LLMOps در CI/CD، تست، نسخه‌بندی، ارزیابی و چرخهٔ عمر (در سطوح Staff)

مهارت‌های مورد نیاز

مهارت‌های فنی، نرم و حوزه‌ای که یک مهندس عملیات مدل‌های زبانی موفق به آن‌ها نیاز دارد

مهارت‌های فنی

Python یا یک زبان بک‌اند دیگرضروری

Coursera یکی از Python، Java، TypeScript یا Go را می‌خواهد؛ Steampunk تسلط به Python را شرط گذاشته است

Docker و Kubernetesضروری

اجرای سرویس‌ها و مدل‌ها در کانتینر؛ در آگهی‌های Coursera، Steampunk، LTS و Reddit آمده است

CI/CD و تست خودکارضروری

Coursera ابزارهای CI/CD مثل GitHub Actions و Jenkins و نوشتن تست خودکار را شرط پایه گذاشته است

زیرساخت به‌صورت کدضروری

Terraform در آگهی‌های Coursera و Reddit و Infrastructure as Code در آگهی LTS

یک ابرضروری

AWS، GCP یا Azure، هم سرویس‌های مدیریت‌شده و هم self-hosted (آگهی Coursera)

ارزیابی LLMضروری

مجموعهٔ تست، تست رگرسیون و LLM-as-judge برای گرفتن افت کیفیت؛ در Coursera، LTS، Harvey، Suno و Paytm آمده است

Observability و tracingضروری

تأخیر، توکن، هزینهٔ هر درخواست و کیفیت؛ Suno «عمق در observability و tracing بین سرویس‌ها» را شرط گذاشته است

RAG و vector databaseمهم

نگهداری pipeline های بازیابی و vector store؛ Coursera از Pinecone، Weaviate و pgvector نام می‌برد

LLM gateway و مسیریابیمهم

یک API برای چند مدل با fallback، محدودیت نرخ و بودجه؛ در آگهی‌های Coursera، Reddit، Suno و DoorDash

Guardrail و امنیت LLMمهم

فیلتر محتوا، حذف PII، کنترل دسترسی و دفاع در برابر prompt injection؛ Paytm شناخت ریسک‌هایی مثل prompt injection، افزایش سطح دسترسی و نشت داده را می‌خواهد

Inference و servingمفید

vLLM، SGLang یا TensorRT-LLM، autoscaling و GPU؛ DoorDash تجربهٔ inference یا fine-tuning مدل‌های open-weight را شرط گذاشته و Paytm تجربه یا علاقه به model serving را می‌خواهد

API، SQL و NoSQLمهم

Coursera پیاده‌سازی API و کار با پایگاه‌دادهٔ SQL و NoSQL را شرط پایه گذاشته است

مهارت‌های نرم

دیباگ سیستم‌های غیرقطعیضروری

Coursera «راحتی در دیباگ مشکلات پروداکشن در سیستم‌های غیرقطعی» و Paytm «دیباگ خطاهای غیرقطعی» را می‌خواهند

کار با مشتری داخلیمهم

مشتری پلتفرم، تیم‌های دیگرند؛ Suno تعیین دامنهٔ کار با تیم‌ها و جلب استفادهٔ آن‌ها را شرط گذاشته است

ارتباط بین مهندسی و محصولمهم

Coursera همکاری با مدیران محصول برای تبدیل نیاز عملیاتی به سیستم قابل اتکا را جزو وظایف آورده است

مستندسازیمهم

Steampunk مستندسازی workflow ها، runbook ها و روش‌های عملیاتی را جزو وظایف آورده است

مالکیت و کار در ابهاممهم

Coursera ذهنیت «مالکیت‌محور» در محیط سریع و مبهم و Harvey «گرایش به مالکیت کامل» را می‌خواهند

دانش حوزه‌ای

مبانی مدل زبانیضروری

توکن، context، embedding و tool calling؛ برای فهمیدن اینکه هزینه و تأخیر از کجا می‌آیند

اقتصاد هزینهٔ LLMمهم

caching، مسیریابی به مدل مناسب و گزارش مصرف؛ OWASP «مصرف بی‌حد» (Unbounded Consumption) را هم یکی از ده ریسک اصلی می‌داند

حاکمیت داده و انطباقمفید

حریم خصوصی، محل نگهداری داده و انطباق در استقرارهای سازمانی (آگهی Coursera)

ریسک‌های OWASP برای LLMمهم

prompt injection، افشای اطلاعات حساس و ضعف‌های vector و embedding از ده ریسک فهرست ۲۰۲۵ هستند

ضروری — بدون آن نمی‌توان وارد بازار کار شدمهم — تفاوت بین جونیور و میانیمفید — مزیت رقابتی

نقشه راه و مسیر آموزشی

نقشه راه تبدیل شدن به مهندس عملیات مدل‌های زبانی

این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.

1

پایه‌ها: بک‌اند، لینوکس و DevOps

⏱️ ۲ تا ۳ ماه

این شغل روی مهارت‌های عمومی مهندسی بنا می‌شود. آگهی LLMOps Engineer در Coursera «پیشینهٔ محکم در مهندسی بک‌اند و مبانی DevOps»، Docker و Kubernetes، Terraform و ابزارهای CI/CD مثل GitHub Actions را شرط پایه گذاشته است و آگهی Steampunk دو سال تجربه در مهندسی نرم‌افزار، DevOps، MLOps، مهندسی ابر یا مهندسی داده می‌خواهد. یک زبان بک‌اند (Python رایج‌ترین است)، Git و خط فرمان لینوکس را هم محکم کنید.

Python (یا Go / TypeScript)Git و خط فرمان لینوکسDockerKubernetesCI/CD با GitHub ActionsTerraformیک ابر: AWS، GCP یا Azure
2

MLOps: چرخهٔ عمر مدل در پروداکشن

⏱️ ۲ ماه

به نوشتهٔ Databricks، الزامات عملیاتی MLOps معمولاً برای LLMOps هم صدق می‌کند. پیش از رفتن سراغ LLM، مفاهیم پایه را یاد بگیرید: نسخه‌بندی داده و مدل، تست، استقرار، پایش و CI/CD برای سیستم‌های ML. مقالهٔ «Hidden Technical Debt in Machine Learning Systems» توضیح می‌دهد چرا سیستم‌های ML واقعی معمولاً هزینهٔ نگهداری سنگین و مداوم دارند. نویسندگان applied-llms.org همان اصل «تغییر هر چیز، همه چیز را تغییر می‌دهد» را برای LLM ها هم یادآوری می‌کنند، چون مدلی که خودمان آموزش نداده‌ایم ممکن است بی‌خبر عوض شود.

نسخه‌بندی داده و مدلتست سیستم‌های MLServing و استقرار مدلپایش و driftCI/CD برای MLتکرارپذیری (reproducibility)
3

LLM از نگاه عملیات: API، توکن و RAG

⏱️ ۱ تا ۲ ماه

برای پایش و بهینه کردن یک سیستم LLM باید بدانید مدل چطور کار می‌کند: توکن و context، embedding، خروجی ساختاریافته، tool calling و RAG. آگهی Coursera تجربهٔ «راه‌اندازی یا پشتیبانی سیستم‌های مبتنی بر LLM در پروداکشن» را می‌خواهد، چه از راه API، چه با pipeline های RAG و چه با مدل‌های open-weight یا fine-tune شده، و نگهداری RAG و vector store را جزو وظایف آورده است.

توکن، context و هزینهٔ هر درخواستAPI مدل‌ها (Claude، OpenAI، Bedrock)Embedding و vector databaseRAGStructured output و tool callingمبانی ایجنت و MCP
4

Gateway، serving و کنترل هزینه

⏱️ ۲ تا ۳ ماه

دو مسیر رایج وجود دارد: صدا زدن مدل‌های تجاری از پشت یک gateway، یا سرو کردن مدل‌های open-weight روی GPU خودتان. تیم GenAI Platform در DoorDash هر دو را دارد: LLM Gateway در کنار serving مدل‌های open-weight روی GPU. LiteLLM به نوشتهٔ مستنداتش یک API برای بیش از ۱۰۰ ارائه‌دهندهٔ LLM می‌دهد، کلید و بودجه را کنترل می‌کند و هزینهٔ هر درخواست را ثبت می‌کند. caching، مسیریابی بین مدل‌ها و fallback را هم در همین مرحله یاد بگیرید.

LLM Gateway (LiteLLM)Model routing و fallbackRate limit و بودجهCachingvLLM / SGLangKServe روی KubernetesAutoscaling و GPU
5

ارزیابی، observability، guardrail و امنیت

⏱️ مداوم

این بخش LLMOps را از DevOps معمولی جدا می‌کند. خروجی مدل قطعی نیست، پس تست معمولی کافی نیست: باید مجموعهٔ ارزیابی بسازید و آن را در CI اجرا کنید (Coursera از «CI/CD متناسب با خروجی‌های غیرقطعی AI» حرف می‌زند)، برای هر درخواست trace با تأخیر، توکن و هزینه ثبت کنید و guardrail هایی مثل فیلتر محتوا و حذف اطلاعات شخصی (PII) بگذارید. OWASP در فهرست ده ریسک برنامه‌های LLM، prompt injection را شمارهٔ یک گذاشته است.

Eval harness و تست رگرسیونLLM-as-judgeTracing (Langfuse، LangSmith، OpenTelemetry)داشبورد هزینه و تأخیرGuardrail و حذف PIIنسخه‌بندی پرامپت مثل کدامنیت LLM (OWASP)

ابزارها و استک فنی

ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت

زیرساخت و تحویل

Docker

بسته‌بندی سرویس‌ها و مدل‌ها؛ در آگهی‌های Coursera، Steampunk و LTS آمده است

ضروری
Kubernetes

اجرای سرویس‌ها و بار کاری مدل؛ Coursera آشنایی با آن را شرط پایه گذاشته و Reddit تجربهٔ عمیق در مقیاس بزرگ می‌خواهد

ضروری
Terraform

زیرساخت به‌صورت کد؛ در آگهی‌های Coursera و Reddit نام برده شده است

ضروری
GitHub Actions

اجرای خودکار تست، ارزیابی و استقرار؛ Coursera آن را در کنار Jenkins آورده است

ضروری
Prometheus و Grafana

متریک، داشبورد و هشدار؛ LTS آن‌ها را در فهرست ابزارهای observability آورده است

مفید

Gateway، serving و inference

LiteLLM

gateway متن‌باز با یک API برای بیش از ۱۰۰ ارائه‌دهندهٔ LLM، کنترل کلید و بودجه و ثبت هزینهٔ هر درخواست؛ Coursera آن را در کنار OpenRouter نام برده است

مفید
vLLM

موتور inference و serving که در آزمایشگاه Sky Computing دانشگاه UC Berkeley ساخته شد؛ DoorDash و Paytm آن را نام برده‌اند

مفید
SGLang

موتور serving دیگری که DoorDash در کنار vLLM و TensorRT-LLM آورده و Hugging Face هم به‌جای TGI توصیه می‌کند

پیشرفته
KServe

پلتفرم inference روی Kubernetes که به گفتهٔ سایتش به CNCF پیوسته و vLLM را به‌عنوان backend پشتیبانی می‌کند

مفید
Ollama

اجرای مدل‌های متن‌باز روی کامپیوتر شخصی؛ برای تمرین و ساختن پروژه بدون هزینهٔ API

مفید

ارزیابی و observability

Langfuse

trace، ارزیابی و مدیریت پرامپت، متن‌باز (MIT)؛ از ژانویهٔ ۲۰۲۶ بخشی از ClickHouse است. Coursera آن را در ابزارهای ترجیحی آورده است

مفید
LangSmith

trace و ارزیابی برنامه‌های LLM از LangChain؛ در آگهی‌های Coursera و LTS نام برده شده است

مفید
Promptfoo

CLI متن‌باز برای ارزیابی و red teaming برنامه‌های LLM که در CI هم اجرا می‌شود؛ اکنون بخشی از OpenAI است و همچنان متن‌باز مانده

مفید
Arize Phoenix

ابزار متن‌باز trace و ارزیابی که روی OpenTelemetry ساخته شده؛ LTS نام Arize را در فهرست ابزارها آورده است

مفید
OpenTelemetry (GenAI)

قراردادهای استاندارد برای ثبت trace فراخوانی‌های مدل؛ اکنون در مخزن جداگانه‌ای نگهداری می‌شود

پیشرفته

داده، RAG و سرویس‌های ابری AI

pgvector

جستجوی برداری داخل PostgreSQL؛ ساده‌ترین شروع برای RAG و در آگهی Coursera نام برده شده

مفید
Pinecone

vector database مدیریت‌شده؛ در آگهی‌های Coursera و LTS آمده است

مفید
Weaviate

vector database متن‌باز؛ Coursera آن را در کنار Pinecone و pgvector آورده است

مفید
Amazon Bedrock

دسترسی مدیریت‌شده به مدل‌ها روی AWS؛ در آگهی‌های Coursera و LTS در فهرست سرویس‌های AI سازمانی آمده است

مفید
ضروری — باید یاد بگیریدمفید — ارزش یادگیری داردپیشرفته — برای سطوح ارشد

مسیر پیشرفت شغلی

از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید

ورود از DevOps، بک‌اند یا SRE

۰ تا ۳ سال

در آگهی‌هایی که بررسی کردیم نقش تازه‌کار با عنوان LLMOps پیدا نشد و کمترین سابقهٔ خواسته‌شده سه سال بود (DoorDash). مسیر معمول، شروع در نقش‌های DevOps، بک‌اند، SRE یا مهندسی داده و برداشتن کارهای LLM در همان تیم است: افزودن trace، نوشتن تست ارزیابی، نگهداری pipeline های RAG

PythonDockerKubernetes پایهCI/CDAPI مدل‌ها

LLMOps Engineer / AI Platform Engineer

۳ تا ۵ سال

مسئولیت ابزارهای عملیاتی: نسخه‌بندی پرامپت، eval harness، پایش هزینه و کیفیت، RAG و guardrail. Coursera چهار سال سابقهٔ مهندسی نرم‌افزار می‌خواهد و Steampunk کارشناسی با پنج سال یا ارشد با سه سال سابقه؛ بازهٔ حقوق اعلام‌شده در آگهی Steampunk ۱۱۵ تا ۱۴۵ هزار دلار است

LLM EvaluationObservabilityRAG و Vector DBTerraformGuardrails

Senior AI / GenAI Platform Engineer

۵+ سال

طراحی و مالکیت بخش‌هایی از پلتفرم مثل gateway، serving، زیرساخت ارزیابی و کنترل هزینه، و راهنمایی مهندسان دیگر. Deliveroo و Harvey پنج سال و LTS هفت سال (دو سال آن در GenAI یا ML) می‌خواهند؛ بازهٔ LTS ۱۶۴ تا ۲۰۰ هزار دلار و بازهٔ Harvey در نیویورک ۱۹۳٫۴ تا ۲۹۰ هزار دلار است

Platform DesignLLM GatewayInference OptimizationEval InfrastructureMentoring

Staff / Senior Staff

معمولاً ۸ تا ۱۰+ سال

تعیین راهبرد و معماری پلتفرم GenAI برای کل شرکت و استانداردهای MLOps و LLMOps. Paytm برای Staff هشت سال سابقه (سه سال در سیستم‌های AI) و Reddit برای Senior Staff ده سال می‌خواهد؛ بازهٔ حقوق پایهٔ Reddit ۲۹۲٫۵ تا ۴۰۹٫۵ هزار دلار است

Platform StrategyArchitectureMLOps / LLMOps StandardsCross-team Leadership

چالش‌ها و جنبه‌های منفی

واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید

تست سیستمی که خروجی‌اش قطعی نیست

عمومی

یک ورودی ثابت می‌تواند هر بار پاسخ کمی متفاوتی بگیرد، پس تست‌های معمولی «برابر است با» کافی نیستند. Coursera صریحاً CI/CD «متناسب با خروجی‌های غیرقطعی AI» و ارزیابی خودکار برای گرفتن رگرسیون و توهم می‌خواهد. ساختن مجموعهٔ ارزیابی‌ای که واقعاً کیفیت را بسنجد وقت و دادهٔ برچسب‌خورده می‌خواهد.

تغییر نسخهٔ مدل و مهاجرت

عمومی

مدل‌ها مرتب نسخهٔ تازه می‌گیرند و پرامپتی که با یک نسخه خوب کار می‌کرد ممکن است با نسخهٔ بعد بدتر شود. applied-llms.org نقل می‌کند که Voiceflow با یک ارتقای نسخه در یک کار دسته‌بندی افت ۱۰ درصدی دید و توصیه می‌کند نسخه را pin کنید و نسخهٔ تازه را اول در یک shadow pipeline بسنجید. Paytm هم «تعویض» مدل را جزو چرخهٔ عمری آورده که مهندس پلتفرم مالک آن است.

هزینه‌ای که با استفاده بالا می‌رود

عمومی

هر درخواست هزینه دارد و با گسترش استفاده، هزینه هم بالا می‌رود. Coursera مهندس LLMOps را مالک حاکمیت هزینه می‌داند تا مخارج «قابل پیش‌بینی» بماند، و OWASP «مصرف بی‌حد» منابع را یکی از ده ریسک اصلی برنامه‌های LLM گذاشته است. caching، مسیریابی به مدل ارزان‌تر و بودجه برای هر تیم ابزارهای اصلی‌اند.

امنیت: prompt injection و نشت داده

عمومی

OWASP در فهرست ۲۰۲۵ خود prompt injection را ریسک اول و افشای اطلاعات حساس را ریسک دوم برنامه‌های LLM گذاشته است. با ایجنت‌ها مسئله بزرگ‌تر می‌شود: Paytm از مهندس پلتفرم شناخت prompt injection، افزایش سطح دسترسی و نشت داده را می‌خواهد و permissioning، sandboxing و تأیید انسانی را جزو کار آورده است.

فاصلهٔ داده‌های توسعه با پروداکشن

عمومی

applied-llms.org هشدار می‌دهد داده‌ای که در توسعه با آن تست می‌کنید باید شبیه چیزی باشد که سیستم در پروداکشن می‌بیند، وگرنه دقت در پروداکشن افت می‌کند؛ حتی تفاوت‌های کوچک قالب‌بندی می‌تواند رفتار مدل را عوض کند. همان نویسندگان پیشنهاد می‌کنند هر روز نمونه‌هایی از ورودی و خروجی واقعی مدل را نگاه کنید.

ابزارهایی که سریع عوض می‌شوند

عمومی

Hugging Face موتور TGI را به حالت نگهداری برده و vLLM و SGLang را توصیه می‌کند، Promptfoo بخشی از OpenAI شده و Langfuse بخشی از ClickHouse. ابزاری که امروز انتخاب می‌کنید ممکن است یک سال بعد جایگزین شود؛ طراحی‌ای که وابستگی به یک فروشنده را کم کند (DoorDash آن را «vendor abstraction» می‌نامد) این ریسک را کم می‌کند.

حقوق و بازار کار جهانی

حقوق جهانی مهندس عملیات مدل‌های زبانی

حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.

کشورمیانه / میانگینارز
🇺🇸آمریکا
$133,026USD
🇨🇦کانادا
CA$97,172CAD
🇬🇧انگلستان
£80,500GBP
🇮🇳هند
₹1,615,000INR

چگونه از صفر شروع کنیم

برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی

ماه ۱: LLM از نگاه عملیات

بفهمید مدل زبانی چطور کار می‌کند و توکن، context و هزینهٔ هر درخواست از کجا می‌آید. با API یک مدل کار کنید.

ماه ۲: RAG و vector database

یک RAG ساده با pgvector بسازید و درس‌های عملی applied-llms.org دربارهٔ بازیابی و ارزیابی را بخوانید.

ماه ۳: gateway و هزینه

LiteLLM را به‌عنوان proxy راه بیندازید؛ fallback، بودجه و ثبت هزینهٔ هر درخواست را امتحان کنید.

ماه ۴: ارزیابی در CI

برای RAG خودتان مجموعهٔ ارزیابی بسازید و آن را در CI اجرا کنید تا تغییر پرامپت یا مدل بدون سنجش ادغام نشود.

ماه ۵: observability و guardrail

برای هر درخواست trace کامل ثبت کنید، داشبورد هزینه و تأخیر بسازید و فیلتر ورودی و خروجی بگذارید.

ماه ۶: serving، پورتفولیو و درخواست کار

یک مدل open-weight کوچک را با vLLM سرو کنید و پروژه‌ها را با README و نتیجهٔ اندازه‌گیری مرتب کنید. علاوه بر LLMOps، آگهی‌های AI Platform، GenAI Platform، ML Platform و MLOps را هم بررسی کنید.

پروژه‌های پیشنهادی برای رزومه

gateway کوچک با LiteLLM

مبتدی

LiteLLM را جلوی دو ارائه‌دهندهٔ API و یک مدل محلی روی Ollama بگذارید؛ fallback، محدودیت نرخ و بودجه برای هر کلید تعریف کنید و هزینهٔ هر درخواست را ثبت کنید. در README نشان دهید وقتی یکی از ارائه‌دهنده‌ها از دسترس خارج می‌شود چه اتفاقی می‌افتد.

LiteLLMOllamaDockerPython
زمان تخمینی: ۲ هفته

ارزیابی خودکار در CI

متوسط

برای یک برنامهٔ ساده (مثلاً خلاصه‌سازی یا پاسخ به سؤال از روی اسناد) یک مجموعهٔ تست با پاسخ‌های مورد انتظار بسازید، آن را با Promptfoo بسنجید و در GitHub Actions طوری تنظیم کنید که اگر تغییر پرامپت یا مدل امتیاز را پایین آورد، ادغام متوقف شود.

PromptfooGitHub ActionsPython
زمان تخمینی: ۲ هفته

observability برای یک RAG

متوسط

روی چند سند با pgvector یک RAG بسازید و با Langfuse برای هر درخواست trace کامل ثبت کنید: تأخیر، تعداد توکن، هزینه و اسناد بازیابی‌شده. داشبورد بسازید و برای جهش هزینه هشدار بگذارید؛ همان چیزهایی که آگهی Coursera پایششان را می‌خواهد.

LangfusepgvectorPostgreSQLPython
زمان تخمینی: ۳ هفته

سرو کردن یک مدل open-weight روی Kubernetes

پیشرفته

یک مدل open-weight کوچک را با vLLM (یا از طریق KServe) روی Kubernetes مستقر کنید، autoscaling بگذارید و زمان رسیدن اولین توکن، توکن در ثانیه و هزینهٔ هر درخواست را با یک API تجاری مقایسه کنید. زیرساخت را با Terraform قابل تکرار کنید و نتیجه را با نمودار در README بیاورید.

vLLMKubernetesKServeTerraformPrometheus
زمان تخمینی: ۴ هفته

guardrail، تست امنیت و تمرین تعویض مدل

پیشرفته

برای یک برنامهٔ LLM فیلتر ورودی و خروجی و حذف اطلاعات شخصی (PII) بگذارید، با قابلیت red teaming در Promptfoo حمله‌های prompt injection را امتحان کنید و نتیجه را با فهرست OWASP تطبیق دهید. بعد نسخهٔ مدل را عوض کنید و با همان مجموعهٔ ارزیابی نشان دهید چه چیزی بهتر یا بدتر شد.

PromptfooPythonOWASP Top 10 for LLM
زمان تخمینی: ۳ هفته

مثال‌های واقعی و Case Studies

داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند

C

Chip Huyen

پیشینه

به گفتهٔ خودش روی ابزارهای ML در NVIDIA (از توسعه‌دهندگان اصلی NeMo)، Snorkel AI و Netflix کار کرده و یک شرکت زیرساخت AI را تأسیس کرده و فروخته است. در Stanford درس ML Systems را تدریس کرده است.

دستاورد

درس‌های او پایهٔ کتاب «Designing Machine Learning Systems» شد که به گفتهٔ خودش به بیش از ۱۰ زبان ترجمه شده است. کتاب «AI Engineering» (۲۰۲۵) را هم نوشته و در سایتش یک راهنمای MLOps دارد. کار خودش را «آوردن AI به پروداکشن» توصیف می‌کند.

درس کلیدی

مسیر او از ابزارسازی ML به نوشتن دربارهٔ طراحی سیستم‌های AI رسیده است. به نظر می‌رسد برای LLMOps همان نگاه سیستمی به ML، یعنی داده، استقرار و پایش، پایه‌ای است که با آمدن LLM کهنه نشده است.

H

Hamel Husain

پیشینه

به گفتهٔ خودش مهندس یادگیری ماشین با بیش از ۲۰ سال تجربه است و در Airbnb و GitHub کار کرده، از جمله روی پژوهش‌های اولیهٔ LLM برای فهم کد که OpenAI از آن استفاده کرد.

دستاورد

امروز به تیم‌ها کمک می‌کند سیستم‌های AI خود را دیباگ، تحلیل و اندازه‌گیری کنند و اسم این کار را «evals» گذاشته است. دورهٔ AI Evals for Engineers and PMs را هم‌تدریس می‌کند که به گفتهٔ خودش بیش از ۵٬۰۰۰ دانشجو از بیش از ۵۰۰ شرکت داشته است. از نویسندگان مقالهٔ «What We’ve Learned From A Year of Building with LLMs» است.

درس کلیدی

تمرکز او روی ارزیابی نشان می‌دهد بخش مهمی از کار با LLM در پروداکشن ساختن مدل نیست، اندازه‌گیری درست کیفیت است؛ ارزیابی در بیشتر آگهی‌هایی که برای این صفحه بررسی کردیم هم آمده است.

E

Eugene Yan

پیشینه

طبق صفحهٔ معرفی‌اش، کارش را به‌عنوان data scientist در IBM و بعد Alibaba/Lazada شروع کرد، جایی که روی رتبه‌بندی، خودکارسازی ML و MLOps کار می‌کرد، و به معاون یادگیری ماشین Lazada رسید. از ۲۰۲۰ تا ۲۰۲۵ Principal Applied Scientist در Amazon بود.

دستاورد

از ۲۰۲۶ عضو کادر فنی Anthropic است. در Amazon روی سیستم‌های توصیه، LLM و محصولاتی مثل خلاصه‌سازی، ترجمه و پرسش و پاسخ کار کرده است. مقالهٔ «Patterns for Building LLM-based Systems & Products» را نوشته و از نویسندگان applied-llms.org است.

درس کلیدی

مسیر او از MLOps کلاسیک به سیستم‌های LLM نشان می‌دهد تجربهٔ عملیاتی در ML به کار با LLM منتقل می‌شود. نوشتن منظم دربارهٔ کار عملی، مثل کاری که او در سایتش می‌کند، هم راهی است برای اینکه تجربه‌تان دیده شود.

نمونه آگهی استخدام واقعی + تحلیل

یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش

تحلیل نیازمندی‌ها

EN

4+ years of experience in a software engineering role, with a solid background in Backend Engineering and DevOps fundamentals

پایهٔ این نقش مهندسی نرم‌افزار است، نه پژوهش ML. چهار سال سابقه با پیشینهٔ بک‌اند و DevOps یعنی کسی که سرویس ساخته، مستقر کرده و در پروداکشن نگه داشته است.

ضروری
EN

Hands-on experience operating or supporting LLM-powered systems in production (via APIs, RAG pipelines, frontier/open weight/fine-tuned models)

باید با یک سیستم LLM واقعی در پروداکشن سروکار داشته باشید، حتی اگر فقط از راه API باشد. پروژه‌ای که trace، ارزیابی و پایش هزینه دارد، این مورد را نشان می‌دهد.

ضروری
EN

Proficiency in a backend language such as Python, Java, TypeScript or Go, and familiarity with Docker and container orchestration (Kubernetes)

زبان مشخصی شرط نیست، اما باید در یکی از آن‌ها روان باشید و بتوانید سرویس را در کانتینر و روی Kubernetes اجرا کنید.

ضروری
EN

Familiarity with infrastructure-as-code (e.g., Terraform) and CI/CD tooling (e.g., GitHub Actions, Jenkins)

زیرساخت باید با کد ساخته شود و تست و استقرار خودکار باشد؛ ارزیابی مدل هم در همین pipeline اجرا می‌شود.

ضروری
EN

Comfort debugging production issues involving non-deterministic systems, with attention to detail and a bias towards reliability

این مورد فرق اصلی با DevOps معمولی است: خطایی که هر بار تکرار نمی‌شود. باید بتوانید از روی trace و نمونه‌های واقعی بفهمید مشکل از پرامپت است، از بازیابی یا از مدل.

ضروری
EN

Experience with LLMOps-specific tooling such as LangFuse, LangSmith, Weights & Biases-style evaluation frameworks, or vector databases like Pinecone, Weaviate, pgvector

در بخش ترجیحی آمده است: ابزار خاص شرط نیست، اما کار با یکی از ابزارهای trace و ارزیابی و یک vector database شما را جلو می‌اندازد.

مهم
EN

Working knowledge of RAG architectures, MCP implementation & governance, agent orchestration frameworks like LangGraph and LLM Gateways such as LiteLLM, Open Router & enterprise AI ecosystems such as Vertex AI, Bedrock

فهرستی از اجزای یک پلتفرم AI امروزی: RAG، MCP، ارکستراسیون ایجنت، gateway و سرویس‌های ابری AI. لازم نیست همه را عمیق بدانید، اما باید بدانید هر کدام کجای سیستم قرار می‌گیرد.

مفید
EN

Understanding of AI governance considerations — data privacy, residency, and compliance in enterprise AI deployments

مشتریان سازمانی می‌پرسند داده کجا نگه داشته می‌شود و چه کسی به آن دسترسی دارد. آشنایی با این پرسش‌ها برای نقشی که guardrail و کنترل دسترسی را می‌سازد مفید است.

مفید

تحلیل مسئولیت‌ها

EN

Build and maintain the operational tooling for our LLM-powered systems, including prompt/pipeline versioning, evaluation harnesses, and CI/CD workflows tailored to non-deterministic AI outputs

پرامپت مثل کد نسخه‌بندی می‌شود و هر تغییر پیش از انتشار با یک مجموعهٔ ارزیابی سنجیده می‌شود. «تناسب با خروجی غیرقطعی» یعنی تست به‌جای برابری دقیق، کیفیت را با معیار یا ارزیاب سنجیده‌شده می‌سنجد.

EN

Implement monitoring and observability for production LLM systems — tracking latency, token usage, cost per request, output quality, and drift over time

پایش در اینجا فقط سلامت سرور نیست. هزینهٔ هر درخواست و کیفیت پاسخ هم باید دیده شود تا بفهمید سیستم با گذشت زمان بدتر یا گران‌تر شده است یا نه.

EN

Design and run automated evaluation suites to catch regressions, hallucinations, and quality degradation before they reach customers

هدف گرفتن مشکل پیش از کاربر است. این یعنی مجموعهٔ تستی که مرتب به‌روز می‌شود و هر بار که مدل، پرامپت یا داده عوض می‌شود اجرا می‌شود.

EN

Manage RAG pipelines and vector store infrastructure, keeping retrieval sources fresh, accurate, and performant

پاسخ RAG فقط به اندازهٔ اسنادی که بازیابی می‌شوند خوب است. به‌روز نگه داشتن منابع، دقت بازیابی و سرعت vector store بخشی از کار عملیاتی است.

EN

Implement safety and compliance guardrails — content filtering, PII redaction, and access controls — in line with enterprise data privacy and residency requirements

باید جلوی خروجی نامناسب و نشت اطلاعات شخصی را بگیرید و مشخص کنید چه کسی به چه مدل و داده‌ای دسترسی دارد، مطابق قوانین حریم خصوصی مشتریان سازمانی.

EN

Own cost governance for LLM usage: caching strategies, model routing, and usage reporting to keep spend predictable as adoption scales

با گسترش استفاده هزینه بالا می‌رود. caching پاسخ‌های تکراری، فرستادن درخواست‌های ساده به مدل ارزان‌تر و گزارش مصرف هر تیم ابزارهای این بخش‌اند.

نتیجه‌گیری کلی

این آگهی یکی از معدود آگهی‌هایی است که عنوان دقیق LLMOps Engineer را دارد و تصویر روشنی از کار می‌دهد: یک مهندس نرم‌افزار با پایهٔ بک‌اند و DevOps که سیستم‌های LLM موجود را عملیاتی می‌کند، نه کسی که مدل می‌سازد. سه چیز در آن برجسته است: ارزیابی خودکار در CI برای خروجی‌های غیرقطعی، پایش هزینه و کیفیت در کنار تأخیر، و guardrail برای حریم خصوصی و انطباق. ابزارهایی مثل Langfuse، LangSmith و LiteLLM در بخش ترجیحی آمده‌اند، نه شرط پایه؛ یعنی کارفرما اول مهارت مهندسی و تجربهٔ کار با سیستم LLM در پروداکشن را می‌خواهد. خود آگهی نقش را «AI Platform and LLMOps Engineer» هم می‌نامد، که نشان می‌دهد این دو عنوان چقدر به هم نزدیک‌اند. آگهی بازهٔ حقوق ندارد.

آینده و روندها

پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید

ITJobsWatch در بریتانیا در شش ماه منتهی به ۲۲ اکتبر ۲۰۲۶، ۴۰۹ آگهی استخدام دائم را شمرده که مهارت MLOps را خواسته‌اند؛ در همین بازه در ۲۰۲۵ این عدد ۲۱۱ و در ۲۰۲۴، ۹۷ بود. سهم این آگهی‌ها از کل آگهی‌های دائم بریتانیا اما از ۰٫۴۳٪ به ۰٫۳۴٪ رسیده است. در همین شش ماه ۵۰٫۶٪ از این آگهی‌ها LLM را هم نام برده‌اند. برای عنوان LLMOps آمار جداگانه‌ای پیدا نکردیم؛ این رقم مهارت MLOps را می‌شمارد، نه عنوان شغلی را.

منبع: ITJobsWatch (UK), 6 months to 22 Oct 2026

مهارت‌های نوظهور که باید یاد بگیرید

LLM Gateway و مسیریابی بین مدل‌ها (Reddit، Suno، Harvey و DoorDash)زیرساخت ارزیابی مشترک و تست رگرسیون برای خروجی‌های غیرقطعی (Coursera، Suno و LTS)تخصیص و کنترل هزینهٔ LLM (Coursera و DoorDash)serving مدل‌های open-weight روی GPU و inference دسته‌ای (DoorDash و Paytm)پلتفرم ایجنت و MCP (Paytm، DoorDash و Coursera)حاکمیت AI: حریم خصوصی، محل نگهداری داده و انطباق (Coursera و LTS)کار حرفه‌ای با دستیارهای کدنویسی AI مثل Claude Code و Cursor (DoorDash و Deliveroo)

پیش‌بینی‌های آینده

2030

در گزارش Future of Jobs 2025 مجمع جهانی اقتصاد (WEF)، کارفرمایان شرکت‌کننده در نظرسنجی «متخصصان AI و یادگیری ماشین» را سومین و «DevOps Engineer» را چهاردهمین شغل در فهرست سریع‌ترین رشد از ۲۰۲۵ تا ۲۰۳۰ گذاشته‌اند.

2035

BLS آمریکا پیش‌بینی می‌کند اشتغال در گروه رسمی «توسعه‌دهندگان نرم‌افزار، تحلیلگران تضمین کیفیت و تسترها» از ۲۰۲۵ تا ۲۰۳۵، ۱۰٪ رشد کند و یکی از دلایل را گسترش توسعهٔ نرم‌افزار برای AI می‌داند. گروه رسمی جداگانه‌ای برای LLMOps یا MLOps وجود ندارد.

ریسک‌های واقعی

از آگهی‌ها و منابع چند نکته پیداست. اول، عنوان پراکنده است و آمار مستقیمی برای آن وجود ندارد: در ۲۸۵ تابلوی استخدامی که بررسی کردیم فقط یک آگهی «LLMOps» در عنوان داشت و سایت‌های حقوقی که بررسی کردیم برای آن داده ندارند؛ کسی که فقط این عنوان را جستجو کند بیشتر فرصت‌ها را نمی‌بیند. دوم، سطح تجربهٔ خواسته‌شده بالاست: از سه سال در DoorDash تا ده سال برای سطح Senior Staff در Reddit، و مسیر ورود معمولاً از DevOps، بک‌اند یا SRE می‌گذرد. سوم، ابزارها سریع عوض می‌شوند: TGI به حالت نگهداری رفته، Promptfoo بخشی از OpenAI و Langfuse بخشی از ClickHouse شده است. نویسندگان applied-llms.org توصیه می‌کنند روی فرایند تمرکز کنید، نه ابزار. مهارت‌هایی که با این تغییرات کهنه نمی‌شوند همان پایه‌های مهندسی‌اند: سیستم‌های توزیع‌شده، CI/CD، observability و ارزیابی دقیق.

منابع

اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۳۱ منبع بررسی شده است.

  1. LLMops Engineer — Coursera (job posting)
  2. LLMops Engineer — Capgemini, Bangalore (job posting)
  3. LLMOps Engineer — Steampunk, McLean VA (job posting)
  4. Software Engineer, Machine Learning Platform - Gen AI — DoorDash (job posting)
  5. Senior Software Engineer, GenAI Platform — Deliveroo (job posting)
  6. Senior Staff Machine Learning Engineer, GenAI Platform — Reddit (job posting)
  7. Senior Software Engineer, AI Platform — Harvey (job posting)
  8. Senior / Staff AI Platform Engineer — Suno (job posting)
  9. Staff AI Platform Engineer - Inference & Agentic Systems — Paytm Labs (job posting)
  10. Senior AI Platform and Harness Engineer — LTS (job posting)
  11. AI Infrastructure Engineer — Fin / Intercom (job posting)
  12. ZipRecruiter — AI Platform Engineer salary, United States
  13. Glassdoor — AI Platform Engineer salaries in Canada
  14. ITJobsWatch — MLOps (UK job trends and salaries)
  15. Glassdoor — MLOps Engineer salaries in India
  16. BLS Occupational Outlook Handbook — Software Developers, Quality Assurance Analysts, and Testers
  17. World Economic Forum — The Future of Jobs Report 2025 (PDF)
  18. Databricks — What is LLMOps?
  19. What We’ve Learned From A Year of Building with LLMs (applied-llms.org)
  20. Hidden Technical Debt in Machine Learning Systems (NeurIPS 2015)
  21. OWASP Top 10 for LLM Applications 2025
  22. Text Generation Inference — Hugging Face docs (maintenance mode notice)
  23. promptfoo/promptfoo (GitHub)
  24. langfuse/langfuse (GitHub)
  25. vLLM documentation
  26. LiteLLM documentation
  27. KServe
  28. Chip Huyen — homepage
  29. Hamel Husain — homepage
  30. Eugene Yan — About
  31. DeepLearning.AI — LLMOps (short course)

برای راهنمایی شخصی‌سازی‌شده مشاوره بگیرید