متخصص بهینه‌سازی عملکرد مدل
Inference Engineer
Inference Engineer (متخصص بهینه‌سازی عملکرد مدل) کسی است که مدل آموزش‌دیده را در پروداکشن سریع، ارزان و درست اجرا می‌کند: موتور serving، زمان‌بندی و batch کردن درخواست‌ها، مدیریت KV cache، تقسیم مدل بین چند GPU، quantization و در صورت نیاز نوشتن kernel روی GPU. عنوان دقیق «Inference Engineer» در آگهی‌های ۲۰۲۶ وجود دارد اما کم است؛ کارفرماها همین کار را بیشتر با عنوان‌هایی مثل Software Engineer, Inference، Member of Technical Staff, Inference، Performance Engineer (Inference)، ML Systems Engineer, Inference یا Machine Learning Engineer, LLM Inference Optimization آگهی می‌کنند، بیشتر در آزمایشگاه‌های مدل، ابرهای inference و شرکت‌های تراشه.
مقدمه و تعریف شغل
Inference Engineer (متخصص بهینه‌سازی عملکرد مدل) مهندسی است که مدل آموزش‌دیده را به سرویسی تبدیل می‌کند که سریع، ارزان، پایدار و درست جواب بدهد. Anthropic موتور inference خود را «نرم‌افزار بین kernelهای شتاب‌دهنده و لایهٔ routing» توصیف می‌کند که کل مسیر توکن را اداره می‌کند: batch کردن درخواست‌ها، چیدن مدل روی چند تراشه، مدیریت حافظه برای وزن‌ها و activationها، هماهنگ کردن هر forward pass و نگه داشتن وضعیت مدل بین درخواست‌ها. کار روزانه یعنی اندازه‌گیری اینکه زمان و حافظه کجا مصرف می‌شود، پیدا کردن گلوگاه و رفع آن با ابزارهایی مثل quantization، استفادهٔ دوباره از KV cache، speculative decoding، موازی‌سازی بین GPUها یا kernel بهتر، بدون اینکه کیفیت خروجی افت کند.
در بررسی ما در ۲۲ اکتبر ۲۰۲۶ روی صفحه‌های استخدام ۳۲۱ شرکت فناوری در Greenhouse، Ashby و Lever (حدود ۳۴٬۵۰۰ آگهی باز)، عبارت دقیق «Inference Engineer» فقط در عنوان ۹ آگهی از ۷ شرکت بود، اما واژهٔ inference در عنوان ۱۳۹ آگهی مهندسی از ۵۴ شرکت آمده بود. رایج‌ترین شکل‌ها این‌ها بودند: Software Engineer, Inference (مثلاً Anthropic، OpenAI، Thinking Machines، Luma AI و CoreWeave)، Member of Technical Staff, Inference (مثلاً Inferact، Modal و Perplexity که عنوانش «Member of Technical Staff (AI Inference Engineer)» است)، Performance Engineer, Inference (Anthropic)، ML Systems Engineer, Inference (Runpod) و Machine Learning Engineer, LLM Inference Optimization (Nebius). NVIDIA عنوان «Senior Inference Engineer, GPU Kernel Optimization» را به کار می‌برد. خود عنوان هم یکدست نیست: آگهی «AI Inference Engineer» در Baseten در واقع یک نقش Forward Deployed Engineer کنار مشتری است و Crusoe و Inferact هم نقش‌های inference مشتری‌محور دارند. پس هنگام جستجو متن آگهی را بخوانید، نه فقط عنوان را. دلیل اهمیت این کار را پیش‌بینی Deloitte نشان می‌دهد: به گفتهٔ این شرکت، inference در ۲۰۲۶ حدود دو سوم کل محاسبات AI را تشکیل می‌دهد. دربارهٔ حقوق: Glassdoor و levels.fyi داده‌ای برای خود عنوان Inference Engineer ندارند، پس ارقام کشورها در جدول از گروه کلی‌تر «ML / AI Software Engineer» در levels.fyi است (درآمد کل، شامل سهام و پاداش). بازه‌های حقوق پایه در آگهی‌های inference معمولاً بالاترند: Perplexity برای سه سال سابقه ۲۲۰ تا ۴۸۵ هزار دلار، Anthropic برای Performance Engineer در موتور inference ۳۵۰ تا ۸۵۰ هزار دلار و Inferact در سنگاپور ۲۰۰ تا ۴۰۰ هزار دلار سنگاپور اعلام کرده‌اند.
چه چیزی می‌سازید؟
مثال‌های واقعی از خروجی کار یک متخصص بهینه‌سازی عملکرد مدل
موتور و runtime سرو مدل
تیم inference در Perplexity موتوری را می‌سازد و اجرا می‌کند که پشت هر جستجوی Perplexity است و ده‌ها معماری مدل را با بودجهٔ تنگ تأخیر و هزینه سرو می‌کند؛ یکی از پروژه‌ها توسعهٔ سرور inference داخلی به زبان Rust است.
kernelهای GPU
Perplexity در حال انتقال kernelهای CUDA داخلی خود به CuTe DSL است تا امروز روی GB200 اجرا شوند و فردا روی رک‌های Vera Rubin هم قابل حمل باشند. تیم NVIDIA هم kernelها را در سطح assembly با کمک ایجنت‌های AI بهینه می‌کند.
ابزار benchmark و معیارهای کارایی
Runpod از مهندس می‌خواهد تعریف کند کارایی inference چطور سنجیده شود (throughput، زمان اولین توکن، تأخیر بین توکن‌ها و هزینهٔ هر توکن) و ابزاری بسازد که این اندازه‌گیری‌ها را دقیق و تکرارپذیر کند.
workflow فشرده‌سازی مدل
در Nebius مهندس workflowهای پروداکشن برای quantization، quantization-aware training، distillation، serving کم‌بیت و بازیابی دقت می‌سازد و افت کیفیت یا کارایی را در rollout پیدا می‌کند.
مسیریابی درخواست و serving توزیع‌شده
Crusoe طراحی معماری serving با جداسازی prefill و decode و مسیریابی درخواست را می‌خواهد و تیم inference در Anthropic مسیریابی، load balancing و autoscaling را روی هزاران شتاب‌دهنده می‌سازد.
مدل هزینهٔ سرو
تیم Performance Optimization در OpenAI مدل‌هایی می‌سازد که نتیجهٔ microbenchmarkها را به برآورد هزینهٔ سرو (cost-to-serve) تبدیل می‌کند و نیاز ظرفیت عرضه‌های آینده را پیش‌بینی می‌کند.
تخصص‌های مختلف متخصص بهینه‌سازی عملکرد مدل
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
کارایی موتور inference
Inference Engine Performance
کار درون موتور serving: batching، مدیریت حافظه، چیدن مدل روی تراشه‌ها و استفادهٔ دوباره از وضعیت مدل؛ مثل نقش Performance Engineer, Inference Engine در Anthropic و Software Engineer - Inference Performance در Baseten.
بهینه‌سازی kernel
GPU Kernel Optimization
نوشتن و بهینه کردن kernel با CUDA، Triton یا CUTLASS و تحلیل در سطح PTX و SASS؛ مثل نقش Senior Inference Engineer, GPU Kernel Optimization در NVIDIA.
بهینه‌سازی و فشرده‌سازی مدل
Model Optimization & Compression
quantization، distillation و speculative decoding و سنجش اثر آن‌ها بر کیفیت؛ مثل نقش Senior Machine Learning Engineer, LLM Inference Optimization در Nebius و تیم Model Efficiency در Cohere.
زیرساخت inference توزیع‌شده
Distributed Inference Infrastructure
مسیریابی درخواست، autoscaling و استقرار مدل روی هزاران شتاب‌دهنده؛ مثل تیم Inference در Anthropic، تیم Foundation Model Inference در Databricks و نقش Software Engineer, Inference در Luma AI.
inference روی دستگاه
Edge & On-Device Inference
اجرای مدل روی سخت‌افزار کم‌مصرف خودرو یا ربات؛ Wayve برای NVIDIA Orin/Thor و پلتفرم‌های Qualcomm بهینه می‌کند و Figure AI معماری inference روی ربات را بین NPU، GPU، DSP و CPU تقسیم می‌کند.
تفاوت با شغل‌های مشابه
کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟
مهندس LLM مدل را انتخاب، تطبیق و ارزیابی می‌کند و روی آن RAG و ایجنت می‌سازد؛ سرو کردن با vLLM و quantization هم جزو کار اوست، اما بیشتر در حد استفادهٔ درست از ابزارها. مهندس inference یک لایه پایین‌تر می‌رود: خود موتور serving، زمان‌بندی درخواست‌ها، KV cache، kernel و تقسیم مدل بین GPUها. صفحهٔ مهندس LLM همین کار را یکی از تخصص‌های آن نقش می‌شمارد و این صفحه همان تخصص را با عمق بیشتر نشان می‌دهد. مرز در آگهی‌ها باز است: Nebius همین کار را با عنوان Machine Learning Engineer, LLM Inference Optimization آگهی می‌کند.
مهندس LLMOps سیستمی را می‌سازد که برنامه‌های مبتنی بر مدل زبانی در آن قابل اتکا بمانند: نسخه‌بندی پرامپت، ارزیابی خودکار، gateway، پایش هزینه و کیفیت هر درخواست. مهندس inference زیر gateway کار می‌کند، درون موتوری که توکن‌ها را تولید می‌کند. تعریف Anthropic از موتور inference (نرم‌افزار بین kernelها و لایهٔ routing) همین مرز را نشان می‌دهد. نقطهٔ تماس، سرو کردن مدل‌های open-weight است که در تیم‌های کوچک ممکن است به هر دو نقش سپرده شود.
معمار زیرساخت AI خوشهٔ GPU را طراحی می‌کند: سرورها، شبکهٔ بین GPUها، ذخیره‌سازی و زمان‌بند. مهندس inference روی همین سخت‌افزار کار می‌کند و تصمیم می‌گیرد مدل چطور بین GPUها تقسیم شود، درخواست‌ها چطور batch شوند و حافظه چطور مصرف شود. لایهٔ میانی، یعنی آماده‌سازی و مدیریت خود ناوگان inference، اغلب کار تیم زیرساخت است؛ Together AI برای ساختن control plane مبتنی بر Kubernetes که ناوگان GPU inference را راه‌اندازی می‌کند نقش جداگانه‌ای آگهی کرده است.
نوشتن kernel در بسیاری از شرکت‌ها تخصص جداگانه‌ای است: Cerebras «Kernel Engineer»، Inferact «Kernel Engineering» و CoreWeave «GPU Kernel Authoring & Optimization» را جدا آگهی می‌کنند. مهندس inference باید kernel را بفهمد و گاهی بنویسد، اما تمرکزش کل مسیر توکن است. Nebius صریحاً نوشته kernel engineering لازم نیست تخصص اصلی داوطلب باشد و Anthropic در یکی از آگهی‌هایش می‌نویسد استدلال دربارهٔ مفاهیم کارایی شتاب‌دهنده مهم‌تر از نوشتن kernel است. در مقابل، آگهی Inference Engineer در NVIDIA تماماً روی بهینه‌سازی kernel است.
تأثیر در صنایع مختلف
متخصص بهینه‌سازی عملکرد مدل در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری
آزمایشگاه‌های مدل پایه
Anthropic، OpenAI و Thinking Machines تیم‌های inference دارند؛ موتور inference داخلی Anthropic به نوشتهٔ آگهی روی همهٔ پلتفرم‌های شتاب‌دهندهٔ شرکت اجرا می‌شود و Claude را به میلیون‌ها کاربر سرو می‌کند
ابرها و پلتفرم‌های inference
Baseten، Together AI، Modal، Runpod، Crusoe، Nebius و CoreWeave inference را به‌عنوان محصول می‌فروشند و مهندسانشان مستقیماً روی هزینه و تأخیر مشتری کار می‌کنند
سازندگان تراشه
NVIDIA، Cerebras، d-Matrix، SambaNova و FuriosaAI برای اجرای بهتر مدل‌ها روی سخت‌افزار خود مهندس inference استخدام می‌کنند؛ d-Matrix دنبال مهندسانی است که از kernel تا ارکستراسیون توزیع‌شده کار کنند
محصولات AI
Perplexity موتور inference را پشت هر جستجو اجرا می‌کند، Luma AI مدل‌هایش را روی هزاران ماشین سرو می‌کند و Cohere و AssemblyAI برای مدل‌های صوتی تیم inference دارند
خودروی خودران و رباتیک
Wayve، Zoox و Figure AI مدل‌های بزرگ را روی سخت‌افزار داخل خودرو یا ربات با محدودیت تأخیر، توان و حرارت اجرا می‌کنند
معاملات مالی
Tower Research برای pipelineهای inference در معاملات حساس به تأخیر مهندس کارایی ML می‌خواهد که CPU، GPU و FPGA را مقایسه کند و می‌نویسد سابقهٔ کار در بازار مالی لازم نیست
پلتفرم‌های داده و نرم‌افزار سازمانی
Databricks زیرساختی می‌سازد که هم مدل‌های شریک (OpenAI، Anthropic، Gemini) و هم مدل‌های خودمیزبان را برای مشتریان سرو کند و تیم پژوهش AI در Snowflake روی بهینه‌سازی inference مدل‌های زبانی کار می‌کند
تصورات غلط رایج
قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید
مهندس inference تمام روز kernel CUDA می‌نویسد
بعضی نقش‌ها همین‌اند (NVIDIA)، اما بیشتر نقش‌ها کل مسیر توکن را می‌خواهند. Nebius می‌نویسد kernel engineering لازم نیست تخصص اصلی داوطلب باشد و Anthropic در آگهی Inference Systems می‌نویسد استدلال دربارهٔ پهنای باند حافظه، سربار kernel و quantization مهم‌تر از این است که خودتان kernel نوشته باشید. بخش بزرگی از کار اندازه‌گیری، profiling و تغییر در زمان‌بندی و حافظه است.
این کار یعنی نصب vLLM و تنظیم چند پارامتر
تنظیم پارامتر نقطهٔ شروع است. Runpod از مهندس می‌خواهد «وقتی تنظیم پیکربندی کافی نیست» گلوگاه را در موتور serving پیدا و رفع کند و Crusoe از رفتن به عمق کد serving «وقتی پیش‌فرض‌ها کافی نیستند» می‌نویسد. Baseten هم مشارکت مستقیم در vLLM، SGLang و TensorRT-LLM را جزو کار می‌داند.
هدف فقط سرعت است
Anthropic صریحاً می‌نویسد «تضمین کیفیت مدل مهم‌تر از بهره‌وری است» و تیمی دارد که مالک ارزیابی درستی خروجی روی سخت‌افزارها و پیکربندی‌های مختلف است، مثلاً برای پیدا کردن افتی که یک تغییر quantization ایجاد کرده. Nebius هم پیدا کردن افت کیفیت در rollout را جزو مسئولیت‌ها آورده است.
همه‌چیز NVIDIA و CUDA است
NVIDIA در بیشتر آگهی‌ها هست، اما نه همه‌جا. Inferact جداگانه مهندس کارایی برای GPUهای AMD و برای TPU استخدام می‌کند، RadixArk نقش‌های Inference-TPU و Inference-Multi-Hardware دارد، Wayve برای پلتفرم‌های Qualcomm هم بهینه می‌کند و Cerebras، d-Matrix و SambaNova سخت‌افزار خودشان را دارند. مفاهیم پایه مثل محدودیت حافظه و محاسبه بین سخت‌افزارها قابل انتقال است.
عنوان Inference Engineer همه‌جا یک معنی دارد
نه. «AI Inference Engineer» در Baseten یک نقش Forward Deployed Engineer است که کنار مشتری کار می‌کند و بخشی از آن مدیریت محصول و پیش‌فروش فنی است؛ «Applied AI Inference Engineer» در Crusoe هم بخش مشتری‌محور دارد. در مقابل، همین عنوان در NVIDIA یعنی بهینه‌سازی kernel. همیشه بخش مسئولیت‌ها را بخوانید.
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
جونیور (۰–۲ سال)
نقش‌های این سطح کم‌اند و معمولاً با کارآموزی یا نقش serving عمومی‌تر شروع می‌شوند. بیشتر وقت صرف اجرای benchmark، یاد گرفتن موتور serving و profiling زیر نظر مهندس ارشد می‌شود.
- ◆اجرای benchmark روی یک نسخهٔ تازهٔ موتور و مقایسه با نسخهٔ قبل
- ◆اضافه کردن یک مدل تازه به pipeline تست و بررسی درستی خروجی
- ◆خواندن یک trace از Nsight Systems همراه با یک مهندس ارشد
- ◆رفع یک باگ کوچک در کد serving یا ابزار اندازه‌گیری
- ◆خواندن یک مقالهٔ تازه دربارهٔ KV cache یا speculative decoding
میانی (۲–۵ سال)
مالک بخشی از مسیر هستید، مثلاً پشتیبانی از مدل‌های تازه یا یک تکنیک بهینه‌سازی. آگهی Perplexity این تنوع را این‌طور خلاصه کرده است: دوشنبه مقاله بخوانید، چهارشنبه kernel بنویسید و جمعه یک حادثهٔ پروداکشن را رفع کنید.
- ◆بالا آوردن یک معماری مدل تازه در موتور inference
- ◆دنبال کردن یک افت تأخیر از زمان‌بندی درخواست تا batching و kernel
- ◆آزمایش یک روش quantization و سنجش هم‌زمان سرعت و کیفیت
- ◆بازبینی کد همکاران و نوشتن تست برای مسیرهای حساس
- ◆شرکت در رسیدگی به یک حادثه و نوشتن گزارش آن
ارشد و Staff (۵+ سال)
تصمیم‌ها بزرگ‌تر می‌شوند: کدام تکنیک ارزش ساختن دارد، روی کدام سخت‌افزار و با چه هزینه‌ای. در آگهی Performance Engineer, Inference Systems در Anthropic یکی از مسئولیت‌ها رتبه‌بندی فرصت‌ها بر اساس اثر و هزینه و «نه» گفتن به بقیه است.
- ◆مدل کردن هزینهٔ سرو یک مدل تازه پیش از عرضه
- ◆مقایسهٔ دو روش موازی‌سازی برای یک مدل MoE روی چند نود
- ◆نوشتن سند طراحی برای جداسازی prefill و decode
- ◆هماهنگی با تیم‌های پژوهش، kernel و زیرساخت دربارهٔ اولویت‌ها
- ◆منتورینگ مهندسان و بازبینی گزارش‌های کارایی
مسئولیت‌ها و وظایف
مسئولیت‌های اصلی
وظایف روزانه و مهارت‌های مورد نیاز در این شغل
- ◈پشتیبانی از مدل‌های تازه در موتور inference: بارگذاری وزن‌ها، زمان‌بندی درخواست‌ها و مدیریت KV cache
- ◈profiling و رفع گلوگاه در کل مسیر درخواست، از ورودی شبکه و batching تا اجرای kernel روی GPU
- ◈تعریف و اندازه‌گیری معیارهای کارایی: throughput، زمان اولین توکن، تأخیر بین توکن‌ها و هزینهٔ هر توکن
- ◈پیاده‌سازی و تنظیم quantization، speculative decoding، استفادهٔ دوباره از KV cache و جداسازی prefill و decode
- ◈نوشتن یا تنظیم kernelهای GPU با CUDA، Triton یا CUTLASS برای عملیات حساس
- ◈تقسیم مدل‌های بزرگ بین چند GPU و چند نود با موازی‌سازی tensor، pipeline و expert
- ◈بررسی کیفیت خروجی بعد از هر بهینه‌سازی و پیگیری افت کیفیت در rollout
- ◈ساختن داشبورد، هشدار و رسیدگی به حوادث پروداکشن برای سرویس‌های inference
- ◈نوشتن گزارش کارایی و سند طراحی و همکاری با تیم‌های پژوهش، kernel، زیرساخت و مشتری
مهارت‌های مورد نیاز
مهارت‌های فنی، نرم و حوزه‌ای که یک متخصص بهینه‌سازی عملکرد مدل موفق به آن‌ها نیاز دارد
inference و GPU
اینکه prefill و decode چطور روی محاسبه، حافظه و ارتباط شتاب‌دهنده می‌نشینند؛ حداقل شرط آگهی Anthropic
مدیریت حافظهٔ KV cache، continuous batching و استفادهٔ دوباره از cache؛ Perplexity و Baseten هر دو آن را نام برده‌اند
سلسله‌مراتب حافظه، زمان‌بندی warp و tensor core (فهرست آگهی Perplexity)
vLLM، SGLang یا TensorRT-LLM؛ Runpod تجربهٔ عمیق با یکی از آن‌ها را شرط گذاشته است
FP8، FP4، INT8 و INT4 و سرو با دقت ترکیبی (Perplexity، Nebius)
سرعت بیشتر تولید با یک مدل draft؛ در آگهی‌های Perplexity، Runpod، Nebius و Baseten آمده است
نوشتن یا تنظیم kernel؛ برای Perplexity و NVIDIA اصلی است و برای Runpod و Nebius امتیاز
tensor، pipeline و expert parallelism و NCCL، NVLink و InfiniBand (Nebius، Perplexity)
torch.compile، custom operator و ساختار داخلی فریم‌ورک؛ Perplexity آن را امتیاز می‌داند
مهندسی نرم‌افزار و سیستم
زبان کد مدل و ابزارها؛ Runpod، Nebius و Crusoe آن را می‌خواهند
برای runtime و سرور inference؛ Perplexity از Rust برای runtime serving استفاده می‌کند و Anthropic برنامه‌نویسی سیستمی با Rust یا C++ را شرط گذاشته است
ساختن و اجرای سیستم زیر بار واقعی (Perplexity، Anthropic)
Nsight Systems و Nsight Compute، roofline و benchmark تکرارپذیر
زمان‌بندی GPU و autoscaling بارهای inference (Perplexity، Luma AI، Anthropic)
داشبورد، هشدار و رفع خودکار مشکل پیش از رسیدن به کاربر (Perplexity)
روش کار و مهارت‌های نرم
اول مشاهده و profiling، بعد فرضیه، آزمون، تغییر کد و اندازه‌گیری دوباره؛ عین عبارت آگهی Anthropic
Runpod توانایی توضیح نتیجه‌ها به‌صورت نوشته و تبدیل آن به تصمیم را شرط گذاشته است
Anthropic «سریع یاد گرفتن در سیستم‌های عمیق و ناآشنا» را جزو حداقل‌ها آورده است
کار با تیم‌های پژوهش، kernel، زیرساخت، محصول و مشتری (Nebius)
در نقش‌های applied مثل Crusoe و Baseten بخشی از کار توضیح مسائل فنی به مشتری است
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به متخصص بهینه‌سازی عملکرد مدل
این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.
پایه: Python، PyTorch و معماری Transformer
پیش از بهینه کردن یک مدل باید بدانید داخلش چه می‌گذرد. آگهی Perplexity فهم معماری‌های امروزی LLM و آشنایی با دست‌کم یک فریم‌ورک (PyTorch، JAX یا TensorFlow) را شرط پایه گذاشته و Nebius مهارت قوی در Python و PyTorch را. در این مرحله یک Transformer کوچک را خودتان بسازید تا attention، لایه‌ها و تولید توکن به توکن را از نزدیک ببینید.
GPU و مبانی کارایی
Perplexity فهم معماری GPU را در حد «سلسله‌مراتب حافظه، زمان‌بندی warp و tensor core» می‌خواهد و Anthropic از داوطلب انتظار دارد اعداد سخت‌افزار (FLOPs، پهنای باند HBM، PCIe و شبکه) را بشناسد و بتواند سریع حساب کند زمان و داده کجا می‌روند. این مرحله یعنی یاد گرفتن CUDA در حد نوشتن چند kernel ساده و، مهم‌تر، یاد گرفتن اینکه یک برنامه محدود به محاسبه است یا محدود به حافظه.
inference مدل‌های زبانی و موتورهای serving
هستهٔ این شغل همین‌جاست. Anthropic حداقل شرط را «یک مدل ذهنی کارا از inference مدل زبانی» می‌داند: اینکه مرحلهٔ prefill و decode چطور روی محاسبه، حافظه و ارتباط شتاب‌دهنده می‌نشینند. بعد سراغ یک موتور serving بروید؛ Runpod تجربهٔ عمیق با vLLM یا SGLang و فهم batching، حافظه، موازی‌سازی و توازن تأخیر و throughput را می‌خواهد. مقالهٔ vLLM نشان می‌دهد چرا مدیریت حافظهٔ KV cache این‌قدر مهم است: به نوشتهٔ مقاله، PagedAttention با الهام از صفحه‌بندی حافظه در سیستم‌عامل throughput را در همان تأخیر ۲ تا ۴ برابر کرد.
تکنیک‌های بهینه‌سازی: quantization، speculative decoding و attention
آگهی‌ها تقریباً همین فهرست را تکرار می‌کنند. Perplexity فهم quantization، speculative decoding و جداسازی prefill و decode را شرط گذاشته و Nebius توسعهٔ workflow فشرده‌سازی مدل در پروداکشن را: quantization، quantization-aware training، distillation و بازیابی دقت. هر تکنیک را روی یک مدل باز امتحان کنید و هم سرعت و هم کیفیت را بسنجید؛ مقالهٔ GPTQ کوانتیزه کردن مدل ۱۷۵ میلیارد پارامتری تا ۳ یا ۴ بیت را در حدود چهار ساعت GPU گزارش می‌کند و مقالهٔ speculative decoding شتاب ۲ تا ۳ برابر با خروجی یکسان روی T5-XXL را.
kernel، serving توزیع‌شده و کار در مقیاس
در سطح ارشد کار به دو سمت عمیق می‌شود. یک سمت kernel است: آگهی Inference Engineer در NVIDIA توانایی خواندن خروجی PTX یا SASS و کار با CUDA، CUTLASS یا Triton را می‌خواهد. سمت دیگر serving توزیع‌شده است: Nebius انتخاب و تنظیم موازی‌سازی tensor، pipeline، data و expert روی چند نود GPU، مسیریابی آگاه از KV cache و جداسازی prefill و decode را می‌خواهد. لازم نیست در هر دو متخصص باشید، اما باید بتوانید مشکل را از درخواست کاربر تا kernel دنبال کنید.
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت
موتورهای inference و serving
موتور متن‌باز serving که به نوشتهٔ README در آزمایشگاه Sky Computing دانشگاه UC Berkeley ساخته شد و امروز بیش از ۲٬۰۰۰ مشارکت‌کننده دارد؛ در آگهی‌های Runpod، Nebius، Crusoe و Anyscale آمده است
موتور serving با RadixAttention برای استفادهٔ دوباره از KV cache؛ Runpod و Crusoe آن را کنار vLLM نام برده‌اند
کتابخانهٔ NVIDIA برای inference روی GPUهای NVIDIA که به نوشتهٔ README کاملاً متن‌باز شده است؛ در آگهی‌های NVIDIA، Nebius و Baseten آمده است
فریم‌ورک serving توزیع‌شده در مقیاس دیتاسنتر؛ Nebius آن را در فهرست موتورهایی آورده که باید مستقر، benchmark و توسعه داد
برنامه‌نویسی GPU و kernel
زبان و کامپایلری برای نوشتن kernelهای یادگیری عمیق با بهره‌وری بیشتر از CUDA (به نوشتهٔ README خودش)؛ Perplexity، Runpod و Tower آن را نام برده‌اند
کتابخانهٔ NVIDIA برای kernelهای جبر خطی؛ CuTe DSL نسخهٔ Pythonی آن است و Perplexity در حال انتقال kernelهای CUDA خود به آن است
quantization و فشرده‌سازی
ابزار فشرده‌سازی پروژهٔ vLLM؛ به نوشتهٔ README پروژهٔ AutoAWQ، آن کتابخانه منسوخ شده و کارش به LLM Compressor منتقل شده است
کتابخانهٔ NVIDIA برای quantization، distillation، pruning و speculative decoding که خروجی آن در TensorRT-LLM و vLLM اجرا می‌شود
profiling و سنجش
profiling در سطح کل سیستم برای دیدن اینکه زمان بین CPU، GPU و ارتباطات کجا می‌رود؛ NVIDIA و Perplexity آن را می‌خواهند
profiling یک kernel در جزئیات؛ آگهی NVIDIA تجربهٔ عملی با NSYS و NCU را شرط گذاشته است
profiling در سطح مدل؛ Zoox آن را کنار Nsight برای پیدا کردن گلوگاه‌های serving نام برده است
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید
مهندس نرم‌افزار یا ML با تمرکز serving (ورود)
۰ تا ۲ سال
نقش‌های ورودی کم‌اند و بیشتر به شکل کارآموزی یا نقش‌های serving عمومی‌ترند: Together AI کارآموزی پژوهشی inference و نقش Software Engineer با سطح Junior دارد، Cerebras نقش Kernel Engineer - New Grad، و DoorDash برای ML Serving Platform دو سال سابقه می‌خواهد
Inference Engineer / Software Engineer, Inference
۲ تا ۵ سال
پشتیبانی از مدل‌های تازه در موتور serving، profiling و رفع گلوگاه، کار روی KV cache و batching. Perplexity سه سال سابقهٔ مهندسی نرم‌افزار با کار جدی روی inference یا سیستم‌های پرکارایی می‌خواهد و بازهٔ حقوق ۲۲۰ تا ۴۸۵ هزار دلار اعلام کرده است؛ Tower Research برای همین سطح ۲ سال تجربهٔ بهینه‌سازی inference می‌خواهد
Senior Inference / ML Systems Engineer
۵+ سال
مالکیت کارایی serving از سر تا ته: تعریف معیارها، بهینه‌سازی روی یک یا چند نود و تبدیل نتیجه به پیش‌فرض‌های پروداکشن. Runpod ۵+ سال و NVIDIA ۶+ سال سابقه می‌خواهند؛ بازهٔ حقوق پایهٔ NVIDIA برای این نقش ۱۸۴ تا ۲۸۷٫۵ هزار دلار است
Staff / Principal
۸+ سال
تعیین معماری inference در سطح سازمان، انتخاب بین سخت‌افزارها و هماهنگی با تیم‌های مدل، زیرساخت و محصول. Databricks برای Staff هشت سال، Figure AI دست‌کم هشت سال و d-Matrix برای Senior Staff ده سال سابقه می‌خواهند
چالش‌ها و جنبه‌های منفی
واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید
سرعت در برابر درستی
عمومیهر بهینه‌سازی، از quantization تا kernel تازه، می‌تواند خروجی مدل را کمی تغییر دهد. Anthropic تیمی دارد که مالک ارزیابی درستی خروجی روی سخت‌افزارها، دقت‌های عددی و پیکربندی‌های serving است و صریحاً می‌نویسد کیفیت مدل مهم‌تر از بهره‌وری است. بدون ارزیابی دقیق کیفیت، سرعت بیشتر ممکن است به قیمت جواب بدتر تمام شود.
سخت‌افزار و مدل‌ها مدام عوض می‌شوند
عمومیBaseten از مهندس می‌خواهد معماری‌های مدل تازه را روی سخت‌افزار تازه «اغلب در همان هفتهٔ عرضه» بالا بیاورد و Perplexity kernelهایش را برای GB200 و نسل بعدی Vera Rubin بازنویسی می‌کند. Anthropic و Luma هم روی چند خانوادهٔ شتاب‌دهنده و چند ارائه‌دهنده کار می‌کنند. دانسته‌های هر نسل سخت‌افزار باید با نسل بعد به‌روز شود.
ابزارها سریع منسوخ می‌شوند
عمومیHugging Face موتور TGI را به حالت نگهداری برده و vLLM و SGLang را توصیه می‌کند، AutoAWQ منسوخ شده و کارش به LLM Compressor در پروژهٔ vLLM رسیده و AutoGPTQ دیگر نگهداری نمی‌شود. ابزاری که امروز یاد می‌گیرید ممکن است یک سال بعد جایگزین شود؛ مفاهیم زیر آن، مثل KV cache، batching و محدودیت حافظه، می‌مانند.
عیب‌یابی بین لایه‌ها
عمومیمشکل کارایی معمولاً در یک لایه نمی‌ماند. Baseten و Anthropic هر دو از دنبال کردن یک افت تأخیر از زمان‌بندی درخواست، از میان routing و batching، تا سربار یک kernel می‌نویسند. این کار به شناخت هم‌زمان سیستم توزیع‌شده، سیستم‌عامل و GPU نیاز دارد.
نقش‌های ورودی کم‌اند
عمومیبیشتر آگهی‌ها ارشدند: Runpod ۵+ سال، NVIDIA ۶+ سال، Databricks و Figure AI ۸+ سال و d-Matrix ۱۰+ سال سابقه می‌خواهند. راه‌های ورود باریک‌ترند: کارآموزی (Together AI، Inferact)، نقش‌های new grad در kernel (Cerebras) و نقش‌هایی با ۲ سال سابقه مثل Tower Research. بسیاری از مهندسان از نقش‌های backend، ML یا HPC به این حوزه منتقل می‌شوند.
مسئولیت پروداکشن
استارتاپسرویس inference همیشه روشن است. Perplexity رسیدگی به حوادث پروداکشن و درس گرفتن از آن‌ها را جزو کار آورده و Together AI می‌نویسد «شما می‌سازید، شما مالکش هستید»؛ یعنی علاوه بر تحویل نرم‌افزار، اجرای آن در پروداکشن هم با خود شماست.
حقوق و بازار کار جهانی
حقوق جهانی متخصص بهینه‌سازی عملکرد مدل
حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.
* ارقام سالانه‌اند. منبع هر رقم:
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (5,949 salaries): 25th–75th pct; median
- Perplexity posting, Member of Technical Staff (AI Inference Engineer) (San Francisco, 3+ years), posted Apr 13, 2026: US salary range; median = midpoint
- NVIDIA posting, Senior Inference Engineer, GPU Kernel Optimization (Santa Clara, 6+ years), posted Jul 27, 2026: base salary range; median = midpoint
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (560 salaries): 25th–75th pct; median
- Cohere posting, Senior/Staff Software Engineer (Back-End), Inference (Canada), posted Oct 15, 2026: Canada base range; median = midpoint
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (507 salaries): 25th–75th pct; median
- Anthropic posting, Staff Software Engineer, Inference (London), posted Feb 2, 2026: annual salary range; median = midpoint
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (318 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (100 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (125 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (126 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (32 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (206 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (1,353 salaries): 25th–75th pct; median
چگونه از صفر شروع کنیم
برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی
ماه ۱: inference از نزدیک
فصل inference کتاب How To Scale Your Model و LLM Inference Handbook را بخوانید و یک مدل کوچک را با vLLM سرو کنید.
ماه ۲: اندازه‌گیری
ابزار benchmark پروژهٔ اول پورتفولیو را بسازید: TTFT، تأخیر بین توکن‌ها، throughput و هزینهٔ هر توکن.
ماه ۳: GPU و profiling
مقالهٔ Horace He و GPU Glossary را بخوانید و یک اجرای serving را با Nsight Systems profile کنید.
ماه ۴: quantization و کیفیت
با LLM Compressor نسخهٔ FP8 و INT4 بسازید و سرعت و کیفیت را با lm-evaluation-harness مقایسه کنید.
ماه ۵: Triton و یک PR
سه آموزش اول Triton را تمام کنید و هم‌زمان یک issue کوچک در vLLM یا SGLang بردارید.
ماه ۶: پورتفولیو و درخواست
نتیجه‌ها را با نمودار منتشر کنید و با همهٔ عنوان‌های رایج جستجو کنید: Inference Engineer، Software Engineer, Inference، ML Systems Engineer و Inference Optimization.
پروژه‌های پیشنهادی برای رزومه
ابزار benchmark برای serving یک مدل باز
متوسطیک مدل باز کوچک را با vLLM سرو کنید و ابزاری بنویسید که زمان رسیدن اولین توکن (TTFT)، تأخیر بین توکن‌ها، توکن در ثانیه و هزینهٔ هر توکن را در بارهای مختلف بسنجد؛ همان معیارهایی که Runpod در آگهی‌اش نام برده است. نتیجه را با نمودار و شرح روش اندازه‌گیری در README بیاورید تا تکرارپذیر باشد.
مقایسهٔ quantization: سرعت در برابر کیفیت
متوسطیک مدل را با LLM Compressor به FP8 و INT4 تبدیل کنید، هر نسخه را با vLLM سرو کنید و سرعت و مصرف حافظه را کنار امتیاز کیفیت روی lm-evaluation-harness بگذارید. بنویسید کجا کیفیت افت کرد و چرا. این همان «توازن تأخیر، throughput، کیفیت و هزینه» است که Nebius از داوطلب می‌خواهد.
اولین kernelها با Triton
پیشرفتهآموزشهای رسمی Triton را دنبال کنید (جمع برداری، softmax فیوزشده، ضرب ماتریس) و بعد یک kernel attention ساده بنویسید. هر kernel را با پیاده‌سازی PyTorch مقایسه کنید و با Nsight Compute توضیح دهید چرا سریع‌تر یا کندتر است.
آزمایش speculative decoding
پیشرفتهدر vLLM یا SGLang speculative decoding را با یک مدل کوچک‌تر به‌عنوان draft فعال کنید و نرخ پذیرش توکن‌ها و سرعت را روی چند نوع ورودی (کد، چت، متن بلند) بسنجید. نشان دهید در چه بارهایی سود دارد و در کجا ندارد.
یک PR به یک موتور inference متن‌باز
متوسطاز issueهای برچسب‌خورده برای تازه‌واردها در vLLM یا SGLang شروع کنید و یک تغییر کوچک اما واقعی (رفع باگ، پشتیبانی از یک مدل، بهبود یک benchmark) را تا merge جلو ببرید. Baseten مشارکت در vLLM، SGLang یا TensorRT-LLM را جزو کار می‌داند و Runpod و Nebius آن را امتیاز می‌شمارند.
مثال‌های واقعی و Case Studies
داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند
طبق سایت شخصی‌اش، دکترای علوم کامپیوتر را از Stanford گرفته، استادیار علوم کامپیوتر در Princeton است و Dao AI Lab را اداره می‌کند. هم‌بنیان‌گذار و Chief Scientist شرکت Together AI است. حوزهٔ پژوهشش یادگیری ماشین و سیستم با تمرکز بر آموزش و inference کارا و الگوریتم‌های آگاه از سخت‌افزار است.
FlashAttention را با همکارانش در ۲۰۲۲ معرفی کرد: الگوریتم attention دقیقی که با tiling تعداد خواندن و نوشتن بین حافظهٔ HBM و SRAM روی تراشهٔ GPU را کم می‌کند. این مقاله در ۲۰۲۴ نخستین جایزهٔ نرم‌افزار متن‌باز Stanford را گرفت. نسخه‌های بعدی را هم منتشر کرد؛ به نوشتهٔ مقالهٔ FlashAttention-2 این نسخه حدود دو برابر سریع‌تر از نسخهٔ اول است و مقالهٔ FlashAttention-4 در MLSys 2026 تقدیر بهترین مقاله را گرفت. Mamba، که با Albert Gu نوشت، در COLM 2024 مقالهٔ برجسته شد.
کار او نشان می‌دهد بزرگ‌ترین سودها گاهی از شناخت دقیق سخت‌افزار می‌آید، نه از تغییر مدل: FlashAttention همان attention را حساب می‌کند، فقط با جابه‌جایی کمتر داده.
طبق سایت شخصی‌اش، کارشناسی علوم کامپیوتر و علوم ریاضی را از دانشگاه ملی سئول و دکترای علوم کامپیوتر را در دسامبر ۲۰۲۵ از UC Berkeley زیر نظر Ion Stoica گرفته است. پیش از آن پژوهشگر Google DeepMind و عضو فنی Thinking Machines Lab بوده است.
پروژهٔ vLLM را هم‌بنیان گذاشت و امروز هم‌رهبر آن است. نویسندهٔ اول مقالهٔ PagedAttention است که به نوشتهٔ مقاله، با الهام از حافظهٔ مجازی و صفحه‌بندی در سیستم‌عامل، هدر رفتن حافظهٔ KV cache را به نزدیک صفر رساند و throughput را در همان تأخیر ۲ تا ۴ برابر سیستم‌های پیشین کرد. به نوشتهٔ README پروژه، vLLM امروز بیش از ۲٬۰۰۰ مشارکت‌کننده دارد. از نوامبر ۲۰۲۵ هم‌بنیان‌گذار و CTO شرکت Inferact است که به گفتهٔ سایتش سازندگان vLLM آن را بنیان گذاشته‌اند.
ایدهٔ اصلی vLLM از درس سیستم‌عامل آمد، نه از یادگیری ماشین. پایه‌های سیستمی، مثل مدیریت حافظه، در این شغل همان‌قدر ارزش دارند که دانش مدل.
طبق سایت شخصی‌اش، کارشناسی را از ACM Honored Class دانشگاه Shanghai Jiao Tong و دکترا را از UC Berkeley زیر نظر Ion Stoica و Joseph E. Gonzalez گرفته است. Meta PhD Fellowship و دو بار کمک‌هزینهٔ متن‌باز a16z را گرفته و هم‌بنیان‌گذار سازمان غیرانتفاعی LMSYS.org است.
نویسندهٔ اول مقالهٔ SGLang است؛ به نوشتهٔ مقاله، runtime این سیستم با RadixAttention از KV cache دوباره استفاده می‌کند و تا ۶٫۴ برابر throughput بیشتر از سیستم‌های پیشین گزارش کرده است. روی پروژه‌های vLLM، FlexGen، Alpa، Vicuna و Chatbot Arena و کامپایلرهای TVM و Ansor هم کار کرده است. به گفتهٔ خودش امروز عضو فنی xAI است و تیم inference مسئول زیرساخت اجرای مدل‌های Grok را رهبری می‌کند.
مسیر او از کامپایلرهای یادگیری عمیق به موتورهای serving و بعد به رهبری تیم inference یک آزمایشگاه مدل رسید؛ پروژه‌های متن‌باز در این مسیر نقش رزومه را بازی کرده‌اند.
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
Member of Technical Staff (AI Inference Engineer)
تحلیل نیازمندی‌ها
Deep experience with GPU programming and performance work (CUDA, Triton, CUTLASS, or similar). Any other deep systems programming experience is a plus.
این نقش از نوع «موتور و kernel» است. برنامه‌نویسی GPU اینجا شرط اصلی است، نه امتیاز. اگر تجربهٔ GPU ندارید اما برنامه‌نویسی سیستمی عمیق (مثلاً پایگاه داده یا شبکه) دارید، آگهی آن را هم به حساب می‌آورد.
ضروریYou understand modern LLM architectures and are able to bring them up reliably in a production environment.
«bring up» یعنی گرفتن یک مدل تازه و اجرای درست و پایدار آن در موتور خودتان. باید ساختار لایه‌ها، attention و تفاوت معماری‌ها را آن‌قدر بفهمید که بتوانید آن را درست پیاده کنید.
ضروریYou've built and operated production distributed systems under real load - ideally performance-critical ones.
inference یک سرویس پرترافیک است. تجربهٔ اداره کردن سیستم توزیع‌شده زیر بار واقعی، با on-call و حادثه، اینجا همان‌قدر مهم است که دانش GPU.
ضروریComfortable working across languages and layers: Rust for the serving runtime, Python for model code, CUDA/CuteDSL for kernels.
سه زبان در سه لایه. لازم نیست در هر سه متخصص باشید، اما باید بتوانید در هر سه کد بخوانید و تغییر بدهید. Perplexity سرور inference داخلی‌اش را با Rust می‌سازد تا به گفتهٔ آگهی دردسرهای Python را حل کند.
مهم3+ years of professional software engineering experience with meaningful work on ML inference or high-performance systems.
سه سال سابقه سطح میانی است. «یا سیستم‌های پرکارایی» یعنی کسی که مثلاً در سیستم‌های معاملاتی یا بازی کار کرده هم می‌تواند داوطلب باشد، حتی بدون سابقهٔ مستقیم inference.
ضروریUnderstanding of GPU architectures (memory hierarchy, warp scheduling, tensor cores).
این سه مفهوم پایهٔ هر بهینه‌سازی روی GPU است: داده در کدام سطح حافظه است، رشته‌ها چطور زمان‌بندی می‌شوند و ضرب ماتریس کجا سریع اجرا می‌شود.
ضروریUnderstanding of common LLM architectures and inference optimization techniques (e.g. quantization, speculative decoding, prefill-decode disaggregation).
سه تکنیکی که تقریباً در همهٔ آگهی‌های این حوزه تکرار می‌شوند. جداسازی prefill و decode یعنی اجرای این دو مرحله روی منابع جداگانه، چون یکی محدود به محاسبه و دیگری محدود به حافظه است.
ضروریLow-precision inference: INT8/FP8/FP4 quantization, mixed-precision serving.
در بخش «خوب است اگر» آمده. سخت‌افزارهای تازه دقت‌های کمتر را سریع‌تر اجرا می‌کنند، پس شناخت این فرمت‌ها و اثرشان بر کیفیت مزیت جدی است.
مفیدProfiling and debugging tools: Nsight Compute/Systems, CUDA-GDB, PTX/SASS analysis.
ابزارهای روزمرهٔ کار kernel. PTX و SASS کد سطح پایینی است که GPU واقعاً اجرا می‌کند؛ خواندنش وقتی لازم می‌شود که بخواهید بفهمید چرا یک kernel کند است.
مفیدDistributed GPU communication: NCCL, NVLink, InfiniBand, RDMA libraries, model/tensor parallelism.
برای مدل‌هایی که روی یک GPU جا نمی‌شوند. اینجا مرز این نقش با زیرساخت است: مهندس inference باید بداند ارتباط بین GPUها چقدر هزینه دارد تا مدل را درست تقسیم کند.
مفیدتحلیل مسئولیت‌ها
New models support. Support transformer-based retrieval, text-generation, and multimodal models in our inference infrastructure, from weight loading, request scheduling and KV-cache management to support in API Gateway.
هر مدل تازه باید در کل مسیر کار کند: بارگذاری وزن‌ها، زمان‌بندی درخواست، مدیریت KV cache و رسیدن به API. این کار مداوم است، چون معماری‌ها مدام عوض می‌شوند.
GPU kernels migration to CuTe DSL. Port our in-house CUDA kernels to NVIDIA's CuTe DSL so they run on GB200 today and are portable to Vera Rubin racks tomorrow.
نمونهٔ روشنی از اثر تغییر سخت‌افزار: kernelهایی که برای یک نسل GPU نوشته شده‌اند باید برای نسل بعد بازنویسی شوند. CuTe DSL بخشی از CUTLASS است که نوشتن kernel را با Python ممکن می‌کند.
Rust-native serving runtime. Develop our internal Rust-based inference server to solve all Python pains and keep up with rapidly growing traffic.
بعضی شرکت‌ها به جای موتورهای آماده مثل vLLM سرور خودشان را می‌سازند. این خط نشان می‌دهد مهندسی نرم‌افزار سیستمی، نه فقط دانش ML، بخش بزرگی از این نقش است.
Performance optimisation. Profile and fix bottlenecks from network ingress through continuous batching and GPU kernel interleaving.
گلوگاه ممکن است در شبکه، در batching یا در ترتیب اجرای kernelها باشد. کار شما اندازه‌گیری کل مسیر و پیدا کردن جایی است که بیشترین زمان را می‌گیرد.
Reliability and observability. Build dashboards, alerts, and automated remediation so we catch regressions before users do. Respond to and learn from production incidents.
مهندس inference فقط بهینه نمی‌کند، سرویس را هم سرپا نگه می‌دارد: پایش، هشدار، رفع خودکار مشکل و شرکت در رسیدگی به حوادث.
نتیجه‌گیری کلی
این آگهی تصویر کاملی از نسخهٔ «موتور و kernel» این شغل است: یک تیم کوچک که موتور inference را خودش می‌سازد، از Rust در سرور تا CUDA و CuTe DSL در kernel، و هم‌زمان مسئول پایداری سرویس است. شرط سه سال سابقه یعنی این نقش برای ورود مستقیم نیست، اما در را برای کسانی که از سیستم‌های پرکارایی غیر ML می‌آیند هم باز گذاشته است. بازهٔ حقوق اعلام‌شده برای آمریکا ۲۲۰ تا ۴۸۵ هزار دلار به‌علاوهٔ سهام است.
آینده و روندها
پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید
BLS پیش‌بینی می‌کند اشتغال Software Developers در آمریکا از ۲۰۲۵ تا ۲۰۳۵ حدود ۱۰٪ رشد کند (از ۱٬۷۱۷٬۸۰۰ به ۱٬۸۹۲٬۶۰۰ نفر)، که «بسیار سریع‌تر از میانگین» همهٔ شغل‌هاست. گروه رسمی جداگانه‌ای برای مهندسی inference وجود ندارد و این نزدیک‌ترین گروه رسمی است.
منبع: BLS Occupational Outlook Handbook, Software Developers (2025–2035, US)
مهارت‌های نوظهور که باید یاد بگیرید
پیش‌بینی‌های آینده
Deloitte در پیش‌بینی‌های فناوری ۲۰۲۶ خود (نوامبر ۲۰۲۵) می‌گوید inference در ۲۰۲۶ حدود دو سوم محاسبات AI را تشکیل می‌دهد و بازار تراشه‌های ویژهٔ inference از ۵۰ میلیارد دلار می‌گذرد، هرچند تراشه‌های ترکیبی آموزش و inference در دیتاسنترها همچنان بازار ۲۰۰ میلیارد دلاری تراشهٔ AI را در دست دارند.
پیش‌بینی BLS: اشتغال Software Developers در آمریکا از ۲۰۲۵ تا ۲۰۳۵ حدود ۱۰٪ رشد می‌کند، بسیار سریع‌تر از میانگین همهٔ شغل‌ها.
بخشی از کار تنظیم و بهینه‌سازی در حال خودکار شدن است: NVIDIA تیمی دارد که kernelها را با ایجنت‌های AI بهینه می‌کند، Snowflake سیستم‌هایی می‌سازد که مدل و بار تازه را خودکار profile کنند و پیکربندی را با کمترین تنظیم دستی انتخاب کنند، و Inferact در سایتش از ایجنت‌هایی می‌گوید که پیکربندی را برای نیاز تأخیر و throughput تنظیم می‌کنند. ارزش مهندس به سمت طراحی، اندازه‌گیری دقیق و قضاوت دربارهٔ کیفیت می‌رود. ریسک دیگر تمرکز بازار است: بیشتر آگهی‌ها در چند نوع شرکت (آزمایشگاه‌های مدل، ابرهای inference و سازندگان تراشه) و در سطح ارشدند. سرعت تغییر سخت‌افزار و ابزارها هم یعنی یادگیری هیچ‌وقت تمام نمی‌شود.
منابع
اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۷۰ منبع بررسی شده است.
- Member of Technical Staff (AI Inference Engineer) — Perplexity (job posting)
- Senior ML Systems Engineer, Inference — Runpod (job posting)
- Senior Machine Learning Engineer, LLM Inference Optimization — Nebius (job posting)
- Senior Inference Engineer, GPU Kernel Optimization — NVIDIA (job posting)
- Performance Engineer, Inference Engine — Anthropic (job posting)
- Performance Engineer, Inference Systems — Anthropic (job posting)
- Staff Software Engineer, Inference (London) — Anthropic (job posting)
- Software Engineer, Inference - Performance Optimization — OpenAI (job posting)
- Staff Applied AI Inference Engineer — Crusoe (job posting)
- AI Inference Engineer — Baseten (job posting)
- Software Engineer - Inference Performance — Baseten (job posting)
- Senior/Staff Software Engineer (Back-End), Inference — Cohere (job posting)
- Audio Inference Engineer, Model Efficiency — Cohere (job posting)
- Staff Software Engineer- Foundation Model Inference — Databricks (job posting)
- Machine Learning Performance Engineer (Inference) — Tower Research Capital (job posting)
- Senior ML Performance Engineer, Inference Optimisation — Wayve (job posting)
- Software Engineer, ML Inference Optimization — Zoox (job posting)
- Staff AI Inference and Acceleration Engineer — Figure AI (job posting)
- Member of Technical Staff, Inference — Inferact (job posting)
- Member of Technical Staff, Inference (Singapore) — Inferact (job posting)
- Member of Technical Staff, AMD GPU Performance Engineering — Inferact (job posting)
- Software Engineer, Inference — Luma AI (job posting)
- Senior/Staff System Research Engineer – LLM Inference Optimization — Snowflake (job posting)
- Software Engineer, ML Serving Platform — DoorDash (job posting)
- Distributed LLM Inference Engineer — Anyscale (job posting)
- Senior Staff LLM Inference Engineer — d-Matrix (job posting)
- [Junior / Senior / Staff] Software Engineer, Inference / Compute Infrastructure Engineering — Together AI (job posting)
- Kernel Engineer - New Grad — Cerebras (job posting)
- Research Intern, Inference (Summer 2027) — Together AI (job posting)
- Inference Engineering, Co-op — Inferact (job posting)
- Member of Technical Staff, Kernel Engineering — Inferact (job posting)
- Member of Technical Staff, TPU Performance Engineering — Inferact (job posting)
- Member of Technical Staff — Inference-TPU — RadixArk (job posting)
- Member of Technical Staff — Inference-Multi-Hardware — RadixArk (job posting)
- Inference Systems Performance Architect — SambaNova (job posting)
- Senior Software Engineer, Inference Engine (Platform Software) — FuriosaAI (job posting)
- Senior Software Engineer - GPU Kernel Authoring & Optimization — CoreWeave (job posting)
- Staff Software Engineer, Inference — CoreWeave (job posting)
- Software Engineer, Inference — Thinking Machines Lab (job posting)
- Member of Technical Staff - Inference Runtime — Modal (job posting)
- Senior Software Engineer, Inference — AssemblyAI (job posting)
- levels.fyi — ML / AI Software Engineer salary, United States
- levels.fyi — ML / AI Software Engineer salary, Canada
- levels.fyi — ML / AI Software Engineer salary, United Kingdom
- levels.fyi — ML / AI Software Engineer salary, Germany
- levels.fyi — ML / AI Software Engineer salary, Netherlands
- levels.fyi — ML / AI Software Engineer salary, Switzerland
- levels.fyi — ML / AI Software Engineer salary, Australia
- levels.fyi — ML / AI Software Engineer salary, United Arab Emirates
- levels.fyi — ML / AI Software Engineer salary, Singapore
- levels.fyi — ML / AI Software Engineer salary, India
- BLS Occupational Outlook Handbook — Software Developers, Quality Assurance Analysts, and Testers
- Deloitte 2026 TMT Predictions — press release
- Tri Dao — personal site
- Woosuk Kwon — personal site
- Lianmin Zheng — personal site
- Inferact — From the creators of vLLM
- FlashAttention (arXiv 2205.14135)
- FlashAttention-2 (arXiv 2307.08691)
- Efficient Memory Management for LLM Serving with PagedAttention (arXiv 2309.06180)
- SGLang: Efficient Execution of Structured Language Model Programs (arXiv 2312.07104)
- Fast Inference from Transformers via Speculative Decoding (arXiv 2211.17192)
- GPTQ (arXiv 2210.17323)
- AWQ (arXiv 2306.00978)
- vLLM — GitHub README
- Text Generation Inference — GitHub (maintenance mode, archived)
- AutoAWQ — GitHub (deprecated, adopted by vLLM llm-compressor)
- AutoGPTQ — GitHub (unmaintained)
- TensorRT-LLM — GitHub README
- CUTLASS (CuTe DSL) — GitHub README