مهندس بهینه‌سازی و فشرده‌سازی مدل
Model Optimization Engineer (Quantization/Distillation)
مهندس بهینه‌سازی مدل خودِ مدل را کوچک‌تر، سریع‌تر و ارزان‌تر می‌کند، طوری که کیفیتش تا حد ممکن حفظ شود: با quantization (کم کردن دقت عددی وزن‌ها و activationها)، distillation (انتقال توانایی یک مدل بزرگ به مدلی کوچک‌تر)، pruning و sparsity. این کار با Inference Engineer فرق دارد: او شیوهٔ اجرای مدل را بهینه می‌کند و این نقش خود مدل را تغییر می‌دهد. عنوان آگهی‌ها یکدست نیست. کار با عنوان‌هایی مثل AI Research Engineer (Model Compression & Quantization)، Model Optimization Research Engineer، Distillation Lead یا Deep Learning Researcher – Model Efficiency آگهی می‌شود. عنوان «Model Optimization» گاهی برای کار inference یا آماده‌سازی مدل روی سخت‌افزار یک شرکت هم به کار می‌رود، پس متن آگهی را بخوانید. این بازار از inference کوچک‌تر است و بیشتر در شرکت‌های تراشه، خودروی خودران و شرکت‌هایی دیده می‌شود که مدل‌های خودشان را می‌سازند.
مقدمه و تعریف شغل
مهندس بهینه‌سازی مدل (در آگهی‌ها: Model Compression، Model Efficiency یا Model Optimization) مدلی را که تیم پژوهش ساخته کوچک‌تر و ارزان‌تر می‌کند تا روی سخت‌افزار هدف سریع اجرا شود و کیفیتش تا حد ممکن بماند. ابزارهای اصلی او quantization (پایین آوردن دقت عددی، مثلاً از ۱۶ بیت به ۸ یا ۴ بیت)، distillation (آموزش یک مدل کوچک با خروجی مدل بزرگ)، pruning و sparsity (حذف وزن‌ها یا بخش‌های کم‌اثر) و طراحی معماری کارآمدتر است. آگهی Tether هدف را چنین می‌نویسد: کاهش حجم و هزینهٔ محاسبهٔ مدل با حفظ دقت. QAT و distillation خودشان آموزش‌اند، پس این کار بیشتر به پژوهش و آموزش مدل نزدیک است تا به نوشتن موتور serving.
ریشهٔ این کار در پژوهش است. Hinton و همکاران در ۲۰۱۵ نشان دادند دانش چند مدل را می‌شود در یک مدل جمع کرد و مدل صوتی یک سیستم تجاری پرکاربرد را با همین روش بهتر کردند. همان سال، Deep Compression حجم AlexNet را بدون افت دقت ۳۵ برابر کم کرد. با بزرگ شدن مدل‌های زبانی، این روش‌ها مسئلهٔ روز شدند: GPTQ در ۲۰۲۲ اجرای یک مدل ۱۷۵ میلیارد پارامتری را روی یک GPU ممکن کرد. Deloitte پیش‌بینی می‌کند در ۲۰۲۶ حدود دو سوم توان محاسباتی AI صرف inference شود؛ هر بیتی که از مدل کم شود، روی همین هزینه اثر دارد. با این حال این بازار کوچک است. در جستجوی ما در ۳۳۷ تابلوی آگهی شرکت‌ها (۳۴٬۹۶۱ آگهی باز، ۲۲ اکتبر ۲۰۲۶)، ۱۲ آگهی در ۶ شرکت عنوانی از جنس فشرده‌سازی، distillation یا Model Efficiency داشتند، در برابر ۱۶۲ آگهی با کلمهٔ Inference. بخش بزرگ این نقش‌ها بیرون از این تابلوها، در شرکت‌های تراشه مثل NVIDIA، Qualcomm و Intel و در Tether دیده شد.
چه چیزی می‌سازید؟
مثال‌های واقعی از خروجی کار یک مهندس بهینه‌سازی و فشرده‌سازی مدل
نسخهٔ کم‌بیت یک مدل زبانی یا چندوجهی
Tether از مهندس می‌خواهد با quantization کم‌بیت، حجم و تأخیر LLMها و VLMها را کم کند تا روی دستگاه‌هایی مثل گوشی اجرا شوند، بدون اینکه کیفیت خروجی بیفتد.
مدل student با distillation
Waabi برای مدل‌های perception، world model و planning خود pipeline distillation می‌سازد، از جمله برای مدل‌های مولد diffusion و ویدیو، و Waymo در تیم perception دستور کار distillation با چند teacher را می‌خواهد.
مدل pruned و sparse
تیم Algorithmic Model Optimization در NVIDIA از NAS و pruning تا sparsity و quantization را روی LLM و مدل‌های diffusion به کار می‌برد. در پروژهٔ Minitron همین شرکت، مدل ۸ و ۴ میلیارد پارامتری از یک مدل ۱۵ میلیاردی بیرون آمد.
ابزار و کتابخانهٔ فشرده‌سازی
بخشی از این مهندسان ابزار می‌سازند: NVIDIA پلتفرم TRT Model Optimizer را توسعه می‌دهد و Qualcomm کتابخانهٔ AIMET را. Pruna AI هم فشرده‌سازی را محصول خودش کرده است.
روش‌های عددی مخصوص یک تراشه
d-Matrix از پژوهشگر الگوریتم می‌خواهد روش‌هایی برای quantization، sparsity و low-rank طراحی کند که با نوع‌های عددی و سلسله‌مراتب حافظهٔ شتاب‌دهندهٔ خود شرکت جور باشند.
چارچوب سنجش کیفیت در برابر کارایی
Waabi «بنچمارک‌ها و چارچوب‌های ارزیابی دقیق» برای سنجش توازن کارایی و کیفیت روی مدل‌ها و سخت‌افزارهای مختلف می‌خواهد؛ بدون این سنجش، معلوم نیست فشرده‌سازی چه چیزی را از دست داده است.
تخصص‌های مختلف مهندس بهینه‌سازی و فشرده‌سازی مدل
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
quantization مدل‌های زبانی
LLM Quantization
PTQ و QAT، قالب‌های کم‌بیت مثل FP8، INT4 و NVFP4 و quantization کردن KV cache؛ هستهٔ آگهی Model Compression & Quantization در Tether. اخبار مخزن NVIDIA Model Optimizer نشان می‌دهد ترکیب PTQ با quantization-aware distillation برای بازیابی دقت در قالب NVFP4 به کار می‌رود.
distillation
Knowledge Distillation
ساختن مدل کوچک از مدل بزرگ، از دسته‌بندهای ساده تا مدل‌های مولد. Waabi نقش جداگانه‌ای به نام Distillation Lead دارد، Waymo دستور کار distillation با چند teacher می‌خواهد و Datadog تیمی برای مدل‌های distilled.
pruning، sparsity و جستجوی معماری
Pruning, Sparsity & NAS
حذف وزن، لایه یا عرض مدل و جستجوی معماری کوچک‌تر. SparseGPT مدل‌های بزرگ را یک‌باره و بدون آموزش دوباره pruning کرد و تیم NVIDIA از NAS تا sparsity را در یک جا انجام می‌دهد.
روش‌های عددی آگاه از سخت‌افزار
Hardware-aware Numerics
طراحی روش فشرده‌سازی برای یک تراشهٔ مشخص و نوع‌های عددی آن، معمولاً در شرکت‌های تراشه؛ مثل تیم Algorithms در d-Matrix و پژوهش نوع‌های عددی کارآمد در Qualcomm.
ساخت ابزار فشرده‌سازی
Compression Tooling
ساختن کتابخانه‌ای که دیگران مدل‌هایشان را با آن فشرده کنند: TRT Model Optimizer در NVIDIA، AIMET در Qualcomm و ابزار متن‌باز Pruna. در این مسیر مهندسی نرم‌افزار به اندازهٔ پژوهش مهم است.
تفاوت با شغل‌های مشابه
کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟
صفحهٔ Inference Engineer فشرده‌سازی مدل را یکی از تخصص‌های آن نقش می‌شمارد و این درست است: بسیاری از آگهی‌ها هر دو را با هم می‌خواهند، مثل Applied Scientist در Nebius. اما بعضی شرکت‌ها این دو را جدا استخدام می‌کنند. Tether یک آگهی برای Model Compression & Quantization و یک آگهی جدا برای Kernel & Inference Optimization دارد. Waabi هم Distillation Lead را برای استراتژی فشرده‌سازی و QAT و distillation، و ML Onboard Optimization Engineer را برای TensorRT، kernel CUDA و profiling روی خودرو جدا آگهی کرده است. خلاصه: مهندس inference شیوهٔ اجرای مدل را تغییر می‌دهد (موتور serving، batching، KV cache، kernel) و مهندس این صفحه خود مدل را (دقت عددی، اندازه، وزن‌ها) و برای این کار اغلب آموزش هم می‌دهد.
متخصص Edge AI مسئول اجرای مدل روی خود دستگاه است: runtime، یکپارچه‌سازی با سخت‌افزار، باتری و گرما. مهندس فشرده‌سازی مدل را کوچک می‌کند و مقصد می‌تواند دستگاه یا ابر باشد. Waabi مدل فشرده را هم برای خودرو و هم برای شبیه‌سازی پرحجم می‌خواهد و Nebius برای کم کردن هزینهٔ هر توکن در ابر. در پروژه‌های edge این دو کنار هم کار می‌کنند: تیم Model Efficiency در Qualcomm و تیم فشرده‌سازی Tether هر دو مقصد را دستگاه‌هایی مثل گوشی گذاشته‌اند. TinyML سر کوچک‌تر همین طیف است و بیشتر به firmware و C/C++ نزدیک است؛ آگهی‌های فشرده‌سازی که دیدیم PyTorch و کار پژوهشی می‌خواهند، نه firmware.
مهندس fine-tuning رفتار مدل را برای یک کار عوض می‌کند. مهندس فشرده‌سازی می‌خواهد رفتار تقریباً همان بماند و هزینه کم شود. ابزارهایشان به هم نزدیک است، چون distillation و QAT هر دو آموزش‌اند. آگهی ML Engineer در Pruna AI هر دو را با هم می‌خواهد: ابزارهای بهینه‌سازی شرکت در کنار post-training با reinforcement learning، preference optimization، distillation و fine-tuning. Datadog هم تیمی دارد که مدل‌های تخصصی کوچک‌تر می‌سازد تا هر جا مدل‌های پیشرو لازم نیستند جای آن‌ها را بگیرند.
مهندس ASIC خود تراشه را طراحی می‌کند؛ مهندس فشرده‌سازی مدل را با نوع‌های عددی و حافظهٔ تراشه جور می‌کند. این دو در شرکت‌های تراشه به هم می‌رسند. تیم Algorithms در d-Matrix با معماران سخت‌افزار و مهندسان کامپایلر کار می‌کند تا الگوریتم را به نوع‌های عددی پشتیبانی‌شده، سلسله‌مراتب حافظه و جابه‌جایی داده نگاشت کند، و تیم Model Efficiency در Qualcomm نوع‌های عددی کارآمد را پژوهش می‌کند. بخش بزرگی از آگهی‌های این صفحه هم در شرکت‌های تراشه است: NVIDIA، Qualcomm، Intel و d-Matrix.
تأثیر در صنایع مختلف
مهندس بهینه‌سازی و فشرده‌سازی مدل در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری
شرکت‌های تراشه و شتاب‌دهنده
NVIDIA، Qualcomm، Intel و d-Matrix تیم‌هایی دارند که مدل‌ها را برای سخت‌افزار خودشان فشرده و بهینه می‌کنند؛ NVIDIA و Qualcomm ابزارهای این کار (TRT Model Optimizer و AIMET) را هم برای دیگران منتشر می‌کنند
خودروی خودران
Waabi مدل‌های فشرده را هم روی کامیون و هم در شبیه‌سازی پرحجم اجرا می‌کند و Waymo برای مدل‌های perception و مدل‌های مولد خود نقش‌های distillation و کارایی دارد
ابرهای AI و فروش توکن
Nebius در سرویس Token Factory پژوهشگری می‌خواهد که quantization، QAT و distillation را بسنجد و اثرشان را روی هزینهٔ هر توکن نشان دهد
گوشی و دستگاه‌های شخصی
Tether مدل‌های LLM و VLM را برای اجرا روی گوشی فشرده می‌کند و تیم Model Efficiency در Qualcomm برای گوشی، ربات، هدست AR/VR و خودرو پژوهش می‌کند
ویدیو و آواتار مولد
Tavus مدل‌های چندوجهی را برای ویدیوی گفت‌وگوی بی‌درنگ سریع می‌کند؛ آگهی‌اش بهینه‌سازی مدل‌های diffusion و مولد ویدیو و صوت را امتیاز می‌داند
نرم‌افزار سازمانی
Datadog مدل‌های تخصصی کوچک‌تری می‌سازد تا هر جا مدل‌های پیشرو لازم نیستند جای آن‌ها را بگیرند و قابلیت‌های AI را سریع‌تر، ارزان‌تر و امن‌تر کند
استارتاپ‌هایی که کارایی را می‌فروشند
Pruna AI فشرده‌سازی را محصول خود کرده است؛ به نوشتهٔ آگهی‌اش، مدل‌های بهینه‌شدهٔ این شرکت ماهانه بیش از ۵۰ میلیون بار اجرا می‌شوند
تصورات غلط رایج
قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید
quantization یعنی زدن یک دکمه در یک کتابخانه
برای ۸ بیت اغلب همین‌طور است: white paper شرکت Qualcomm می‌نویسد PTQ در بیشتر موارد برای ۸ بیت با دقتی نزدیک به ممیز شناور کافی است. اما برای بیت‌های پایین‌تر QAT و fine-tuning لازم می‌شود. Tether تجربه با هر دو را شرط گذاشته و NVIDIA برای بازیابی دقت در قالب ۴ بیتی NVFP4 از quantization-aware distillation استفاده می‌کند.
این همان Inference Engineer با اسم دیگر است
در بسیاری از آگهی‌ها دو کار با هم آمده، اما Tether و Waabi آن‌ها را دو نقش جدا آگهی کرده‌اند. نقش فشرده‌سازی به آموزش و پژوهش نزدیک‌تر است (Waabi تجربهٔ آموزش توزیع‌شده می‌خواهد) و نقش inference به موتور اجرا و kernel. برعکس هم پیش می‌آید: «AI Model Optimization Architect» در Qualcomm (کورک) در عمل کار inference است، با KV cache و continuous batching.
بدون نوشتن kernel CUDA نمی‌شود وارد این کار شد
در آگهی Tether، C++ برای kernel نویسی فقط امتیاز است؛ در Tavus نوشتن kernel با Triton یا CUDA در بخش «ترجیحی» آمده و d-Matrix از پژوهشگر نمونه‌سازی با Python می‌خواهد. پایهٔ اصلی PyTorch، فهم آموزش مدل و ارزیابی دقیق است. با این حال سرعت واقعی به پشتیبانی سخت‌افزار و kernel بستگی دارد، پس فهم مبانی GPU لازم است.
مدل کوچک‌تر همیشه به‌طور محسوس بدتر است
DistilBERT با ۴۰٪ حجم کمتر، ۹۷٪ توانایی درک زبان BERT را نگه داشت و ۶۰٪ سریع‌تر شد. GPTQ مدل‌های ۱۷۵ میلیارد پارامتری را تا ۳ یا ۴ بیت فشرده کرد با افت دقت ناچیز، و مدل‌های Minitron تا ۱۶٪ امتیاز MMLU بهتری از مدل هم‌اندازه‌ای گرفتند که از صفر آموزش دیده بود. اما «ناچیز» در میانگین بنچمارک‌ها ممکن است روی یک کار خاص محسوس باشد؛ برای همین ارزیابی دقیق بخش اصلی کار است.
فشرده‌سازی فقط برای گوشی و دستگاه‌های کوچک است
Nebius روی هزینهٔ هر توکن در ابر کار می‌کند، Waabi مدل فشرده را برای شبیه‌سازی پرحجم هم می‌خواهد و Datadog مدل‌های تخصصی کوچک را برای سریع‌تر و ارزان‌تر کردن قابلیت‌های AI محصولش. Deloitte هم پیش‌بینی می‌کند بیشتر inference همچنان در دیتاسنتر انجام شود، نه روی تراشه‌های ارزان edge.
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
جونیور (۰–۲ سال)
بیشتر وقت صرف اجرای آزمایش و اندازه‌گیری می‌شود: یک روش quantization را روی چند مدل امتحان می‌کنید، دقت و سرعت را می‌سنجید و نتیجه را گزارش می‌دهید. روش‌ها را معمولاً پژوهشگر ارشد انتخاب می‌کند.
- ◆اجرای PTQ با ۸ و ۴ بیت روی چند مدل باز و ثبت نتیجه‌ها
- ◆افزودن یک بنچمارک تازه به pipeline ارزیابی
- ◆اندازه‌گیری تأخیر و حافظه روی سخت‌افزار هدف
- ◆خواندن و بازتولید نتیجهٔ یک مقالهٔ تازه
میانی (۲–۵ سال)
مسئولیت فشرده‌سازی یک مدل یا خانوادهٔ مدل را دارید. انتخاب می‌کنید کجا PTQ کافی است، کجا QAT یا distillation لازم است و افت کیفیت را تا کجا می‌شود پذیرفت. با تیم استقرار کار می‌کنید تا سرعت روی موتور واقعی هم دیده شود.
- ◆طراحی آزمایش برای مقایسهٔ PTQ، QAT و distillation روی یک مدل
- ◆پیدا کردن وظیفه‌ای که بعد از quantization افت کرده و ریشه‌یابی آن
- ◆اجرای یک دور distillation روی خوشهٔ GPU و پایش آن
- ◆تحویل checkpoint فشرده به تیم inference و بررسی سرعت در vLLM یا TensorRT-LLM
ارشد (۵+ سال)
روش تازه طراحی می‌کنید یا استراتژی فشرده‌سازی کل مدل‌های شرکت را تعیین می‌کنید. در شرکت‌های تراشه با معماران سخت‌افزار دربارهٔ نوع‌های عددی بحث می‌کنید و در شرکت‌های محصول با تیم پژوهش دربارهٔ اینکه کدام مدل باید از اول کوچک طراحی شود.
- ◆بازبینی طراحی یک روش quantization تازه برای شتاب‌دهندهٔ شرکت
- ◆تعریف معیار پذیرش کیفیت برای هر مدل فشرده پیش از انتشار
- ◆راهنمایی پژوهشگران جوان‌تر در طراحی آزمایش
- ◆نوشتن مقاله یا گزارش فنی از نتیجه‌ها
مسئولیت‌ها و وظایف
مسئولیت‌های اصلی
وظایف روزانه و مهارت‌های مورد نیاز در این شغل
- ◈اعمال quantization کم‌بیت (PTQ و QAT) روی مدل‌های زبانی، بینایی-زبانی و چندوجهی با حفظ دقت و کیفیت خروجی
- ◈آموزش مدل‌های کوچک‌تر با distillation از مدل بزرگ (teacher-student)، از جمله برای مدل‌های مولد و diffusion
- ◈حذف پارامترها، لایه‌ها یا attention headهای اضافی با pruning و ایجاد sparsity بدون افت محسوس عملکرد
- ◈ساخت معیارها و چارچوب ارزیابی برای سنجش توازن کیفیت در برابر اندازه، تأخیر، حافظه و هزینه
- ◈نگاشت روش‌های فشرده‌سازی به نوع‌های عددی و حافظهٔ سخت‌افزار هدف، همراه تیم‌های سخت‌افزار و کامپایلر
- ◈تحویل مدل فشرده به تیم استقرار و بررسی سرعت واقعی آن روی موتور inference
- ◈خواندن و بازتولید مقاله‌های تازه و انتقال ایده‌های امیدوارکننده به محصول
- ◈مستندسازی روش، آزمایش و نتیجه برای بازتولیدپذیری و گزارش به ذی‌نفعان
- ◈تعیین استراتژی فشرده‌سازی برای مدل‌های شرکت و راهنمایی پژوهشگران و مهندسان دیگر (در سطح Lead)
مهارت‌های مورد نیاز
مهارت‌های فنی، نرم و حوزه‌ای که یک مهندس بهینه‌سازی و فشرده‌سازی مدل موفق به آن‌ها نیاز دارد
مهارت‌های فنی
QAT و distillation خودشان آموزش‌اند؛ Tether درک فرایند آموزش (backpropagation، بهینه‌سازی، fine-tuning) را می‌خواهد
شرط صریح آگهی Tether؛ شامل calibration، mixed precision و قالب‌های کم‌بیت
teacher-student در سطح خروجی و ویژگی؛ در آگهی‌های Tether، Tavus و Waabi آمده است
ساختاریافته و بی‌ساختار؛ Tether حذف پارامترها و attention headهای اضافی را می‌خواهد
سنجش کیفیت قبل و بعد از فشرده‌سازی روی بنچمارک‌ها و وظیفه‌های واقعی؛ Nebius پایداری عددی و هزینهٔ هر توکن را هم در ارزیابی می‌خواهد
بیشتر آگهی‌ها روی این مدل‌هاست؛ Waabi و Tavus مدل‌های diffusion و ویدیو را هم نام برده‌اند
Tavus درک قوی از کارایی inference و مبانی GPU را می‌خواهد؛ بدون آن نمی‌شود فهمید فشرده‌سازی کجا سرعت می‌آورد
NVIDIA Model Optimizer، LLM Compressor، AIMET یا NNCF؛ Waabi استفاده از TensorRT و modelopt را نام برده است
Tavus درک low-rank adapter و Waabi low-rank factorization را می‌خواهد
اندازه‌گیری دقیق تأخیر و حافظه؛ Tavus تجربه در benchmarking و profiling در مقیاس را امتیاز می‌داند
در Tavus و Waabi امتیاز است، نه شرط؛ برای کسی که می‌خواهد سرعت مدل کم‌بیت را خودش تضمین کند
Waabi برای Distillation Lead تجربهٔ آموزش توزیع‌شده در مقیاس بزرگ می‌خواهد
مهارت‌های نرم
Tavus صریحاً توانایی خواندن مقاله، بازتولید نتیجه و تطبیق ایده را می‌خواهد
Nebius و d-Matrix طراحی آزمایش، ablation و تحلیل نتیجه را شرط گذاشته‌اند
Tether مستندسازی روش و نتیجه برای بازتولیدپذیری و نوشتن مقاله را جزو وظایف آورده است
مدل از تیم پژوهش می‌آید و به تیم استقرار یا سخت‌افزار می‌رود؛ تقریباً همهٔ آگهی‌هایی که دیدیم همکاری بین‌تیمی را می‌خواهند
دانش حوزه‌ای
d-Matrix پایهٔ قوی ریاضی کاربردی و روش‌های عددی می‌خواهد؛ فهم خطای گرد کردن و دامنهٔ اعداد اساس quantization است
GPU، NPU گوشی یا شتاب‌دهندهٔ اختصاصی؛ هر کدام نوع‌های عددی و محدودیت حافظهٔ خودش را دارد
Nebius دکترا را شرط گذاشته، Tether آن را ایده‌آل می‌داند و Qualcomm دکترا یا تجربهٔ معادل می‌خواهد؛ سابقهٔ مقاله یا کار متن‌باز این کمبود را تا حدی جبران می‌کند
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به مهندس بهینه‌سازی و فشرده‌سازی مدل
این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.
پایه: Python، PyTorch و یادگیری عمیق
تقریباً همهٔ آگهی‌هایی که دیدیم PyTorch را نام برده‌اند و چند آگهی، مثل Waymo و Qualcomm، JAX را هم می‌پذیرند. Tether «درک محکم از معماری شبکه‌های عصبی و فرایند آموزش» را می‌خواهد: backpropagation، بهینه‌سازی و fine-tuning. فشرده‌سازی یعنی دست بردن در خود مدل، پس باید بدانید مدل چطور آموزش می‌بیند و چرا خراب می‌شود. نوع‌های عددی (FP32، FP16، BF16) را هم همین‌جا خوب بفهمید.
Transformer، مدل‌های زبانی و ارزیابی
پیش از فشرده کردن باید بتوانید کیفیت را اندازه بگیرید. Tavus از مهندس می‌خواهد «متریک تعریف کند، آزمایش اجرا کند و توازن تأخیر، هزینه و کیفیت را بسنجد» و Nebius ارزیابی‌هایی می‌خواهد که کیفیت، پایداری عددی، حافظه و هزینهٔ هر توکن را بپوشانند. با مدل‌های باز Hugging Face کار کنید و یاد بگیرید یک مدل را روی چند بنچمارک بسنجید.
Quantization: از PTQ تا QAT
Tether تجربهٔ عملی با هر دو روش را شرط گذاشته: quantization پس از آموزش (PTQ) و quantization همراه با آموزش (QAT). مقالهٔ مرجع Qualcomm (Nagel و همکاران) می‌نویسد PTQ در بیشتر موارد برای ۸ بیت با دقتی نزدیک به ممیز شناور کافی است و QAT به fine-tuning و دادهٔ برچسب‌دار نیاز دارد اما بیت‌های پایین‌تر را ممکن می‌کند. بعد سراغ روش‌های مخصوص LLM بروید: GPTQ مدل ۱۷۵ میلیارد پارامتری را در حدود چهار ساعت GPU تا ۳ یا ۴ بیت فشرده کرد با افت دقت ناچیز.
Distillation و Pruning
Distillation یعنی آموزش مدل کوچک (student) با خروجی یا ویژگی‌های مدل بزرگ (teacher). Hinton و همکاران در ۲۰۱۵ نشان دادند دانش یک مجموعه مدل را می‌شود در یک مدل منفرد جمع کرد. DistilBERT اندازهٔ BERT را ۴۰٪ کم کرد، ۹۷٪ توانایی درک زبان را نگه داشت و ۶۰٪ سریع‌تر شد. در pruning، SparseGPT مدل‌های خانوادهٔ GPT را بدون آموزش دوباره دست‌کم تا ۵۰٪ sparse کرد. ترکیب این دو هم رایج است: NVIDIA در Minitron مدل را pruning کرد و بعد با distillation و کمتر از ۳٪ دادهٔ آموزش اصلی آن را بازآموزی کرد.
منابع پیشنهادی
ابزارهای صنعتی، سخت‌افزار و استقرار
فشرده‌سازی وقتی ارزش دارد که روی سخت‌افزار واقعی سریع‌تر یا ارزان‌تر شود. d-Matrix از پژوهشگرش می‌خواهد الگوریتم را با تیم سخت‌افزار و کامپایلر به نوع‌های عددی پشتیبانی‌شده و سلسله‌مراتب حافظهٔ شتاب‌دهنده نگاشت کند. ابزارهای صنعتی را یاد بگیرید: NVIDIA Model Optimizer خروجی را برای vLLM، TensorRT-LLM و SGLang آماده می‌کند و LLM Compressor برای استقرار با vLLM ساخته شده است. درس کامل MIT 6.5940 را هم دنبال کنید.
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت
کتابخانه‌های quantization و فشرده‌سازی LLM
quantization، pruning، NAS، distillation، speculative decoding و sparsity در یک کتابخانه؛ ورودی Hugging Face، PyTorch یا ONNX و خروجی آماده برای SGLang، TensorRT-LLM و vLLM
کتابخانهٔ پروژهٔ vLLM برای quantization وزن، activation، KV cache و attention؛ مدل را در قالب compressed-tensors ذخیره می‌کند
ابزار quantization مدل‌های زبانی با روش GPTQ و اجرای سریع روی GPUهای Nvidia، AMD و Intel از طریق Hugging Face، vLLM و SGLang
quantization کم‌بیت (k-bit) برای PyTorch؛ Tim Dettmers، نویسندهٔ LLM.int8() و QLoRA، سازنده و نگه‌دارندهٔ آن است
فشرده‌سازی برای سخت‌افزار خاص و edge
quantization و فشرده‌سازی مدل‌های PyTorch و ONNX برای اجرا روی گوشی و لپ‌تاپ، با روش‌های پس از آموزش و همراه fine-tuning
الگوریتم‌های فشرده‌سازی پس از آموزش و حین آموزش برای اجرای مدل در OpenVINO؛ آگهی Intel تجربه با OpenVINO را امتیاز می‌داند
quantization مدل‌های ONNX؛ آگهی Tavus آشنایی با ONNX Runtime را امتیاز می‌داند
آموزش، distillation و کار با مدل
دسترسی به مدل‌های باز و روش‌های quantization داخلی؛ نقطهٔ شروع بیشتر آزمایش‌ها
آموزش مدل در مقیاس بزرگ؛ NVIDIA Model Optimizer برای تکنیک‌هایی که آموزش لازم دارند با آن یکپارچه است
ارزیابی، استقرار و profiling
موتور serving رایج برای سنجیدن سرعت واقعی مدل فشرده؛ مستنداتش قالب‌های quantization پشتیبانی‌شده را فهرست می‌کند
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید
مهندس یا پژوهشگر جونیور بهینه‌سازی مدل
۰ تا ۲ سال
اجرای آزمایش‌های quantization و سنجش دقت و سرعت زیر نظر یک پژوهشگر ارشد. کارآموزی AI Model Efficiency در Qualcomm (سئول) همین را توصیف می‌کند: پیاده‌سازی و بنچمارک PTQ و QAT و ساخت pipeline ارزیابی و profiling روی سخت‌افزار
مهندس بهینه‌سازی مدل
۲ تا ۵ سال
~$213K
میانگین سالانه (آمریکا)
مسئولیت فشرده‌سازی یک مدل یا یک خانوادهٔ مدل از آزمایش تا تحویل به تیم استقرار. آگهی AI Model Optimization Engineer در Intel کارشناسی با ۳ سال تجربه یا ارشد با ۱ سال تجربه می‌خواهد
مهندس یا پژوهشگر ارشد
۵+ سال
طراحی روش تازه، هم‌طراحی با تیم سخت‌افزار و کامپایلر و تصمیم دربارهٔ توازن کیفیت و کارایی. d-Matrix برای این سطح دست‌کم ۵ سال تجربه و مدرک ارشد یا دکترا می‌خواهد
Lead یا Principal بهینه‌سازی مدل
پس از سطح ارشد
تعیین استراتژی فشرده‌سازی برای کل مدل‌های شرکت و راهنمایی تیم. Distillation Lead در Waabi مالک استراتژی distillation و فشرده‌سازی در perception، world model و planning است
چالش‌ها و جنبه‌های منفی
واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید
افت کیفیتی که در میانگین دیده نمی‌شود
عمومیمدل فشرده ممکن است در میانگین بنچمارک‌ها خوب باشد اما در یک وظیفه یا زبان خاص افت کند. Tether ساختن معیارهای کارایی و «وفاداری» به مدل اصلی را جزو کار می‌داند و Nebius ارزیابی‌هایی می‌خواهد که پایداری عددی و تأخیر انتهایی را هم بپوشانند.
سرعت روی کاغذ، نه روی سخت‌افزار
عمومیکم کردن بیت‌ها همیشه سرعت نمی‌آورد؛ سخت‌افزار و kernel باید آن قالب را پشتیبانی کنند. Elias Frantar بعد از GPTQ، kernel به نام Marlin را نوشت که به گفتهٔ خودش اولین kernel INT4xFP16 با سرعتی نزدیک به حد ایده‌آل در batchهای متوسط بود. d-Matrix هم برای همین از پژوهشگرش می‌خواهد الگوریتم را به نوع‌های عددی پشتیبانی‌شدهٔ تراشه نگاشت کند.
ابزارهایی که زود عوض می‌شوند
عمومیSparseML از Neural Magic در GitHub بایگانی شده و README پروژهٔ TorchAO می‌نویسد توسعهٔ قابلیت تازه در آن کم شده و کار quantization به جاهای دیگر منتقل می‌شود. فهم روش‌ها از منبع اصلی، مثل مقاله‌ها و درس MIT، از وابستگی به یک کتابخانه مطمئن‌تر است.
بازار کوچک و متمرکز
عمومیدر جستجوی ما تعداد آگهی‌هایی که عنوانشان فشرده‌سازی یا Model Efficiency بود بسیار کمتر از آگهی‌های inference بود و بیشترشان در شرکت‌های تراشه، خودروی خودران و شرکت‌هایی‌اند که مدل خودشان را می‌سازند. بسیاری از نقش‌ها هم فشرده‌سازی را با inference یا post-training ترکیب می‌کنند، پس بهتر است مهارت را در یکی از این دو مسیر مجاور هم داشته باشید.
سطح پژوهشی استخدام
تحقیقاتیNebius برای Applied Scientist دکترا را شرط گذاشته، Tether دکترا و مقاله در کنفرانس‌های سطح A* را ایده‌آل می‌داند و Qualcomm دکترا یا تجربهٔ معادل می‌خواهد. راه ورود بدون دکترا معمولاً از نقش‌های مهندسی‌تر می‌گذرد، مثل Intel که کارشناسی با ۳ سال تجربه را می‌پذیرد، یا Waabi که می‌نویسد تجربهٔ عملی در distillation مهم‌ترین چیز است.
هزینهٔ محاسبه برای QAT و distillation
شرکت بزرگPTQ ارزان است، اما QAT و distillation آموزش کامل یا جزئی لازم دارند. Minitron با کمتر از ۳٪ دادهٔ آموزش اصلی کار کرد، اما همین هم برای یک مدل بزرگ GPU زیادی می‌خواهد. Waabi برای این نقش تجربهٔ آموزش توزیع‌شده در مقیاس بزرگ می‌خواهد؛ کاری که معمولاً روی زیرساختی انجام می‌شود که مهندس زیرساخت آموزش ساخته است.
حقوق و بازار کار جهانی
حقوق جهانی مهندس بهینه‌سازی و فشرده‌سازی مدل
حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.
* ارقام سالانه‌اند. منبع هر رقم:
- levels.fyi, updated Oct 23, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (5,954 salaries): 25th–75th pct; median
- Intel posting, AI Model Optimization Engineer (Santa Clara; BS + 3 yrs or MS + 1 yr), posted Oct 15, 2026: US salary range; median = midpoint
- d-Matrix posting, Sr. Staff ML Researcher, LLM Algorithmic Optimization (Santa Clara; 5+ yrs), posted Jul 15, 2026: salary range; median = midpoint
- Waymo posting, Staff ML Engineer, Generative Model Performance & Efficiency (Mountain View / NYC; 5+ yrs), posted Jun 29, 2026: US base range; median = midpoint
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (560 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (507 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (318 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (100 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (125 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (126 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (32 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (206 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (1,353 salaries): 25th–75th pct; median
چگونه از صفر شروع کنیم
برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی
ماه ۱: ارزیابی و مدل‌های باز
یک مدل زبانی کوچک را با Hugging Face اجرا کنید و با lm-evaluation-harness روی چند بنچمارک بسنجید. این خط مبنای همهٔ آزمایش‌های بعدی است.
ماه ۲: مبانی quantization
درس quantization دانشگاه MIT و white paper شرکت Qualcomm را بخوانید و PTQ را روی همان مدل امتحان کنید.
ماه ۳: quantization مدل‌های زبانی
GPTQ و AWQ را با یک ابزار صنعتی روی مدل اجرا کنید و نتیجه را با PTQ ساده مقایسه کنید.
ماه ۴: distillation
الگوی distillation در PyTorch را اجرا کنید و یک مدل کوچک را با teacher آموزش دهید.
ماه ۵: pruning و ابزار NVIDIA
درس pruning را ببینید و یک نمونه از مخزن NVIDIA Model Optimizer را اجرا کنید.
ماه ۶: گزارش و درخواست کار
دو پروژه را با جدول کیفیت در برابر سرعت و حافظه در GitHub بگذارید و برای نقش‌های مهندسی‌تر (مثل AI Model Optimization Engineer) یا تیم‌های inference و edge اقدام کنید.
پروژه‌های پیشنهادی برای رزومه
مقایسهٔ quantization یک مدل زبانی کوچک
مبتدییک مدل باز کوچک را با ۸ بیت و ۴ بیت (مثلاً GPTQ و AWQ) quantize کنید و با lm-evaluation-harness روی چند بنچمارک بسنجید. در یک جدول اندازهٔ فایل، حافظهٔ GPU، سرعت تولید توکن و دقت را کنار هم بگذارید و توضیح دهید کجا افت کیفیت دیده شد.
Distillation یک دسته‌بند متنی
متوسطبا الگوی آموزش PyTorch، یک مدل کوچک را با خروجی یک مدل بزرگ‌تر آموزش دهید و با همان مدل کوچک که بدون teacher آموزش دیده مقایسه کنید. اندازه، سرعت و دقت را گزارش کنید و نتیجه را با ادعای مقالهٔ DistilBERT بسنجید.
PTQ در برابر QAT روی یک مدل بینایی
متوسطیک مدل بینایی را یک بار با PTQ و یک بار با QAT به INT8 و INT4 ببرید. نشان دهید در کدام بیت PTQ کافی است و از کجا QAT لازم می‌شود؛ همان چیزی که white paper شرکت Qualcomm توصیف می‌کند.
Pruning و distillation یک LLM کوچک
پیشرفتهبه روش Minitron، لایه‌ها یا عرض یک LLM کوچک را pruning کنید و بعد با distillation از مدل اصلی بازآموزی کنید. منحنی کیفیت در برابر تعداد توکن‌های بازآموزی را رسم کنید و هزینهٔ محاسبه را صادقانه گزارش دهید.
گزارش کامل فشرده‌سازی تا استقرار
پیشرفتهمدل فشرده‌شده را روی vLLM یا llama.cpp اجرا کنید، سرعت را با Nsight یا ابزارهای خود موتور اندازه بگیرید و یک model card بنویسید: کدام وظیفه‌ها افت کردند، کدام نه و چرا. همین گزارش، نه فقط عدد سرعت، چیزی است که آگهی‌ها با «توازن کیفیت و کارایی» می‌خواهند.
مثال‌های واقعی و Case Studies
داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند
در صفحهٔ شخصی‌اش زمینهٔ کارش را «کارایی و فشرده‌سازی مدل‌های بزرگ» معرفی می‌کند و خود را دانشجوی دکترای ISTA (اتریش) زیر نظر Dan Alistarh می‌نویسد. به گفتهٔ خودش در وقت آزاد ربات‌های حل مکعب روبیک می‌سازد که برخی رکورد زده‌اند.
به نوشتهٔ همین صفحه، در ۲۰۲۲ GPTQ و SparseGPT را ساخت، نخستین روش‌های موفق quantization کم‌بیت و sparsity برای مدل‌های زبانی بسیار بزرگ. GPTQ در کتابخانه‌هایی مثل Transformers، TensorRT-LLM و neural-compressor پشتیبانی می‌شود. بعد QMoE را برای فشرده کردن مدل‌های Mixture-of-Experts با تریلیون پارامتر ساخت و kernel به نام Marlin را نوشت.
مسیر او نشان می‌دهد روش فشرده‌سازی وقتی واقعاً به کار می‌آید که تا اجرای سریع روی سخت‌افزار هم پیش برود؛ او بعد از روش quantization، kernel اجرای آن را هم ساخت.
طبق صفحهٔ شخصی‌اش، کارشناسی را در Tsinghua و ارشد و دکترا را در MIT زیر نظر Song Han گذرانده و در Adobe Research، OmniML و NVIDIA Research کارآموزی یا کار کرده است. امروز پژوهشگر OpenAI است و روی مدل‌های چندوجهی، استدلال و دادهٔ مصنوعی کار می‌کند.
نویسندهٔ اول AWQ است که جایزهٔ بهترین مقالهٔ MLSys 2024 را گرفت و به گفتهٔ صفحه‌اش در TensorRT-LLM، vLLM، Hugging Face TGI و ابزارهای دیگر به کار رفته است. از نویسندگان اول SmoothQuant (ICML 2023) هم هست. صفحه‌اش از مشارکتش در مدل‌هایی مثل GPT-4o و o3 نام می‌برد.
به نظر می‌رسد تخصص در کارایی مدل در را به سوی کار روی خود مدل‌های پیشرو هم باز می‌کند؛ کسی که بداند مدل کجا حساس است، در ساختن مدل هم به کار می‌آید.
پژوهشگر ارشد در تیم Deep Learning Efficiency Research شرکت NVIDIA. طبق صفحهٔ شخصی‌اش، دکترای علوم کامپیوتر را از University of Utah زیر نظر Mary Hall گرفته و آنجا روی بهتر کردن کارایی و مصرف انرژی برنامه‌های GPU با یادگیری ماشین کار می‌کرد.
به نوشتهٔ صفحه‌اش روی فشرده‌سازی LLMها با sparsity، low-rank factorization، distillation و جستجوی معماری کار می‌کند. نویسندهٔ اول مقالهٔ Minitron (NeurIPS 2024) است که خانوادهٔ مدل‌های Nemotron-4 را با pruning و distillation دو تا چهار برابر کوچک کرد و برای ساختن مدل‌های ۸ و ۴ میلیارد پارامتری تا ۴۰ برابر توکن آموزشی کمتر از آموزش از صفر لازم داشت.
مسیر او از بهینه‌سازی برنامه‌های GPU به فشرده‌سازی مدل نشان می‌دهد پیشینهٔ مهندسی کارایی، حتی بیرون از یادگیری ماشین، پلی واقعی به این حوزه است.
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
AI Research Engineer (Model Compression & Quantization)
تحلیل نیازمندی‌ها
A degree in Computer Science or related field. Ideally PhD in NLP, Machine Learning, or a related field, complemented by a solid track record in AI R&D (with good publications in A* conferences).
شرط اصلی مدرک مرتبط است و دکترا «ایده‌آل» است، نه الزامی. اما عبارت مقاله در کنفرانس‌های سطح A* نشان می‌دهد رقابت با کسانی است که سابقهٔ پژوهشی دارند؛ بدون دکترا باید با پروژه‌های قابل بازتولید یا کار متن‌باز جبران کنید.
مهمExperience with PyTorch deep learning frameworks or equivalent frameworks
پایهٔ همهٔ کارهاست. فشرده‌سازی یعنی دست بردن در لایه‌ها، وزن‌ها و حلقهٔ آموزش، پس باید با PyTorch در سطح پایین‌تر از صدا زدن یک API راحت باشید.
ضروریHands-on experience with model quantization including both Quantization-Aware Training (QAT) and Post-Training Quantization (PTQ).
دو خانوادهٔ اصلی quantization: PTQ بعد از آموزش و با دادهٔ کم انجام می‌شود و QAT حین آموزش. آگهی هر دو را می‌خواهد، یعنی باید بدانید کی PTQ کافی است و کی باید سراغ آموزش دوباره رفت.
ضروریResearch and hands-on experience with knowledge distillation for compressing large models into smaller, efficient ones.
distillation یعنی آموزش مدل کوچک با خروجی یا ویژگی‌های مدل بزرگ. کلمهٔ «Research» یعنی فقط اجرای یک دستور آماده کافی نیست؛ باید بتوانید روش را برای مدل چندوجهی تطبیق دهید.
ضروریResearch and hands-on experience with model pruning for compressing large models into smaller, efficient ones.
حذف بخش‌های کم‌اثر مدل. در عمل باید فرق pruning ساختاریافته (که روی سخت‌افزار سرعت می‌آورد) و بی‌ساختار (که شاید فقط حجم را کم کند) را بدانید.
ضروریSolid understanding of neural network architectures and training processes – Including transformers (e.g., LLMs, VLMs), backpropagation, optimization, and fine-tuning techniques.
این شرط نشان می‌دهد نقش به آموزش مدل نزدیک است، نه فقط به اجرای آن. QAT و distillation خودشان آموزش‌اند و بدون فهم backpropagation و بهینه‌سازی نمی‌شود عیبشان را پیدا کرد.
ضروریFamiliarity with C++ is a plus (especially for implementing low-level quantization kernels or inference optimizations).
C++ و kernel نویسی امتیاز است، نه شرط. این همان مرزی است که این نقش را از نقش جداگانهٔ Kernel & Inference Optimization در همین شرکت جدا می‌کند.
مفیدتحلیل مسئولیت‌ها
Apply low-bit quantization to reduce model size and inference latency for generative AI models (LLMs, VLMs, multimodal) while maintaining accuracy and output quality.
کار اصلی: پایین آوردن تعداد بیت‌ها تا مدل کوچک‌تر و سریع‌تر شود. بخش دوم جمله، یعنی حفظ دقت و کیفیت، همان چیزی است که این کار را سخت می‌کند.
Leverage knowledge distillation to transfer capabilities from larger teacher models to smaller student models, enabling efficient multimodal reasoning across text, image, and audio inputs.
distillation در مدل‌های چندوجهی پیچیده‌تر از متن تنهاست، چون مدل student باید هم‌زمان متن، تصویر و صدا را بفهمد. انتخاب اینکه کدام لایه‌ها و خروجی‌های teacher منتقل شوند بخشی از کار است.
Implement pruning techniques to remove redundant parameters and attention heads, reducing computational overhead without sacrificing task performance.
حذف attention headها و پارامترهای اضافی؛ شکلی از pruning ساختاریافته که اگر درست انجام شود، محاسبه را واقعاً کم می‌کند.
Analyze trade-offs between model efficiency (size, latency, memory) and accuracy across quantization, distillation, and pruning methods; propose improvements based on empirical findings.
هیچ روشی همه‌جا بهترین نیست. باید با آزمایش نشان دهید برای این مدل و این دستگاه، کدام ترکیب کمترین افت را با بیشترین صرفه‌جویی دارد.
Research and apply mixed-precision quantization and other advanced compression strategies (e.g., adaptive pruning schedules, distillation with intermediate feature matching) to optimize the accuracy–performance balance.
mixed precision یعنی لایه‌های حساس با بیت بیشتر و بقیه با بیت کمتر. این بخش پژوهشی کار است و نشان می‌دهد انتظار می‌رود فراتر از روش‌های آماده بروید.
Document methodologies, experiments, and results clearly to support reproducibility, internal collaboration, and stakeholder communication.
نتیجهٔ فشرده‌سازی فقط وقتی قابل اعتماد است که کس دیگری بتواند آن را تکرار کند. گزارش دقیق آزمایش‌ها بخشی از تحویل کار است.
Author technical papers and publish findings in top-tier conferences (e.g., NeurIPS, ICML, ICLR, CVPR, ACL, AAAI) to advance the field of model compression for multimodal AI.
انتشار مقاله جزو وظایف است، که در نقش‌های مهندسی معمول نیست. این نشان می‌دهد چرا سابقهٔ پژوهشی در شرایط آگهی وزن دارد.
نتیجه‌گیری کلی
این آگهی تصویر روشنی از نقش می‌دهد: کسی که با quantization (هر دو نوع PTQ و QAT)، distillation و pruning مدل‌های زبانی و چندوجهی را برای اجرا روی گوشی کوچک می‌کند و ثابت می‌کند کیفیت حفظ شده است. کار به پژوهش و آموزش مدل نزدیک است و kernel نویسی فقط امتیاز است. همین شرکت نقش جداگانه‌ای برای Kernel & Inference Optimization آگهی کرده، که مرز این شغل با Inference Engineer را نشان می‌دهد. بازهٔ حقوق در آگهی ذکر نشده است.
آینده و روندها
پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید
BLS آمریکا رشد ۲۲ درصدی اشتغال «پژوهشگران کامپیوتر و اطلاعات» را از ۲۰۲۵ تا ۲۰۳۵ پیش‌بینی می‌کند و یکی از دلایل را نیاز به فناوری‌های مرتبط با هوش مصنوعی می‌داند. BLS گروه جداگانه‌ای برای فشرده‌سازی مدل ندارد؛ این گروه نزدیک‌ترین است، چون آگهی‌های این شغل اغلب مدرک ارشد یا دکترا و کار پژوهشی می‌خواهند.
منبع: BLS Occupational Outlook Handbook — Computer and Information Research Scientists
مهارت‌های نوظهور که باید یاد بگیرید
پیش‌بینی‌های آینده
Deloitte پیش‌بینی می‌کند در ۲۰۲۶ حدود دو سوم توان محاسباتی AI صرف inference شود و بیشتر inference همچنان در دیتاسنترها و روی تراشه‌های گران انجام شود، نه روی تراشه‌های ارزان edge.
در گزارش Future of Jobs 2025 مجمع جهانی اقتصاد (WEF)، کارفرمایان شرکت‌کننده «متخصصان AI و یادگیری ماشین» را در رتبهٔ سوم سریع‌ترین شغل‌های در حال رشد تا ۲۰۳۰ (از نظر درصد) گذاشته‌اند.
BLS پیش‌بینی می‌کند اشتغال پژوهشگران کامپیوتر و اطلاعات در آمریکا از ۲۰۲۵ تا ۲۰۳۵، ۲۲٪ رشد کند.
بخشی از کار در حال خودکار شدن است: ابزارهایی مثل AutoRound و قابلیت AutoQuantize در NVIDIA Model Optimizer انتخاب دقت برای هر لایه را خودکار می‌کنند و Pruna فشرده‌سازی را با چند خط کد عرضه می‌کند. پس ارزش مهندس بیشتر در فهم اینکه چرا یک مدل خراب شده و در طراحی روش برای موارد سخت است، نه در اجرای ابزار. ریسک دوم کوچک و متمرکز بودن بازار است: آگهی‌ها کم‌اند، بیشتر سطح ارشد یا پژوهشی‌اند و در چند صنعت جمع شده‌اند. ریسک سوم سرعت تغییر ابزارهاست؛ SparseML بایگانی شده و TorchAO توسعهٔ قابلیت تازه را کم کرده است.
منابع
اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۵۵ منبع بررسی شده است.
- AI Research Engineer (Model Compression & Quantization) — Tether (job posting)
- AI Research Engineer (Kernel & Inference Optimization) — Tether (job posting)
- Multimodal AI Model Optimization Research Engineer — Tavus (job posting)
- Distillation Lead — Waabi (job posting)
- Senior / Staff ML Onboard Optimization Engineer — Waabi (job posting)
- Sr. Staff ML Researcher, LLM Algorithmic Optimization — d-Matrix (job posting)
- Senior Deep Learning Researcher – Model Efficiency, Amsterdam — Qualcomm (job posting)
- Machine Learning Engineer, Staff (Model Optimization) — Qualcomm (job posting)
- Intern – AI Model Efficiency (Quantization) System/Research Engineer, Seoul — Qualcomm (job posting)
- AI Model Optimization Architect, Cork — Qualcomm (job posting)
- Senior Deep Learning Software Engineer, Inference and Model Optimization — NVIDIA (job posting)
- AI Model Optimization Engineer — Intel (job posting)
- Senior Applied Scientist, Efficient LLM Inference & Model Optimization — Nebius (job posting)
- Staff ML Engineer, Generative Model Performance & Efficiency — Waymo (job posting)
- Staff Tech Lead, Perception, Pre-training & Distillation — Waymo (job posting)
- Manager I, Applied AI - Distilled Models — Datadog (job posting)
- ML Engineer — Pruna AI (job posting)
- Member of Technical Staff, Model Efficiency — Cohere (job posting)
- levels.fyi — ML / AI Software Engineer salary, United States
- levels.fyi — ML / AI Software Engineer salary, Canada
- levels.fyi — ML / AI Software Engineer salary, United Kingdom
- levels.fyi — ML / AI Software Engineer salary, Germany
- levels.fyi — ML / AI Software Engineer salary, Netherlands
- levels.fyi — ML / AI Software Engineer salary, Switzerland
- levels.fyi — ML / AI Software Engineer salary, Australia
- levels.fyi — ML / AI Software Engineer salary, United Arab Emirates
- levels.fyi — ML / AI Software Engineer salary, Singapore
- levels.fyi — ML / AI Software Engineer salary, India
- BLS Occupational Outlook Handbook — Computer and Information Research Scientists
- Deloitte 2026 TMT Predictions — press release
- World Economic Forum — The Future of Jobs Report 2025 (PDF)
- Elias Frantar — personal site
- Ji Lin — personal site
- Saurav Muralidharan — personal site
- Tim Dettmers — About Me
- llama.cpp — GitHub README
- vLLM — Quantization docs
- Pruna — GitHub README
- Distilling the Knowledge in a Neural Network (arXiv 1503.02531)
- DistilBERT (arXiv 1910.01108)
- A White Paper on Neural Network Quantization (arXiv 2106.08295)
- GPTQ (arXiv 2210.17323)
- AWQ (arXiv 2306.00978)
- LLM.int8() (arXiv 2208.07339)
- SparseGPT (arXiv 2301.00774)
- Deep Compression (arXiv 1510.00149)
- Compact Language Models via Pruning and Knowledge Distillation — Minitron (arXiv 2407.14679)
- MIT 6.5940 TinyML and Efficient AI Computing, Fall 2026
- NVIDIA Model Optimizer — GitHub README
- LLM Compressor — GitHub README
- AIMET — GitHub README
- NNCF — GitHub README
- TorchAO — GitHub README (feature-development note)
- AutoRound — GitHub README
- SparseML — GitHub (archived)