مهندس زیرساخت آموزش مدل
Training Infrastructure Engineer
مهندس زیرساخت آموزش مدل سیستمی را می‌سازد و اداره می‌کند که مدل‌های بزرگ هوش مصنوعی روی آن آموزش می‌بینند: کد آموزش توزیع‌شده روی ده‌ها تا هزاران GPU، تقسیم مدل بین GPUها (parallelism)، ارتباط بین آن‌ها، رساندن داده به GPU، checkpoint و بازیابی پس از خرابی، و ابزارهای پایش. هدف این است که هر GPU بیشترین کار مفید را انجام دهد و آموزش‌های چندهفته‌ای با کمترین توقف پیش برود. عنوان دقیق «Model Training Infrastructure Engineer» در آگهی‌های اکتبر ۲۰۲۶ دیده نشد؛ کارفرماها همین کار را با عنوان‌هایی مثل Training Infrastructure Engineer، Member of Technical Staff, AI Training Infrastructure، Research Engineer, Training Systems، Training Performance Engineer یا Research Engineer, Pretraining Scaling آگهی می‌کنند، هم در آزمایشگاه‌های سازندهٔ مدل و هم در شرکت‌های خودروی خودران، رباتیک و ابرهای AI.
مقدمه و تعریف شغل
مهندس زیرساخت آموزش مدل نرم‌افزار و سیستمی را می‌سازد که آموزش مدل‌های بزرگ را روی خوشهٔ GPU ممکن، سریع و پایدار می‌کند. سؤال اصلی او «مدل بهتر کدام است» نیست؛ این است که همان مدل با همان بودجهٔ محاسباتی چقدر سریع‌تر و با چه تعداد توقف کمتر آموزش می‌بیند. آگهی Fireworks کار را این‌طور تعریف می‌کند: طراحی، ساخت و بهینه‌سازی زیرساختی که آموزش مدل در مقیاس بزرگ را پیش می‌برد، در همکاری با پژوهشگران. این کار در محل تلاقی مهندسی نرم‌افزار، محاسبات با کارایی بالا (HPC) و یادگیری عمیق است.
وقتی مدل‌ها از حافظهٔ یک GPU بزرگ‌تر شدند، آموزش به کار مهندسی جداگانه‌ای تبدیل شد. NVIDIA در ۲۰۲۱ نوشت آموزش GPT-3 با ۱۷۵ میلیارد پارامتر روی هشت GPU مدل V100 حدود ۳۶ سال و روی ۵۱۲ GPU حدود هفت ماه طول می‌کشد؛ راه‌حل Megatron این بود که مدل را داخل هر سرور با tensor parallelism و بین سرورها با pipeline parallelism تقسیم کند. BLOOM با ۱۷۶ میلیارد پارامتر در ۲۰۲۲ روی ۳۸۴ GPU مدل A100 و در حدود ۳٫۵ ماه آموزش دید. Meta در ۲۰۲۴ از دو خوشهٔ ۲۴٬۵۷۶ GPU برای Llama 3 خبر داد و مدل ۴۰۵ میلیارد پارامتری آن روی حداکثر ۱۶ هزار GPU مدل H100 آموزش دید. به گفتهٔ Epoch AI، محاسبات آموزش مدل‌های زبانی پیشرو از ۲۰۲۰ سالانه حدود ۵ برابر شده است. در ۲۰۲۶ این کار فقط مال آزمایشگاه‌های مدل نیست: شرکت‌های خودروی خودران، رباتیک، ابرهای AI و حتی شرکت‌های معاملات کمّی برای آن آگهی می‌دهند. بیشتر آگهی‌ها در سطح میانی و ارشدند و حقوق آزمایشگاه‌های پیشرو بالاتر از میانگین مهندسان ML است: Anthropic برای Research Engineer, Pretraining Scaling در سان‌فرانسیسکو ۳۵۰ تا ۸۵۰ هزار دلار و در لندن ۲۶۰ تا ۶۳۰ هزار پوند اعلام کرده و Cohere برای Training Infra Engineer در کانادا حقوق پایهٔ ۲۵۰ تا ۴۶۰ هزار دلار کانادا.
چه چیزی می‌سازید؟
مثال‌های واقعی از خروجی کار یک مهندس زیرساخت آموزش مدل
سیستم آموزش توزیع‌شده روی هزاران GPU
Luma از این مهندس می‌خواهد سیستم‌هایی طراحی و بهینه کند که مدل‌های چندوجهی را روی هزاران GPU آموزش می‌دهند و روش‌های FSDP، tensor، pipeline و expert parallelism را پیاده کند.
بهینه‌سازی کارایی و MFU
Training Performance Engineer در OpenAI اجراهای بزرگ را از سر تا ته profile می‌کند، گلوگاه محاسبه، ارتباط و ذخیره‌سازی را پیدا می‌کند و ابزاری می‌سازد که MFU، throughput و uptime را در خوشه‌ها نشان دهد. برای مقایسه، Meta برای Llama 3 به MFU بین ۳۸ تا ۴۳ درصد رسید.
checkpoint، تحمل خطا و شروع دوبارهٔ خودکار
Figure از مهندس کارایی آموزش می‌خواهد checkpoint، تحمل خطا و شروع دوبارهٔ کشسان را بهتر کند تا کارهای بزرگ پس از خرابی نود بدون از دست دادن زمان زیاد ادامه پیدا کنند.
خط داده‌ای که GPU را منتظر نگذارد
در Kodiak باید داده‌های دوربین، LiDAR و رادار را چنان جریانی و shard شده به GPU برسانید که هیچ GPU منتظر نماند، و پتابایت‌ها لاگ خام رانندگی را به قالب قابل آموزش تبدیل کنید.
پلتفرم آموزش برای چند تیم یا چند مشتری
Prime Intellect پلتفرمی می‌سازد که کاربر با یک فراخوانی API، آموزش LoRA یا fine-tuning کامل را روی خوشهٔ GPU مدیریت‌شده راه بیندازد؛ کار شامل زمان‌بندی روی Kubernetes، gang scheduling و autoscaling برای H100، H200 و B200 است.
ابزار پایش و اشکال‌زدایی آموزش
تیم ML Performance and Scaling در Anthropic ثبت رخداد، داشبوردهای پایش و زیرساخت ارزیابی را برای خط پیش‌آموزش پروداکشن می‌سازد و نگه می‌دارد و مشکلات را از خطای سخت‌افزار و شبکه تا دینامیک آموزش دنبال می‌کند.
تخصص‌های مختلف مهندس زیرساخت آموزش مدل
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
مهندسی کارایی آموزش
Training Performance Engineering
profiling اجراهای بزرگ، بالا بردن MFU، نوشتن kernel و بهتر کردن ارتباط جمعی. عنوان‌های رایج: Training Performance Engineer در OpenAI و Cohere، Helix AI Engineer, Training Performance در Figure و Machine Learning Performance Engineer, Training در Tower.
runtime و فریم‌ورک آموزش
Training Runtime & Frameworks
ساختن خود فریم‌ورکی که آموزش با آن نوشته و اجرا می‌شود: حلقهٔ آموزش، مدیریت state، checkpoint مقاوم و هماهنگی فرایندها. نمونه‌ها: تیم Training Runtime در OpenAI و پروژه‌های متن‌باز Megatron-LM و TorchTitan.
اداره و مقیاس‌دهی پیش‌آموزش
Pretraining Operations & Scaling
زنده نگه داشتن آموزش مدل اصلی شرکت: عملیات مدل، پایش، قابلیت اطمینان و on-call در زمان عرضهٔ مدل‌ها. Anthropic برای Research Engineer, Pretraining Scaling نوشته این کار «بسیار عملیاتی» است و نیمی پژوهش و نیمی مهندسی.
پلتفرم آموزش
Training Platforms
پلتفرم چندمشتری یا چندتیمی برای راه انداختن کارهای آموزش روی Kubernetes: زمان‌بندی، ذخیره‌سازی، پایش و API. نمونه‌ها: Baseten، Prime Intellect، Snowflake Cortex Training و تیم ML Training در Stack AV.
خط داده برای آموزش
Training Data Pipelines
ساختن قالب‌ها و سیستم‌های خواندن داده‌ای که GPU را سیر نگه دارند، به‌خصوص برای داده‌های چندوجهی بزرگ. Kodiak برای همین کار WebDataset و MosaicML Streaming را نام برده و May Mobility داده‌های بیش از ۱۰۰ ترابایت را.
تفاوت با شغل‌های مشابه
کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟
معمار زیرساخت AI خود خوشهٔ GPU را طراحی می‌کند: سرورها، شبکهٔ بین GPUها، ذخیره‌سازی و زمان‌بند. مهندس زیرساخت آموزش روی همان خوشه کار می‌کند و تصمیم می‌گیرد آموزش چطور بین GPUها تقسیم شود، ارتباط چطور با محاسبه هم‌پوشانی داشته باشد و checkpoint کجا و چطور نوشته شود. نقطهٔ تماس انتخاب سخت‌افزار است: Figure از مهندس کارایی آموزش می‌خواهد در انتخاب شتاب‌دهنده، توپولوژی خوشه و تصمیم‌های خرید سخت‌افزار مشارکت کند.
Inference Engineer مدل آموزش‌دیده را برای پاسخ به درخواست‌ها سریع و ارزان اجرا می‌کند: batching، KV cache و تأخیر هر درخواست. مهندس زیرساخت آموزش با یک کار بزرگ و طولانی سروکار دارد که هفته‌ها روی هزاران GPU اجرا می‌شود و معیارش throughput آموزش، MFU و مدت کار بدون توقف است. ابزارها و دانش GPU مشترک‌اند و برخی شرکت‌ها هر دو را در یک نقش می‌خواهند، مثل Performance Engineer (Inference, Training & GPU) در World Labs.
مهندس سیستم‌های توزیع‌شده نرم‌افزاری را می‌سازد که روی ماشین‌های زیاد درست و پایدار کار کند: زمان‌بند، control plane، جابه‌جایی داده و تحمل خطا، برای هر نوع بار. مهندس زیرساخت آموزش همین اصول را مخصوص آموزش مدل به کار می‌برد و باید PyTorch، parallelism و رفتار GPU را هم بفهمد. مرز در خود آزمایشگاه‌ها هم دیده می‌شود: تیم Runtime Foundations در OpenAI با Rust «سیستم‌عامل توزیع‌شده‌ای» می‌سازد که فرایندهای آموزش را هماهنگ می‌کند، در حالی که Training Performance Engineer همان شرکت روی kernel، ارتباط جمعی و sharding مدل کار می‌کند.
مهندس تنظیم دقیق مدل (post-training) روی داده، روش آموزش و ارزیابی کار می‌کند تا رفتار مدل برای یک کار بهتر شود. مهندس زیرساخت آموزش سیستمی را می‌سازد که این آموزش‌ها روی آن اجرا می‌شوند. این دو در پلتفرم‌های fine-tuning به هم می‌رسند: Research Engineer, Large-Scale Training در Together AI زیرساخت آموزش را برای fine-tuning مشتری‌ها بهینه می‌کند و Snowflake برای پلتفرم post-training خود مهندس زیرساختی را ترجیح می‌دهد که «شهود post-training» هم داشته باشد.
تأثیر در صنایع مختلف
مهندس زیرساخت آموزش مدل در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری
آزمایشگاه‌های مدل پیشرو
OpenAI، Anthropic، Thinking Machines، Reflection AI و xAI برای آموزش، کارایی آموزش و runtime آموزش مدل‌های خود نقش‌های جداگانه آگهی کرده‌اند
ابرهای AI و پلتفرم‌های آموزش
Fireworks، Together AI، Baseten و Prime Intellect آموزش و fine-tuning را به‌عنوان سرویس به مشتری‌ها می‌فروشند و برای زیرساخت آن مهندس می‌گیرند
خودروهای خودران
Kodiak، Zoox، Stack AV و May Mobility برای آموزش مدل‌های رانندگی روی داده‌های دوربین، LiDAR و رادار مهندس زیرساخت آموزش می‌خواهند
ربات‌های انسان‌نما
Figure برای تیم Helix مهندسی می‌خواهد که به نوشتهٔ آگهی، کارایی آموزش مدل‌های بیش از ۱۰۰ میلیارد پارامتر را روی بیش از ۱۰۰ هزار GPU بهینه کند
مدل‌های چندوجهی و ویدیو
Luma مدل‌های چندوجهی بزرگ خود را روی هزاران GPU آموزش می‌دهد و برای پایداری و مصرف بهینهٔ خوشه نقش جداگانه دارد
داده و نرم‌افزار سازمانی
Snowflake پلتفرم post-training می‌سازد تا مشتری‌ها مدل‌های open-weight را درون Snowflake روی دادهٔ خودشان تطبیق دهند
معاملات کمّی
Tower Research Capital مهندسی می‌خواهد که آموزش مدل‌های ML را روی CPU، GPU و شتاب‌دهنده‌های دیگر benchmark و بهینه کند؛ آگهی می‌گوید سابقهٔ کار در معاملات لازم نیست
مدل‌های اروپایی
Aleph Alpha در هایدلبرگ مدل پایهٔ خود را پیش‌آموزش می‌دهد و تیم Model Training آن خط آموزشی را ساخته که مدل Kolibri-1 با آن آموزش دیده است
تصورات غلط رایج
قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید
این کار فقط برای دارندگان دکترای یادگیری ماشین است
آگهی‌های این بررسی معمولاً کارشناسی می‌خواهند و Fireworks و Thinking Machines «تجربهٔ معادل» را هم می‌پذیرند؛ Fireworks و Snowflake ارشد یا دکترا را فقط امتیاز می‌دانند. Anthropic سابقه به‌عنوان مهندس سیستم یا quant را هم مرتبط می‌داند و Samyam Rajbhandari، طراح ZeRO، دکترایش را در HPC گرفته، نه در یادگیری ماشین.
یعنی اضافه کردن DDP به کد و زدن دکمهٔ آموزش
DDP نقطهٔ شروع است. Luma نوشته اگر در سطح FSDP و آموزش چندنودی کار نکرده‌اید، این نقش برایتان نیست، و Meta برای Llama 3 چهار نوع parallelism را با هم ترکیب کرد و کتابخانهٔ ارتباطی خودش را از روی NCCL ساخت.
فقط چند آزمایشگاه بزرگ مدل این نقش را دارند
در آگهی‌های اکتبر ۲۰۲۶ شرکت‌های خودروی خودران (Kodiak، Zoox، Stack AV، May Mobility)، رباتیک (Figure)، معاملات کمّی (Tower)، داده (Snowflake) و ابرهای AI (Fireworks، Together، Baseten) هم برای همین کار آگهی داده‌اند.
وقتی آموزش شروع شد، فقط باید منتظر نتیجه ماند
طبق گزارش Llama 3، در یک دورهٔ ۵۴ روزه ۴۶۶ وقفه رخ داد که ۴۱۹ تای آن غیرمنتظره بود و حدود ۷۸٪ آن‌ها به سخت‌افزار برمی‌گشت. Meta با این حال بیش از ۹۰٪ زمان را صرف آموزش مفید کرد، چون بیشتر مشکلات را خودکار حل می‌کرد.
باید پژوهشگر مدل باشید
این کار بیشتر مهندسی است تا پژوهش مدل. OpenAI برای Training: ML Framework Engineer «اجرای آزمایش‌های کوچک ML» و مهندسی نرم‌افزار قوی را خواسته، Stack AV تجربهٔ مدل‌سازی را فقط امتیاز می‌داند و Aleph Alpha روی TDD و طراحی خوب کد تأکید دارد. در عوض نقش‌هایی مثل Anthropic تقسیم تقریباً برابر پژوهش و مهندسی را می‌خواهند.
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
ورود و سال‌های اول (۰–۲ سال)
چون آگهی ورودی کم است، بیشتر کسانی که به این کار می‌رسند اول در نقش‌های پلتفرم ML، DevOps، HPC یا backend کار کرده‌اند. در سال‌های اول کارها مشخص‌ترند: اجرای benchmark، رفع خطاهای کارهای آموزش و یاد گرفتن خوشه و ابزارهای تیم زیر نظر مهندسان ارشد.
- ◆بررسی وضعیت کارهای آموزش شب قبل و گزارش خطاها
- ◆اجرای nccl-tests روی نودهای تازه و مقایسه با نتیجهٔ مرجع
- ◆بررسی لاگ یک کار که متوقف شده و پیدا کردن نود معیوب
- ◆اندازه‌گیری اثر یک تغییر کوچک در data loader روی throughput
- ◆نوشتن runbook برای مشکلی که امروز حل شد
میانی (۲–۵ سال)
مالک یک بخش از پشتهٔ آموزش هستید: data loading، checkpoint، یک بخش از parallelism یا پایش. مسئله را خودتان تعریف می‌کنید، با پژوهشگران دربارهٔ معماری‌های تازه حرف می‌زنید و تغییر را تا اجرای کامل روی خوشه می‌برید.
- ◆بررسی MFU و زمان هر گام آموزش در داشبورد یک اجرای بزرگ
- ◆profiling یک کار با Nsight Systems و پیدا کردن بخشی که منتظر ارتباط است
- ◆جلسه با پژوهشگران دربارهٔ اینکه یک معماری تازه با پیکربندی فعلی parallelism قابل آموزش هست یا نه
- ◆پیاده‌سازی و آزمایش یک بهبود در checkpoint برای کوتاه کردن مکث GPUها
- ◆بازبینی کد هم‌تیمی‌ها و به‌روزرسانی مستندات
ارشد و Staff (۵+ سال)
تصمیم‌های بزرگ‌تر با شماست: پیکربندی parallelism برای مدل بعدی، معماری پلتفرم، اولویت‌ها و اینکه سخت‌افزار تازه چطور سنجیده شود. در زمان عرضهٔ مدل‌ها ممکن است on-call باشید؛ Anthropic نوشته تیم پیش‌آموزشش در این دوره‌ها اغلب ساعت‌های طولانی کار می‌کند و گاهی باید عصرها و آخر هفته‌ها به مشکلات پاسخ دهد.
- ◆بازبینی وضعیت چند اجرای هم‌زمان و تصمیم دربارهٔ اولویت خوشه
- ◆جلسهٔ طراحی دربارهٔ پیکربندی parallelism مدل بعدی
- ◆سنجش یک نوع شتاب‌دهندهٔ تازه با benchmarkهای تیم
- ◆راهنمایی مهندسان دیگر در بازبینی طراحی
- ◆نوشتن postmortem یک حادثهٔ مهم و پیگیری اقدام‌های اصلاحی
مسئولیت‌ها و وظایف
مسئولیت‌های اصلی
وظایف روزانه و مهارت‌های مورد نیاز در این شغل
- ◈طراحی، پیاده‌سازی و بهینه‌سازی سیستم‌های آموزش توزیع‌شده روی خوشه‌های چندنودی GPU، از چند ده تا هزاران GPU
- ◈انتخاب و پیاده‌سازی ترکیب parallelism (FSDP، tensor، pipeline، context و expert) برای مدل‌هایی که در یک GPU جا نمی‌شوند
- ◈profiling آموزش از سر تا ته و رفع گلوگاه در محاسبه، حافظه، ارتباط بین GPUها، ذخیره‌سازی و data loading
- ◈ساختن checkpoint سریع، تحمل خطا و شروع دوبارهٔ خودکار تا کارهای بزرگ پس از خرابی نود با کمترین وقت تلف‌شده ادامه پیدا کنند
- ◈ساختن ابزار پایش، ثبت رخداد و داشبورد برای معیارهایی مثل MFU، throughput و uptime
- ◈خودکارسازی آماده‌سازی، زمان‌بندی و مقیاس‌دهی خوشه برای کارهای آموزش روی Kubernetes یا Slurm
- ◈همکاری نزدیک با پژوهشگران برای تبدیل ایده‌های آزمایشی و معماری‌های تازه به اجراهای آموزش پایدار در مقیاس کامل خوشه
- ◈پاسخ به حادثه‌ها در زمان آموزش‌های مهم، هماهنگی راه‌حل بین تیم‌ها و ثبت درس‌ها و روش‌های اشکال‌زدایی برای تیم
مهارت‌های مورد نیاز
مهارت‌های فنی، نرم و حوزه‌ای که یک مهندس زیرساخت آموزش مدل موفق به آن‌ها نیاز دارد
آموزش توزیع‌شده و یادگیری عمیق
autograd، حلقهٔ آموزش و نحوهٔ اجرای عملیات؛ Kodiak تسلط بر درونیات PyTorch را خواسته است
DDP، FSDP2 و ZeRO؛ بیشتر آگهی‌های این بررسی یکی از این‌ها را نام برده‌اند
دانستن اینکه هر روش کدام مشکل حافظه یا محاسبه را حل می‌کند و چه هزینهٔ ارتباطی دارد
BF16 و FP8 و اثر آن‌ها بر سرعت و پایداری عددی؛ Kodiak آموزش BF16/FP8 روی B200 را خواسته است
کار عملی با دست‌کم یکی از فریم‌ورک‌های آموزش بزرگ
برای اینکه بدانید حافظه و محاسبه در مدل کجا خرج می‌شود
rolloutهای ناهم‌زمان و آموزش RL در مقیاس؛ در آگهی‌های Prime Intellect، Zoox و Baseten
GPU، شبکه و سیستم
سلسله‌مراتب حافظه، tensor cores، عملیات compute-bound در برابر memory-bound
all-reduce، all-gather و reduce-scatter و هم‌پوشانی ارتباط با محاسبه
Nsight Systems، Nsight Compute و PyTorch Profiler و تبدیل trace به بهبود مشخص
NVLink، InfiniBand، RoCE و RDMA؛ Figure جای‌گذاری آگاه از توپولوژی را هم نام برده است
زمان‌بندی کارهای چندنودی، gang scheduling و چرخهٔ عمر کار
قالب‌های جریانی، shard کردن و رساندن داده به GPU بدون انتظار
نوشتن یا تغییر kernel؛ در برخی نقش‌ها شرط است (Cohere Training Performance، Figure، Tower) و در برخی امتیاز
مهارت‌های کاری
پیدا کردن علت مشکل از سخت‌افزار و شبکه تا کد و دینامیک آموزش؛ Figure از hang، OOM، straggler و واگرایی عددی نام برده است
تبدیل ایدهٔ آزمایشی به اجرای پایدار و توضیح صادقانهٔ هزینهٔ هر تغییر
تعریف معیار، طراحی آزمایش و تصمیم بر اساس داده؛ OpenAI «سنجش دقیق کارایی» را خواسته است
Anthropic ثبت دانش سازمانی، روش‌های اشکال‌زدایی و درس‌ها را جزو وظایف آورده است
پاسخ سریع به حادثه در زمان عرضهٔ مدل‌ها و هماهنگی بین تیم‌ها؛ Anthropic آمادگی برای on-call را صریحاً خواسته است
Thinking Machines مشارکت در PyTorch، XLA، Megatron-LM یا DeepSpeed را امتیاز می‌داند
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به مهندس زیرساخت آموزش مدل
این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.
پایه: Python، Linux و سیستم‌های کامپیوتری
این شغل بیش از هر چیز مهندسی نرم‌افزار و سیستم است. آگهی Cohere «مهارت بسیار قوی مهندسی نرم‌افزار» را اولین شرط گذاشته و OpenAI برای تیم Runtime Foundations دانش محکم Linux و اشکال‌زدایی در سطح سیستم را می‌خواهد. پیش از GPU باید بدانید سیستم‌عامل، حافظه، فرایندها و شبکه چطور کار می‌کنند.
یادگیری عمیق و PyTorch از درون
لازم نیست پژوهشگر مدل باشید، اما باید حلقهٔ آموزش، backpropagation، optimizer و معماری Transformer را آن‌قدر بفهمید که بدانید حافظه و محاسبه کجا خرج می‌شود. Kodiak تسلط بر درونیات PyTorch را خواسته و OpenAI برای ML Framework Engineer فقط تجربهٔ «آزمایش‌های کوچک ML» را کافی دانسته، به شرط مهندسی نرم‌افزار قوی.
GPU و مهندسی کارایی
قلب این شغل این سؤال است که GPU در هر لحظه مشغول محاسبه است، منتظر حافظه است یا منتظر شبکه. آگهی Figure درک «عملیات compute-bound در برابر memory-bound» و کار با Nsight و PyTorch Profiler را شرط گذاشته و Tower شناخت سلسله‌مراتب حافظهٔ GPU از register تا HBM را.
آموزش توزیع‌شده و انواع parallelism
وقتی مدل در حافظهٔ یک GPU جا نمی‌شود، باید آن را تقسیم کنید: data parallelism و FSDP، tensor parallelism داخل یک سرور، pipeline parallelism بین سرورها، context parallelism برای متن‌های بلند و expert parallelism برای مدل‌های MoE. Meta برای Llama 3 هر چهار نوع اول را با هم ترکیب کرد. Luma صریحاً نوشته اگر در سطح FSDP و آموزش چندنودی کار نکرده‌اید، این نقش «عمق اشتباهی» است.
آموزش در مقیاس پروداکشن: خوشه، خرابی و پایش
در خوشه‌های بزرگ خرابی جزو کار روزمره است. گزارش Llama 3 نشان می‌دهد در ۵۴ روز ۴۶۶ وقفه رخ داد. این مرحله دربارهٔ زنده نگه داشتن آموزش است: checkpoint سریع، شروع دوبارهٔ خودکار، پیدا کردن GPU کند، زمان‌بندی کار روی Slurm یا Kubernetes و داشبوردهایی که مشکل را زود نشان دهند. بهترین منبع این مرحله گزارش‌های واقعی تیم‌هایی است که مدل بزرگ آموزش داده‌اند.
منابع پیشنهادی
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت
فریم‌ورک‌های آموزش توزیع‌شده
پایهٔ تقریباً همهٔ آگهی‌ها؛ Fireworks، Kodiak و Luma مستقیماً FSDP را نام برده‌اند
کتابخانهٔ NVIDIA برای آموزش Transformer در مقیاس بزرگ با tensor و pipeline parallelism؛ در آگهی‌های Reflection، Kodiak، Zoox و Tower آمده است
کتابخانهٔ بهینه‌سازی آموزش توزیع‌شده که ZeRO از آن آمده است؛ در آگهی‌های Reflection، Kodiak، Together و Snowflake
پیاده‌سازی بومی PyTorch برای آموزش در مقیاس بزرگ که FSDP و tensor، pipeline، context و expert parallelism را با هم ترکیب می‌کند؛ Zoox آن را در کنار Megatron-LM خواسته است
GPU، ارتباط و profiling
کتابخانهٔ ارتباط جمعی NVIDIA بین GPUها؛ در آگهی‌های Reflection، Kodiak، Luma، Figure، Tower و Zoox آمده است
profiler سطح سیستم NVIDIA برای دیدن هم‌زمان CPU، GPU و ارتباط؛ در آگهی‌های Kodiak، Figure، Tower و Zoox
ابزار رسمی برنامه‌نویسی GPU در NVIDIA؛ Cohere، Figure و Tower نوشتن kernel با CUDA را می‌خواهند
زمان‌بندی و اداره خوشه
داده، checkpoint و پایش
قالب داده برای خواندن جریانی داده‌های بزرگ؛ Kodiak آن را کنار MosaicML Streaming نام برده است
جمع‌آوری معیارهای GPU برای داشبورد و هشدار؛ Prime Intellect اداره کردن Prometheus، Grafana و DCGM را جزو کار آورده است
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید
ورود: مهندس پلتفرم یا زیرساخت ML
۰ تا ۲ سال
نقش ورودی با این عنوان تقریباً دیده نمی‌شود. کمترین سابقهٔ اعلام‌شده در آگهی‌های این بررسی دو سال بود (May Mobility برای Machine Learning Engineer II). مسیر معمول ورود، کار در نقش‌های نزدیک مثل مهندسی پلتفرم ML، DevOps، HPC یا backend و بعد جابه‌جایی به تیم آموزش است
Training Infrastructure Engineer
۲ تا ۵ سال
~$265K
میانگین سالانه (آمریکا)
ساخت و نگهداری خط آموزش توزیع‌شده، profiling و رفع گلوگاه، کار روی data loading و checkpoint. Kodiak دو تا سه سال سابقه می‌خواهد (حقوق پایه ۱۹۰ تا ۲۶۰ هزار دلار) و Fireworks، Figure و Tower سه سال؛ بازهٔ Fireworks ۲۱۰ تا ۳۲۰ هزار دلار است
Senior Training Infrastructure / ML Systems Engineer
۵+ سال
~$302K
میانگین سالانه (آمریکا)
مالکیت یک بخش از پشتهٔ آموزش، تصمیم دربارهٔ parallelism و معماری پلتفرم، هدایت پروژه‌ها از ابتدا تا انتها. Baseten پنج سال، Snowflake برای سطح Senior شش سال و Zoox هفت سال (چهار سال روی پلتفرم‌های آموزش بزرگ) سابقه می‌خواهند؛ بازهٔ Zoox ۲۵۴ تا ۳۵۰ هزار دلار است
Staff / Principal
۶ تا ۸+ سال
تعیین جهت فنی پشتهٔ آموزش در سطح سازمان، هماهنگی با تیم‌های پژوهش و سخت‌افزار و تصمیم‌های چندفصلی. Stack AV برای Staff شش سال و Genesis هشت سال سابقه می‌خواهند؛ Figure از مهندس کارایی آموزش می‌خواهد در تصمیم انتخاب شتاب‌دهنده، توپولوژی خوشه و خرید سخت‌افزار هم مشارکت کند
چالش‌ها و جنبه‌های منفی
واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید
خرابی سخت‌افزار جزو کار روزمره است
عمومیMeta در گزارش Llama 3 می‌نویسد آموزش هم‌گام در برابر خطا شکننده است و خرابی یک GPU ممکن است کل کار را از نو راه بیندازد. در یک دورهٔ ۵۴ روزه ۴۱۹ وقفهٔ غیرمنتظره رخ داد و GPUها با ۵۸٫۷٪ بزرگ‌ترین دسته بودند. طراحی سیستمی که بیشتر این‌ها را خودکار حل کند، بخش بزرگی از کار است.
GPU کند، نه خراب
تحقیقاتیبدتر از خرابی، کندی است. به نوشتهٔ همان گزارش، حتی یک GPU کند (straggler) می‌تواند هزاران GPU دیگر را کند کند و معمولاً فقط به شکل ارتباطی کند دیده می‌شود. پیدا کردن آن به ابزار و صبر نیاز دارد.
فشار checkpoint روی ذخیره‌سازی
شرکت بزرگcheckpoint باید زیاد گرفته شود تا کار کمتری از دست برود، اما هر بار همهٔ GPUها هم‌زمان می‌نویسند. Meta می‌گوید این نوشتن‌های ناگهانی ذخیره‌سازی را برای مدتی کوتاه اشباع می‌کند و هر GPU بین ۱ مگابایت تا ۴ گیگابایت state ذخیره می‌کرد.
اثر برق و محیط
شرکت بزرگدر مقیاس ده‌ها هزار GPU مسائل فیزیکی هم وارد می‌شوند. Meta تغییر روزانهٔ ۱ تا ۲ درصدی throughput را به دمای بالاتر میانهٔ روز نسبت داد و نوشت توقف و شروع هم‌زمان GPUها نوسان مصرف برق در حد ده‌ها مگاوات ایجاد می‌کند.
ساعت‌های طولانی در زمان عرضهٔ مدل
تحقیقاتیAnthropic صریحاً نوشته کار تیم پیش‌آموزش «بسیار عملیاتی» است و در زمان عرضهٔ مدل‌ها (launch) تیم اغلب ساعت‌های طولانی کار می‌کند و گاهی باید عصرها و آخر هفته‌ها به مشکلات پاسخ دهد. این شغل برای همه مناسب نیست.
بازاری که بیشتر سابقه‌دار می‌خواهد
عمومیکمترین سابقهٔ اعلام‌شده در آگهی‌های این بررسی دو سال بود و بیشتر آگهی‌ها سه تا هشت سال می‌خواهند (Fireworks سه، Baseten پنج، Stack AV شش، Zoox هفت، Genesis هشت). ورود مستقیم دشوار است و معمولاً از نقش‌های نزدیک انجام می‌شود.
سخت‌افزار و ابزار مدام عوض می‌شوند
استارتاپKodiak روی B200 و FP8 کار می‌کند، Figure از مهندس می‌خواهد AMD، TPU و ASICهای تازه را بسنجد و Cohere در کنار PyTorch، JAX و XLA را می‌خواهد. دانشی که امروز یاد می‌گیرید باید مدام به‌روز شود.
حقوق و بازار کار جهانی
حقوق جهانی مهندس زیرساخت آموزش مدل
حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.
* ارقام سالانه‌اند. منبع هر رقم:
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (5,949 salaries): 25th–75th pct; median
- Fireworks AI posting, Member of Technical Staff, AI Training Infrastructure (San Mateo, 3+ years), posted Jul 31, 2026: salary range; median = midpoint
- Zoox posting, Senior/Staff Software Engineer, ML Training Optimization (Foster City / Seattle, 7+ years), posted Oct 16, 2026: salary range; median = midpoint
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (560 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (507 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (318 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (100 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (125 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (126 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (32 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (206 salaries): 25th–75th pct; median
- levels.fyi, updated Oct 22, 2026, proxy 'Software Engineer – ML / AI' focus, total comp (1,353 salaries): 25th–75th pct; median
چگونه از صفر شروع کنیم
برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی
ماه ۱: آموزش توزیع‌شدهٔ پایه
PyTorch Distributed را یاد بگیرید و یک مدل کوچک را با DDP روی دو GPU اجرا کنید. nanochat را بخوانید تا ببینید یک خط کامل آموزش LLM در کد کوچک چه شکلی دارد.
ماه ۲: کارایی GPU و profiling
یاد بگیرید زمان هر گام آموزش کجا خرج می‌شود. مقالهٔ Horace He را بخوانید و با PyTorch Profiler و Nsight Systems trace بگیرید.
ماه ۳: FSDP2 و حافظه
یک مدل بزرگ‌تر را با FSDP2، mixed precision و activation checkpointing آموزش دهید و حافظه و throughput را با DDP مقایسه کنید.
ماه ۴: parallelism چندبعدی
The Ultra-Scale Playbook را بخوانید و با TorchTitan ترکیب FSDP، tensor و pipeline parallelism را امتحان کنید.
ماه ۵: چند نود، checkpoint و خرابی
یک کار را روی دو نود با Slurm یا Kubernetes اجرا کنید، سرعت ارتباط را با nccl-tests بسنجید و checkpoint و شروع دوباره را تمرین کنید.
ماه ۶: نمونه‌کار و درخواست
دو پروژه از بخش نمونه‌کار را با گزارش دقیق اندازه‌گیری منتشر کنید. در جستجوی شغل عنوان‌هایی مثل Training Infrastructure، Training Performance، Training Systems و ML Systems را امتحان کنید، نه فقط عنوان این صفحه.
پروژه‌های پیشنهادی برای رزومه
آموزش یک LLM کوچک با nanochat و گزارش کارایی
مبتدیnanochat را روی یک نود GPU اجرا کنید و یک مدل کوچک را از صفر آموزش دهید. هدف خود مدل نیست؛ گزارشی بنویسید از throughput (توکن در ثانیه)، مصرف حافظه، MFU و اثر تغییر batch size و دقت عددی. نشان دهید زمان هر گام کجا خرج می‌شود.
مقایسهٔ DDP و FSDP2 روی چند GPU
متوسطیک مدل Transformer را یک بار با DDP و یک بار با FSDP2 روی ۲ تا ۸ GPU آموزش دهید. حافظهٔ هر GPU، throughput و سهم ارتباط را اندازه بگیرید و traceهای Nsight Systems را در README توضیح دهید: کجا محاسبه و ارتباط هم‌پوشانی دارند و کجا ندارند.
آزمایش ترکیب‌های parallelism با TorchTitan
پیشرفتهبا TorchTitan یک مدل را با چند پیکربندی (فقط FSDP، FSDP همراه tensor parallelism، اضافه کردن pipeline) اجرا کنید و جدولی از throughput و حافظه بسازید. توضیح دهید چرا یک پیکربندی برای این اندازهٔ مدل و این تعداد GPU بهتر است.
checkpoint مقاوم و شروع دوبارهٔ خودکار
متوسطیک کار آموزش چند GPU بسازید که با PyTorch Distributed Checkpoint به‌طور منظم checkpoint بگیرد. وسط آموزش یک فرایند را عمداً بکشید و نشان دهید کار از آخرین checkpoint بدون خطا ادامه پیدا می‌کند. زمان ذخیره، زمان بازیابی و مقدار کار از دست رفته را گزارش کنید.
خط داده‌ای که GPU را بیکار نگذارد
پیشرفتهیک dataset بزرگ تصویر یا متن را به قالب جریانی (WebDataset یا MosaicML Streaming) تبدیل کنید و آموزش را یک بار با خواندن معمولی و یک بار با خواندن جریانی اجرا کنید. درصد زمانی را که GPU منتظر داده است اندازه بگیرید؛ همان مسئله‌ای که Kodiak در آگهی‌اش با عبارت «بدون متوقف کردن حتی یک GPU» توصیف کرده است.
مثال‌های واقعی و Case Studies
داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند
به گفتهٔ سایت خودش، از ۱۹۹۴ نرم‌افزار می‌نویسد و حالا در آموزش مدل‌های زبانی و چندوجهی در اکوسیستم PyTorch تخصص دارد. از ۲۰۲۰ تا ۲۰۲۳ در Hugging Face بود، بعد در Contextual.AI روی یک فریم‌ورک آموزش توزیع‌شده و مدل‌های RAG کار کرد و اکنون در Snowflake AI Research نرم‌افزار post-training کارا می‌سازد. در حدود ۲۰۲۰ هم در توسعهٔ fastai کمک کرده است.
به نوشتهٔ خودش، مهندس اصلی آموزش مدل ۱۷۶ میلیارد پارامتری BLOOM روی ۳۸۴ GPU مدل A100 بود، که در ۲۰۲۲ بزرگ‌ترین مدل زبانی چندزبانهٔ با دسترسی باز بود، و در ۲۰۲۳ با تیمش مدل چندوجهی IDEFICS-80b را روی ۵۱۲ GPU مدل A100 آموزش داد. کتاب رایگان Machine Learning Engineering Open Book را نگه می‌دارد و در ۲۰۲۳ جایزهٔ جامعهٔ PyTorch را گرفت.
او در کنار کار، دانسته‌هایش را در یک کتاب رایگان و عمومی نوشته و نگه می‌دارد. در این شغل، ثبت منظم هر مشکل و راه‌حلش خودش به یک دارایی حرفه‌ای تبدیل می‌شود.
طبق صفحهٔ معرفی‌اش در NVIDIA، دکترایش را در ۲۰۱۰ از Stanford گرفت. پیش از NVIDIA در DeepMind و Baidu USA کار می‌کرد و تلاش‌هایی را برای به‌کارگیری deep learning و reinforcement learning در کاربردهای واقعی رهبری می‌کرد.
پژوهشگر ارشد NVIDIA است و تیم NLP را در گروه Applied Deep Learning Research مدیریت می‌کند؛ تیمی که روی مدل‌سازی زبان، کاربردهای NLP و آموزش در مقیاس بزرگ کار می‌کند. از نویسندگان پست‌های فنی NVIDIA دربارهٔ Megatron است، از جمله «Scaling Language Model Training to a Trillion Parameters Using Megatron» (۲۰۲۱)، و پستی دربارهٔ NeMo Data Curator برای آماده کردن datasetهای تریلیون توکنی (۲۰۲۳).
کار او در شرکتی انجام می‌شود که خودش GPU می‌سازد. نزدیکی به سخت‌افزار دیدی می‌دهد که در طراحی نرم‌افزار آموزش بزرگ ارزش زیادی دارد.
طبق صفحهٔ معرفی‌اش در Snowflake، دکترای محاسبات با کارایی بالا (HPC) را از Ohio State University گرفته است. پیش از Snowflake از بنیان‌گذاران و معمار سیستم DeepSpeed در Microsoft بود و روی زیرساخت‌های پرکارایی برای آموزش و inference یادگیری عمیق روی سیستم‌های موازی و توزیع‌شده کار می‌کرد.
طراح سیستم‌هایی مثل ZeRO و 3D parallelism است؛ به نوشتهٔ همان صفحه، این روش‌ها را بسیاری از فریم‌ورک‌های یادگیری عمیق به کار گرفته‌اند. در Snowflake طراحی و توسعهٔ مدل MoE شرکت، Snowflake Arctic، را هم‌رهبری کرد و اکنون Principal AI Architect است و کار بهینه‌سازی inference، از جمله SwiftKV، را رهبری می‌کند.
مسیر او از HPC به آموزش مدل‌های بزرگ نشان می‌دهد که دانش محاسبات موازی و توزیع‌شده مستقیم به این شغل منتقل می‌شود.
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
Member of Technical Staff, AI Training Infrastructure
تحلیل نیازمندی‌ها
3+ years of experience with distributed systems and ML infrastructure
سه سال سابقه یعنی سطح میانی. نکته این است که سابقه در «سیستم‌های توزیع‌شده و زیرساخت ML» شمرده می‌شود، نه فقط آموزش مدل؛ کسی که در پلتفرم ML یا زیرساخت کار کرده می‌تواند داوطلب باشد.
ضروریExperience with PyTorch
PyTorch زبان مشترک این شغل است. باید بتوانید کد آموزش را بخوانید و تغییر دهید، نه فقط یک مدل آماده را اجرا کنید. Fireworks به نوشتهٔ آگهی خودش را تیم سازندهٔ PyTorch بنیان گذاشته‌اند.
ضروریKnowledge of distributed training techniques (data parallelism, model parallelism, FSDP)
باید بدانید کی مدل را تکثیر می‌کنید (data parallelism)، کی آن را تقسیم می‌کنید (model parallelism) و FSDP چطور حافظه را بین GPUها پخش می‌کند. انتظار دارند در مصاحبه هزینهٔ ارتباطی هر روش را توضیح دهید.
ضروریExperience with containerization, orchestration (Kubernetes, Docker)
این آگهی سمت پلتفرم کار را هم دارد: کارهای آموزش در کانتینر اجرا و با Kubernetes زمان‌بندی می‌شوند. سابقهٔ DevOps یا پلتفرم اینجا مستقیم به کار می‌آید.
ضروریProficiency in cloud platforms (AWS, GCP, Azure)
زیرساخت آموزش این شرکت روی ابر است، نه فقط خوشهٔ اختصاصی. باید با منابع محاسبه، شبکه و ذخیره‌سازی ابری کار کرده باشید.
مهمBachelor's degree in Computer Science, Computer Engineering, or related field, or equivalent practical experience
مدرک شرط سخت نیست؛ «تجربهٔ عملی معادل» هم پذیرفته می‌شود. کارشناسی ارشد و دکترا فقط در بخش ترجیحی آمده‌اند.
مهمExperience training large language models or multimodal AI systems
ترجیحی است، نه اجباری. اگر خودتان یک مدل زبانی را روی چند GPU آموزش داده و نتیجه را مستند کرده باشید، همین بند را تا حدی پوشش می‌دهید.
مفیدBackground in optimizing high-performance distributed computing systems
سابقهٔ HPC یا هر سیستم توزیع‌شدهٔ حساس به کارایی اینجا امتیاز است؛ یکی از راه‌های طبیعی ورود به این شغل.
مفیدContributions to open-source ML infrastructure or related projects
مشارکت در پروژه‌هایی مثل PyTorch، TorchTitan یا DeepSpeed نشان می‌دهد در کد واقعی و بزرگ کار کرده‌اید. برای کسی بدون سابقهٔ کاری مستقیم، این یکی از بهترین راه‌های دیده شدن است.
مفیدتحلیل مسئولیت‌ها
Design and implement scalable infrastructure for large-scale model training workloads
یعنی ساختن لایه‌ای که کارهای آموزش بزرگ روی آن اجرا می‌شوند: منابع محاسبه، زمان‌بندی، ذخیره‌سازی و شبکه، به شکلی که با بزرگ‌تر شدن کارها از کار نیفتد.
Develop and maintain distributed training pipelines for LLMs and multimodal models
خط آموزش از خواندن داده تا checkpoint. «نگهداری» مهم است: این خط‌ها مدام با مدل‌ها و روش‌های تازه تغییر می‌کنند.
Optimize training performance across multiple GPUs, nodes, and data centers
سه سطح بهینه‌سازی: داخل سرور، بین سرورها و حتی بین مراکز داده. هرچه بالاتر بروید، ارتباط کندتر و هم‌پوشانی آن با محاسبه مهم‌تر می‌شود.
Implement monitoring, logging, and debugging tools for training operations
بدون پایش خوب، خرابی و کندی دیر دیده می‌شوند. این ابزارها معمولاً معیارهای GPU، throughput و وضعیت هر کار را نشان می‌دهند.
Architect and maintain data storage solutions for large-scale training datasets
داده باید سریع‌تر از مصرف GPU برسد. انتخاب قالب داده، shard کردن و سیستم ذخیره‌سازی بخشی از کار است.
Automate infrastructure provisioning, scaling, and orchestration for model training
کار دستی در این مقیاس جواب نمی‌دهد. آماده کردن نود، بزرگ و کوچک کردن خوشه و زمان‌بندی کارها باید خودکار باشد.
Troubleshoot complex performance issues in distributed training environments
مشکلاتی مثل hang، کندی یک نود یا کاهش ناگهانی throughput که علتشان ممکن است در سخت‌افزار، شبکه یا کد باشد. صبر و روش منظم اشکال‌زدایی اینجا تعیین‌کننده است.
نتیجه‌گیری کلی
این آگهی نمونهٔ سطح میانی این شغل است: سه سال سابقه در سیستم‌های توزیع‌شده و زیرساخت ML، تسلط بر PyTorch و روش‌های آموزش توزیع‌شده، و در کنارش Kubernetes و ابر. بازهٔ حقوق اعلام‌شده ۲۱۰ تا ۳۲۰ هزار دلار به‌علاوهٔ سهام است. ترکیب مهارت‌ها نشان می‌دهد کسی که از پلتفرم ML، DevOps یا HPC می‌آید و آموزش توزیع‌شده را عملاً یاد گرفته، داوطلب جدی این نقش است.
آینده و روندها
پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید
BLS پیش‌بینی می‌کند اشتغال Software Developers در آمریکا از ۲۰۲۵ تا ۲۰۳۵ حدود ۱۰٪ رشد کند (از ۱٬۷۱۷٬۸۰۰ به ۱٬۸۹۲٬۶۰۰ نفر)، که «بسیار سریع‌تر از میانگین» همهٔ شغل‌هاست. گروه رسمی جداگانه‌ای برای مهندسی زیرساخت آموزش وجود ندارد و این نزدیک‌ترین گروه رسمی است.
منبع: BLS Occupational Outlook Handbook, Software Developers (2025–2035, US)
مهارت‌های نوظهور که باید یاد بگیرید
پیش‌بینی‌های آینده
Epoch AI (به‌روزرسانی فوریهٔ ۲۰۲۶): محاسبات آموزش مدل‌های زبانی پیشرو از ۲۰۲۰ سالانه حدود ۵ برابر و هزینهٔ آموزش سالانه حدود ۳٫۵ برابر شده و بزرگ‌ترین مرکز دادهٔ AI شناخته‌شده ظرفیتی معادل ۱٫۱ میلیون GPU مدل H100 دارد. به نوشتهٔ Epoch این روندها به نظر می‌رسد تا ۲۰۳۰ ادامه پیدا کنند.
پیش‌بینی Epoch AI (اوت ۲۰۲۴): آموزش‌هایی با 2e29 FLOP احتمالاً تا ۲۰۳۰ شدنی است. اولین محدودیت برق و بعد ظرفیت ساخت تراشه است، و بزرگ‌تر شدن از آن به شبکهٔ پرسرعت بین مراکز دادهٔ پراکنده نیاز دارد؛ یعنی آموزش توزیع‌شده بین چند مرکز داده.
پیش‌بینی BLS: اشتغال Software Developers در آمریکا از ۲۰۲۵ تا ۲۰۳۵ حدود ۱۰٪ رشد می‌کند، بسیار سریع‌تر از میانگین همهٔ شغل‌ها.
بازار این شغل در چند نوع شرکت متمرکز است: آزمایشگاه‌های مدل، ابرهای AI، خودروی خودران و رباتیک. اگر سرمایه‌گذاری روی آموزش مدل‌های بزرگ کند شود، این تقاضا هم کم می‌شود. بخشی از کار هم در حال خودکار شدن است: Meta بیشتر وقفه‌های آموزش Llama 3 را خودکار حل کرد و Figure سیستم‌هایی می‌خواهد که kernel را خودکار تولید و benchmark کنند. ارزش مهندس به سمت طراحی، اندازه‌گیری و قضاوت می‌رود. فشار کاری در زمان عرضهٔ مدل‌ها و نیاز به سابقهٔ چندساله هم واقعیت‌های این مسیرند.
منابع
اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۴۸ منبع بررسی شده است.
- Member of Technical Staff, AI Training Infrastructure — Fireworks AI (job posting)
- Senior AI Infrastructure Engineer - Model Training — Kodiak AI (job posting)
- Research Scientist / Engineer – Training Infrastructure — Luma AI (job posting)
- Member of Technical Staff - Pre-Training Infra — Reflection AI (job posting)
- Research Engineer, Infrastructure, Training Systems — Thinking Machines Lab (job posting)
- Member of Technical Staff, Training Infra Engineer — Cohere (job posting)
- Staff Software Engineer, ML Training Infrastructure — Stack AV (job posting)
- Senior/Staff Software Engineer, ML Training Optimization — Zoox (job posting)
- Software Engineer - Training Infrastructure — Baseten (job posting)
- Training Performance Engineer — OpenAI (job posting)
- Training - Runtime Foundations Engineer — OpenAI (job posting)
- Training: ML Framework Engineer — OpenAI (job posting)
- Research Engineer, Pretraining Scaling — Anthropic (job posting)
- Research Engineer, Pretraining Scaling - London — Anthropic (job posting)
- Research Engineer, Large-Scale Training — Together AI (job posting)
- Research Engineer - Distributed Training — Prime Intellect (job posting)
- Member of Technical Staff - Training Platform — Prime Intellect (job posting)
- Machine Learning Engineer II - Autonomous Driving Training Infrastructure — May Mobility (job posting)
- Helix AI Engineer, Training Performance — Figure AI (job posting)
- Machine Learning Performance Engineer, Training — Tower Research Capital (job posting)
- Software Engineer - Cortex LLM Training Platform — Snowflake (job posting)
- Senior AI R&D Engineer – Model Training — Aleph Alpha (job posting)
- Training / AI Infrastructure — Genesis (job posting)
- levels.fyi — ML / AI Software Engineer Salary, United States
- levels.fyi — ML / AI Software Engineer Salary, Canada
- levels.fyi — ML / AI Software Engineer Salary, United Kingdom
- levels.fyi — ML / AI Software Engineer Salary, Germany
- levels.fyi — ML / AI Software Engineer Salary, Netherlands
- levels.fyi — ML / AI Software Engineer Salary, Switzerland
- levels.fyi — ML / AI Software Engineer Salary, Australia
- levels.fyi — ML / AI Software Engineer Salary, United Arab Emirates
- levels.fyi — ML / AI Software Engineer Salary, Singapore
- levels.fyi — ML / AI Software Engineer Salary, India
- BLS Occupational Outlook Handbook — Software Developers, Quality Assurance Analysts, and Testers
- The Llama 3 Herd of Models (Meta, arXiv 2407.21783)
- Building Meta’s GenAI Infrastructure — Engineering at Meta
- Scaling Language Model Training to a Trillion Parameters Using Megatron — NVIDIA Technical Blog
- The Technology Behind BLOOM Training — Hugging Face blog (Stas Bekman)
- Trends in AI — Epoch AI
- Can AI scaling continue through 2030? — Epoch AI
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism (arXiv 1909.08053)
- ZeRO: Memory Optimizations Toward Training Trillion Parameter Models (arXiv 1910.02054)
- torchtitan — GitHub
- nanochat — GitHub (Andrej Karpathy)
- Machine Learning Engineering Open Book — Stas Bekman
- Stas Bekman — Machine Learning: LLM/VLM Training and Engineering
- Mohammad Shoeybi — NVIDIA Technical Blog author page
- Samyam Rajbhandari — Snowflake author page