مهندس خوشهٔ GPU
GPU Cluster Engineer
مهندس خوشهٔ GPU خوشه‌ای از سرورهای GPU را که مدل‌های هوش مصنوعی روی آن آموزش می‌بینند و اجرا می‌شوند، از روز نصب تا روز بازنشستگی سرپا نگه می‌دارد: سیستم‌عامل و درایورها، تست سلامت و پذیرش هر نود، زمان‌بند کارها، پایش، و تعمیر یا تعویض سخت‌افزار خراب. عنوان قدیمی این صفحه، «GPU Cluster Manager»، عنوان شغلی‌ای نیست که کارفرماها به کار ببرند؛ در جستجوی اکتبر ۲۰۲۶ هیچ آگهی‌ای با این نام پیدا نشد. همین کار با عنوان GPU Cluster Engineer (Sciforium و NEURA Robotics)، HPC Cluster Engineer (NVIDIA)، HPC Engineer یا Operations Engineer در تیم‌های Fleet (Lambda و CoreWeave) و HPC Operations Engineer (Tower Research و Jump Trading) آگهی می‌شود.
مقدمه و تعریف شغل
مهندس خوشهٔ GPU کسی است که خوشه را بعد از طراحی و تحویل، به کار می‌اندازد و کارکردنی نگه می‌دارد. Sciforium کار را به سه نقش تقسیم کرده و هر سه را GPU Cluster Engineer نامیده است: Hardware Operations سلامت فیزیکی ماشین‌ها را بر عهده دارد، Systems & Platform تعریف می‌کند یک نود آماده برای پروداکشن در نرم‌افزار چه شکلی است (از تنظیم kernel و درایور GPU تا زمان‌بند و کانتینر)، و Networking شبکهٔ خوشه را. NEURA Robotics تمرکز را صریح نوشته است: «مهندسی و عملیات خوشه، نه خود پژوهش ML»، یعنی مطمئن شدن از اینکه پژوهشگران زیرساختی پایدار، کارآمد و در دسترس زیر دست دارند. این همان شغل قدیمی مدیر سیستم HPC است که حالا با GPU، درایورهای پیچیده‌تر و کاربرانی که مدل آموزش می‌دهند سروکار دارد.
اندازهٔ کار را گزارش‌های عمومی نشان می‌دهند. Meta در ۲۰۲۴ دو خوشهٔ ۲۴٬۵۷۶ GPU برای آموزش Llama 3 معرفی کرد و در مقالهٔ Llama 3 نوشت در یک دورهٔ ۵۴ روزه از آموزش روی ۱۶ هزار GPU، ۴۶۶ بار کار متوقف شد: ۴۷ توقف برنامه‌ریزی‌شده برای نگهداری مثل به‌روزرسانی firmware بود و ۴۱۹ توقف پیش‌بینی‌نشده، که حدود ۷۸٪ آن‌ها به سخت‌افزار برمی‌گشت. Imbue هم شرح داده چطور خوشه‌ای با ۴٬۰۸۸ GPU H100 روی ۵۱۱ سرور را از bare metal به کار انداخت. کارفرماها چند گروه‌اند: ابرهای GPU (CoreWeave، Lambda، Nebius، Fluidstack، TensorWave، Firmus)، شرکت‌های سازندهٔ مدل (Sciforium، Thinking Machines)، شرکت‌های تراشه (NVIDIA، Cerebras)، صندوق‌های معاملات کمّی (Tower Research، Jump Trading) و شرکت‌هایی مثل NEURA Robotics که خوشه را روی ابر اجاره می‌کنند. در آگهی‌های آمریکایی که دیدیم، حقوق پایه از ۸۳ تا ۱۱۰ هزار دلار برای نقش ورودی CoreWeave تا بازه‌هایی مثل ۲۲۷ تا ۳۵۶ هزار دلار برای نقش ارشد Lambda و ۳۵۰ تا ۴۷۵ هزار دلار در Thinking Machines است.
چه چیزی می‌سازید؟
مثال‌های واقعی از خروجی کار یک مهندس خوشهٔ GPU
نود آماده برای پروداکشن
در Sciforium مهندس Systems & Platform مالک image نسخه‌دار سیستم‌عامل، تنظیمات kernel (NUMA، hugepages، IRQ affinity، cgroups) و پشتهٔ درایور GPU و کارت شبکه است و خط لوله‌ای می‌سازد که سرور تازه را خودکار به نود آماده می‌رساند.
تست پذیرش و burn-in
Sciforium هر نود را پیش از ورود به صف کارها با تست‌های DCGM، nccl-tests یا RCCL، بررسی پهنای باند و توپولوژی و HPL می‌سنجد. Fluidstack برای هر نسل تازهٔ GPU یک پلتفرم صلاحیت‌سنجی دارد که «آماده برای پروداکشن» را پیش از راه افتادن سایت تعریف می‌کند.
خط لولهٔ تعمیر
Fluidstack می‌نویسد در مقیاس آن‌ها خرابی GPU «تیکت نیست، مسئلهٔ throughput است» و ابزاری می‌سازد که قطعه را از تشخیص خطا تا دسته‌بندی، RMA و بازگشت به سرویس بدون دخالت انسان ببرد.
زمان‌بند و سهم‌بندی خوشه
NEURA Robotics روی AWS HyperPod هم Slurm و هم EKS را اجرا می‌کند و از مهندس خوشه چارچوبی برای اولویت‌بندی می‌خواهد تا پیش‌آموزش مدل پایه، fine-tuning و کارهای مشتری ظرفیت را منصفانه شریک شوند.
پایش سلامت ناوگان
Lambda از مهندس Fleet Engineering پایش و هشدار سلامت خوشه را در چهار لایه می‌خواهد: شبکه، GPU، برق و حرارت، و سیگنال‌های سطح کار. Tower Research هم آمار کارهای GPU را تحلیل می‌کند تا ببیند ناوگان کجا می‌تواند بیشتر کار کند.
راه‌اندازی خوشهٔ تازه
Firmus تیم Commissioning دارد که خوشه را از اولین روشن شدن، یکپارچه‌سازی، راه‌اندازی مرحله‌ای، تست قطعه و سیستم، benchmark و تست پذیرش تا تحویل به تیم عملیات می‌برد؛ معیار موفقیت در آگهی کم کردن زمان این فرایند با خودکارسازی است.
تخصص‌های مختلف مهندس خوشهٔ GPU
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
عملیات سخت‌افزار و پایداری ناوگان
Hardware Operations / Fleet Reliability
سلامت فیزیکی خوشه: پایش دما و برق، رک و کابل، تعمیر، firmware و RMA. نمونه‌ها: Hardware Operations در Sciforium، Fleet Reliability در CoreWeave و Reliability Engineer, Supercomputing در Thinking Machines که چرخهٔ عمر firmware و کار مستقیم با vendorها را می‌خواهد.
سیستم و پلتفرم نود
Systems & Platform
لایهٔ نرم‌افزار هر نود: image سیستم‌عامل، درایور و CUDA یا ROCm، زمان‌بند، کانتینر و محیط PyTorch و JAX برای پژوهشگران. نقش Systems & Platform در Sciforium و Fleet Engineering در Lambda نمونه‌اند.
شبکهٔ خوشه
Cluster Networking
شبکهٔ RDMA بین GPUها و ذخیره‌سازی: تنظیم RoCE بدون از دست رفتن بسته یا مدیریت InfiniBand، پذیرش شبکه با perftest و nccl-tests و به‌روزرسانی firmware سوییچ‌ها. Sciforium برای این نقش ۷ سال سابقه می‌خواهد.
راه‌اندازی و استقرار خوشه
Cluster Commissioning & Deployment
تبدیل رک تحویل‌شده به خوشهٔ پذیرفته‌شده: راه‌اندازی شبکه، بررسی کابل‌کشی با نقشهٔ پورت، burn-in و دروازهٔ پذیرش. Firmus (AI Cluster Commissioning) و TensorWave (Cluster Engineering & Deployment) برای این کار استخدام می‌کنند.
خوشهٔ GPU روی ابر
Cloud-managed GPU Clusters
اداره خوشه روی سرویس مدیریت‌شدهٔ ابر به جای سخت‌افزار خود شرکت. NEURA Robotics روی AWS HyperPod کار می‌کند و علاوه بر Slurm و Kubernetes، مدیریت هزینه و ظرفیت (Spot، Reserved Instance و Savings Plans) را هم از مهندس خوشه می‌خواهد.
تفاوت با شغل‌های مشابه
کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟
معمار تصمیم می‌گیرد خوشه چه باشد: کدام GPU، شبکه با چه توپولوژی، ذخیره‌سازی و زمان‌بند. مهندس خوشهٔ GPU آن طرح را به نودهای کارکن تبدیل می‌کند و هر روز سالم نگه می‌دارد. تقسیم کار Sciforium این مرز را نشان می‌دهد: نقش Networking شبکهٔ خوشه‌های تازه را طراحی می‌کند، نقش Systems & Platform نود آماده را تعریف و نگهداری می‌کند و Hardware Operations رک و کابل و تعمیر را. این شغل نقش ورودی هم دارد: CoreWeave برای Operations Engineer حداقل سابقه تعیین نکرده است. مرز نرم است: صفحهٔ معمار زیرساخت «راه‌اندازی خوشه و پایداری ناوگان» را یکی از تخصص‌های معمار می‌داند و بسیاری از معمارها از همین کار عملیاتی بالا می‌آیند.
SRE مالک قابلیت اطمینان سرویس است: SLO، error budget، on-call و فرایند حادثه برای سرویس inference و کارهای آموزش. مهندس خوشهٔ GPU مالک خود ماشین‌هاست: image، درایور و firmware، تست پذیرش، پیکربندی زمان‌بند، و تعمیر و RMA. دو نقش در «قابلیت اطمینان ناوگان GPU» به هم می‌رسند و صفحهٔ AI SRE آن را یکی از تخصص‌های SRE می‌داند؛ آگهی‌هایی مثل Operations Engineer, Fleet Reliability در CoreWeave و Reliability Engineer, Supercomputing در Thinking Machines دقیقاً همین نقطه‌اند. Lambda هم برای Fleet Engineering سابقه در SRE، مهندسی HPC یا DevOps را هم‌ارز می‌پذیرد.
مهندس زیرساخت آموزش تصمیم می‌گیرد آموزش چطور بین GPUها تقسیم شود و checkpoint کجا نوشته شود؛ با PyTorch و parallelism کار می‌کند و کاربر خوشه است. مهندس خوشهٔ GPU به او نود سالم، شبکهٔ تنظیم‌شده و زمان‌بند قابل اتکا می‌دهد. نقطهٔ تماس دو نقش جایی است که کار آموزش گیر می‌کند یا کند می‌شود: Sciforium پشتیبانی مستقیم از تیم‌های آموزش مدل پایه (عیب‌یابی خرابی کارهای چندنودی و تنظیم checkpoint) را امتیاز می‌داند و NEURA دانش عملی آموزش توزیع‌شده را شرط گذاشته، اما صریح می‌گوید کار «خود پژوهش ML نیست».
مدیر سیستم HPC کلاسیک همین کار را برای خوشه‌های شبیه‌سازی علمی و مهندسی انجام می‌دهد: Helsing از او ادارهٔ نودها، زمان‌بند (Slurm یا PBS Pro)، فایل‌سیستم موازی، شبکهٔ پرسرعت، محیط نرم‌افزار با Lmod، Spack یا EasyBuild و سرور مجوز نرم‌افزارهای شبیه‌سازی را می‌خواهد. پایه یکی است و این مسیر طبیعی ورود است. فرق در خوشهٔ GPU است: پشتهٔ درایور CUDA یا ROCm، NCCL و شبکهٔ RDMA، تست پذیرش در مقیاس صدها نود و کاربرانی که مدل آموزش می‌دهند یا سرو می‌کنند. Helsing خودش تخصص در GPU، CUDA و ابزارهای NVIDIA را امتیاز آورده است.
تأثیر در صنایع مختلف
مهندس خوشهٔ GPU در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری
ابرهای GPU
CoreWeave، Lambda، Nebius، Fluidstack، TensorWave و Firmus محصولشان خود خوشهٔ GPU است. CoreWeave کار تیم Fleet Reliability را «نبرد روزانه با آنتروپی» برای بیشترین تعداد نود تحویل‌شده به مشتری توصیف می‌کند.
شرکت‌های سازندهٔ مدل
Sciforium برای خوشهٔ آموزش و سرو مدل‌هایش سه نقش GPU Cluster Engineer آگهی کرده و Thinking Machines برای ناوگان ابررایانه‌اش مهندس قابلیت اطمینان سخت‌افزار می‌خواهد.
آموزش مدل در شرکت‌های بزرگ
Meta نوشته در آموزش Llama 3 بیش از ۹۰٪ زمان مفید آموزش را نگه داشت، در حالی که نگهداری خودکار خوشه (به‌روزرسانی firmware و kernel) دست‌کم روزی یک بار کار را متوقف می‌کرد.
شرکت‌های تراشه
NVIDIA برای خوشه‌های داخلی خود Senior HPC AI Cluster Engineer و برای محیط طراحی تراشه HPC Operations Engineer استخدام می‌کند. Cerebras خوشه‌های مبتنی بر تراشهٔ wafer-scale خودش را با تیم Cluster Operations اداره می‌کند.
معاملات کمّی
Tower Research می‌نویسد ناوگان GPU آن از سریع‌ترین بخش‌های رو به رشد زیرساخت شرکت است و نزدیک هزار ماشین اخیراً به ناوگان پژوهشی‌اش اضافه شده؛ Jump Trading هم برای محیط HPC شبانه‌روزی‌اش مهندس عملیات می‌خواهد.
رباتیک
NEURA Robotics خوشهٔ GPU روی AWS HyperPod را برای آموزش مدل پایه و fine-tuning برای مشتری‌ها اداره می‌کند و مهندس خوشه را مسئول پایداری، اولویت‌بندی کارها و هزینه می‌داند.
دفاع و شبیه‌سازی
Helsing خوشهٔ HPC داخلی برای شبیه‌سازی الکترومغناطیس و دینامیک سیالات دارد و از مدیر سیستم آن حفظ امنیت سخت‌گیرانه برای کارهای طبقه‌بندی‌شده را هم می‌خواهد.
تصورات غلط رایج
قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید
برای این کار باید متخصص یادگیری ماشین باشید
NEURA صریح نوشته تمرکز این نقش «مهندسی و عملیات خوشه است، نه خود پژوهش ML». شرط حداقلی CoreWeave برای نقش ورودی Linux، عیب‌یابی سخت‌افزار و نرم‌افزار و اسکریپت‌نویسی است. فهم آموزش توزیع‌شده در سطوح بالاتر به کار می‌آید، اما نقطهٔ شروع مدیریت سیستم است.
خوشه را یک بار نصب می‌کنند و بعد خودش کار می‌کند
در ۵۴ روز آموزش Llama 3 روی ۱۶ هزار GPU، ۴۱۹ توقف پیش‌بینی‌نشده رخ داد و GPU به‌تنهایی ۵۸٫۷٪ آن‌ها را سبب شد. Imbue نوشته به تجربهٔ آن‌ها مفید بود برای هر اجرای آموزش ۱۰ تا ۲۰ درصد ماشین بیشتر از نیاز آماده باشد تا با خرابی یک ماشین بشود سریع دوباره اجرا کرد. نگهداری و تعمیر کار روزانه است، نه استثنا.
Kubernetes جای Slurm را گرفته است
در آگهی‌ها هر دو کنار هم‌اند: Sciforium برای آموزش Slurm و برای سرو مدل Kubernetes می‌خواهد و NEURA شناخت هر دو و مقایسهٔ آن‌ها را. NVIDIA در دسامبر ۲۰۲۵ نوشت Slurm در بیش از نیمی از ۱۰ و ۱۰۰ ابررایانهٔ برتر TOP500 به کار می‌رود، و SchedMD پروژهٔ Slinky را برای اجرای Slurm داخل Kubernetes ساخته است.
همه‌چیز NVIDIA است
بیشتر آگهی‌هایی که دیدیم روی NVIDIAاند، اما نه همه. Sciforium با حمایت مستقیم AMD کار می‌کند و پشتهٔ ROCm و RCCL و GPUهای MI355x را می‌خواهد؛ TensorWave پذیرش خوشه را با تست‌های RCCL انجام می‌دهد و Cerebras تراشهٔ خودش را دارد. کسی که مفهوم‌ها را بفهمد، نه فقط دستورهای یک vendor را، راحت‌تر جابه‌جا می‌شود.
کاری کاملاً پشت میز و دورکار است
بخشی از کار فیزیکی است: نقش Hardware Operations در Sciforium رک کردن، کابل‌کشی و راه‌اندازی نودهای تازه را دارد. on-call هم معمول است: CoreWeave از کار بعد از ساعت اداری و آخر هفته می‌نویسد و Jump Trading حضور به‌طور میانگین ۵ روز در هفته در دفتر و نگهداری‌های عصر و آخر هفته را می‌خواهد. البته نقش‌های دورکار هم هست، مثل نقش Lambda با بازهٔ «Remote, USA».
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
ورودی (۰ تا ۲ سال)
بیشتر روز با تیکت، بررسی سلامت ناوگان و آماده کردن نود می‌گذرد. Tower Research این را «نقش عملیاتی، نه مهندسی پلتفرم» می‌نامد که کارش ذاتاً تراکنشی است: تیکت، دسته‌بندی، provisioning و نگهداری، هر روز و درست.
- ◆بررسی صف‌ها، وضعیت نودها، ذخیره‌سازی و در دسترس بودن سرویس‌ها پیش از آنکه کاربر خبر بدهد
- ◆رسیدگی به کار شکست‌خورده یا خطای زمان‌بند و رساندن آن به راه‌حل یا ارجاع مستند
- ◆نصب سیستم‌عامل، پیکربندی و تست نود تازه و تحویل آن به سرویس
- ◆اجرای رویه‌های ثابت نگهداری، وصله و تغییر پیکربندی
- ◆نوشتن یا به‌روز کردن runbook برای مشکلی که امروز حل شد
میانی (۲ تا ۵ سال)
مالک بخشی از خوشه هستید و کار تکراری را به کد تبدیل می‌کنید. Tower برای Software Engineer, GPU Fleet می‌نویسد کار «عمداً هر روز فرق می‌کند»: یک روز قابلیت تازه برای خودکارسازی ناوگان، روز بعد مشکل لجوج یک درایور، روز بعد تحلیل آمار کارها.
- ◆پایش دما، مصرف برق و بار GPUها و گرفتن ناهنجاری پیش از اثر روی کارها
- ◆هماهنگی RMA و تعویض قطعه با دیتاسنتر و vendor
- ◆نوشتن ابزار Python برای مدیریت، پایش و نگهداری ناوگان GPU
- ◆ریشه‌یابی مشکل از برنامه و شبکه تا سیستم‌عامل و kernel
- ◆تحلیل آمار کارهای GPU برای یافتن ناکارآمدی
ارشد (۵ سال به بالا)
مرجع حل سخت‌ترین مشکلات و صاحب استانداردها هستید. Sciforium مهندس ارشد را «نقطهٔ ارجاع» برای گیر کردن NCCL، نشت حافظهٔ CUDA، نودهای کند و افت توضیح‌ناپذیر throughput می‌داند و Lambda از او هدایت رسیدگی به حادثه‌های سطح خوشه را می‌خواهد.
- ◆طراحی و به‌روز کردن مجموعهٔ تست پذیرش که هر نود باید از آن بگذرد
- ◆برنامه‌ریزی و اجرای به‌روزرسانی تدریجی درایور، toolkit و firmware در کل ناوگان
- ◆نگهداری جدول سازگاری درایور، CUDA یا ROCm و فریم‌ورک‌ها
- ◆هدایت حادثه و نوشتن postmortem و پرونده برای vendor
- ◆دادن نیازمندی‌های روشن به تیم‌های دیگر برای ساده‌تر و پایدارتر شدن عملیات
مسئولیت‌ها و وظایف
مسئولیت‌های اصلی
وظایف روزانه و مهارت‌های مورد نیاز در این شغل
- ◈ساختن و نگهداری image سیستم‌عامل، تنظیمات kernel و پشتهٔ درایور GPU و کارت شبکه، و خط لوله‌ای که سرور تازه را به نود آماده تبدیل می‌کند
- ◈تست سلامت و پذیرش هر نود پیش از ورود به صف کارها، با DCGM، nccl-tests و تست‌های پهنای باند و توپولوژی
- ◈به‌روزرسانی تدریجی kernel، درایور و firmware در کل ناوگان با کمترین توقف برای کارهای در حال اجرا
- ◈اداره و پیکربندی زمان‌بند (Slurm برای آموزش، Kubernetes با GPU Operator برای سرو مدل)، صف‌ها، سهم‌بندی و حساب‌داری
- ◈پایش سلامت GPU، شبکه، برق و حرارت، و تشخیص و جدا کردن خودکار نودهای ناسالم
- ◈عیب‌یابی از سخت‌افزار تا برنامه: خطاهای Xid، قطع و وصل لینک، گیر کردن NCCL و نودهای کند
- ◈هماهنگی با دیتاسنتر و vendorها برای تعمیر، تعویض قطعه و RMA، و پشتیبانی از کاربران خوشه
- ◈نوشتن runbook و رویهٔ عملیاتی، شرکت در on-call و هدایت رسیدگی به حادثه‌های سطح خوشه
مهارت‌های مورد نیاز
مهارت‌های فنی، نرم و حوزه‌ای که یک مهندس خوشهٔ GPU موفق به آن‌ها نیاز دارد
Linux و سخت‌افزار
boot، systemd، cgroups، NUMA، ماژول‌های kernel و DKMS؛ شرط حداقلی همهٔ آگهی‌ها از CoreWeave تا Sciforium
برق، خنک‌سازی، توپولوژی PCIe و خواندن خطای قطعه در محیط پرچگال
BMC، iDRAC، IPMI و Redfish برای دسترسی و جمع‌آوری log وقتی سیستم‌عامل بالا نمی‌آید (Thinking Machines، Fluidstack)
hugepages، IRQ affinity و ابزارهایی مثل perf و eBPF
NFS، Lustre، GPFS یا Weka، و mount و دسترسی درست برای کاربران
LDAP، FreeIPA یا Active Directory، کنترل دسترسی SSH، فایروال و VPN
GPU، شبکه و زمان‌بندی
درایور NVIDIA، CUDA Toolkit، Fabric Manager و در AMD پشتهٔ ROCm؛ نصب، به‌روزرسانی و عیب‌یابی
nvidia-smi، DCGM و طبقه‌بندی خطاهای Xid و ECC برای تشخیص قطعهٔ خراب
partition، QoS، fair-share، preemption و accounting؛ زمان‌بند اصلی کارهای آموزش
GPU Operator، device plugin و زمان‌بندی آگاه از توپولوژی، بیشتر برای سرو مدل
InfiniBand، RoCE و GPUDirect RDMA؛ دست‌کم در حدی که خطای لینک و افت پهنای باند را تشخیص دهید
اجرای nccl-tests، خواندن log و شناختن گیر کردن و کندی ارتباط بین GPUها
Docker، NVIDIA Container Toolkit، Enroot، Pyxis و Apptainer
خودکارسازی و عملیات
Ansible یا SaltStack در Git با بازبینی، تست CI و انتشار canary پیش از کل ناوگان
Bash و Python برای ابزار عملیاتی؛ Go در Lambda و Cerebras هم خواسته شده
PXE، نصب بدون دخالت، Packer، MAAS یا Warewulf برای ساختن نود تکرارپذیر
Prometheus، Grafana و dcgm-exporter؛ هشدار قابل اقدام، نه فقط داشبورد
جمع‌آوری شواهد، اعمال راه‌حل شناخته‌شده، ارجاع به‌موقع و نوشتن postmortem
runbook، راهنمای کاربر و تیکت روشن؛ Tower نوشتن واضح را جزو شرط‌ها آورده است
پیگیری پرونده با سازندهٔ GPU، سرور و کارت شبکه تا رسیدن به راه‌حل واقعی، و مدیریت RMA
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به مهندس خوشهٔ GPU
این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.
پایه: مدیریت Linux و سخت‌افزار سرور
همهٔ آگهی‌های این شغل از Linux شروع می‌کنند. CoreWeave برای Operations Engineer فقط «درک قوی از مدیریت و ساختار داخلی Linux»، عیب‌یابی سخت‌افزار و نرم‌افزار و یک زبان اسکریپت را شرط حداقلی گذاشته است. Sciforium برای نقش Hardware Operations دانش عمیق فرایند boot، systemd و مدیریت دیسک و عیب‌یابی سخت‌افزار سرور (برق، خنک‌سازی و توپولوژی PCIe) را می‌خواهد. این مرحله را با نصب، خراب کردن و تعمیر چند ماشین Linux جلو ببرید.
خودکارسازی و ساختن نود با کد
در خوشهٔ GPU هیچ نودی با دست ساخته نمی‌شود. Sciforium می‌خواهد همهٔ پیکربندی نودها و خوشه در playbookهای Ansible یا SaltStack داخل Git باشد و ابزار image و provisioning (مثل PXE، MaaS یا Packer) نودها را «تکرارپذیر، نه دست‌ساز» بسازد. Lambda هم چرخهٔ عمر سیستم‌عامل، firmware، درایور و شبکه را «به‌صورت کد» می‌خواهد. هدف این مرحله این است که بتوانید یک ماشین خام را بدون دست زدن به نود آماده تبدیل کنید.
پشتهٔ GPU و سلامت سخت‌افزار
این مرحله شما را از مدیر Linux به مهندس خوشهٔ GPU تبدیل می‌کند. Sciforium نصب و عیب‌یابی کل پشتهٔ شتاب‌دهنده را می‌خواهد: درایور و CUDA و NCCL و Fabric Manager در NVIDIA، و ROCm و RCCL در AMD. Thinking Machines عمق در سلامت سخت‌افزار GPU را با این فهرست تعریف می‌کند: طبقه‌بندی خطاهای Xid، NVLink، NVSwitch، Fabric Manager و DCGM. لازم نیست kernel بنویسید؛ باید بتوانید از روی خطا بفهمید کدام قطعه خراب است.
زمان‌بند، کانتینر و شبکهٔ خوشه
کاربران خوشه کار خود را از راه زمان‌بند اجرا می‌کنند. Sciforium برای آموزش Slurm را با partition، QoS، preemption، حساب‌داری و enroot/pyxis می‌خواهد و برای سرو مدل Kubernetes را با NVIDIA GPU Operator؛ NEURA هم شناخت هر دو و مقایسهٔ آن‌ها را شرط گذاشته است. بین سرورها، Lambda تجربهٔ پیکربندی و عیب‌یابی InfiniBand، RoCE، GPUDirect و NCCL را می‌خواهد. با nccl-tests و perftest یاد بگیرید شبکهٔ سالم چه عددی نشان می‌دهد.
عملیات در مقیاس: burn-in، تعمیر خودکار و حادثه
در سطح ارشد کار از نگهداری یک نود به ادارهٔ کل ناوگان می‌رسد: تست پذیرش پیش از ورود هر نود به صف، به‌روزرسانی تدریجی درایور و firmware بدون توقف کارها، تشخیص خودکار نود ناسالم و تحویل آن برای تعمیر یا RMA. Fluidstack این را «خط لوله، نه رویه» می‌نامد. گزارش‌های عمومی Imbue و Meta دربارهٔ راه‌اندازی و نگهداری خوشه‌های هزاران GPU بهترین متن برای دیدن این کار در عمل‌اند.
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت
GPU و سلامت سخت‌افزار
مجموعهٔ NVIDIA برای مدیریت و پایش GPU در خوشه، با پایش سلامت و تست‌های تشخیصی؛ Sciforium آن را جزو تست پذیرش هر نود آورده است.
تست‌های پهنای باند ارتباط جمعی بین GPUها. در آگهی‌های Sciforium و TensorWave برای پذیرش نود و خوشه آمده است.
پشتهٔ نرم‌افزاری GPUهای AMD و کتابخانهٔ ارتباط جمعی آن. Sciforium و TensorWave روی GPUهای AMD کار می‌کنند.
زمان‌بندی و کانتینر
زمان‌بند متن‌باز خوشه‌های HPC و AI. NVIDIA می‌نویسد Slurm در بیش از نیمی از ۱۰ و ۱۰۰ ابررایانهٔ برتر فهرست TOP500 به کار می‌رود.
GPU Operator درایور، device plugin و پایش GPU را روی Kubernetes نصب و مدیریت می‌کند. Sciforium آن را برای خوشهٔ سرو مدل می‌خواهد.
Enroot image کانتینر را به محیط ایزوله‌ای بدون دسترسی ویژه تبدیل می‌کند و Pyxis افزونهٔ کانتینر برای Slurm است؛ هر دو در آگهی Sciforium آمده‌اند.
Provisioning و خودکارسازی
مدیریت پیکربندی صدها نود از یک مخزن Git. Sciforium، Lambda، Firmus، Helsing و NVIDIA همه آن را نام برده‌اند.
ابزار Canonical که سرورهای bare metal را خودکار کشف، نصب و آماده می‌کند؛ در آگهی Sciforium آمده است.
سیستم provisioning متن‌باز برای خوشه‌های بزرگ bare metal که سیستم‌عامل را از شبکه به نودها می‌رساند.
پایش، شبکه و ذخیره‌سازی
dcgm-exporter متریک‌های GPU را برای Prometheus منتشر می‌کند؛ Sciforium همین ترکیب را برای پایش لایهٔ نرم‌افزار می‌خواهد.
تست‌های پهنای باند و تأخیر RDMA مثل ib_write_bw؛ Sciforium آن را برای امضای پذیرش شبکهٔ خوشه می‌خواهد.
فایل‌سیستم موازی متن‌باز HPC؛ Sciforium، NVIDIA و Helsing در کنار GPFS و Weka از آن نام برده‌اند.
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید
ورود: Operations Engineer یا HPC Operations Engineer
۰ تا ۲ سال
~$97K
میانگین سالانه (آمریکا)
پاسخ به تیکت کاربران، آماده کردن نودهای تازه، اجرای رویه‌های نگهداری و ارجاع مشکل به متخصص. CoreWeave برای این نقش حداقل سابقه تعیین نکرده و Tower و Jump دو سال کار با Linux می‌خواهند. Tower می‌نویسد این «نقطهٔ شروع خوبی» برای رسیدن به مهندسی HPC است.
میانی: GPU Cluster Engineer
۲ تا ۵ سال
~$165K
میانگین سالانه (آمریکا)
مالکیت یک بخش از خوشه: سلامت سخت‌افزار و RMA، ابزار خودکارسازی ناوگان یا پایش. Sciforium برای GPU Cluster Engineer, Hardware Operations سه سال مدیریت Linux می‌خواهد و Tower برای Software Engineer, GPU Fleet دو سال تجربه با مدیریت عملی GPU.
ارشد: Senior GPU Cluster / HPC Engineer
۵ سال به بالا
~$185K
میانگین سالانه (آمریکا)
تعریف نود آماده برای پروداکشن، تست پذیرش، به‌روزرسانی ناوگان و مرجع حل سخت‌ترین مشکلات مثل گیر کردن NCCL یا نودهای کند. Sciforium برای این سطح پنج سال، Lambda هفت سال و NVIDIA هشت سال سابقه می‌خواهند.
مدیریت: Engineering Manager, Fleet / Cluster Engineering
۱۰ سال به بالا
ادارهٔ تیم‌هایی که رک تحویل‌شده را به خوشهٔ پذیرفته‌شده تبدیل می‌کنند و ناوگان را سالم نگه می‌دارند. TensorWave برای Senior Manager, Cluster Engineering & Deployment ده سال سابقه در استقرار شبکه، راه‌اندازی خوشه یا HPC با مدیریت مهندسان میدانی می‌خواهد. بازهٔ حقوق پایهٔ Engineering Manager, Fleet Engineering در Lambda ۲۹۷ تا ۴۴۰ هزار دلار است.
چالش‌ها و جنبه‌های منفی
واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید
خرابی سخت‌افزار جزو کار روزانه است
عمومیدر مقالهٔ Llama 3، حدود ۷۸٪ از ۴۱۹ توقف پیش‌بینی‌نشده به سخت‌افزار برمی‌گشت و GPU معیوب و حافظهٔ HBM3 بیشترین سهم را داشتند. Meta نوشته تنها سه بار دخالت جدی دستی لازم شد و بقیه را خودکارسازی حل کرد. چالش این است که سیستم شما هم به همین شکل خرابی را خودش پیدا و جدا کند.
مشکلاتی که خطا نمی‌دهند
تحقیقاتیسختترین مشکلات آن‌هایی‌اند که چیزی را خاموش نمی‌کنند: Meta نودهای کند را «ظاهراً سالم اما با ارتباط کند» توصیف می‌کند و Sciforium گیر کردن NCCL، نودهای کند و افت توضیح‌ناپذیر throughput را جزو مسئولیت مهندس ارشد آورده است. Thinking Machines از مهندس می‌خواهد ماشین مشکل‌دار، کار مشکل‌دار و تست مشکل‌دار را از هم تشخیص دهد.
سازگاری نسخه‌ها
عمومیدرایور، CUDA یا ROCm و فریم‌ورک‌ها باید با هم جور باشند و به‌روزرسانی هر کدام می‌تواند بقیه را بشکند. Sciforium نگهداری جدول سازگاری «درایور ↔ CUDA/ROCm ↔ فریم‌ورک» و به‌روزرسانی تدریجی بدون اختلال در کارهای در حال اجرا را صریحاً از مهندس می‌خواهد.
فشار سرعت استقرار
شرکت بزرگدر ابرهای GPU هر روز تأخیر یعنی سخت‌افزار بیکار. CoreWeave تیمی دارد که نودها را «به همان سرعتی که رک و روشن می‌شوند» مستقر می‌کند، Fluidstack هر نسل تازهٔ GPU را در پنجره‌ای شش‌ماهه صلاحیت‌سنجی می‌کند و TensorWave کم کردن زمان راه‌اندازی هر خوشه را هدف تیمش گذاشته است.
برق، دما و محیط
شرکت بزرگMeta در آموزش Llama 3 نوسان ۱ تا ۲ درصدی throughput در طول روز دید که به گرمای وسط روز و اثر آن بر فرکانس GPU برمی‌گشت، و نوشته وقتی ده‌ها هزار GPU هم‌زمان مصرفشان را بالا و پایین می‌برند، مصرف برق دیتاسنتر در حد ده‌ها مگاوات نوسان می‌کند. مهندس خوشه باید این سیگنال‌ها را هم پایش کند.
on-call و نگهداری خارج از ساعت کاری
عمومیCoreWeave on-call را با کار بعد از ساعت اداری و آخر هفته آگهی می‌کند و Jump Trading آمادگی برای نگهداری‌های منظم عصر و آخر هفته را شرط گذاشته است. Cerebras هم on-call شبانه‌روزی می‌خواهد. این بخشی از ماهیت کار است.
اشتراک خوشه بین تیم‌ها و هزینه
استارتاپوقتی چند تیم یک خوشه را شریک‌اند، باید کسی اولویت و سهم را تعیین کند. NEURA از مهندس خوشه چارچوب اولویت‌بندی برای پیش‌آموزش، fine-tuning و کار مشتری می‌خواهد و مدیریت هزینه در ابر، از قطع شدن Spot تا رزرو ظرفیت و تقسیم هزینه بین تیم‌ها، را هم بر عهدهٔ او می‌گذارد.
حقوق و بازار کار جهانی
حقوق جهانی مهندس خوشهٔ GPU
حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.
* ارقام سالانه‌اند. منبع هر رقم:
- levels.fyi, updated Oct 23, 2026, proxy title 'HPC Engineer', total comp (208 submissions): 25th–75th pct; median
- CoreWeave posting, Operations Engineer, Fleet Reliability (Bellevue/Sunnyvale; no minimum years, 2+ years preferred), posted Oct 15, 2026: base range; median = midpoint
- Sciforium posting, GPU Cluster Engineer, Hardware Operations (San Jose, 3+ years), posted Jul 8, 2026: posted range; median = midpoint
- Sciforium posting, GPU Cluster Engineer, Systems & Platform (San Francisco, 5+ years), posted Aug 6, 2026: posted range; median = midpoint
- levels.fyi, updated Oct 23, 2026, proxy title 'HPC Engineer', total comp (16 submissions): 25th–75th pct; median
- levels.fyi, updated Oct 23, 2026, proxy title 'HPC Engineer', total comp (25 submissions): 25th–75th pct; median
- levels.fyi, updated Oct 23, 2026, proxy title 'HPC Engineer', total comp (15 submissions): 25th–75th pct; median
- levels.fyi, updated Oct 23, 2026, proxy title 'HPC Engineer', total comp (52 submissions): 25th–75th pct; median
چگونه از صفر شروع کنیم
برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی
ماه ۱: Slurm و خودکارسازی
یک خوشهٔ کوچک Slurm روی ماشین‌های مجازی با Ansible بسازید؛ partition، QoS و accounting را تنظیم کنید و همه‌چیز را در Git نگه دارید.
ماه ۲: پشتهٔ GPU
یک ماشین GPU اجاره کنید، درایور و CUDA را نصب کنید و با nvidia-smi و DCGM کار کنید. خطاهای Xid را بشناسید.
ماه ۳: کانتینر و GPU روی Slurm و Kubernetes
Enroot و Pyxis را به Slurm اضافه کنید و روی یک خوشهٔ کوچک Kubernetes، GPU Operator را نصب کنید.
ماه ۴: شبکه و NCCL
روی دو نود GPU اجاره‌ای nccl-tests را اجرا کنید، نتیجه را ثبت کنید و فصل شبکهٔ کتاب Stas Bekman را بخوانید.
ماه ۵: پایش و تست سلامت
dcgm-exporter، Prometheus و Grafana را راه بیندازید و اسکریپت سلامت نود خودتان را با الهام از فهرست Imbue بنویسید.
ماه ۶: گواهی و درخواست
اگر می‌خواهید سند رسمی داشته باشید، NCA-AIIO گواهی سطح ورودی NVIDIA برای زیرساخت و عملیات AI است. پروژه‌ها را در GitHub با README روشن منتشر کنید و برای نقش‌های Fleet، HPC Operations و GPU Cluster Engineer درخواست بدهید.
پروژه‌های پیشنهادی برای رزومه
خوشهٔ کوچک Slurm با Ansible
مبتدیروی سه یا چهار ماشین مجازی یک خوشهٔ Slurm بسازید که کل نصب و پیکربندی‌اش در یک playbook Ansible داخل Git باشد: یک نود کنترل، چند نود محاسبه، partition و QoS و حساب‌داری. خوشه را پاک کنید و با یک دستور دوباره بسازید. همین «تکرارپذیر، نه دست‌ساز» همان چیزی است که Sciforium می‌خواهد.
image نسخه‌دار و نصب خودکار نود
متوسطبا Packer یک image نسخه‌دار Ubuntu یا Rocky بسازید که تنظیمات kernel (مثل hugepages) و بسته‌های لازم را داشته باشد، و با PXE یا Warewulf آن را روی یک ماشین مجازی تازه نصب کنید. در README بنویسید چطور نسخهٔ جدید را با canary به چند نود و بعد به همه می‌رسانید.
اسکریپت سلامت نود GPU و exporter
متوسطروی یک ماشین GPU اجاره‌ای اسکریپتی بنویسید که خروجی nvidia-smi و DCGM را بخواند، خطاهای Xid را از log سیستم پیدا کند و نتیجه را به‌صورت متریک Prometheus منتشر کند. یک داشبورد Grafana بسازید که دما، مصرف برق و خطاها را نشان دهد. Imbue فهرست کامل بررسی‌های سلامت میزبان خود را منتشر کرده است؛ چند مورد از آن را پیاده کنید.
تست پذیرش چندنودی با nccl-tests
پیشرفتهروی دو نود GPU اجاره‌ای nccl-tests را اجرا کنید، نتیجهٔ all-reduce را ثبت کنید و یک اسکریپت پذیرش بنویسید که اگر پهنای باند از آستانه‌ای که خودتان تعیین می‌کنید کمتر بود، نود را رد کند. توضیح دهید چرا عدد شما از عدد اسمی سخت‌افزار فاصله دارد.
خط لولهٔ خودترمیمی با runbook
پیشرفتهدر خوشهٔ Slurm یا Kubernetes خود خرابی شبیه‌سازی کنید (مثلاً متوقف کردن یک سرویس یا پر کردن دیسک) و ابزاری بسازید که نود ناسالم را تشخیص دهد، آن را drain یا cordon کند، دوباره راه بیندازد یا برای تعمیر علامت بزند. برای هر خرابی یک runbook و یک postmortem کوتاه بنویسید. Lambda همین را می‌خواهد: runbook و رفع خودکار طوری که تیم پشتیبانی بتواند امن اجرا کند.
مثال‌های واقعی و Case Studies
داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند
مدیرعامل SchedMD است؛ شرکتی که به نوشتهٔ NVIDIA توسعه‌دهندهٔ اصلی Slurm است و صدها مشتری از ابرها و شرکت‌های AI تا آزمایشگاه‌های پژوهشی دارد.
در دسامبر ۲۰۲۵ NVIDIA شرکت SchedMD را خرید و اعلام کرد Slurm را متن‌باز و مستقل از vendor نگه می‌دارد. NVIDIA در همان اطلاعیه نوشت Slurm در بیش از نیمی از ۱۰ و ۱۰۰ ابررایانهٔ برتر TOP500 به کار می‌رود. Auble این خرید را «تأیید نهایی نقش حیاتی Slurm» در سخت‌ترین محیط‌های HPC و AI خواند.
زمان‌بندی که او و تیمش نگه می‌دارند همان ابزاری است که مهندس خوشهٔ GPU هر روز پیکربندی می‌کند؛ تسلط عمیق بر Slurm هنوز یکی از مهارت‌های پایهٔ این شغل است.
طبق ویکی‌پدیا، استاد ممتاز بازنشستهٔ علوم کامپیوتر در University of Tennessee است و تا ۱۹۸۹ در Argonne National Laboratory کار می‌کرد. در طراحی و پیاده‌سازی LINPACK، MPI، فهرست TOP500 و benchmark HPCG مشارکت داشته است.
در ۲۰۲۱ جایزهٔ Turing را برای کمک‌های پیشگامانه به الگوریتم‌ها و کتابخانه‌های عددی گرفت؛ کارهایی که به نرم‌افزار محاسبات پرکارایی امکان داد در چهار دهه پا به پای پیشرفت سخت‌افزار جلو برود.
HPL، پیاده‌سازی قابل‌حمل benchmark معروف High-Performance Linpack که طبق صفحهٔ آن در netlib، Dongarra از نویسندگانش است، امروز در فهرست تست‌های پذیرش نود در آگهی Sciforium آمده است. ابزارهایی که برای رتبه‌بندی ابررایانه‌ها ساخته شدند، حالا ابزار روزمرهٔ مهندس خوشه برای سنجیدن سلامت‌اند.
طبق ویکی‌پدیا، مهندس کامپیوتر استرالیایی است که برای کار روی کارایی سیستم‌ها شناخته می‌شود و در Intel، Netflix، Sun Microsystems، Oracle و Joyent کار کرده است.
روش USE (Utilization، Saturation، Errors) برای تحلیل کارایی منابع و نمودار flame graph را ساخت، استفاده از eBPF برای مشاهده‌پذیری را پیش برد و کتاب‌های Systems Performance و BPF Performance Tools را نوشت. در ۲۰۱۳ جایزهٔ LISA انجمن USENIX را «برای کمک به رشتهٔ مدیریت سیستم» گرفت.
پیدا کردن نود کند در خوشهٔ GPU همان مسئلهٔ قدیمی تحلیل کارایی است؛ روشی مثل USE به مهندس کمک می‌کند به جای حدس زدن، منبع به منبع جلو برود.
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
GPU Cluster Engineer, Systems & Platform
تحلیل نیازمندی‌ها
5+ years in systems/infrastructure engineering with significant GPU cluster, HPC, or large-scale ML infrastructure experience.
این آگهی سطح ارشد است: پنج سال مهندسی سیستم و زیرساخت که بخش مهمی از آن روی خوشهٔ GPU یا HPC بوده باشد. برای تازه‌واردها نقش Hardware Operations همین شرکت (سه سال) یا نقش‌های عملیاتی مثل CoreWeave نقطهٔ شروع واقع‌بینانه‌تری است.
ضروریDeep Linux internals expertise: kernel modules/DKMS, systemd, cgroups, NUMA, and system performance tuning.
درایور GPU یک ماژول kernel است و با هر به‌روزرسانی kernel باید دوباره ساخته شود (DKMS). NUMA تعیین می‌کند کدام GPU به کدام پردازنده و کارت شبکه نزدیک‌تر است. بدون این دانش نمی‌شود نود را درست تنظیم یا عیب‌یابی کرد.
ضروریHands-on experience with NVIDIA (CUDA) and/or AMD (ROCm) driver and runtime stacks on modern accelerators (H200/B200, MI325x/MI355x class), including kernel-level debugging.
تجربهٔ عملی با پشتهٔ درایور GPUهای دیتاسنتری، هم NVIDIA و هم AMD. نکتهٔ مهم «و/یا» است: یکی از دو اکوسیستم کافی است، اما این شرکت با AMD همکاری نزدیک دارد و آشنایی با ROCm امتیاز است.
ضروریProduction Kubernetes experience with GPU workloads, plus working knowledge of HPC schedulers (Slurm/Run:AI) — or the reverse (deep Slurm, working K8s).
یکی را عمیق و دیگری را در حد کارکردن بلد باشید. Kubernetes برای سرو مدل و Slurm برای آموزش چندنودی؛ این ترکیب در آگهی‌های دیگر مثل NEURA هم دیده می‌شود.
ضروریStrong configuration management experience (Ansible or SaltStack) with Git-based, code-reviewed infrastructure workflows.
هر تغییر روی نودها باید از Git و بازبینی بگذرد، نه دستور مستقیم روی سرور. این مهارتی است که از DevOps به این شغل منتقل می‌شود.
ضروریProvisioning and image tooling experience (Packer, MaaS, Foreman, Terraform, or similar) for automated, reproducible node builds.
باید بتوانید نود را از ماشین خام، خودکار و همیشه یکسان بسازید. ابزار مهم نیست؛ فهرست آگهی چند گزینه را هم‌ارز آورده است.
مهمClient-side experience with distributed filesystems (Lustre, GPFS, Weka) and checkpoint I/O optimization.
مهندس خوشه فایل‌سیستم موازی را اداره نمی‌کند، اما باید سمت نود را درست تنظیم کند تا ذخیرهٔ checkpoint هزاران GPU گلوگاه نشود.
مهمWorking knowledge of NCCL and RDMA networking (InfiniBand/RoCE, GPUDirect) and of PyTorch/JAX runtime behavior.
«دانش کاری» یعنی در حدی که بفهمید مشکل از شبکه است یا از کار کاربر. ساختن شبکه کار نقش Networking همین شرکت است.
مهمExperience directly supporting foundation model training teams — multi-node job failure debugging, checkpoint pipeline tuning, and framework-level performance triage — ideally in a startup or research-heavy environment.
این امتیاز است، نه شرط: کسی که قبلاً کنار تیم آموزش مدل کار کرده، زبان کاربران اصلی خوشه را می‌فهمد.
مفیدGPU/system profiling tools: Nsight Systems/Compute, rocprof, perf, eBPF.
ابزارهای profiling برای پیدا کردن علت کندی. اولویت پایین‌تری دارند اما در مشکلات سخت تفاوت ایجاد می‌کنند.
مفیدتحلیل مسئولیت‌ها
Golden Images & Automated Bring-Up: Own the node software definition — versioned OS images, kernel tuning (NUMA, hugepages, IRQ affinity, cgroups), GPU/NIC driver stacks — and the automated pipeline that takes a node from base OS to production-ready.
شما تعیین می‌کنید نود سالم در نرم‌افزار دقیقاً چه دارد و این تعریف را به‌صورت image نسخه‌دار و خط لولهٔ خودکار نگه می‌دارید. هر نود تازه باید بدون دست زدن به همین حالت برسد.
Validation & Burn-In: Build automated acceptance suites (DCGM diagnostics, nccl-tests/RCCL tests, bandwidth and topology checks, HPL) that gate every node before it enters a scheduler pool.
هیچ نودی پیش از گذر از تست سلامت وارد صف کار نمی‌شود. نود معیوبی که به صف برسد، کار چندنودی کاربر را خراب می‌کند.
Fleet Maintenance: Execute rolling kernel/driver/toolkit upgrades with minimal disruption to running workloads; enforce configuration consistency, detect drift, and maintain the driver ↔ CUDA/ROCm ↔ framework compatibility matrix across the fleet.
به‌روزرسانی در ناوگانی که همیشه کار در حال اجرا دارد، به‌صورت دسته‌به‌دسته. باید بدانید کدام نسخهٔ درایور با کدام نسخهٔ CUDA و PyTorch جور است و نودهایی را که از تعریف استاندارد فاصله گرفته‌اند پیدا کنید.
Self-Healing Operations: Automate detection of unhealthy nodes (Xid/ECC errors, link flaps, thermal throttling), with cordon/drain/reboot/re-image workflows and clean handoff to Hardware Operations for physical repair or RMA.
نود ناسالم باید خودکار شناخته، از صف خارج و درمان شود؛ اگر درمان نرم‌افزاری جواب نداد، با اطلاعات کامل به تیم سخت‌افزار تحویل شود.
Training Schedulers: Operate Slurm (or Run:AI) for multi-node training — partitions, QoS, preemption, accounting, and container integration (enroot/pyxis).
زمان‌بند ابزار اصلی کاربران است. پیکربندی صف‌ها، اولویت‌ها و قطع کارهای کم‌اولویت تعیین می‌کند خوشه چقدر منصفانه و پرکار استفاده شود.
Distributed Performance: Tune NCCL/RCCL across NVLink/NVSwitch and InfiniBand/RoCE fabrics, ensure topology-aware job placement, and run continuous communication/throughput benchmarks to catch regressions.
benchmark ارتباط بین GPUها به‌طور مداوم اجرا می‌شود تا افت کارایی پس از هر تغییر زود دیده شود. جای‌گذاری کار با توجه به توپولوژی یعنی GPUهای یک کار تا جای ممکن نزدیک هم باشند.
Escalation Point: Own the hard problems — NCCL hangs and timeouts, CUDA memory leaks, ROCm kernel crashes, straggler nodes, and unexplained throughput drops.
مهندس ارشد آخرین ایستگاه مشکلات است. این‌ها همان مشکلاتی‌اند که خطای روشنی نمی‌دهند و به تجربه و صبر نیاز دارند.
نتیجه‌گیری کلی
این آگهی کل لایهٔ نرم‌افزاری خوشه را به یک نفر می‌سپارد: از kernel و درایور تا زمان‌بند و کانتینر. محور کار «نود آماده برای پروداکشن» است؛ تعریفش، ساختن خودکارش، تستش پیش از ورود به صف و سالم نگه داشتنش در طول عمر. این آگهی از آموزش مدل کمتر و از Linux، خودکارسازی و پشتهٔ GPU بیشتر می‌پرسد. اگر از مدیریت سیستم یا DevOps می‌آیید، فاصلهٔ شما با این نقش بیشتر در پشتهٔ GPU و NCCL است تا در یادگیری ماشین.
آینده و روندها
پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید
BLS برای Network and Computer Systems Administrators در آمریکا کاهش ۴ درصدی اشتغال را از ۲۰۲۵ تا ۲۰۳۵ پیش‌بینی می‌کند، اما با وجود این کاهش، هر سال حدود ۱۳٬۴۰۰ فرصت شغلی تازه در این گروه انتظار دارد. BLS گروه جداگانه‌ای برای HPC یا خوشهٔ GPU ندارد؛ این نزدیک‌ترین گروه رسمی به کار روزمرهٔ نصب، پیکربندی و نگهداری سیستم‌هاست و همهٔ مدیران سیستم را در بر می‌گیرد، نه فقط خوشه‌های GPU.
منبع: BLS Occupational Outlook Handbook (2025–2035, US)
مهارت‌های نوظهور که باید یاد بگیرید
پیش‌بینی‌های آینده
در فهرست Jobs on the Rise ۲۰۲۶ لینکدین برای آمریکا، Datacenter technician رتبهٔ ۱۷ را دارد؛ نقشی که به نوشتهٔ لینکدین سرور، ذخیره‌سازی و سخت‌افزار دیتاسنتر را نصب، نگهداری و عیب‌یابی می‌کند و نزدیک‌ترین همسایهٔ بخش سخت‌افزاری این شغل است.
پیش‌بینی BLS: اشتغال Network and Computer Systems Administrators در آمریکا از ۲۰۲۵ تا ۲۰۳۵ حدود ۴ درصد کم می‌شود، با این حال BLS هر سال حدود ۱۳٬۴۰۰ فرصت شغلی تازه در این گروه انتظار دارد.
کار دستی این شغل به‌سرعت خودکار می‌شود: Meta نوشته در آموزش Llama 3 از صدها توقف تنها سه مورد دخالت جدی دستی لازم داشت و Fluidstack صریحاً «بدون اسکریپت یک‌بارمصرف و بدون قهرمان‌بازی» می‌خواهد. یعنی ارزش مهندس در ساختن خودکارسازی است، نه اجرای دستی رویه‌ها. دوم، پیش‌بینی BLS برای گروه کلی مدیران سیستم منفی است و کسی که فقط مدیریت سیستم عمومی بلد است، در بازار کوچک‌تری رقابت می‌کند. سوم، بخش بزرگی از آگهی‌ها در چند نوع شرکت متمرکزند (ابرهای GPU، سازندگان مدل، شرکت‌های تراشه و صندوق‌های کمّی) و بسیاری حضور در دفتر یا on-call خارج از ساعت کاری را می‌خواهند.
منابع
اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۳۸ منبع بررسی شده است.
- GPU Cluster Engineer, Systems & Platform — Sciforium (job posting)
- GPU Cluster Engineer, Hardware Operations — Sciforium (job posting)
- GPU Cluster Engineer, Networking — Sciforium (job posting)
- GPU Cluster Engineer (human) — NEURA Robotics (job posting)
- Senior HPC Engineer - Fleet Engineering — Lambda (job posting)
- Engineering Manager, Fleet Engineering — Lambda (job posting)
- Operations Engineer, Fleet Reliability — CoreWeave (job posting)
- Senior Systems HPC Engineer — Nebius (job posting)
- Senior HPC AI Cluster Engineer — NVIDIA (job posting)
- HPC Operations Engineer — NVIDIA (job posting)
- Infrastructure Automation Engineer, AI Cluster Commissioning — Firmus (job posting)
- Senior Manager, Cluster Engineering & Deployment — TensorWave (job posting)
- HPC Operations Engineer — Tower Research Capital (job posting)
- Software Engineer, GPU Fleet — Tower Research Capital (job posting)
- HPC Operations Engineer — Jump Trading (job posting)
- HPC Systems Administrator — Helsing (job posting)
- Cluster Operations Software Engineer — Cerebras (job posting)
- Reliability Engineer, Supercomputing — Thinking Machines Lab (job posting)
- Software Engineer, GPU Infrastructure — Fluidstack (job posting)
- levels.fyi — HPC Engineer salary, United States
- levels.fyi — HPC Engineer salary, Canada
- levels.fyi — HPC Engineer salary, United Kingdom
- levels.fyi — HPC Engineer salary, Germany
- levels.fyi — HPC Engineer salary, India
- BLS Occupational Outlook Handbook — Network and Computer Systems Administrators
- The Llama 3 Herd of Models (arXiv 2407.21783)
- Imbue — From bare metal to a 70B model: infrastructure set-up and scripts
- Meta Engineering — Building Meta’s GenAI Infrastructure (2024)
- NVIDIA Acquires Open-Source Workload Management Provider SchedMD (NVIDIA blog, Dec 2025)
- Slurm Workload Manager — Wikipedia
- SchedMD — Wikipedia
- SchedMD — Slurm and Slinky
- Jack Dongarra — Wikipedia
- HPL — A Portable Implementation of the High-Performance Linpack Benchmark (netlib)
- Brendan Gregg — Wikipedia
- LinkedIn Jobs on the Rise 2026: The 25 fastest-growing jobs in the U.S.
- NVIDIA-Certified Associate: AI Infrastructure and Operations (NCA-AIIO)
- NVIDIA-Certified Professional: AI Operations (NCP-AIO)