🎨

گروه «متخصصان AI و یادگیری ماشین»: رتبهٔ ۳ رشد شغلی تا ۲۰۳۰ (جهانی)· منبع: WEF

متخصص هوش مصنوعی چندوجهی

Multimodal AI Specialist

متخصص هوش مصنوعی چندوجهی (Multimodal) سیستم‌هایی می‌سازد که چند نوع داده را با هم می‌فهمند یا تولید می‌کنند: متن، تصویر، صدا، ویدیو و گاهی داده‌های حسگر. در عمل یعنی آموزش و تطبیق مدل‌های بینایی-زبانی (VLM)، ساختن embedding مشترک برای جستجوی هم‌زمان با متن و تصویر، مدل‌های صدا-به-صدا و ادراک چندحسگری در خودروهای خودران. عنوان دقیق «Multimodal AI Specialist» در سایت استخدام شرکت‌ها تقریباً دیده نمی‌شود؛ کارفرماها همین کار را با عنوان‌هایی مثل Machine Learning Engineer، Applied Scientist، Research Engineer یا Member of Technical Staff با پسوند Multimodal یا VLM آگهی می‌کنند.

PythonPyTorchVision-Language ModelsContrastive Learning (CLIP / SigLIP)Multimodal Data PipelinesEvaluation & BenchmarksDistributed TrainingInference Optimization

مقدمه و تعریف شغل

متخصص هوش مصنوعی چندوجهی (Multimodal AI Specialist) کسی است که مدل‌ها و سیستم‌هایی می‌سازد که بیش از یک نوع داده را با هم پردازش می‌کنند. طبق ویکی‌پدیا، یادگیری چندوجهی نوعی یادگیری عمیق است که چند نوع داده یا «مدالیته» مثل متن، صدا، تصویر و ویدیو را ادغام می‌کند. کار روزمره بسته به شرکت فرق دارد: در Amazon یعنی رتبه‌بندی محصول با متن و عکس، در Waymo و Kodiak ادغام دوربین، LiDAR و رادار، در Bland و Synthesia مدل‌هایی که هم‌زمان می‌شنوند و حرف می‌زنند، و در آزمایشگاه‌هایی مثل SpaceXSI (xAI) آموزش مدل‌های بزرگی که تصویر، ویدیو، صدا و متن را می‌فهمند و تولید می‌کنند. در بازار، این عنوان دقیق تقریباً به کار نمی‌رود؛ دنبال عنوان‌های Machine Learning Engineer، Applied Scientist، Research Engineer و Member of Technical Staff با پسوند Multimodal یا VLM بگردید.

این حوزه در چند سال شکل گرفت. در ۲۰۲۰ مقالهٔ ViT نشان داد Transformer روی تکه‌های تصویر هم خوب کار می‌کند. در فوریهٔ ۲۰۲۱، CLIP با نویسندگی اول Alec Radford روی ۴۰۰ میلیون جفت تصویر و متن آموزش دید و توانست بدون آموزش اختصاصی، مفهوم‌های تصویری را با زبان طبیعی شناسایی کند. در ۲۰۲۲ مدل Flamingo از DeepMind مدل‌های جداگانهٔ بینایی و زبان را به هم وصل کرد و Whisper روی ۶۸۰ هزار ساعت صدا آموزش دید؛ در ۲۰۲۳ هم LLaVA، به‌عنوان نمونه‌ای متن‌باز، یک vision encoder را به یک مدل زبانی وصل کرد. طبق ویکی‌پدیا، عرضهٔ GPT-4V در ۲۰۲۳ آغاز کاربردهای تجاری پراثر بود، Gemini در دسامبر ۲۰۲۳ از ابتدا چندوجهی طراحی شد و GPT-4o در مهٔ ۲۰۲۴ گفتگوی صدا-به-صدا را بدون مدل جداگانه انجام داد. امروز آگهی‌ها در آزمایشگاه‌های پیشرو، شرکت‌های بزرگ فناوری، خودروهای خودران و استارتاپ‌های صدا و ویدیو متمرکزند. در جستجوی آگهی‌ها برای این صفحه (اکتبر ۲۰۲۶)، Waymo به‌تنهایی ۱۲ آگهی با VLM، Multimodal یا world model در عنوان داشت، اما هیچ شرکتی عنوان دقیق Multimodal AI Specialist را به کار نبرده بود.

چه چیزی می‌سازید؟

مثال‌های واقعی از خروجی کار یک متخصص هوش مصنوعی چندوجهی

🛒

جستجوی محصول با متن و تصویر

تیم جستجوی Amazon مدل‌هایی آموزش می‌دهد که عکس محصول را کنار متن به سیگنال اصلی رتبه‌بندی تبدیل کنند و قیدهای تصویری را که متن به‌تنهایی نمی‌گیرد بررسی کنند؛ مثلاً اینکه محصول واقعاً رنگ یا شکلی را دارد که کاربر خواسته است.

🎬

درک و جستجوی ویدیو

TwelveLabs مدل embedding ویدیوی Marengo و مدل ویدیو-زبان Pegasus را می‌سازد؛ به گفتهٔ آگهی، دستیار Jockey این شرکت روی آرشیوهایی در حد یک میلیون ساعت ویدیو جستجو و استدلال می‌کند و لحظه‌های مرتبط را با زمان دقیق برمی‌گرداند.

🎙️

دستیارها و ایجنت‌های صوتی بلادرنگ

تیم Multimodal در Perplexity کل مسیر را از لحظه‌ای که کاربر در دستگاه حرف می‌زند تا رسیدن جواب در اختیار دارد؛ Bland ایجنت‌های تلفنی سازمانی می‌سازد و Synthesia مدل‌های صدا-به-صدایی که هم‌زمان متن و صدا تولید می‌کنند.

🧑‍💻

آواتار و ویدیوی گفتگو

Tavus مدل‌هایی می‌سازد که ارتباط انسانی (زبان، صدا و ویدیو) را مدل می‌کنند و رفتار صوتی-تصویری آواتار را تولید می‌کنند؛ از آواتار متن-به-ویدیو تا گفتگوی ویدیویی بلادرنگ.

🚚

ادراک چندحسگری برای خودرو و ربات

Kodiak روی GigaFusionNet کار می‌کند، یک Transformer چندوجهی بزرگ که داده‌های دوربین، LiDAR و رادار را با attention در یک بازنمایی مشترک ادغام می‌کند. تیم Multimodal Perception در Waymo هم دوربین، LiDAR و صدا را کنار هم به کار می‌گیرد.

📱

ادراک و احراز هویت در دستگاه‌های مصرفی

تیم پژوهشی Consumer Devices در OpenAI روی ادراک چندوجهی و احراز هویت با سیگنال‌های دوربین، میکروفون و حسگرهای دیگر کار می‌کند و قابلیت‌ها را روی سیستم‌های بلادرنگ یا با منابع محدود پیاده می‌کند.

تخصص‌های مختلف متخصص هوش مصنوعی چندوجهی

این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد

👁️

مدل‌های بینایی-زبانی

Vision-Language Models

آموزش و post-training مدل‌هایی که تصویر یا ویدیو را با متن می‌فهمند؛ از Waymo که با مدل‌های پایهٔ چندوجهی مثل Gemini صحنه‌های رانندگی را به‌طور خودکار برچسب می‌زند تا Cohere که به گفتهٔ آگهی مدل Command A Vision را با وزن‌های باز منتشر کرده است.

🔎

جستجو و embedding چندوجهی

Multimodal Search & Embeddings

ساختن embedding مشترک برای بازیابی و رتبه‌بندی؛ جستجوی محصول با متن و عکس در Amazon و مدل embedding ویدیوی Marengo در TwelveLabs.

🎧

صدا و گفتگوی بلادرنگ

Speech & Real-time Voice

مدل‌های صدا-و-متن و زیرساخت جلسه‌های صوتی زنده؛ Bland برای تماس تلفنی، Perplexity برای دستیار صوتی و Synthesia برای مدل‌های صدا-به-صدا.

🎥

تولید صدا و ویدیو

Generative Audio-Visual Models

diffusion و مدل‌های مولد برای آواتار گفتگو، ویدیوی بلند و صدا؛ هستهٔ آگهی‌های Tavus و Synthesia. تیم API Multimodal در OpenAI هم APIهای تولید تصویر و مدل‌های بلادرنگ را می‌سازد.

🤖

ادراک چندحسگری و هوش مصنوعی بدن‌مند

Multimodal Perception & Embodied AI

ادغام دوربین، LiDAR، رادار و صدا برای خودرو و ربات؛ GigaFusionNet در Kodiak، تیم Multimodal Perception در Waymo و نقش Multimodal & Embodied AI در Shield AI.

تفاوت با شغل‌های مشابه

کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟

مهندس بینایی ماشینComputer Vision Engineer

در صفحهٔ مهندس بینایی ماشین این سایت، تمرکز آن نقش روی تصویر، ویدیو و داده‌های حسگر است، همراه با کالیبراسیون دوربین و هندسهٔ سه‌بعدی. متخصص چندوجهی تصویر را یکی از چند ورودی می‌بیند و کار اصلی‌اش اتصال آن به زبان، صدا یا حسگرهای دیگر است: embedding مشترک تصویر و متن، مدل‌های بینایی-زبانی (VLM) و ادغام دوربین با LiDAR و رادار. مرز این دو نزدیک است؛ همان صفحه نشان می‌دهد Waymo، SpaceX و Verkada در آگهی‌های بینایی ماشین VLM را هم خواسته‌اند و Waymo این ترکیب را با عنوان Senior Machine Learning Engineer, Computer Vision/VLM آگهی کرده است.

مهندس تشخیص گفتارSpeech Recognition Engineer

طبق صفحهٔ مهندس تشخیص گفتار این سایت، آن نقش از صدای خام شروع می‌کند و خروجی را با WER می‌سنجد؛ نویز، لهجه و diarization بخشی از کار اوست. در نقش چندوجهی، گفتار کنار متن، ابزار و گاهی ویدیو در یک مدل می‌آید: Bland از پشتهٔ «LLM چندوجهی» می‌نویسد که گفتار، متن، ابزار و استدلال بلادرنگ را در یک سیستم جمع می‌کند و Synthesia مدل‌های صدا-به-صدایی می‌سازد که هم‌زمان متن و صدا تولید می‌کنند. آشنایی با neural audio codec در آگهی هر دو آمده است.

مهندس مدل‌های زبانی بزرگLLM Engineer

طبق صفحهٔ مهندس LLM این سایت، نقطهٔ شروع آن نقش یک مدل زبانی از پیش آموزش‌دیده است که باید تطبیق داده، سنجیده، فشرده و سرو شود. متخصص چندوجهی همین کارها را روی مدلی انجام می‌دهد که تصویر، صدا یا ویدیو هم می‌گیرد، و چند لایهٔ دیگر به کار اضافه می‌شود: vision encoder و لایهٔ اتصالش به مدل زبانی، pipelineهای دادهٔ تصویر و ویدیو و ارزیابی‌ای که نشان دهد مدل واقعاً تصویر را دیده است. آگهی SpaceXSI (xAI) «تجربهٔ عملی با پیش‌آموزش، post-training یا fine-tuning چندوجهی (بینایی، صدا، ویدیو یا میان‌مدالیته)» را شرط پایه گذاشته است.

پژوهشگر هوش مصنوعیAI Researcher

طبق صفحهٔ پژوهشگر هوش مصنوعی این سایت، پژوهشگر روش تازه طراحی و منتشر می‌کند و Research Engineer ابزار و کدبیسی می‌سازد که پژوهش را ممکن می‌کند. بیشتر آگهی‌های چندوجهی روی همین مرز قرار دارند: عنوان‌هایی مثل Research Engineer (Synthesia، TwelveLabs و Tavus) و Member of Technical Staff (SpaceXSI، Perplexity و Cohere) هم پژوهش می‌خواهند و هم تحویل به محصول، و TwelveLabs صریحاً «مقاله در کنار محصول ارسال‌شده، نه یکی از این دو» را می‌خواهد. نقش‌های پژوهشی خالص‌تر شرط سنگین‌تری دارند: آگهی AI Researcher در Tavus دکترا یا تجربهٔ پژوهشی معادل و سابقهٔ انتشار در کنفرانس‌هایی مثل CVPR و NeurIPS را می‌خواهد.

تأثیر در صنایع مختلف

متخصص هوش مصنوعی چندوجهی در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری

🛒

خرده‌فروشی و جستجوی آنلاین

Amazon Search عکس محصول را کنار متن در رتبه‌بندی به کار می‌گیرد تا نتیجه‌های نامرتبط کمتری به کاربر نشان داده شود

🚚

خودروهای خودران و حمل بار

Waymo برای ادراک چندوجهی و مدل‌های بینایی-زبانی چندین آگهی باز داشت و Kodiak، که کامیون‌های بدون راننده می‌سازد، روی Transformer چندوجهی برای ادغام دوربین، LiDAR و رادار کار می‌کند

🎬

رسانه، ورزش و آرشیو ویدیو

به گفتهٔ TwelveLabs، مدل‌هایش ویدیو را از راه دیدن، شنیدن و حرکت می‌فهمند و در رسانه، سرگرمی، ورزش، امنیت و بخش دولتی به کار می‌روند

🏢

ارتباطات و آموزش سازمانی

به گفتهٔ Synthesia، بیش از ۶۰ هزار کسب‌وکار از پلتفرم ویدیوی AI آن استفاده می‌کنند و گام بعدی شرکت مدل‌هایی است که متن، صدا و ویدیو را در یک تجربهٔ تعاملی بلادرنگ ترکیب کنند

📞

خدمات مشتری و تماس تلفنی

Bland برای سازمان‌ها ایجنت تلفنی AI می‌سازد و به گفتهٔ آگهی، سیستم‌هایش روزانه میلیون‌ها تماس را پاسخ می‌دهند

🩺

سلامت، استخدام و فروش

مدل‌های Tavus به گفتهٔ خود شرکت پشت آواتارهای AI و گفتگوی ویدیویی بلادرنگ در سلامت، استخدام، فروش و آموزش‌اند

📱

دستگاه‌های مصرفی

گروه Consumer Devices در OpenAI روی ادراک افراد و محیط با دوربین، میکروفون و حسگرهای دیگر برای محصولات آینده کار می‌کند

🛩️

دفاع و هوانوردی

تیم Perception در Shield AI پیشرفت‌های بینایی چندوجهی، مدل‌های پایهٔ بینایی و هوش مصنوعی بدن‌مند را به قابلیت‌های هواپیما و خودروهای خودران تبدیل می‌کند

تصورات غلط رایج

قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید

«Multimodal AI Specialist» یک عنوان شغلی رایج است

در جستجوی آگهی‌ها برای این صفحه (اکتبر ۲۰۲۶)، هیچ شرکتی این عنوان دقیق را در سایت استخدامش نداشت. همین کار با عنوان‌هایی مثل Machine Learning Engineer, Multimodal Perception (Waymo)، Applied Scientist II (Amazon)، Research Engineer (Synthesia و TwelveLabs) و Member of Technical Staff (SpaceXSI و Perplexity) آگهی می‌شود. تنها آگهی‌هایی که «Multimodal AI ... Specialist» در عنوان داشتند، کار قراردادی ارزیابی خروجی مدل در TELUS Digital بودند با دستمزد ۱۰ تا ۲۰ دلار در ساعت؛ کاری نزدیک‌تر به صفحهٔ مربی هوش مصنوعی (AI Trainer) این سایت.

کار چندوجهی یعنی صدا زدن API مدل‌های آماده

بیشتر آگهی‌ها آموزش و تطبیق خودِ مدل را می‌خواهند: Amazon آموزش vision-language encoder، SpaceXSI تجربهٔ عملی با پیش‌آموزش و post-training چندوجهی، و Kodiak طراحی Transformer چندوجهی. نیمهٔ زیرساختی هم وجود دارد: آگهی Software Engineer, API Multimodal در OpenAI صریحاً می‌نویسد تجربهٔ آموزش مدل لازم نیست و روی API، استریم کم‌تأخیر و سیستم‌های توزیع‌شده تمرکز دارد.

باید در همهٔ مدالیته‌ها متخصص باشید

آگهی‌ها معمولاً عمق در یک حوزه به‌علاوهٔ توان اتصال آن به بقیه را می‌خواهند. OpenAI برای ML Engineer, Multimodal Perception «پیش‌زمینهٔ قوی در بینایی ماشین، یادگیری ماشین صوت یا گفتار، یادگیری چندوجهی یا حسگرها» را کافی می‌داند و Synthesia «برتری در یک یا چند مدالیته از صدا، متن و ویدیو» را امتیاز می‌شمارد.

بدون دکترا راهی به این حوزه نیست

شرط‌ها متفاوت است. Tavus برای AI Researcher دکترا یا تجربهٔ پژوهشی معادل می‌خواهد و Shield AI دکترا یا سابقهٔ معادل در پژوهش و مهندسی. اما Amazon ارشد با ۲ سال تجربه را می‌پذیرد، Kodiak ارشد یا کارشناسی با ۸ سال تجربه را، و TwelveLabs می‌نویسد نقشش معمولاً برای مهندسانی با کارشناسی ارشد و تجربهٔ صنعتی عمیق مناسب است. آگهی‌های مهندسی نرم‌افزار چندوجهی در Perplexity و OpenAI اصلاً شرط مدرک ندارند و سال‌های تجربه را می‌خواهند.

کار اصلی طراحی معماری مدل است

بخش بزرگی از کار داده و ارزیابی است. Amazon ساختن دادهٔ آموزشی و روش ارزیابی را جزو وظایف اصلی آورده، Waymo pipelineهای استخراج داده و برچسب‌گذاری خودکار را، و SpaceXSI ساختن pipeline دادهٔ تصویر، ویدیو و صدا در مقیاس پتابایت و چارچوب‌های ارزیابی را. طبق ویکی‌پدیا، حتی دیتاست LAION-5B هم با کمک CLIP ساخته شد تا تصویرهایی که با توضیحشان نمی‌خواندند کنار گذاشته شوند.

یک روز کاری واقعی

در هر سطح روز کاری چه شکلی است؟

جونیور (۰–۲ سال)

بیشتر وقت صرف داده و آزمایش روی یک بخش مشخص می‌شود: آماده‌کردن جفت‌های تصویر-متن یا صدا-متن، اجرای fine-tuning و نوشتن ارزیابی. معمولاً روی مدلی کار می‌کنید که معماری‌اش را دیگران انتخاب کرده‌اند و کارتان این است که بفهمید مدل کجا و چرا خطا می‌دهد.

◆بررسی نمونه‌هایی که مدل در آن‌ها تصویر یا صدا را اشتباه فهمیده و دسته‌بندی علت خطا
◆fine-tune کردن یک مدل بینایی-زبانی روی دادهٔ تیم و مقایسه با نسخهٔ قبل
◆افزودن یک معیار تازه به مجموعهٔ ارزیابی
◆پاک‌سازی و فیلتر یک دستهٔ تازه از داده

میانی (۲–۵ سال)

مالکیت یک مدل یا بخشی از محصول با شماست. آگهی Amazon روز معمول را این‌طور توصیف می‌کند: ترکیب توسعهٔ مدل و آماده‌سازی داده با تحلیل دقیق آزمایش؛ پیدا کردن اینکه جستجو برای کدام دسته از پرس‌وجوها خراب می‌شود، طراحی راه‌حل و اثبات بهبود با معیارهای آفلاین و آزمایش A/B زنده، و ارائهٔ منظم نتایج به تیم بزرگ‌تر.

◆تحلیل اینکه مدل برای کدام دسته از ورودی‌ها خطا می‌دهد
◆ساختن hard negative برای آموزش دوبارهٔ embedding
◆اجرای آزمایش A/B و تحلیل توازن precision و recall
◆ارائهٔ نتایج به تیم و بازبینی کد همکاران

ارشد (۵+ سال)

تعیین معماری، دادهٔ آموزشی و روش ارزیابی و هماهنگی بین تیم‌ها. TwelveLabs از مهندس Staff می‌خواهد مسیر فنی مدل‌های نسل بعد را تعیین کند و Kodiak از Technical Lead می‌خواهد با design review و code review سطح فنی را تعیین کند، مهندسان جوان‌تر را منتورینگ کند و طراحی مدل را با بودجهٔ تأخیر و محاسبات کل سیستم هماهنگ کند.

◆تصمیم دربارهٔ ترکیب داده (data mixture) و بودجهٔ محاسبات برای آموزش بعدی
◆طراحی ablation study برای انتخاب بین دو معماری
◆هماهنگی با تیم‌های محصول و زیرساخت دربارهٔ نیاز تأخیر و هزینه
◆منتورینگ مهندسان جوان‌تر

مسئولیت‌ها و وظایف

مسئولیت‌های اصلی

وظایف روزانه و مهارت‌های مورد نیاز در این شغل

فنی

◈آموزش، fine-tuning و post-training مدل‌های بینایی-زبانی و مدل‌های چندوجهی بزرگ
◈ساختن embedding مشترک متن، تصویر، صدا و ویدیو برای جستجو و بازیابی، با contrastive learning و hard-negative mining
◈طراحی pipelineهای دادهٔ چندوجهی: جمع‌آوری، فیلتر، برچسب‌گذاری خودکار و کنترل کیفیت
◈طراحی ارزیابی و benchmark داخلی که خطاهای واقعی محصول و حالت‌های شکست مدل را نشان دهد
◈ترکیب داده‌های چند حسگر مثل دوربین، LiDAR، رادار و میکروفون در مدل‌های ادراک
◈بهینه‌سازی مدل برای تأخیر و هزینه با quantization، distillation و اجرای روی سخت‌افزار محدود
◈ساختن سیستم‌های بلادرنگ صدا و ویدیو که مدل‌های چندوجهی را به کاربر می‌رسانند
◈اجرای آزمایش‌های آفلاین و A/B و بردن مدل از نمونهٔ اولیه تا پروداکشن

مهارت نرم

◈همکاری با تیم‌های پژوهش، محصول، زیرساخت و سخت‌افزار

مدیریتی

◈رهبری فنی، design review و منتورینگ مهندسان جوان‌تر در سطوح ارشد

مهارت‌های مورد نیاز

مهارت‌های فنی، نرم و حوزه‌ای که یک متخصص هوش مصنوعی چندوجهی موفق به آن‌ها نیاز دارد

مهارت‌های فنی

Python و PyTorchضروری

زبان و فریم‌ورک مشترک تقریباً همهٔ آگهی‌ها؛ Waymo، SpaceXSI و Cohere از JAX هم نام برده‌اند

Transformer و attentionضروری

معماری پایهٔ مدل‌های چندوجهی؛ Kodiak «تسلط بر cross-attention، token fusion و هم‌ترازی مدالیته‌ها» را می‌خواهد

Contrastive learning و embedding مشترکضروری

CLIP، SigLIP و hard-negative mining؛ در آگهی‌های Amazon و Kodiak و کار تیم Marengo در TwelveLabs

مدل‌های بینایی-زبانی (VLM)ضروری

vision encoder، لایهٔ projection و مدل زبانی؛ fine-tuning و post-training با SFT یا یادگیری تقویتی (آگهی Waymo از DPO، GRPO و PPO نام می‌برد)

Pipeline دادهٔ چندوجهیضروری

جمع‌آوری، فیلتر و کنترل کیفیت دادهٔ تصویر، ویدیو و صدا؛ SpaceXSI، TwelveLabs و Waymo آن را می‌خواهند

ارزیابی و benchmarkضروری

طراحی ارزیابی که خطای واقعی را نشان دهد؛ SpaceXSI، Synthesia و OpenAI هر سه آن را جزو وظایف آورده‌اند

آموزش توزیع‌شدهمهم

FSDP، mixed precision و آموزش روی چند GPU؛ در آگهی‌های TwelveLabs، Kodiak و SpaceXSI

بهینه‌سازی inferenceمهم

quantization، distillation، TensorRT و ONNX Runtime برای کاهش تأخیر و هزینه؛ در آگهی‌های Tavus و Shield AI

صدا و مدل‌های مولدمهم

neural audio codec، diffusion و flow-matching؛ در آگهی‌های Synthesia، Bland و Tavus

سیستم‌های بلادرنگ و توزیع‌شدهمفید

streaming، gRPC و WebRTC؛ Perplexity برای این بخش Rust، Python یا Go می‌خواهد و Tavus تجربه با WebRTC و TTS استریمی را امتیاز می‌داند

C++مفید

برای اجرای مدل روی دستگاه و سیستم‌های بلادرنگ؛ OpenAI و Shield AI آن را کنار Python آورده‌اند

مهارت‌های نرم

رساندن پژوهش به محصولضروری

Shield AI، OpenAI و Synthesia همه می‌خواهند ایدهٔ پژوهشی به سیستم کارکننده و محصول تبدیل شود

آزمایش سریع و منظمضروری

Bland می‌خواهد بتوانید از ایده به داده، آزمایش و نتیجه در چند روز برسید و آزمایشی طراحی کنید که واقعاً به سؤال جواب دهد

همکاری میان‌رشته‌ایمهم

کار با تیم‌های سخت‌افزار، firmware، محصول، برنامه‌ریزی و زیرساخت؛ در آگهی‌های OpenAI و Kodiak

حس محصولمهم

Bland «حس اینکه چه چیزی یک تعامل را طبیعی یا ماشینی می‌کند» را می‌خواهد و OpenAI درک نیاز توسعه‌دهنده‌ها را

کار با مسئله‌های مبهممهم

TwelveLabs و Waymo هر دو توان پیش بردن مسئله‌های نیمه‌تعریف‌شده تا نتیجهٔ مشخص را می‌خواهند

دانش حوزه‌ای

تصویر و ویدیومهم

patch، رزولوشن، فریم و مدل‌سازی زمانی؛ TwelveLabs تجربه با درک زمانی ویدیو را امتیاز می‌داند

صوت و گفتارمهم

طیف‌نگار، tokenization صدا و codec؛ Synthesia «درک خوب از مدل‌سازی سری زمانی و tokenization، ترجیحاً در صدا، گفتار یا ویدیو» را می‌خواهد

حسگرها و ادراکمفید

دوربین، LiDAR، رادار و میکروفون؛ برای نقش‌های خودرو، ربات و دستگاه (Waymo، Kodiak، Shield AI و OpenAI)

حریم خصوصی، ایمنی و حقوق دادهمفید

OpenAI تجربه با احراز هویت و بیومتریک را امتیاز می‌داند و ماجرای LAION-5B نشان داد دادهٔ جمع‌شده از وب چه خطرهای حقوقی و ایمنی دارد

ضروری — بدون آن نمی‌توان وارد بازار کار شدمهم — تفاوت بین جونیور و میانیمفید — مزیت رقابتی

نقشه راه و مسیر آموزشی

نقشه راه تبدیل شدن به متخصص هوش مصنوعی چندوجهی

این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.

پایه‌ها: Python، PyTorch و یادگیری عمیق

⏱️ ۲ تا ۳ ماه

تقریباً همهٔ آگهی‌های بررسی‌شده PyTorch می‌خواهند (Waymo، Kodiak، TwelveLabs، Synthesia، Tavus، OpenAI و Shield AI) و Waymo، SpaceXSI (xAI) و Cohere از JAX هم نام برده‌اند. پیش از رفتن سراغ مدل‌های چندوجهی باید بتوانید یک شبکهٔ عصبی را خودتان آموزش دهید، ارزیابی کنید و بفهمید چرا خطا می‌دهد.

PythonNumPyPyTorchشبکهٔ عصبی و backpropagationCNNآموزش و ارزیابی مدلGit

منابع پیشنهادی

Practical Deep Learning for Coders — fast.ai (رایگان)Learn the Basics — PyTorch Tutorials Dive into Deep Learning — کتاب آنلاین رایگان

Transformer در متن، تصویر و صدا

⏱️ ۲ ماه

مدل‌های چندوجهی امروز روی Transformer ساخته شده‌اند. اول Transformer و attention را در متن بفهمید، بعد ببینید Vision Transformer (ViT) چطور تصویر را به تکه‌های کوچک (patch) می‌شکند و مثل دنباله‌ای از توکن‌ها پردازش می‌کند. مقالهٔ ViT در ۲۰۲۰ نشان داد یک Transformer خالص روی patchهای تصویر هم در طبقه‌بندی تصویر خوب کار می‌کند. دورهٔ صوت Hugging Face هم نشان می‌دهد صدا چطور به ورودی مدل تبدیل می‌شود.

Transformer و attentionTokenizationVision Transformer (ViT)طیف‌نگار (spectrogram) و ویژگی‌های صوتیHugging Face Transformers

منابع پیشنهادی

Hugging Face LLM Course (رایگان)The Illustrated Transformer — Jay Alammar An Image is Worth 16x16 Words — مقالهٔ ViT Hugging Face Audio Course (رایگان)

embedding مشترک و مدل‌های بینایی-زبانی

⏱️ ۲ تا ۳ ماه

هستهٔ این تخصص اینجاست. CLIP با یادگرفتن اینکه «کدام متن به کدام تصویر می‌خورد»، روی ۴۰۰ میلیون جفت تصویر و متن، تصویر و متن را در یک فضای برداری مشترک گذاشت. در مدل‌هایی مثل LLaVA، یک vision encoder از نوع CLIP با یک لایهٔ اتصال (projection) به مدل زبانی وصل می‌شود و خروجی این لایه مثل توکن‌های متن وارد مدل می‌شود. آگهی Amazon دقیقاً همین‌ها را می‌خواهد: آموزش vision-language encoder و ساختن embedding مشترک متن و تصویر با contrastive training و hard-negative mining.

Contrastive LearningCLIP / SigLIPCross-modal RetrievalVision Encoder + Projection + LLMVisual Instruction TuningFine-tuning با LoRA

منابع پیشنهادی

Learning Transferable Visual Models From Natural Language Supervision — مقالهٔ CLIP OpenCLIP — پیاده‌سازی متن‌باز CLIP Visual Instruction Tuning — مقالهٔ LLaVA Image-text-to-text — راهنمای Hugging Face Transformers

صدا، ویدیو و مدل‌های مولد

⏱️ ۲ تا ۳ ماه

بخشی از آگهی‌ها روی صدا و تولید محتوا تمرکز دارند. Whisper با آموزش روی ۶۸۰ هزار ساعت دادهٔ صوتی چندزبانه و چندوظیفه‌ای ساخته شد. Bland و Synthesia از مهندس آشنایی با neural audio codec می‌خواهند و Synthesia روی مدل‌های صدا-به-صدا کار می‌کند؛ Tavus و Synthesia هم با diffusion ویدیو و آواتار تولید می‌کنند. لازم نیست در همه عمیق شوید: آگهی Synthesia «برتری در یک یا چند مدالیته از صدا، متن و ویدیو» را امتیاز می‌داند.

Whisper و ASRNeural Audio CodecDiffusion ModelsVideo UnderstandingSpeech-to-Speech

منابع پیشنهادی

Whisper — مخزن رسمی Hugging Face Diffusion Models Course (رایگان)How Diffusion Models Work — DeepLearning.AI Diffusers — مستندات Hugging Face

سیستم چندوجهی در پروداکشن: داده، ارزیابی و سرو

⏱️ مداوم

مدل خوب بدون داده و ارزیابی خوب به محصول نمی‌رسد. SpaceXSI (xAI) از مهندس pipelineهای داده در مقیاس پتابایت و چارچوب ارزیابی می‌خواهد، Waymo استخراج خودکار داده و برچسب‌گذاری خودکار، و Tavus فشرده‌سازی مدل با distillation و quantization برای تأخیر و هزینهٔ کمتر. در محصولات بلادرنگ مثل دستیار صوتی و آواتار، Bland و Synthesia تأخیر را جزو اصل کار می‌دانند.

Data curation و فیلتر دادهEvaluation و BenchmarkDistributed Training (FSDP)Quantization و Distillationسرو مدل با vLLMStreaming و WebRTC

منابع پیشنهادی

Building Multimodal Search and RAG — DeepLearning.AI (ثبت‌نام رایگان)lmms-eval — ابزار ارزیابی مدل‌های چندوجهی Multimodal Inputs — مستندات vLLM Open-Source AI Cookbook — Hugging Face

ابزارها و استک فنی

ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت

فریم‌ورک‌ها و کتابخانه‌های اصلی

PyTorch

فریم‌ورک مشترک تقریباً همهٔ آگهی‌های بررسی‌شده، از Amazon و Waymo تا TwelveLabs و Tavus

ضروری

Hugging Face Transformers

کتابخانهٔ تعریف و اجرای مدل‌های متن، بینایی، صوت و چندوجهی، هم برای inference و هم برای آموزش

ضروری

JAX

کتابخانهٔ محاسبات آرایه‌ای پرسرعت؛ Waymo، SpaceXSI (xAI) و Cohere آن را کنار PyTorch نام برده‌اند

مفید

PEFT

کتابخانهٔ Hugging Face برای fine-tuning کم‌هزینه با روش‌هایی مثل LoRA؛ آگهی Tavus شناخت low-rank adapterها را می‌خواهد

مفید

مدل‌های پایهٔ چندوجهی متن‌باز

OpenCLIP

پیاده‌سازی متن‌باز CLIP برای آموزش و استفاده از embedding مشترک تصویر و متن

ضروری

SigLIP 2

خانوادهٔ encoderهای بینایی-زبانی چندزبانه که بر پایهٔ روش آموزش SigLIP ساخته شده است

مفید

Qwen3-VL

سری مدل‌های زبانی چندوجهی تیم Qwen در Alibaba Cloud با مجوز Apache-2.0؛ طبق README از ویدیوهای چندساعته و زمینهٔ ۲۵۶ هزار توکنی پشتیبانی می‌کند

مفید

nanoVLM

ساده‌ترین مخزن Hugging Face برای آموزش یک VLM کوچک با PyTorch خالص؛ برای فهمیدن ساختار vision encoder، لایهٔ projection و مدل زبانی مناسب است

مفید

صدا، ویدیو و تولید محتوا

Whisper

مدل تشخیص گفتار چندزبانه با مجوز MIT که ترجمهٔ گفتار و تشخیص زبان را هم انجام می‌دهد

ضروری

Diffusers

کتابخانهٔ Hugging Face برای مدل‌های diffusion در تولید تصویر، ویدیو و صدا با PyTorch

مفید

AudioCraft

کتابخانهٔ Meta برای پردازش و تولید صدا؛ شامل EnCodec، یک کدک عصبی صدا که کار tokenization صدا را هم انجام می‌دهد

پیشرفته

Pipecat

فریم‌ورک متن‌باز برای ایجنت‌های صوتی، اپ‌های چندوجهی و AI بلادرنگ

مفید

داده، ارزیابی و سرو

lmms-eval

ابزار ارزیابی مدل‌های چندوجهی روی وظایف متن، تصویر، ویدیو و صدا

مفید

vLLM

موتور سرو مدل با توان عملیاتی بالا که ورودی چندوجهی (تصویر، ویدیو و صدا) را هم پشتیبانی می‌کند

مفید

FAISS

کتابخانهٔ جستجوی شباهت و خوشه‌بندی بردارها؛ برای جستجوی تصویر و متن با embedding

مفید

FiftyOne

ابزار بررسی و پالایش دیتاست‌ها و مدل‌های بینایی؛ برای پیدا کردن نمونه‌های خطا و دادهٔ بد

مفید

ضروری — باید یاد بگیریدمفید — ارزش یادگیری داردپیشرفته — برای سطوح ارشد

مسیر پیشرفت شغلی

از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید

ورودی: ML Engineer یا Applied Scientist با تمرکز چندوجهی

۰ تا ۲ سال (اغلب پس از ارشد یا دکترا)

نقش‌های ورودی در این حوزه کم‌اند و معمولاً مدرک تحصیلات تکمیلی می‌خواهند. Shield AI برای Perception Engineer - Multimodal & Embodied AI دکترا یا «سابقهٔ معادل در پژوهش پیشرفته و مهندسی عملی» می‌خواهد، صریحاً از دانش‌آموختگان تازهٔ دکترا و پژوهشگران اول راه استقبال می‌کند و بازهٔ حقوق اعلام‌شده‌اش ۱۶۵ تا ۳۰۰ هزار دلار است. راه دیگر ورود، تجربه در یک حوزهٔ نزدیک مثل بینایی ماشین، گفتار یا LLM و رفتن به تیم چندوجهی است.

PythonPyTorchCLIP / VLM basicsEvaluationعمق در یک مدالیته

Applied Scientist II / ML Engineer, Multimodal

۲ تا ۵ سال

مالکیت یک مدل یا بخشی از سیستم: داده، آموزش، ارزیابی و رساندن به پروداکشن. آگهی Applied Scientist II در Amazon دکترا یا ارشد با ۲ سال تجربه می‌خواهد و بازهٔ حقوق پایه‌اش در سیاتل ۱۴۲٬۸۰۰ تا ۱۹۳٬۲۰۰ دلار است؛ آگهی Senior Machine Learning Engineer, Multimodal Perception در Waymo ۲ تا ۵+ سال تجربه می‌خواهد با بازهٔ ۲۱۳ تا ۲۶۳ هزار دلار.

Contrastive LearningVLM Fine-tuningData PipelinesA/B TestingProduction ML

Senior / Staff ML Research Engineer, Multimodal

۵+ سال

تعیین معماری، دادهٔ آموزشی و روش ارزیابی و رهبری فنی بین تیم‌ها. TwelveLabs برای Staff ML Research Engineer دست‌کم ۷ سال تجربه در بینایی ماشین، درک ویدیو یا یادگیری چندوجهی می‌خواهد و Waymo برای Staff Machine Learning Engineer - Vision-Language Foundation Models دست‌کم ۸ سال، شامل ۳ سال کار عمیق روی LLM یا VLM، با بازهٔ ۲۵۱ تا ۳۱۰ هزار دلار.

Distributed TrainingPost-training (SFT / RL)Evaluation DesignData StrategyMentoring

Technical Lead / Member of Technical Staff

پس از سطح ارشد

تعیین جهت فنی یک خط کار کامل. Kodiak برای Technical Lead, Multimodal Transformers دکترا با ۵ سال تجربه یا ارشد و کارشناسی با ۸ سال تجربه می‌خواهد (بازهٔ ۲۳۰ تا ۳۰۰ هزار دلار در کالیفرنیا) و بازهٔ آگهی Member of Technical Staff - Multimodal Understanding در SpaceXSI (xAI) ۱۸۰ تا ۴۴۰ هزار دلار است.

Technical StrategyArchitectureCross-team LeadershipScaling

چالش‌ها و جنبه‌های منفی

واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید

ارزیابی سخت و پراکنده

عمومی

معلوم کردن اینکه مدل واقعاً بهتر شده دشوار است. README ابزار lmms-eval می‌نویسد اکوسیستم ارزیابی چندوجهی پراکنده است: دیتاست‌های پراکنده، پس‌پردازش ناهمسان و امتیازهای تک‌عددی که پنهان می‌کنند بهبود واقعی است یا تصادفی. برای همین SpaceXSI و Synthesia ساختن معیار و benchmark داخلی را جزو وظایف آورده‌اند. بنچمارک‌های دشوار فاصله را نشان می‌دهند: در مقالهٔ MMMU (نوامبر ۲۰۲۳)، GPT-4V و Gemini Ultra روی ۱۱٫۵ هزار سؤال چندوجهی سطح دانشگاه به ترتیب ۵۶٪ و ۵۹٪ دقت داشتند.

توهم (hallucination) در تصویر

عمومی

مدل بینایی-زبانی گاهی چیزی را توصیف می‌کند که در تصویر نیست. مطالعهٔ POPE در ۲۰۲۳ روی چند مدل نمایندهٔ بینایی-زبانی نشان داد بیشترشان با توهم شدید اشیا روبه‌رو هستند و اشیایی که در دادهٔ دستورالعمل تصویری (visual instructions) زیاد تکرار می‌شوند یا کنار اشیای تصویر می‌آیند، بیشتر به اشتباه گزارش می‌شوند. OpenAI هم مطالعهٔ رفتار، مقاومت و حالت‌های شکست مدل را جزو وظایف ML Engineer, Multimodal Perception آورده است.

تأخیر در محصولات بلادرنگ

استارتاپ

در دستیار صوتی یا آواتار، پاسخ باید تقریباً بی‌درنگ برسد. Bland می‌خواهد مهندس روی تأخیر، درستی و رفتار در دنیای واقعی «وسواس» داشته باشد، Synthesia برای سنتز تعاملی صدا و ویدیو معیارهای ارزیابی حساس به تأخیر تعریف می‌کند و Perplexity بازیابی پس از crash، اتصال دوباره و کار در چند منطقهٔ جغرافیایی را جزو مسئله‌های اصلی جلسه‌های صوتی زنده می‌داند.

داده: حجم، نویز و خطرهای حقوقی

عمومی

دادهٔ چندوجهی از متن بسیار سنگین‌تر است و نویز بیشتری دارد؛ SpaceXSI صریحاً از «دادهٔ چندوجهی پرنویز دنیای واقعی» می‌نویسد. دادهٔ وب خطر حقوقی و ایمنی هم دارد: طبق ویکی‌پدیا، Stanford Internet Observatory در دسامبر ۲۰۲۳ در LAION-5B ۳٬۲۲۶ مورد مشکوک به لینک محتوای سوءاستفادهٔ جنسی از کودکان پیدا کرد، LAION دیتاست را موقتاً برداشت و در اوت ۲۰۲۴ نسخهٔ پاک‌شدهٔ Re-LAION-5B را منتشر کرد.

هزینهٔ محاسبات

عمومی

آموزش مدل چندوجهی به خوشه‌های بزرگ GPU نیاز دارد: TwelveLabs از GPUهای NVIDIA B300 می‌نویسد و SpaceXSI از pipelineهای داده برای مدل‌های در حد تریلیون پارامتر. در محصول هم پردازش تصویر، ویدیو و صدا هزینهٔ inference دارد؛ Tavus نقشی جداگانه فقط برای بهینه‌سازی مدل‌ها و سنجش توازن تأخیر، هزینه و کیفیت آگهی کرده است.

بازار متمرکز و سطح ورود بالا

عمومی

آگهی‌های این حوزه بیشتر در آزمایشگاه‌های پیشرو AI، شرکت‌های بزرگ فناوری، خودروهای خودران و استارتاپ‌های صدا و ویدیو هستند و بیشترشان ارشدند: TwelveLabs دست‌کم ۷ سال، Waymo برای نقش Staff دست‌کم ۸ سال و OpenAI برای مهندس نرم‌افزار API Multimodal دست‌کم ۷ سال تجربه می‌خواهد. برخی نقش‌ها در خودروهای خودران و صنایع دفاعی به شرایط قانونی هم وابسته‌اند؛ Kodiak می‌نویسد صلاحیت برای برخی نقش‌ها ممکن است به احراز محل اقامت، وضعیت U.S. person یا تابعیت بستگی داشته باشد.

حقوق و بازار کار جهانی

حقوق جهانی متخصص هوش مصنوعی چندوجهی

حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.

کشور	حداقل	میانه / میانگین	حداکثر	ارز
🇺🇸آمریکا	$200,000	$282,950	$386,000	USD
🇨🇦کانادا	CA$125,000	CA$164,148	CA$229,000	CAD
🇬🇧انگلستان	£78,900	£102,629	£154,000	GBP
🇩🇪آلمان	€73,200	€89,013	€108,000	EUR
🇳🇱هلند	€66,000	€122,161	€166,000	EUR
🇨🇭سوئیس	CHF 116,000	CHF 153,511	CHF 214,000	CHF
🇦🇺استرالیا	A$161,000	A$177,139	A$265,000	AUD
🇦🇪امارات	AED 144,000	AED 242,002	AED 360,000	AED
🇸🇬سنگاپور	SGD 107,000	SGD 141,805	SGD 178,000	SGD
🇮🇳هند	₹2,090,000	₹3,487,938	₹5,750,000	INR

* ارقام سالانه‌اند. منبع هر رقم:

چگونه از صفر شروع کنیم

برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی

ماه ۱: Transformer و ViT

attention را در متن مرور کنید و یک ViT آماده را روی یک دیتاست کوچک تصویر fine-tune کنید.

Hugging Face LLM Course مقالهٔ ViT

ماه ۲: CLIP و embedding مشترک

پروژهٔ اول پورتفولیو: جستجوی محصول با متن و عکس، همراه با گزارش recall@k.

OpenCLIP مقالهٔ CLIP

ماه ۳: مدل‌های بینایی-زبانی

یک VLM کوچک را اجرا کنید، ساختارش را با nanoVLM بفهمید و آن را با LoRA روی دادهٔ خودتان fine-tune کنید.

Image-text-to-text — Hugging Face nanoVLM

ماه ۴: صدا

Whisper را روی صدای واقعی اجرا کنید و پروژهٔ جستجوی لحظه‌ها در ویدیو را بسازید.

Whisper Hugging Face Audio Course

ماه ۵: ارزیابی و سرو

مدل‌ها را با lmms-eval بسنجید و یکی را با vLLM سرو کنید؛ تأخیر و هزینه را اندازه بگیرید.

lmms-eval vLLM Multimodal Inputs

ماه ۶: پورتفولیو و درخواست

برای هر پروژه README با نتیجه، خطاها و محدودیت‌ها بنویسید. در جستجوی کار به‌جای عنوان Multimodal AI Specialist، کلیدواژه‌های Multimodal، VLM و Vision-Language را کنار عنوان‌های Machine Learning Engineer، Applied Scientist و Research Engineer امتحان کنید.

پروژه‌های پیشنهادی برای رزومه

جستجوی محصول با متن و عکس

مبتدی

روی یک دیتاست عمومی محصول (عکس و توضیح)، با OpenCLIP برای هر دو embedding بسازید و با FAISS جستجو کنید. بعد با hard-negative mining، یعنی نمونه‌هایی که شبیه‌اند ولی جواب درست نیستند، مدل را fine-tune کنید و recall@k را قبل و بعد گزارش دهید؛ همان کاری که آگهی Amazon می‌خواهد.

OpenCLIPPyTorchFAISSPython

زمان تخمینی: ۲ تا ۳ هفته

fine-tune کردن یک VLM کوچک روی سند یا نمودار

متوسط

یک مدل بینایی-زبانی کوچک را با LoRA روی یک دیتاست پرسش و پاسخ دربارهٔ نمودار یا فرم fine-tune کنید و با lmms-eval قبل و بعد را بسنجید. نمونه‌هایی را که مدل در آن‌ها چیزی را «دیده» که در تصویر نیست جدا کنید و دسته‌بندی کنید.

Hugging Face TransformersPEFTlmms-evalPyTorch

زمان تخمینی: ۳ تا ۴ هفته

جستجوی لحظه‌ها در ویدیو

متوسط

برای چند ساعت ویدیو، صدا را با Whisper به متن تبدیل کنید و برای فریم‌های کلیدی embedding تصویر بسازید. سیستمی بسازید که برای یک پرسش متنی، بازهٔ زمانی مرتبط را برگرداند و دقتش را روی چند ده پرسش دستی بسنجید.

WhisperOpenCLIPffmpegFAISS

زمان تخمینی: ۳ تا ۴ هفته

دستیار صوتی بلادرنگ با اندازه‌گیری تأخیر

پیشرفته

با Pipecat یک دستیار صوتی بسازید که گفتار را می‌شنود، با یک مدل زبانی پاسخ می‌سازد و جواب را با صدا برمی‌گرداند. تأخیر هر مرحله را جدا اندازه بگیرید و نشان دهید با استریم کردن کدام مرحله‌ها تأخیر کل کم می‌شود.

PipecatWhisperWebRTCPython

زمان تخمینی: ۴ هفته

فشرده‌سازی و سرو یک مدل چندوجهی

پیشرفته

یک VLM کوچک را با vLLM سرو کنید، بعد نسخهٔ quantize شده‌اش را بسازید و تأخیر، مصرف حافظه و افت کیفیت را روی یک مجموعهٔ ارزیابی ثابت جدول کنید؛ همان توازنی که آگهی Tavus با «latency، cost و quality» می‌خواهد.

vLLMQuantizationlmms-evalDocker

زمان تخمینی: ۳ تا ۴ هفته

مثال‌های واقعی و Case Studies

داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند

Alec Radford

پیشینه

طبق ویکی‌پدیا، متولد ۱۹۹۳ است و در منطقهٔ دالاس-فورت‌ورث تگزاس بزرگ شد. در اوت ۲۰۱۴ کالج Olin را بدون مدرک رها کرد؛ پیش از آن با چند هم‌دانشگاهی در خوابگاه استارتاپ Indico را راه انداخته بود.

دستاورد

حدود ۲۰۱۶ به OpenAI پیوست و در ۲۰۱۸ نویسندهٔ اول مقالهٔ GPT بود، پایهٔ ChatGPT. طبق ویکی‌پدیا، کارش در OpenAI شامل Whisper (مدل تشخیص گفتار) و تولیدکنندهٔ تصویر DALL-E هم بود. در دسامبر ۲۰۲۴ OpenAI را برای پژوهش مستقل ترک کرد و حدود مارس ۲۰۲۵ مشاور Thinking Machines Lab شد.

درس کلیدی

کار او از متن به تصویر و صدا رسید. به نظر می‌رسد در این حوزه، فهم عمیق یک ایدهٔ ساده، مثل آموزش در مقیاس بزرگ روی دادهٔ موجود در وب، می‌تواند در چند مدالیته به کار بیاید، و نبود مدرک هم مانع چنین مسیری نبوده است.

Devi Parikh

پیشینه

طبق ویکی‌پدیا، دانشمند کامپیوتر آمریکایی است با دکترای مهندسی برق و کامپیوتر از دانشگاه Carnegie Mellon. استاد Virginia Tech و Georgia Tech بوده و در ۲۰۲۲ مدیر پژوهش در Meta بود. پژوهشش روی بینایی ماشین و پردازش زبان طبیعی است.

دستاورد

در ۲۰۱۵ با دانشجویانش در Virginia Tech روی پرسش و پاسخ تصویری (VQA) کار کرد؛ فناوری‌ای که کاربر می‌تواند دربارهٔ یک تصویر سؤال بپرسد، و دیتاست VQA او برای ارزیابی بیش از ۳۰ مدل AI به کار رفته است. در ۲۰۲۲ با تیمی در Meta مدل متن-به-ویدیوی Make-A-Video را بر پایهٔ diffusion ساخت. جایزهٔ Computers and Thought کنفرانس IJCAI را در ۲۰۱۷ و Marr Prize کنفرانس ICCV را در ۲۰۱۱ گرفته است.

درس کلیدی

یک دیتاست و یک وظیفهٔ خوب‌تعریف‌شده، مثل VQA، می‌تواند معیار سنجش کل یک حوزه شود. در کار چندوجهی که ارزیابی دشوار است، ساختن معیار درست به اندازهٔ ساختن مدل ارزش دارد.

Cristóbal Valenzuela

پیشینه

طبق ویکی‌پدیا، متولد ۱۹۸۹ در شیلی است. از دانشگاه Adolfo Ibáñez کارشناسی اقتصاد و مدیریت کسب‌وکار و در ۲۰۱۲ کارشناسی ارشد هنر در طراحی گرفت و در ۲۰۱۸ از برنامهٔ ITP دانشکدهٔ Tisch دانشگاه NYU در هنرهای رسانه‌ای فارغ‌التحصیل شد. در ITP پژوهشگر بود و در پروژه‌های متن‌باز مثل ml5.js مشارکت داشت.

دستاورد

در ۲۰۱۸ با دو هم‌دوره‌ای خود از ITP، شرکت پژوهشی AI به نام Runway را در نیویورک بنیان گذاشت که هدفش ساختن ابزارهای تازه برای تخیل انسانی با AI مولد است، و مدیرعامل آن است. در سپتامبر ۲۰۲۳ در فهرست TIME100 AI، صد چهرهٔ اثرگذار هوش مصنوعی مجلهٔ TIME، قرار گرفت.

درس کلیدی

مسیر او از اقتصاد و طراحی به AI مولد رسید. در محصولات تولید تصویر و ویدیو، درک کاربر خلاق و نیازش ظاهراً به اندازهٔ دانش مدل ارزش دارد.

نمونه آگهی استخدام واقعی + تحلیل

یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش

Applied Scientist II, Natural Language and Multimodal Search

Amazonسیاتل، واشینگتن، آمریکا2026-07-10

مشاهده آگهی اصلی نسخه‌ی آرشیوشده (اگر آگهی بسته شده باشد)

تحلیل نیازمندی‌ها

PhD, or Master's degree and 2+ years of CS, CE, ML or related field experience

شرط پایه مدرک تحصیلات تکمیلی است؛ با ارشد باید ۲ سال تجربهٔ مرتبط هم داشته باشید. «II» در عنوان یعنی سطح میانی، نه ورودی.

ضروری

Experience programming in Java, C++, Python or related language

زبان برنامه‌نویسی خاصی اجباری نیست، اما باید بتوانید کد واقعی و قابل استقرار بنویسید، نه فقط notebook.

ضروری

Experience with one of the following areas: machine learning technologies, Reinforcement Learning, Deep Learning, Computer Vision, Natural Language Processing (NLP) or related applications

«یکی از این حوزه‌ها» کافی است. کسی که در بینایی ماشین یا NLP عمیق است می‌تواند وارد این تیم شود و بخش چندوجهی را سر کار یاد بگیرد.

ضروری

1+ years of building large-scale machine-learning infrastructure for online recommendation, ads ranking, personalization or search experience

شرط ترجیحی است. تجربهٔ سیستم‌های رتبه‌بندی، توصیه یا جستجو مزیت جدی است چون مسئلهٔ اصلی این تیم رتبه‌بندی است.

مهم

Experience with A/B testing

بهبود مدل باید روی مشتری واقعی ثابت شود. باید بدانید آزمایش A/B را چطور طراحی و نتیجه‌اش را چطور تفسیر کنید.

مهم

Experience training large-scale or deep neural ranking/relevance models

آموزش مدل‌های عمیق رتبه‌بندی، نه فقط استفاده از مدل آماده. پروژه‌ای که در آن مدل را خودتان آموزش داده و با معیار precision و recall سنجیده‌اید، اینجا به کار می‌آید.

مهم

Experience taking ML models from prototype to production

تیم نزدیک به پروداکشن کار می‌کند. نشان دهید مدلی را از نمونهٔ اولیه تا استفادهٔ واقعی رسانده‌اید.

مهم

Publications in ML, IR, or NLP venues (e.g., NeurIPS, ICML, SIGIR, KDD, ACL)

انتشار مقاله امتیاز است، نه شرط. برای کسی بدون سابقهٔ پژوهشی، تجربهٔ عملی در رتبه‌بندی و آزمایش جای آن را می‌گیرد.

مفید

تحلیل مسئولیت‌ها

Design, train, and ship deep-learning ranking and semantic-matching models over text and product images that improve search relevance and reduce how often customers see irrelevant results, across hard query types.

چندوجهی بودن اینجا یعنی مدل رتبه‌بندی هم متن پرس‌وجو و محصول را ببیند و هم عکس محصول را. معیار موفقیت هم مشخص است: نتیجهٔ نامرتبط کمتر، به‌خصوص برای پرس‌وجوهای سخت.

Build the training data and evaluation methods that make these models work: synthetic and historical labels, hard-negative mining, and targeted sampling at the cases where search fails.

بخش بزرگی از کار داده است: برچسب مصنوعی و تاریخی، نمونه‌های منفی سخت و تمرکز روی جاهایی که جستجو شکست می‌خورد.

Train and adapt vision-language encoders so product images become a first-class relevance signal, and verify visual constraints that text alone misses.

مثلاً اگر کاربر رنگ یا شکل خاصی خواسته، مدل باید از روی عکس بفهمد محصول واقعاً آن را دارد؛ چیزی که از متن توضیح محصول همیشه معلوم نیست.

Build joint text and image embeddings for retrieval and ranking, including contrastive training, hard-negative mining and fusion of modalities.

این همان روش CLIP است در مقیاس صنعتی: متن و تصویر در یک فضای برداری مشترک، و ترکیب سیگنال مدالیته‌ها برای رتبه‌بندی نهایی.

Run offline and online A/B experiments, analyze precision/recall tradeoffs, and iterate to launch.

هر تغییر اول آفلاین و بعد روی کاربر واقعی سنجیده می‌شود. باید توازن بین دقت و پوشش را بفهمید و تصمیم بگیرید کی مدل آمادهٔ عرضه است.

Work with engineers and scientists across teams to take models from prototype to production at Amazon scale.

کار تیمی و میان‌تیمی است؛ مدل باید در مقیاس Amazon اجرا شود و این یعنی هماهنگی با مهندسان زیرساخت و تیم‌های دیگر.

نتیجه‌گیری کلی

این آگهی چهرهٔ کاربردی این تخصص را نشان می‌دهد: مسئله یک محصول واقعی است و چندوجهی بودن یعنی عکس محصول هم کنار متن در رتبه‌بندی حساب شود. بیشتر کار داده، ارزیابی و آزمایش است، نه طراحی معماری از صفر. شرط پایه دکترا یا ارشد با ۲ سال تجربه است و انتشار مقاله امتیاز است نه شرط. بازهٔ حقوق پایهٔ اعلام‌شده در سیاتل ۱۴۲٬۸۰۰ تا ۱۹۳٬۲۰۰ دلار در سال است و بسته طبق آگهی پاداش امضا و سهام (RSU) هم دارد.

آینده و روندها

پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید

در گزارش Future of Jobs 2025 مجمع جهانی اقتصاد (WEF)، کارفرمایان شرکت‌کننده گروه «متخصصان AI و یادگیری ماشین» را سومین شغل پررشد (از نظر درصد) در فاصلهٔ ۲۰۲۵ تا ۲۰۳۰ پیش‌بینی کرده‌اند. WEF تخصص چندوجهی را جداگانه نمی‌شمارد و این نزدیک‌ترین گروه در طبقه‌بندی آن است.

منبع: WEF Future of Jobs Report 2025

مهارت‌های نوظهور که باید یاد بگیرید

مدل‌های صدا-به-صدا که هم‌زمان متن و صدا تولید می‌کنند و نوبت‌گیری خشک گفتگوهای فعلی را ندارند (آگهی Synthesia)neural audio codec و tokenization صدا (آگهی‌های Bland و Synthesia)post-training مدل‌های بینایی-زبانی با یادگیری تقویتی مثل DPO، GRPO و PPO (آگهی Waymo)world model و ادراک چندحسگری برای خودرو و ربات (آگهی‌های Kodiak، Waymo و SpaceXSI)ایجنت‌های چندوجهی که روی آرشیو ویدیو یا در گفتگوی زنده از ابزار استفاده می‌کنند (TwelveLabs و Perplexity)فشرده‌سازی و اجرای مدل روی edge و سخت‌افزار محدود (آگهی‌های Tavus و Shield AI)

پیش‌بینی‌های آینده

2030

در گزارش Future of Jobs 2025 مجمع جهانی اقتصاد (WEF)، کارفرمایان «متخصصان AI و یادگیری ماشین» را سومین شغل پررشد تا ۲۰۳۰ دانسته‌اند. به گفتهٔ همین گزارش، سریع‌ترین رشدها بیشتر از پیشرفت‌های فناوری، از جمله AI و رباتیک، می‌آید.

2030

در همان گزارش WEF، طراحان گرافیک (Graphic Designers) برای نخستین بار درست بیرون از ده شغلی قرار گرفته‌اند که سریع‌تر از همه کم می‌شوند؛ به نوشتهٔ WEF، این شاید نشان‌دهندهٔ توان رو به افزایش AI مولد در انجام کار دانشی باشد.

ریسک‌های واقعی

عنوان این شغل در بازار تقریباً وجود ندارد و کار زیر عنوان‌های عمومی‌تری مثل Machine Learning Engineer، Applied Scientist و Research Engineer آگهی می‌شود؛ پس رزومه و جستجوی کار باید با این عنوان‌ها هماهنگ باشد. آگهی‌ها در تعداد محدودی شرکت متمرکزند و بیشترشان چند سال تجربه یا مدرک تحصیلات تکمیلی می‌خواهند. از سوی دیگر، مدل‌های چندوجهی آماده با وزن‌های باز، مثل Qwen3-VL، کارهای ساده‌ای مثل توضیح تصویر را در دسترس همه گذاشته‌اند؛ به نظر می‌رسد ارزش متخصص بیشتر در داده، ارزیابی، تطبیق مدل با یک مسئلهٔ مشخص و رساندن آن به پروداکشن با تأخیر و هزینهٔ قابل قبول است.

منابع

اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۴۷ منبع بررسی شده است.

برای راهنمایی شخصی‌سازی‌شده مشاوره بگیرید