💬

مهندس پردازش زبان طبیعی

NLP Engineer

مهندس پردازش زبان طبیعی (NLP Engineer) سیستم‌هایی می‌سازد که متن را می‌خوانند و از آن چیز قابل استفاده‌ای بیرون می‌کشند: استخراج موجودیت‌ها و روابط، دسته‌بندی، جستجوی معنایی، خلاصه‌سازی و پرسش‌وپاسخ. در ۲۰۲۶ آگهی‌های این حوزه NLP را کنار مدل‌های زبانی بزرگ می‌خواهند و خودِ عنوان «NLP Engineer» در آگهی‌ها کم شده است؛ کارفرماها همین کار را بیشتر با عنوان‌هایی مثل Machine Learning Engineer – NLP/LLM، Data Scientist (NLP) یا AI Engineer آگهی می‌کنند. مهارت NLP اما از بازار حذف نشده و معمولاً کنار LLM و RAG خواسته می‌شود.

PythonPyTorchHugging Face TransformersspaCy / NLTKInformation Extraction (NER)Embeddings & Semantic SearchLLMs & RAGModel Evaluation

مقدمه و تعریف شغل

مهندس NLP (Natural Language Processing Engineer) کسی است که سیستم‌های نرم‌افزاری برای فهمیدن و پردازش متن می‌سازد و آن‌ها را به پروداکشن می‌برد. Hugging Face در دورهٔ رایگانش NLP را «حوزهٔ گسترده‌تری» تعریف می‌کند که هدفش توانا کردن کامپیوتر به فهم، تفسیر و تولید زبان انسان است و LLM ها را «زیرمجموعه‌ای قدرتمند از مدل‌های NLP» می‌داند. در آگهی‌ها هستهٔ کار تبدیل متن آزاد به دادهٔ قابل استفاده است: Teradata از مهندس NLP می‌خواهد «محتوای ساختارنیافتهٔ سازمان را به دارایی‌های دانش ساختاریافته» تبدیل کند و Wiley از میلیون‌ها مقالهٔ علمی موجودیت، دسته، ادعا و خلاصه بیرون می‌کشد.

NLP قدیمی‌تر از موج فعلی هوش مصنوعی است. طبق ویکی‌پدیا ریشه‌اش به دههٔ ۱۹۵۰ برمی‌گردد؛ در آزمایش Georgetown در ۱۹۵۴ بیش از شصت جملهٔ روسی به‌طور خودکار به انگلیسی ترجمه شد و تا اوایل دههٔ ۱۹۹۰ رویکرد اصلی، قاعده‌های نمادین بود. معماری Transformer در ۲۰۱۷ اول روی ترجمهٔ ماشینی آزموده شد و BERT در ۲۰۱۸ در یازده کار NLP بهترین نتیجهٔ آن زمان را گرفت. همین تحول عنوان شغلی را هم عوض کرده است. دورهٔ رایگان Hugging Face که قبلاً «NLP Course» بود حالا LLM Course نام دارد و در معرفی‌اش نوشته تمرکزش از NLP به LLM رفته است. در بررسی ما در اکتبر ۲۰۲۶ روی ۱۲۵ تابلوی استخدام شرکت‌های فناوری و AI (روی Greenhouse، Ashby و Lever، با ۱۸٬۵۸۴ آگهی باز) هیچ آگهی‌ای «NLP» یا «Natural Language» در عنوانش نداشت؛ حتی شرکت‌هایی مثل Cohere، Writer و Speechmatics که محصولشان زبان است، نقش‌هایشان را Research Engineer، AI engineer یا Machine Learning Engineer می‌نامند. در جستجوی لینکدین برای «NLP Engineer» در هشت کشور، از ۲۴۰ آگهی فقط ۱۲ آگهی NLP را در عنوان داشتند و ۱۲۴ آگهی عنوان AI Engineer داشتند. ITJobsWatch هم برای بریتانیا صفحه‌ای برای عنوان NLP Engineer ندارد و NLP را فقط به‌عنوان مهارت می‌شمارد. عنوان دقیق را در آگهی‌های NeuralAgent در آلمان، NorthBay Solutions در ابوظبی، Training Basket در هند و Sensefolio در لندن دیدیم و در Teradata و Thomson Reuters به شکل پسوند: «Principal Engineer, NLP» و «Senior Machine Learning Engineer – NLP/LLM». خلاصه اینکه عنوان کوچک شده و بیشتر در عنوان‌های ML Engineer، AI Engineer و Data Scientist ادغام شده است، اما مهارت NLP هنوز خواسته می‌شود.

چه چیزی می‌سازید؟

مثال‌های واقعی از خروجی کار یک مهندس پردازش زبان طبیعی

⚖️

استخراج اطلاعات از اسناد حقوقی

در Thomson Reuters مهندس ML و LLM روی مسائل NLP مثل زبان قراردادها، استخراج اطلاعات و مقایسه در مجموعه‌های بزرگ اسناد کار می‌کند تا از اسناد حقوقی پیچیده بینش قابل استفاده بیرون بیاید.

📚

غنی‌سازی متن علمی در مقیاس بزرگ

Wiley pipeline های NLP را روی میلیون‌ها مقالهٔ علمی اجرا می‌کند تا موجودیت‌ها، دسته‌ها، ادعاها و خلاصه‌ها را برای اپلیکیشن‌های ایجنتی بیرون بکشد.

🔍

دانش سازمانی، جستجو و پرسش‌وپاسخ

Teradata برای محصول Context Engine فناوری‌های زبانی می‌خواهد که گراف‌های معنایی، جستجوی هوشمند، بازیابی، پرسش‌وپاسخ و استخراج دانش را پشتیبانی کنند و داده‌های سازمان را به دانش آمادهٔ استفادهٔ ایجنت‌ها تبدیل کنند.

🏦

پایش انطباق و کشف تخلف مالی

تیم Legal & Compliance در Morgan Stanley با NLP، LLM، RAG و تحلیل گراف دانش مدل‌های پایشی می‌سازد که رفتارهای مشکوکی مثل پول‌شویی، دستکاری بازار و معاملات با اطلاعات نهانی را شناسایی کنند.

💬

دستیار، چت‌بات و copilot

مهندسان یادگیری عمیق Revolut با پیشرفته‌ترین LLM ها ویژگی‌هایی مثل دستیار شخصی، چت‌بات و copilot را از صفر می‌سازند.

🛰️

NLP روی دستگاه‌های کم‌منابع

NeuralAgent قابلیت تعامل انسان و ماشین را روی دستگاه‌های کم‌منابع در هوا و فضا مستقر می‌کند و برای همین فشرده‌سازی مدل (quantization، pruning، distillation) را می‌خواهد.

تخصص‌های مختلف مهندس پردازش زبان طبیعی

این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد

📄

استخراج اطلاعات و درک اسناد

Information Extraction & Document Intelligence

بیرون کشیدن موجودیت، رابطه، فیلد و خلاصه از سند: قرارداد در Thomson Reuters، مقالهٔ علمی در Wiley و محتوای سازمانی در Teradata. Wiley برای همین کار مقایسهٔ روش‌های کلاسیک با LLM را صریحاً می‌خواهد.

🔎

جستجو و بازیابی

Search & Retrieval

جستجوی معنایی، embeddings، بازیابی و RAG؛ آگهی «Lead Applied Scientist, Search - NLP/GenAI» در Thomson Reuters و بخش جستجو و بازیابی در آگهی Teradata نمونهٔ این تخصص‌اند.

💬

هوش مصنوعی گفت‌وگومحور

Conversational AI

ساخت دستیار، چت‌بات و copilot؛ Revolut این ویژگی‌ها را با LLM می‌سازد و Teradata «Conversational AI» را هم در فهرست کارها و هم در تخصص‌های لازم آورده است.

🌍

NLP چندزبانه و ترجمهٔ ماشینی

Multilingual NLP & Machine Translation

کار با زبان‌های غیرانگلیسی و ترجمه؛ Teradata راه‌حل‌های چندزبانه و ترجمهٔ ماشینی را جزو وظایف آورده و Sebastian Ruder در Meta روی توانایی‌های چندزبانهٔ LLM ها کار می‌کند. برای فارسی، ParsBERT نشان داد مدل تک‌زبانه می‌تواند از مدل چندزبانه بهتر باشد.

📟

NLP روی دستگاه

On-device NLP

اجرای مدل زبانی روی سخت‌افزار محدود با quantization، pruning و distillation؛ مثل آگهی Senior NLP Engineer در NeuralAgent برای دستگاه‌های هوایی و فضایی.

تفاوت با شغل‌های مشابه

کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟

مهندس مدل‌های زبانی بزرگLLM Engineer

در صفحهٔ مهندس LLM این سایت، نقطهٔ شروع آن نقش یک مدل زبانی از پیش آموزش‌دیده است که باید انتخاب، تطبیق، ارزیابی و سرو شود. نقطهٔ شروع مهندس NLP خودِ مسئلهٔ زبانی است، مثل استخراج موجودیت از قرارداد یا دسته‌بندی میلیون‌ها مقاله، و LLM یکی از گزینه‌های حل آن است. آگهی Wiley این را صریح می‌گوید: باید NLP کلاسیک (NER، sequence labeling، دسته‌بندی)، بازیابی مبتنی بر embedding، پرامپت LLM و مدل‌های کوچک fine-tune شده را کنار هم سنجید و انتخاب را با ارزیابی و هزینه توجیه کرد. همپوشانی زیاد است؛ آگهی Thomson Reuters هر دو را با هم می‌خواهد: NLP و معماری‌های مدرن LLM.

مهندس یادگیری ماشینMachine Learning Engineer

در صفحهٔ مهندس یادگیری ماشین این سایت، «پردازش زبان و مدل‌های زبانی» یکی از تخصص‌های همان نقش است و بازار هم همین را نشان می‌دهد: Thomson Reuters کار NLP را با عنوان «Senior Machine Learning Engineer – NLP/LLM» آگهی کرده است. مهندس ML ممکن است روی هر نوع داده‌ای کار کند، از مدل ریسک تا توصیه؛ مهندس NLP روی متن تخصص دارد: پیش‌پردازش و tokenization، برچسب‌گذاری متن، استخراج اطلاعات و ارزیابی خروجی زبانی. پایه‌ها مشترک‌اند: Python، PyTorch یا TensorFlow و بردن مدل به پروداکشن.

مهندس هوش مصنوعیAI Engineer

طبق صفحهٔ AI Engineer این سایت، مهندس هوش مصنوعی روی مدل‌های آماده محصول می‌سازد و دادهٔ محصول و ارزیابی‌های مخصوص آن را کار خودش می‌داند. وقتی در لینکدین «NLP Engineer» را جستجو کردیم، بیشتر نتایج همین عنوان AI Engineer را داشتند (۱۲۴ از ۲۴۰ آگهی). فرق در عمق کار با متن است: آگهی NLP Engineer در NorthBay درک عمیق NLP، transformer، embeddings، RAG، fine-tuning و ارزیابی مدل را می‌خواهد و Teradata تخصص در تشخیص موجودیت و استخراج رابطه را. یعنی مهندس NLP علاوه بر ساختن محصول، باید بتواند مدل را برای یک کار زبانی مشخص تطبیق دهد و دقتش را روی متن واقعی بسنجد.

دانشمند دادهData Scientist

در صنایع مالی و انتشارات، بخشی از کار NLP با عنوان Data Scientist آگهی می‌شود: Morgan Stanley با عنوان «Data Scientist (NLP Specialist)» برای پایش انطباق، Wiley با «Principal Data Scientist (NLP + Applied AI)» و Revolut با «Data Scientist (NLP Deep Learning Engineer)». دانشمند داده به معنای عام بیشتر تحلیل می‌کند و برای تصمیم‌گیری بینش و مدل پیش‌بینی می‌سازد، اما در این آگهی‌ها مسئولیت مدل در پروداکشن هم با خود اوست؛ Wiley می‌نویسد در تیمش دانشمندان داده مالک مدل‌هایشان در پروداکشن‌اند. پس هنگام جستجوی کار NLP، این عنوان را هم باید دید.

تأثیر در صنایع مختلف

مهندس پردازش زبان طبیعی در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری

⚖️

حقوقی

Thomson Reuters با ML و LLM از اسناد حقوقی پیچیده بینش بیرون می‌کشد: زبان قراردادها، استخراج اطلاعات و مقایسه در مجموعه‌های بزرگ اسناد

🔬

نشر علمی

Wiley روی میلیون‌ها مقالهٔ علمی pipeline های NLP اجرا می‌کند تا موجودیت، دسته، ادعا و خلاصه برای ابزارهای پژوهشی و ایجنت‌ها بسازد

🗄️

داده و دانش سازمانی

Teradata می‌خواهد با Context Engine داده‌های سازمان را به دانش قابل‌کنترل و آمادهٔ استفادهٔ ایجنت‌ها تبدیل کند و برای آن جستجوی معنایی، استخراج دانش و پرسش‌وپاسخ می‌سازد

🏦

بانکداری و انطباق

Morgan Stanley با NLP، LLM و RAG مدل‌های پایشی برای شناسایی پول‌شویی، دستکاری بازار و معاملات با اطلاعات نهانی می‌سازد

💳

فین‌تک

Revolut برای مشتریانش، که به گفتهٔ آگهی بیش از ۸۰ میلیون نفرند، دستیار، چت‌بات و copilot مبتنی بر LLM می‌سازد

✈️

هوافضا و سامانه‌های خودران

NeuralAgent تعامل انسان و ماشین را روی دستگاه‌های کم‌منابع در هوا و فضا مستقر می‌کند

🌱

مالی پایدار (ESG)

Sensefolio از گزارش‌های شرکت‌ها، شبکه‌های اجتماعی و اخبار مالی با NLP داده‌های محیط‌زیستی، اجتماعی و حاکمیتی برای رتبه‌بندی ESG بیرون می‌کشد

تصورات غلط رایج

قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید

با آمدن LLM ها، NLP دیگر موضوعیت ندارد

آنچه کوچک شده عنوان شغلی است، نه مهارت. Hugging Face LLM ها را زیرمجموعه‌ای از مدل‌های NLP می‌داند و می‌نویسد فهم مبانی NLP برای کار مؤثر با LLM ها حیاتی است. ITJobsWatch در شش ماه تا اکتبر ۲۰۲۶ هنوز ۲۱۷ آگهی دائم در بریتانیا شمرده که NLP را خواسته‌اند و Teradata و Wiley در آگهی‌هایشان کارهای کلاسیک مثل NER، استخراج رابطه و دسته‌بندی را کنار LLM آورده‌اند.

مهندسی NLP یعنی صدا زدن API یک مدل زبانی

API یکی از گزینه‌هاست. Wiley می‌خواهد نامزد بتواند هم از «پرامپت یک LLM بزرگ» و هم از «آموزش یک classifier کوچک روی ۲٬۰۰۰ برچسب» با ارزیابی و برآورد هزینه دفاع کند. Teradata entity resolution و ساخت گراف دانش از متن را می‌خواهد و NeuralAgent اجرای مدل روی خود دستگاه‌های کم‌منابع را.

برای NLP حتماً باید زبان‌شناسی خوانده باشی

زبان‌شناسی یکی از مسیرهاست، نه شرط. Teradata زبان‌شناسی رایانشی را کنار علوم کامپیوتر و یادگیری ماشین در فهرست رشته‌ها آورده، Sensefolio کارشناسی علوم کامپیوتر، علم داده یا زبان‌شناسی را می‌پذیرد و Revolut کارشناسی هر رشتهٔ STEM را. در میان افراد شناخته‌شدهٔ این حوزه هم مسیرها مختلف است: Ines Montani علوم ارتباطات، رسانه و زبان‌شناسی خوانده، Sebastian Ruder زبان‌شناسی رایانشی و Maarten Grootendorst روان‌شناسی.

NLP فقط برای انگلیسی خوب کار می‌کند

برای فارسی ابزار و مدل وجود دارد: Hazm برای نرمال‌سازی و پیش‌پردازش، ParsBERT که در مقاله‌اش در تحلیل احساسات، دسته‌بندی متن و NER از BERT چندزبانه بهتر عمل کرد، و Hezar. Teradata هم راه‌حل‌های چندزبانه و ترجمهٔ ماشینی را جزو وظایف آورده است. محدودیت واقعی داده است: نویسندگان ParsBERT نوشته‌اند دادهٔ در دسترس برای کارهای NLP فارسی بسیار محدود است.

فقط باید دنبال آگهی‌هایی با عنوان NLP Engineer گشت

این عنوان کم است. در بررسی ما روی ۱۲۵ تابلوی استخدام شرکت‌های فناوری و AI با ۱۸٬۵۸۴ آگهی باز، هیچ آگهی‌ای NLP را در عنوان نداشت و در جستجوی لینکدین فقط ۱۲ آگهی از ۲۴۰ آگهی. کار مشابه زیر عنوان‌هایی مثل Machine Learning Engineer – NLP/LLM، Applied Scientist (NLP/GenAI)، Data Scientist (NLP) و AI Engineer آگهی می‌شود؛ شرح آگهی را بخوانید، نه فقط عنوانش را.

یک روز کاری واقعی

در هر سطح روز کاری چه شکلی است؟

جونیور (۰–۲ سال)

بیشتر وقت صرف آماده کردن داده، اجرای مدل‌های موجود و ارزیابی می‌شود. آگهی NLP Engineer در Training Basket تصویر خوبی از این سطح است: پیش‌پردازش متن، tokenization و lemmatization، کار با NLTK، spaCy و Hugging Face، دسته‌بندی، تحلیل احساسات و NER و مستند کردن آزمایش‌ها.

  • ◆تمیز کردن و نرمال‌سازی یک مجموعه متن؛ برای فارسی یکدست کردن نیم‌فاصله و نویسه‌ها
  • ◆آموزش و ارزیابی یک مدل دسته‌بندی یا NER روی دادهٔ برچسب‌خورده
  • ◆بررسی نمونه‌هایی که مدل اشتباه برچسب زده و گزارش الگوی خطاها
  • ◆ثبت تنظیمات و نتیجهٔ هر آزمایش در مستندات تیم

میانی (۲–۵ سال)

مسئولیت یک pipeline متنی را از داده و مدل تا ارزیابی و استقرار دارید و تصمیم می‌گیرید کجا مدل کوچک کافی است و کجا LLM لازم است.

  • ◆ساخت pipeline استخراج اطلاعات برای یک نوع سند مشخص، مثل قرارداد یا گزارش
  • ◆مقایسهٔ یک مدل کوچک fine-tune شده با پرامپت یک LLM روی همان مجموعهٔ تست، از نظر کیفیت و هزینه
  • ◆ساخت جستجوی معنایی با embeddings و سنجیدن کیفیت بازیابی
  • ◆جلسه با متخصص حوزه برای تعریف برچسب‌ها و ساخت مجموعهٔ تست مرجع

ارشد (۵+ سال)

تصمیم‌های معماری و استاندارد ارزیابی با شماست و دیگران را راهنمایی می‌کنید. آگهی Teradata از سطح Principal می‌خواهد نقشهٔ راه قابلیت‌های NLP را تعریف و اجرا کند و مرجع فنی معماری NLP در مقیاس بزرگ باشد.

  • ◆تعیین اینکه کدام کار با مدل کلاسیک، کدام با embedding و کدام با LLM حل شود
  • ◆تعریف معیارهای ارزیابی برای دقت، grounding و هزینه
  • ◆بازبینی طراحی pipeline ها و کد مهندسان تیم
  • ◆دنبال کردن پژوهش‌های تازه و آوردن روش‌های مفید به تیم

مسئولیت‌ها و وظایف

مسئولیت‌های اصلی

وظایف روزانه و مهارت‌های مورد نیاز در این شغل

فنی
  • ◈طراحی و ساخت سیستم‌های استخراج اطلاعات از متن: موجودیت‌ها، روابط، دسته‌ها و خلاصه‌ها
  • ◈تبدیل محتوای متنی ساختارنیافته (قرارداد، گزارش، مقاله) به دادهٔ ساختاریافته برای جستجو، تحلیل یا ایجنت‌ها
  • ◈انتخاب روش مناسب برای هر کار، از مدل کلاسیک و embedding تا پرامپت LLM یا مدل کوچک fine-tune شده، بر اساس کیفیت، هزینه و نگهداری
  • ◈جمع‌آوری، تمیز کردن و آماده‌سازی دادهٔ متنی و ساخت مجموعهٔ برچسب‌خورده
  • ◈fine-tune کردن مدل‌های زبانی برای یک حوزه یا کار مشخص
  • ◈ساخت جستجوی معنایی و RAG با embeddings و جستجوی برداری
  • ◈طراحی چارچوب ارزیابی: golden set، انتخاب معیار و پایش دقت، افت کیفیت (drift) و سوگیری
  • ◈استقرار مدل در پروداکشن و بهبود تأخیر، throughput و هزینه
  • ◈مستندسازی آزمایش‌ها، مشخصات مدل و نتایج ارزیابی
مهارت نرم
  • ◈همکاری با متخصصان حوزه (حقوقی، انطباق، ویراستاری) برای تعریف مسئله، برچسب‌ها و مجموعهٔ تست
  • ◈تبدیل مسئلهٔ کسب‌وکار به مسئلهٔ قابل‌اندازه‌گیری یادگیری ماشین و توضیح توازن‌ها به افراد غیرفنی
مدیریتی
  • ◈راهنمایی مهندسان دیگر و تعریف روش‌های درست کار NLP در تیم

مهارت‌های مورد نیاز

مهارت‌های فنی، نرم و حوزه‌ای که یک مهندس پردازش زبان طبیعی موفق به آن‌ها نیاز دارد

مهارت‌های فنی

Pythonضروری

زبان اصلی کار؛ در همهٔ آگهی‌های بررسی‌شده آمده و Wiley «Python عمیق» در پروداکشن می‌خواهد

PyTorch یا TensorFlowضروری

آموزش و fine-tuning مدل؛ در آگهی‌های Thomson Reuters، Teradata و NorthBay نام برده شده

NLP کلاسیکضروری

NER، دسته‌بندی، sequence labeling و استخراج رابطه؛ Wiley و Teradata آن را کنار روش‌های مدرن می‌خواهند

Transformer و مدل‌های زبانیضروری

درک معماری Transformer و LLM؛ Thomson Reuters «تجربهٔ عملی قوی» با معماری‌های مدرن LLM را شرط گذاشته

ارزیابی مدلضروری

ساخت مجموعهٔ تست، انتخاب معیار و پایش drift و سوگیری؛ در آگهی‌های Thomson Reuters، Wiley و Teradata آمده

پیش‌پردازش متنمهم

tokenization، stemming، lemmatization و vectorization؛ فهرست آگهی Training Basket

Hugging Faceمهم

اکوسیستم مدل‌ها و ابزارها؛ Teradata، NorthBay، Morgan Stanley و Training Basket آن را نام برده‌اند

Embeddings، جستجوی برداری و RAGمهم

بازیابی بخش‌های مرتبط متن و دادن آن به مدل؛ در آگهی‌های NorthBay، Teradata و Morgan Stanley آمده

Fine-tuningمهم

تطبیق مدل زبانی با یک حوزه؛ Thomson Reuters تجربهٔ fine-tune مدل‌های زبانی برای کاربرد تخصصی را می‌خواهد و NorthBay روش‌های PEFT/LoRA را امتیاز می‌داند

استقرار و APIمهم

بردن مدل به پروداکشن و بهبود تأخیر و هزینه؛ NorthBay سابقهٔ بردن راه‌حل از آزمایش به پروداکشن را شرط گذاشته

پردازش داده در مقیاس بزرگمفید

Spark و پردازش توزیع‌شده (Teradata)، Hadoop یا Spark و AWS (Sensefolio)

فشرده‌سازی مدلمفید

quantization، pruning و distillation برای اجرا روی سخت‌افزار محدود (NeuralAgent)

گراف دانشمفید

اتصال خروجی NLP به گراف و استدلال روی آن؛ Teradata و Morgan Stanley آن را نام برده‌اند

مهارت‌های نرم

مقایسهٔ روش‌ها و دفاع از انتخابضروری

Wiley این را «بخش اصلی کار، نه تمرین گاه‌به‌گاه» می‌داند: انتخاب روش با ارزیابی، هزینه و ملاحظات عملیاتی

تبدیل مسئلهٔ کسب‌وکار به مسئلهٔ MLمهم

Thomson Reuters و NorthBay هر دو ترجمهٔ مسئلهٔ پیچیدهٔ کسب‌وکار به راه‌حل یادگیری ماشین را خواسته‌اند

کار با متخصصان حوزهمهم

متخصصان حقوقی در Thomson Reuters؛ ویراستاران و متخصصان موضوعی در Wiley برای ساخت golden set

مستندسازیمفید

ثبت مشخصات مدل، معیارها و نتایج اعتبارسنجی (Sensefolio و Training Basket)

دانش حوزه‌ای

آمار و احتمالمهم

Revolut «درک عمیق از مبانی احتمال و آمار» را شرط گذاشته است

شناخت یک نوع متن تخصصیمهم

آگهی‌ها تجربهٔ حوزه را امتیاز می‌دانند: متن حقوقی (Thomson Reuters)، متن علمی (Wiley)، انطباق مالی (Morgan Stanley) یا ESG (Sensefolio)

NLP چندزبانهمفید

Teradata راه‌حل‌های چندزبانه و ترجمهٔ ماشینی را جزو وظایف آورده؛ برای فارسی، مقالهٔ ParsBERT کمبود داده را چالش می‌داند

ضروری — بدون آن نمی‌توان وارد بازار کار شدمهم — تفاوت بین جونیور و میانیمفید — مزیت رقابتی

نقشه راه و مسیر آموزشی

نقشه راه تبدیل شدن به مهندس پردازش زبان طبیعی

این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.

1

پایه‌ها: Python و کار با متن خام

⏱️ ۱ تا ۲ ماه

Python را تا جایی یاد بگیرید که بتوانید متن را بخوانید، تمیز کنید و آمار ساده بگیرید. آگهی NLP Engineer در Training Basket برای سطح شروع دقیقاً همین‌ها را می‌خواهد: Python، پیش‌پردازش متن، tokenization، NumPy و Pandas و آشنایی پایه با SQL. برای متن فارسی، Hazm ابزارهای نرمال‌سازی (از جمله اصلاح نیم‌فاصله)، tokenization و lemmatization را آماده دارد.

PythonRegex و کار با رشتهPandas و NumPyTokenization و نرمال‌سازیHazm برای فارسیGit
2

NLP کلاسیک: دسته‌بندی، NER و ارزیابی

⏱️ ۲ ماه

پیش از سراغ مدل‌های بزرگ رفتن، کارهای پایهٔ NLP را با روش‌های ساده یاد بگیرید: نمایش متن با TF-IDF، دسته‌بندی، تشخیص موجودیت (NER) و سنجیدن نتیجه با precision، recall و F1. این بخش هنوز در آگهی‌ها هست؛ Wiley از نامزد می‌خواهد بتواند به همان جدیت که از «پرامپت یک LLM بزرگ» دفاع می‌کند، از «آموزش یک classifier کوچک روی ۲٬۰۰۰ برچسب» هم دفاع کند.

TF-IDF و bag-of-wordsscikit-learnText ClassificationNER و sequence labelingspaCyPrecision / Recall / F1
3

یادگیری عمیق و Transformer

⏱️ ۲ تا ۳ ماه

PyTorch، embedding و معماری Transformer را یاد بگیرید و یک مدل encoder مثل BERT را برای یک کار مشخص fine-tune کنید. برای فارسی، ParsBERT نقطهٔ شروع خوبی است؛ مقالهٔ آن نشان داد این مدل در تحلیل احساسات، دسته‌بندی متن و NER از BERT چندزبانه بهتر عمل می‌کند. آگهی Thomson Reuters تجربهٔ عملی با NLP و معماری‌های مدرن LLM را در کنار PyTorch یا TensorFlow می‌خواهد.

PyTorchWord & sentence embeddingsAttention و TransformerBERT و fine-tuningHugging Face TransformersParsBERT
4

LLM، جستجوی معنایی و RAG

⏱️ ۲ ماه

embedding جمله و جستجوی برداری را یاد بگیرید، یک RAG روی اسناد بسازید و استخراج اطلاعات با LLM را امتحان کنید. آگهی NLP Engineer در NorthBay Solutions درک عمیق transformer، LLM، embeddings، RAG، fine-tuning و ارزیابی مدل را می‌خواهد و PEFT/LoRA را امتیاز می‌داند. نتیجهٔ LLM را همیشه با یک روش ساده‌تر روی همان مجموعهٔ تست مقایسه کنید.

Sentence embeddingsVector search (FAISS)RAGاستخراج ساختاریافته با LLMLoRA / PEFTPrompting
5

ارزیابی، استقرار و یک حوزهٔ تخصصی

⏱️ مداوم

مجموعهٔ تست مرجع (golden set) بسازید، خطاها را تحلیل کنید و مدل را پشت یک API مستقر کنید. Wiley ساختن golden set با همکاری متخصصان حوزه و انتخاب معیار را کار خود دانشمند داده می‌داند و Teradata ارزیابی factuality و grounding را می‌خواهد. یک حوزه را هم عمیق‌تر بشناسید؛ آگهی‌ها متن حقوقی (Thomson Reuters)، انطباق مالی (Morgan Stanley) یا متن علمی (Wiley) را امتیاز می‌دانند.

Golden set و error analysisLLM evaluationFastAPI و DockervLLM و quantizationپایش افت کیفیتدانش یک حوزه

ابزارها و استک فنی

ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت

کتابخانه‌های NLP

spaCy

کتابخانهٔ متن‌باز NLP در Python که به گفتهٔ سایتش برای استخراج اطلاعات در مقیاس بزرگ ساخته شده؛ محصول Explosion

ضروری
Hugging Face Transformers

بارگذاری، fine-tuning و اجرای مدل‌های Transformer؛ در آگهی‌های Teradata، NorthBay و Training Basket نام برده شده

ضروری
NLTK

کتابخانهٔ آموزشی و پایهٔ NLP با کتاب رایگان؛ آگهی‌های Training Basket و Sensefolio آن را نام برده‌اند

مفید
Gensim

مدل‌سازی موضوعی و نمایش متن به‌صورت بردار معنایی؛ در آگهی‌های Training Basket و Sensefolio آمده

مفید
spacy-llm

اتصال LLM ها به pipeline های ساختاریافتهٔ spaCy

پیشرفته

پردازش زبان فارسی

Hazm

نرمال‌سازی (از جمله اصلاح نیم‌فاصله)، tokenization، lemmatization، برچسب‌گذاری نقش دستوری و dependency parsing برای متن فارسی

مفید
ParsBERT

مدل BERT تک‌زبانهٔ فارسی؛ نقطهٔ شروع fine-tuning برای دسته‌بندی، تحلیل احساسات و NER فارسی

مفید
Hezar

کتابخانهٔ همه‌کارهٔ AI برای زبان فارسی که کارها و انواع دادهٔ مختلف را پشتیبانی می‌کند

مفید
ParsiNLU

مجموعه‌ای جامع از کارهای سطح بالای NLP برای زبان فارسی

پیشرفته

embedding، جستجو و LLM

Sentence Transformers

ماژول Python برای استفاده و آموزش مدل‌های embedding و reranker؛ پایهٔ جستجوی معنایی

ضروری
FAISS

کتابخانه‌ای برای جستجوی شباهت و خوشه‌بندی سریع بردارها

مفید
MTEB Leaderboard

جدول مقایسهٔ مدل‌های embedding بر اساس بنچمارک MTEB، برای انتخاب مدل پیش از ساختن جستجو

مفید
PEFT

fine-tuning کم‌هزینه با LoRA و روش‌های مشابه؛ NorthBay آن را امتیاز می‌داند

مفید
vLLM

موتور inference و serving برای LLM با throughput بالا و مصرف حافظهٔ بهینه، وقتی مدل را خودتان میزبانی می‌کنید

پیشرفته

برچسب‌گذاری، ارزیابی و استقرار

Label Studio

ابزار متن‌باز برچسب‌گذاری داده و ارزیابی؛ برای ساختن مجموعهٔ آموزشی و golden set

مفید
Prodigy

ابزار برچسب‌گذاری برای ML و NLP، ساخت Explosion (سازندهٔ spaCy)

مفید
lm-evaluation-harness

چارچوب متن‌باز EleutherAI برای ارزیابی few-shot مدل‌های زبانی روی بنچمارک‌ها

پیشرفته
FastAPI

ساختن API برای سرو کردن مدل؛ Training Basket استقرار مدل‌های NLP با API را جزو وظایف آورده

مفید
ضروری — باید یاد بگیریدمفید — ارزش یادگیری داردپیشرفته — برای سطوح ارشد

مسیر پیشرفت شغلی

از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید

جونیور / NLP Engineer تازه‌کار

۰ تا ۲ سال

پیش‌پردازش متن، آموزش و ارزیابی مدل‌های دسته‌بندی، تحلیل احساسات و NER، و مستندسازی آزمایش‌ها؛ مثل آگهی NLP Engineer در Training Basket. آگهی تازه‌کار با عنوان NLP کم است؛ می‌شود از نقش‌های جونیور ML Engineer، Data Scientist یا مهندس نرم‌افزار هم شروع کرد

PythonNLTK / spaCyscikit-learnHugging FaceSQL پایه

NLP Engineer / ML Engineer (NLP)

۲ تا ۵ سال

مسئولیت یک pipeline متنی از داده تا پروداکشن؛ آگهی Sensefolio دست‌کم ۳ سال و آگهی Morgan Stanley دست‌کم ۴ سال تجربه در ساخت راه‌حل‌های AI/ML/NLP می‌خواهند

Fine-tuningInformation ExtractionEmbeddings و RAGModel EvaluationDocker / API

Senior NLP / Senior ML Engineer – NLP

۵+ سال

طراحی معماری، تعریف ارزیابی و راهنمایی دیگران؛ آگهی‌های Thomson Reuters، NeuralAgent و NorthBay هر سه دست‌کم ۵ سال تجربه می‌خواهند و Thomson Reuters مدرک کارشناسی ارشد را هم شرط گذاشته است

System DesignLLM Fine-tuningEvaluation StrategyModel CompressionMentoring

Principal / Staff

معمولاً ۱۰+ سال

تعریف نقشهٔ راه NLP در سازمان و مرجع فنی معماری؛ آگهی Principal Engineer, NLP در Teradata ۱۲ سال سابقهٔ مهندسی نرم‌افزار، که ۸ سالش ساخت سیستم NLP در پروداکشن باشد، و مدرک ارشد یا دکترا می‌خواهد

Technical StrategyKnowledge GraphsEnterprise SearchResearch to ProductionCross-team Leadership

چالش‌ها و جنبه‌های منفی

واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید

انتخاب بین LLM و مدل کوچک

عمومی

هر روش، از classifier کوچک تا LLM بزرگ، کیفیت، هزینه و دردسر نگهداری متفاوتی دارد و انتخاب باید با داده انجام شود، نه با سلیقه. Wiley مقایسهٔ این گزینه‌ها و دفاع از انتخاب با ارزیابی و برآورد هزینه را بخش اصلی کار می‌داند و مدیریت هزینهٔ بارهای سنگین LLM را هم جزو وظایف آورده است.

ساختن ارزیابی قابل اعتماد

عمومی

برای اینکه بدانید مدل روی متن واقعی درست کار می‌کند، به مجموعهٔ تستی نیاز دارید که کسی با دانش حوزه آن را برچسب زده باشد. Wiley ساختن golden set با متخصصان حوزه را کار خود دانشمند داده می‌داند و Thomson Reuters ارزیابی دقت، قابلیت اطمینان، drift و سوگیری را می‌خواهد.

کمبود داده برای فارسی

عمومی

نویسندگان ParsBERT نوشته‌اند دادهٔ در دسترس برای کارهای NLP فارسی بسیار محدود است و برای همین خودشان یک مجموعه‌دادهٔ بزرگ جمع کردند. هر پروژهٔ فارسی معمولاً با جمع‌آوری، تمیز کردن و برچسب زدن داده شروع می‌شود.

عنوان شغلی در حال ادغام

عمومی

عنوان NLP Engineer کم شده و کار مشابه زیر عنوان‌های ML Engineer، AI Engineer، Applied Scientist و Data Scientist پخش است. ITJobsWatch نشان می‌دهد سهم آگهی‌های دائم بریتانیا که NLP را می‌خواهند از ۰٫۳۹٪ در ۲۰۲۴ به ۰٫۱۸٪ در ۲۰۲۶ رسیده است. جستجوی کار و نوشتن رزومه باید هر دو زبان را پوشش دهد: NLP و LLM.

سطح تجربهٔ بالای آگهی‌ها

عمومی

بیشتر آگهی‌هایی که NLP در عنوانشان دارند و ما بررسی کردیم برای افراد باتجربه‌اند: Sensefolio دست‌کم ۳ سال، Morgan Stanley ۴ سال، Thomson Reuters، NeuralAgent و NorthBay ۵ سال و Teradata ۱۲ سال. برای تازه‌کار، مسیر واقع‌بینانه معمولاً از نقش‌های جونیور و پروژه‌های قابل نمایش می‌گذرد.

دادهٔ حساس و صنایع تنظیم‌شده

شرکت بزرگ

متن‌هایی که ارزش پردازش دارند اغلب حساس‌اند: قرارداد، پرونده و ارتباطات مالی. Thomson Reuters همکاری با تیم امنیت برای محافظت از اطلاعات حساس را جزو وظایف آورده و تجربه در صنایع تنظیم‌شده را امتیاز می‌داند؛ Morgan Stanley پیروی از اصول چرخهٔ توسعهٔ نرم‌افزار را می‌خواهد.

محدودیت سخت‌افزار در استقرار روی دستگاه

استارتاپ

وقتی مدل باید روی دستگاه کوچک اجرا شود، حافظه و تأخیر محدودیت سخت دارند. NeuralAgent تسلط به quantization، pruning و distillation را برای رسیدن به این محدودیت‌ها در اهداف مختلف استقرار می‌خواهد.

حقوق و بازار کار جهانی

حقوق جهانی مهندس پردازش زبان طبیعی

حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.

کشورمیانه / میانگینارز
🇺🇸آمریکا
$107,282USD
🇨🇦کانادا
CA$86,184CAD
🇬🇧انگلستان
£82,000GBP
🇮🇳هند
₹1,000,000INR

چگونه از صفر شروع کنیم

برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی

ماه ۱: پیش‌پردازش متن و spaCy

دورهٔ رایگان spaCy را بگذرانید و یک پیکرهٔ فارسی را با Hazm نرمال‌سازی و tokenize کنید.

ماه ۲: دسته‌بندی، NER و ارزیابی

با scikit-learn و spaCy یک classifier و یک مدل NER بسازید و با precision، recall و F1 بسنجید.

ماه ۳: Transformer و fine-tuning

ParsBERT را برای دسته‌بندی یا NER فارسی fine-tune کنید و با مدل ماه دوم مقایسه کنید.

ماه ۴: embeddings و جستجوی معنایی

روی چند صد سند جستجوی معنایی بسازید و کیفیت بازیابی را با پرسش‌های از پیش نوشته‌شده اندازه بگیرید.

ماه ۵: LLM برای استخراج و مقایسه با مدل کوچک

یک کار استخراج اطلاعات را با LLM انجام دهید و نتیجه، هزینه و سرعت را با مدل fine-tune شدهٔ خودتان مقایسه کنید.

ماه ۶: پورتفولیو و جستجوی کار

پروژه‌ها را با README، جدول ارزیابی و محدودیت‌ها مرتب کنید و علاوه بر NLP Engineer، آگهی‌های ML Engineer (NLP/LLM)، Data Scientist (NLP) و AI Engineer را هم بررسی کنید.

پروژه‌های پیشنهادی برای رزومه

تمیز کردن و تحلیل یک پیکرهٔ متن فارسی

مبتدی

چند هزار خبر یا نظر فارسی جمع کنید، با Hazm نرمال‌سازی (از جمله نیم‌فاصله)، tokenization و lemmatization کنید و پرتکرارترین واژه‌ها و عبارت‌ها را پیش و پس از نرمال‌سازی مقایسه کنید. در README نشان دهید نرمال‌سازی چه خطاهایی را برطرف کرد.

PythonHazmPandasJupyter
زمان تخمینی: ۱ تا ۲ هفته

مدل کوچک در برابر LLM برای دسته‌بندی متن فارسی

متوسط

روی یک دیتاست احساسات فارسی سه روش را مقایسه کنید: TF-IDF با یک classifier ساده، ParsBERT fine-tune شده و پرامپت یک LLM. دقت، F1، زمان پاسخ و هزینهٔ هر هزار متن را در یک جدول بیاورید و بنویسید برای چه شرایطی کدام را انتخاب می‌کنید؛ همان کاری که آگهی Wiley هستهٔ نقش می‌داند.

scikit-learnHugging Face TransformersParsBERTPython
زمان تخمینی: ۳ هفته

تشخیص موجودیت‌ها (NER) در متن فارسی

متوسط

ParsBERT را برای تشخیص نام افراد، مکان‌ها و سازمان‌ها fine-tune کنید، F1 را در سطح موجودیت گزارش دهید و ده خطای پرتکرار مدل را با مثال تحلیل کنید.

ParsBERTHugging Face TransformersPyTorchLabel Studio
زمان تخمینی: ۳ هفته

جستجوی معنایی روی اسناد با سنجش کیفیت بازیابی

متوسط

روی چند صد سند یک جستجوی معنایی با Sentence Transformers و FAISS بسازید، پنجاه پرسش با جواب مشخص بنویسید و درصد پرسش‌هایی را که سند درست در چند نتیجهٔ اول آمده اندازه بگیرید. بعد یک LLM را روی همین بازیابی سوار کنید تا پاسخ بدهد.

Sentence TransformersFAISSPythonFastAPI
زمان تخمینی: ۲ تا ۳ هفته

استخراج اطلاعات ساختاریافته از اسناد

پیشرفته

یک نوع سند انتخاب کنید (قرارداد، آگهی شغلی یا چکیدهٔ مقاله) و فیلدهای مشخصی را به JSON تبدیل کنید، یک بار با spaCy و قاعده و یک بار با LLM. برای صد سند جواب درست را دستی بنویسید (golden set) و دو روش را با آن بسنجید؛ این همان کاری است که Thomson Reuters روی اسناد حقوقی و Wiley روی مقاله‌های علمی انجام می‌دهند.

spaCyLLM API یا مدل متن‌بازPydanticPython
زمان تخمینی: ۴ هفته

مثال‌های واقعی و Case Studies

داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند

I

Ines Montani

پیشینه

به گفتهٔ خودش از ۱۱ سالگی کدنویسی و طراحی وب‌سایت را شروع کرد. در رشته‌های علوم ارتباطات، مطالعات رسانه و زبان‌شناسی درس خواند و پس از آن چهار سال در رسانه و فروش کار کرد.

دستاورد

هم‌بنیان‌گذار و مدیرعامل Explosion است، شرکتی که spaCy (به توصیف خودش از کتابخانه‌های پیشروی متن‌باز NLP در Python)، ابزار برچسب‌گذاری Prodigy و Ellf را می‌سازد. در ۲۰۲۰ Fellow بنیاد نرم‌افزار Python شد و در کنفرانس‌هایی مثل PyCon، PyData، EuroPython و NAACL سخنرانی کرده است.

درس کلیدی

مسیر او نشان می‌دهد ورود به NLP لزوماً از رشتهٔ کامپیوتر نمی‌گذرد. پیشینه در زبان و رسانه، وقتی با برنامه‌نویسی جدی همراه شود، می‌تواند به ساختن ابزارهایی برسد که مهندسان دیگر هر روز از آن‌ها استفاده می‌کنند.

M

Maarten Grootendorst

پیشینه

خودش را «روان‌شناسی که مهندس AI شد» معرفی می‌کند و مسیرش به مهندسی AI را نامتعارف می‌داند. سه مدرک کارشناسی ارشد دارد: روان‌شناسی سازمانی، روان‌شناسی بالینی و علم داده و کارآفرینی.

دستاورد

سازندهٔ کتابخانه‌های متن‌باز BERTopic، KeyBERT و PolyFuzz است که به گفتهٔ خودش بیش از ۲۵ میلیون بار دانلود شده‌اند. کتاب Hands-On Large Language Models را با Jay Alammar نوشته و برای DeepLearning.AI و Analytics Vidhya دوره ساخته است.

درس کلیدی

او از روان‌شناسی آمد و ابزارهایی برای کار با متن ساخت که دیگران به‌کار می‌برند. به نظر می‌رسد ساختن و نگه‌داشتن یک ابزار متن‌باز کوچک اما کاربردی، برای کسی که از رشتهٔ دیگری می‌آید، یکی از روشن‌ترین راه‌های نشان دادن مهارت است.

S

Sebastian Ruder

پیشینه

زبان‌شناسی رایانشی (Computational Linguistics) را در دانشگاه هایدلبرگ آلمان و Trinity College دوبلین خواند. دکترای پردازش زبان طبیعی و یادگیری عمیق را در Insight Research Centre گرفت و هم‌زمان در AYLIEN، استارتاپ تحلیل متن در دوبلین، پژوهشگر بود.

دستاورد

امروز پژوهشگر Meta در برلین است و روی توانایی‌های چندزبانهٔ LLM ها و ارزیابی LLM کار می‌کند. پیش از آن تیم Multilingual در Cohere را رهبری می‌کرد و در Google DeepMind پژوهشگر بود. علاقهٔ پژوهشی‌اش را یادگیری انتقالی در NLP و دسترس‌پذیرتر کردن ML و NLP معرفی می‌کند.

درس کلیدی

کار او از NLP و یادگیری انتقالی به مدل‌های زبانی بزرگ رسیده، اما موضوع اصلی‌اش همچنان زبان است: چندزبانگی و ارزیابی. برای کسی که به زبانی غیر از انگلیسی مسلط است، این مسیر نشان می‌دهد دانش زبان‌های دیگر می‌تواند پایهٔ یک تخصص باشد.

نمونه آگهی استخدام واقعی + تحلیل

یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش

Principal Engineer, NLP

Teradataسن‌دیگو، کالیفرنیا، آمریکا (ترکیبی)2026-10-12

تحلیل نیازمندی‌ها

EN

PhD or MS in Computer Science, Artificial Intelligence, Machine Learning, Computational Linguistics, NLP, or related field.

برای این سطح، ارشد یا دکترا شرط است. فهرست رشته‌ها نکتهٔ جالبی دارد: زبان‌شناسی رایانشی کنار علوم کامپیوتر و یادگیری ماشین آمده؛ یعنی پیشینهٔ زبانی، اگر با برنامه‌نویسی و ML همراه باشد، پذیرفته است.

ضروری
EN

12+ years of software engineering experience, including 8+ years building production NLP and machine learning systems.

این آگهی برای انتهای مسیر است، نه شروع آن: دوازده سال مهندسی نرم‌افزار که هشت سالش ساختن سیستم NLP در پروداکشن باشد. برای ورود به بازار باید آگهی‌های جونیور و میانی را هدف گرفت؛ این آگهی نشان می‌دهد مسیر به کجا می‌رسد.

ضروری
EN

Deep hands-on expertise developing and deploying large-scale NLP systems in production.

تأکید روی «پروداکشن» و «مقیاس بزرگ» است. مدلی که فقط در نوت‌بوک خوب کار کرده کافی نیست؛ باید سیستمی را بالا آورده باشید که روی حجم زیادی سند واقعی کار کند و نگه داشته شود.

ضروری
EN

Deep Expertise In: Transformer architectures; Large Language Models; Retrieval-Augmented Generation (RAG); Semantic search; Information retrieval; Knowledge extraction; Entity recognition; Relation extraction

این فهرست خلاصهٔ NLP در ۲۰۲۶ است: کارهای کلاسیک مثل تشخیص موجودیت و استخراج رابطه کنار Transformer، LLM و RAG آمده‌اند. هیچ‌کدام جای دیگری را نگرفته و هر دو دسته را باید بلد بود.

ضروری
EN

Strong Programming Skills: Python; PyTorch; TensorFlow/JAX; Spark; Distributed computing frameworks

Python و PyTorch پایه‌اند. Spark و فریم‌ورک‌های پردازش توزیع‌شده نشان می‌دهد حجم متن آن‌قدر زیاد است که روی یک ماشین پردازش نمی‌شود؛ آگهی از «پتابایت‌ها» محتوای سازمانی حرف می‌زند.

ضروری
EN

Experience With: Hugging Face ecosystem; Fine-tuning and adaptation frameworks; Large-scale model evaluation; Vector databases; Embedding models

اکوسیستم Hugging Face، fine-tuning، embedding و پایگاه دادهٔ برداری ابزار روزمرهٔ این کارند. «ارزیابی در مقیاس بزرگ» یعنی کیفیت را روی هزاران نمونه بسنجید، نه با چند مثال دستی.

مهم
EN

Contributions to major NLP open-source ecosystems.

جزو شرایط ترجیحی است، نه الزامی. مشارکت در پروژه‌های متن‌باز NLP راهی است که مهارت را بیرون از رزومهٔ رسمی هم نشان می‌دهد.

مفید
EN

Publications in ACL, EMNLP, NAACL, COLING, NeurIPS, ICML, ICLR, KDD, SIGIR, WWW, or related venues.

چهار نام اول کنفرانس‌هایی‌اند که مقاله‌هایشان در ACL Anthology، کتابخانهٔ مقاله‌های زبان‌شناسی رایانشی و NLP، منتشر می‌شود. مقاله برای سطح Principal امتیاز است؛ برای بیشتر نقش‌های مهندسی لازم نیست، اما خواندن مقاله‌های این‌جا برای همه مفید است.

مفید

تحلیل مسئولیت‌ها

EN

Develop systems that transform unstructured enterprise content into structured knowledge assets.

این جمله تعریف کوتاه کار NLP است: متن آزاد مثل ایمیل، قرارداد یا گزارش وارد می‌شود و دادهٔ ساختاریافته‌ای بیرون می‌آید که می‌شود در آن جستجو کرد، شمرد یا به ایجنت داد.

EN

Design and build advanced NLP systems for: Entity extraction; Relationship extraction; Information extraction; Document understanding; Text classification; Summarization; Question answering

تقریباً همهٔ کارهای کلاسیک NLP در این فهرست هست. اگر در پورتفولیوی شما چند تا از این‌ها با ارزیابی درست باشد، به زبان همین آگهی حرف می‌زنید.

EN

Build advanced retrieval-augmented generation architectures for enterprise-scale environments.

RAG یعنی مدل پیش از جواب دادن، بخش‌های مرتبط اسناد را بازیابی کند. آگهی در «معیارهای موفقیت» هم بهبود کیفیت بازیابی را کنار دقت پاسخ و grounding آورده است؛ یعنی مهارت قدیمی جستجو هنوز وسط کار است.

EN

Create evaluation methodologies that measure factuality, grounding, trustworthiness, and task completion.

ارزیابی فقط F1 نیست. grounding یعنی پاسخ واقعاً به سندی تکیه کند که بازیابی شده، نه به حدس مدل. طراحی این نوع ارزیابی کار خود مهندس NLP است.

EN

Improve model performance through prompt engineering, fine-tuning, continued pretraining, synthetic data generation, and reinforcement-learning-based approaches.

همهٔ راه‌های بهتر کردن مدل، از پرامپت تا ادامهٔ pretraining و یادگیری تقویتی، در این جمله هست. در عمل باید بدانید برای هر مشکل کدام کافی است و هزینه‌اش می‌ارزد.

EN

Build entity resolution, canonicalization, taxonomy mapping, and concept extraction capabilities.

entity resolution یعنی بفهمید دو نام متفاوت در دو سند به یک شرکت یا یک نفر اشاره می‌کنند. آگهی این کارها را زیر «سیستم‌های دانش و معنایی» آورده، کنار ساختن pipeline برای گراف دانش سازمان.

EN

Mentor senior engineers and help establish NLP engineering best practices across the company.

در این سطح اثر شما از طریق دیگران هم سنجیده می‌شود: راهنمایی مهندسان ارشد و تعریف روش درست کار NLP در کل شرکت.

نتیجه‌گیری کلی

این آگهی بالاترین سطح مسیر را نشان می‌دهد، اما تصویر روشنی هم از معنای «NLP Engineer» در ۲۰۲۶ می‌دهد: کارهای کلاسیک مثل تشخیص موجودیت، استخراج رابطه و دسته‌بندی کنار Transformer، LLM، RAG، گراف دانش و ارزیابی factuality آمده‌اند. بازهٔ حقوق اعلام‌شده برای آمریکا ۱۸۲٬۷۰۰ تا ۲۷۴٬۰۰۰ دلار در سال است (نقطهٔ میانی ۲۲۸٬۴۰۰ دلار)، خیلی بالاتر از میانگین ZipRecruiter برای همهٔ سطوح این عنوان (۱۰۷٬۲۸۲ دلار)، چون آگهی برای سطح Principal با دوازده سال سابقه است. برای مقایسه، آگهی Senior در Thomson Reuters پنج سال سابقه می‌خواهد و بازه‌اش در بیشتر شهرهای آمریکا ۱۱۰٬۰۰۰ تا ۲۰۴٬۲۰۰ دلار است.

آینده و روندها

پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید

ITJobsWatch در بریتانیا در شش ماه منتهی به ۲۲ اکتبر ۲۰۲۶، ۲۱۷ آگهی استخدام دائم شمرده که مهارت پردازش زبان طبیعی (NLP) را خواسته‌اند؛ همین بازه در ۲۰۲۵، ۱۲۰ و در ۲۰۲۴، ۲۷۱ آگهی بود. سهم این آگهی‌ها از کل آگهی‌های دائم بریتانیا از ۰٫۳۹٪ در ۲۰۲۴ به ۰٫۲۴٪ و بعد ۰٫۱۸٪ رسیده است. در همین بازه ۱٬۳۰۰ آگهی مهارت LLM را خواسته‌اند و ۴۴٫۲٪ آگهی‌های NLP هم LLM را نام برده‌اند. این رقم مهارت را می‌شمارد، نه عنوان شغلی را.

منبع: ITJobsWatch (UK), 6 months to 22 Oct 2026

مهارت‌های نوظهور که باید یاد بگیرید

مقایسهٔ NLP کلاسیک، embedding، پرامپت LLM و مدل کوچک fine-tune شده با معیار کیفیت و هزینه (آگهی Wiley)RAG، embeddings و جستجوی برداری (آگهی‌های NorthBay، Teradata و Morgan Stanley)ارزیابی factuality و grounding خروجی مدل (آگهی Teradata)گراف دانش و تبدیل متن ساختارنیافته به دانش ساختاریافته (Teradata و Morgan Stanley)workflow های ایجنتی روی متن (Teradata، Wiley و Morgan Stanley)فشرده‌سازی مدل برای اجرا روی دستگاه: quantization، pruning و distillation (NeuralAgent)پشتیبانی چندزبانه و ترجمهٔ ماشینی (Teradata)

پیش‌بینی‌های آینده

2030

در گزارش Future of Jobs 2025 مجمع جهانی اقتصاد (WEF)، کارفرمایان شرکت‌کننده در نظرسنجی «متخصصان AI و یادگیری ماشین» را در میان سریع‌ترین شغل‌های در حال رشد تا ۲۰۳۰ (از نظر درصد) قرار داده‌اند؛ رتبهٔ سوم در فهرست این گزارش. NLP در این گزارش گروه جداگانه‌ای ندارد.

2035

BLS آمریکا پیش‌بینی می‌کند اشتغال در گروه رسمی «پژوهشگران کامپیوتر و اطلاعات» از ۲۰۲۵ تا ۲۰۳۵، ۲۲٪ رشد کند. گروه رسمی جداگانه‌ای برای NLP Engineer وجود ندارد و BLS برای این گروه معمولاً کارشناسی ارشد را لازم می‌داند، پس این پیش‌بینی بیشتر به نقش‌های پژوهشی نزدیک است.

ریسک‌های واقعی

از داده‌ها سه نکته پیداست. اول، عنوان شغلی کوچک شده است: در بررسی ما هیچ‌کدام از ۱۸٬۵۸۴ آگهی باز در ۱۲۵ تابلوی استخدام شرکت‌های فناوری و AI عنوان NLP نداشت و سهم آگهی‌هایی که در بریتانیا مهارت NLP را می‌خواهند، طبق ITJobsWatch، در دو سال به کمتر از نصف رسیده است. دوم، مرز کار با LLM جابه‌جا شده است؛ Hugging Face دورهٔ NLP خود را به LLM Course تبدیل کرده و ITJobsWatch می‌گوید ۴۴٫۲٪ آگهی‌های NLP بریتانیا LLM را هم نام برده‌اند. آگهی‌هایی مثل Wiley و Teradata هر دو دسته را با هم می‌خواهند؛ نه فقط روش‌های کلاسیک و نه فقط صدا زدن API. سوم، سطح تجربهٔ خواسته‌شده بالاست: از ۳ سال در Sensefolio تا ۵ سال در Thomson Reuters و ۱۲ سال در Teradata.

منابع

اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۳۰ منبع بررسی شده است.

  1. Principal Engineer, NLP — Teradata (job posting)
  2. Senior Machine Learning Engineer – NLP/LLM — Thomson Reuters (job posting)
  3. Senior NLP Engineer — NeuralAgent (job posting)
  4. Data Scientist (NLP Deep Learning Engineer) — Revolut (job posting)
  5. Principal Data Scientist (NLP + Applied AI) — Wiley (LinkedIn job posting)
  6. NLP Engineer — NorthBay Solutions (LinkedIn job posting)
  7. NLP Engineer — Training Basket (LinkedIn job posting)
  8. NLP Engineer — Sensefolio (LinkedIn job posting)
  9. Data Scientist (NLP Specialist) – Legal and Compliance — Morgan Stanley (LinkedIn job posting)
  10. ZipRecruiter — NLP Engineer salary, United States
  11. Glassdoor — NLP Engineer salaries in Canada
  12. Glassdoor — NLP Engineer salaries in India
  13. ITJobsWatch — Natural Language Processing (UK job trends and salaries)
  14. ITJobsWatch — LLM (UK job trends and salaries)
  15. BLS Occupational Outlook Handbook — Computer and Information Research Scientists
  16. World Economic Forum — The Future of Jobs Report 2025 (PDF)
  17. Hugging Face LLM Course — Introduction
  18. Natural language processing — Wikipedia
  19. Attention Is All You Need (arXiv, 2017)
  20. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (arXiv, 2018)
  21. ParsBERT: Transformer-based Model for Persian Language Understanding (arXiv, 2020)
  22. Hazm — Persian NLP Toolkit (GitHub)
  23. Ines Montani — personal site
  24. Explosion — About us
  25. Maarten Grootendorst — personal site
  26. Sebastian Ruder — About
  27. Hands-On Large Language Models — book site (Jay Alammar, Maarten Grootendorst)
  28. Speech and Language Processing (3rd ed. draft) — Jurafsky & Martin
  29. Stanford CS224N — Natural Language Processing with Deep Learning
  30. ACL Anthology

برای راهنمایی شخصی‌سازی‌شده مشاوره بگیرید