مهندس خط لوله داده
Data Pipeline Engineer
مهندس خط لوله داده (Data Pipeline Engineer) pipeline هایی را می‌سازد، زمان‌بندی می‌کند، پایش می‌کند و تعمیر می‌کند که داده را از دیتابیس‌ها، API ها، دستگاه‌ها و سرویس‌ها به انبار داده، data lake، محصولات و مدل‌های AI می‌رسانند. این در عمل همان کار مهندس داده است با تمرکز بر جابه‌جایی داده و سالم نگه داشتن جریان آن، و عنوانش در آگهی‌ها کم دیده می‌شود: در بررسی ما روی ۳۸٬۸۰۷ آگهی باز در ۳۱۶ شرکت (اکتبر ۲۰۲۶) هیچ آگهی‌ای با این عنوان نبود، در حالی که ۲۳۵ آگهی عنوان Data Engineer داشتند. فقط چند کارفرما، مثل Hexegic و GlobalData Healthcare در بریتانیا و myDNA در آمریکا، این عنوان را به کار می‌برند. اگر دنبال این شغل هستید، آگهی‌های Data Engineer را هم جستجو کنید.
مقدمه و تعریف شغل
مهندس خط لوله داده مسیر حرکت داده را می‌سازد و سالم نگه می‌دارد: گرفتن داده از منبع، تبدیل و بارگذاری آن (ETL یا ELT)، زمان‌بندی اجراها، پایش سلامت و رفع خرابی. myDNA این نقش را طراحی، ساخت و مالکیت pipeline هایی توصیف می‌کند که دادهٔ ژنومی و عملیاتی را از دستگاه‌های آزمایشگاه و سیستم LIMS به تحلیل، محصولات و گزارش‌های بالینی می‌برند. در عمل این همان کار مهندس داده است با تأکید بر جابه‌جایی و قابلیت اطمینان داده: myDNA همین موقعیت را در دپارتمان Data Engineering خودش تعریف کرده و Booz Allen در آگهی «Data Engineer and Data Pipeline Specialist» از دارندهٔ آن به‌عنوان مهندس داده یاد می‌کند.
pipeline داده سال‌ها پیش از اینکه این عنوان روی آگهی‌ها بیاید، هستهٔ مهندسی داده بود. Maxime Beauchemin، سازندهٔ Airflow، در مقالهٔ «The Rise of the Data Engineer» (۲۰۱۷) نوشت که در Airbnb تیم مهندسی داده مجموعه‌ای از schema های «اصلی» را مدیریت می‌کند که SLA هایشان روشن تعریف و سنجیده می‌شود و کد pipeline آن‌ها از مجموعه‌ای از روش‌های مشخص پیروی می‌کند. امروز بازار این کار را بیشتر با عنوان Data Engineer آگهی می‌کند. ITJobsWatch در بریتانیا صفحهٔ جداگانه‌ای برای عنوان Data Pipeline Engineer ندارد و «Data Pipeline» را به‌عنوان یک مهارت دنبال می‌کند: ۱٬۳۸۷ آگهی استخدام دائم در شش ماه منتهی به ۲۲ اکتبر ۲۰۲۶ این مهارت را خواسته‌اند (در برابر ۶۹۷ در همین بازهٔ ۲۰۲۵) و ۳۲٫۳٪ آگهی‌های Data Engineer به آن اشاره دارند. بعضی شرکت‌های بزرگ‌تر هم این کار را با عنوان Software Engineer و نام تیم Data Pipeline(s) آگهی می‌کنند، مثل Lyft و MongoDB. دربارهٔ حقوق: صفحه‌های Glassdoor برای این عنوان در کانادا و بریتانیا شغل‌های دیگری را هم در خود دارند (در کانادا مثلاً «Pipeline Data Analyst» در شرکت‌های حوزهٔ انرژی، و در بریتانیا فقط سه حقوق واقعی با این عنوان ثبت شده)، پس جدول حقوق جز برای آمریکا از ارقام Data Engineer و مهارت Data Pipeline به‌عنوان جایگزین استفاده می‌کند.
چه چیزی می‌سازید؟
مثال‌های واقعی از خروجی کار یک مهندس خط لوله داده
pipeline دادهٔ آزمایشگاه و سلامت
در myDNA، مهندس ارشد خط لوله داده ETL و ELT را برای دادهٔ ژنومی پرحجم و دادهٔ عملیاتی و کسب‌وکار می‌سازد و اجرا می‌کند و داده را بین LIMS، دستگاه‌های آزمایشگاه، اپلیکیشن‌های داخلی و منابع طرف سوم یکپارچه می‌کند؛ با این شرط که pipeline ها تکرارپذیر و آمادهٔ ممیزی باشند.
دریافت داده برای یک پلتفرم AI
GlobalData Healthcare یک پلتفرم هوش رقابتی مبتنی بر AI برای بازار دارو می‌سازد. Data Pipeline Engineer آن pipeline هایی را می‌سازد و نگه می‌دارد که دادهٔ دارو، کارآزمایی بالینی و شرکت‌ها را همراه با منابع خبری و نظارتی وارد پلتفرم می‌کنند تا مشاوران و قابلیت‌های AI به آن تکیه کنند.
health check و رسیدگی به خرابی
در Hexegic، مهندس خط لوله داده اولین کسی است که به خرابی سلامت داده در pipeline های کلیدی واکنش نشان می‌دهد: health check ها را می‌سازد و نگه می‌دارد، pipeline خراب را بررسی و رفع می‌کند، تنظیمات پایش را تغییر می‌دهد و قطعی‌ها را به کاربران اطلاع می‌دهد.
پلتفرم streaming برای دادهٔ telemetry
تیم Data Pipeline در MongoDB قابلیت‌هایی برای انتقال و تبدیل دادهٔ telemetry در سراسر MongoDB می‌سازد: یک پلتفرم streaming سازگار با Kafka به‌عنوان گذرگاه اصلی و Apache Flink برای تبدیل لحظه‌ای و تحویل به ذخیره‌سازی، روی کلاسترهای Kubernetes.
pipeline دادهٔ آموزش مدل‌های AI
تیم Datasets در Wayve دادهٔ رانندگی‌ای را مدیریت می‌کند که AI Driver شرکت از آن یاد می‌گیرد. مهندس این تیم جابه‌جایی داده و pipeline هایی را می‌سازد که مدل انتخاب داده به آن‌ها وابسته است و سیاست‌های نگهداری و انتقال داده بین ذخیره‌سازی گرم، سرد و آرشیو را پیاده می‌کند.
دریافت دادهٔ شرکا برای گزارش‌دهی دولتی
در CACI، مهندس pipeline دریافت دادهٔ منابع شرکا را با قالب‌های از پیش تعیین‌شده و CSV خودکار می‌کند و pipeline های ETL را با AWS S3، Glue و DMS برای یک سیستم گزارش‌دهی مالی دولتی طراحی و نگهداری می‌کند.
تخصص‌های مختلف مهندس خط لوله داده
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
pipeline های لحظه‌ای
Streaming Data Pipelines
پردازش داده هم‌زمان با تولیدش، با Kafka، Flink یا Kinesis. MongoDB برای تیم Data Pipeline تجربه با پلتفرم‌های streaming سازگار با Kafka یا Apache Flink و حضور در on-call شبانه‌روزی را می‌خواهد.
اداره و پایش pipeline
Pipeline Operations
تمرکز روی سالم نگه داشتن pipeline های موجود: زمان‌بندی، health check، رسیدگی به خرابی و خبر دادن قطعی‌ها. آگهی Data Pipeline Engineer در Hexegic دقیقاً این کار را توصیف می‌کند.
دریافت و یکپارچه‌سازی داده
Data Ingestion & Integration
آوردن داده از API ها، فیدها، وب و سیستم‌های شرکا و یکی کردن رکوردهای یک موجودیت. GlobalData Healthcare تجربه با entity matching یا record linkage را امتیاز می‌داند و CACI خودکارسازی دریافت دادهٔ شرکا را می‌خواهد.
pipeline دادهٔ آموزش AI
Training Data Pipelines for AI
انتخاب، فیلتر و نگهداری داده‌ای که مدل‌ها با آن آموزش می‌بینند. Wayve برای این کار تجربهٔ اجرای pipeline های دریافت یا کیفیت داده در مقیاس پتابایت را می‌خواهد.
pipeline دادهٔ حساس و تحت مقررات
Regulated Data Pipelines
pipeline هایی که باید تکرارپذیر و آمادهٔ ممیزی باشند. myDNA از مهندس pipeline می‌خواهد شناختش از مقرراتی مثل HIPAA، GDPR و GxP را در معماری pipeline به کار ببرد و تجربهٔ کار در محیط تحت مقررات را «الزام قطعی» نامیده است.
تفاوت با شغل‌های مشابه
کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟
در بیشتر شرکت‌ها این دو یک شغل‌اند و Data Engineer عنوان بسیار رایج‌تری است: myDNA موقعیت Senior Data Pipeline Engineer/Developer را در دپارتمان Data Engineering گذاشته و Booz Allen دارندهٔ عنوان «Data Engineer and Data Pipeline Specialist» را مهندس داده می‌نامد. جایی که هر دو عنوان کنار هم آمده‌اند، مرز معمولاً بین ساختن و اداره کردن است: در Hexegic، مهندس داده اتصال‌های تازهٔ داده و مدل‌های داده را می‌سازد (حقوق پایه ۵۵ تا ۷۵ هزار پوند)، و مهندس خط لوله داده به خرابی‌ها رسیدگی می‌کند، زمان‌بندی اجراها و health check ها را نگه می‌دارد و در نوبت on-call، از جمله یک آخر هفته در ماه، کار می‌کند (۵۰ تا ۶۰ هزار پوند).
مهندس خط لوله داده pipeline ها را می‌سازد و اجرا می‌کند؛ مهندس پلتفرم داده زیرساخت و ابزاری را می‌سازد که آن pipeline ها روی آن اجرا می‌شوند. در شرکت‌های بزرگ، تیمی که اسمش Data Pipelines است گاهی همین کار پلتفرمی را انجام می‌دهد: مأموریت تیم Data Pipelines در Lyft این است که مهندسان Lyft بتوانند خودشان pipeline بسازند و نگه دارند، و عنوان آگهی‌اش Senior Software Engineer است. تیم Data Pipeline در MongoDB هم کار توسعهٔ نرم‌افزار را با مهندسی سیستم و site reliability ترکیب می‌کند.
مهندس آنالیتیکس داده‌ای را که به انبار داده رسیده، معمولاً با SQL و dbt، به مدل‌ها و متریک‌های قابل استفاده تبدیل می‌کند. مهندس خط لوله داده بیشتر روی مرحلهٔ قبل کار می‌کند: آوردن داده از منبع، زمان‌بندی، تکرارپذیری و سالم ماندن جریان. مرز سخت نیست؛ myDNA ابزارهای انبار داده و تبدیل مثل Snowflake و dbt را در مهارت‌های همین نقش آورده است.
مهندس یادگیری ماشین مدل را می‌سازد، آموزش می‌دهد و مستقر می‌کند؛ مهندس خط لوله داده داده‌ای را می‌رساند که مدل با آن آموزش می‌بیند یا کار می‌کند. Wayve این مرز را صریح نوشته است: از مهندس دادهٔ تیم Datasets می‌خواهد در اصل یک مهندس نرم‌افزار باشد که سیستم‌های اطراف مدل را می‌سازد، نه خود مدل‌ها را. GlobalData Healthcare هم pipeline ها را می‌سازد تا قابلیت‌های AI پلتفرمش بتوانند به داده تکیه کنند.
تأثیر در صنایع مختلف
مهندس خط لوله داده در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری
ژنتیک و سلامت
myDNA دادهٔ ژنومی را از دستگاه‌های آزمایشگاه تا گزارش بالینی جابه‌جا می‌کند و از مهندس pipeline می‌خواهد در محیط توسعه فقط از دادهٔ ناشناس‌شده یا مصنوعی استفاده کند
داروسازی و هوش رقابتی
GlobalData Healthcare دادهٔ دارو، کارآزمایی بالینی و اخبار را با pipeline وارد یک پلتفرم AI می‌کند که مشاورانش برای مشتریان دارویی از آن استفاده می‌کنند
پروژه‌های دولتی آمریکا
CACI و Booz Allen برای کار pipeline مجوز امنیتی Secret می‌خواهند؛ Booz Allen دامنهٔ کار مشتریانش را از تشخیص تقلب تا تحقیقات سرطان و اطلاعات ملی توصیف می‌کند
دفاع و امنیت بریتانیا
Hexegic برای Data Pipeline Engineer واجد شرایط بودن برای مجوز امنیتی بریتانیا را شرط کرده و طبق ITJobsWatch، ۱۶٫۳٪ آگهی‌های بریتانیا با مهارت Data Pipeline به Security Cleared اشاره دارند
خودروهای خودران
Wayve دادهٔ رانندگی را که از صدها پتابایت به سمت اگزابایت می‌رود فیلتر و نگهداری می‌کند تا مدل‌ها با مفیدترین داده آموزش ببینند
حمل‌ونقل و تاکسی اینترنتی
به گفتهٔ Lyft، تیم Data Pipelines در قلب همهٔ داده‌های حیاتی شرکت است و از صدها سرویس پشتیبانی می‌کند
پایگاه داده و نرم‌افزار ابری
MongoDB با یک pipeline لحظه‌ای، دادهٔ telemetry پرحجم را برای تحلیل فوری و نگهداری بلندمدت به مصرف‌کننده‌ها می‌رساند
ابزارهای خلاق AI
Pika زیرساخت داده و pipeline هایش را برای تحلیل، گزارش‌گیری و یادگیری ماشینِ پلتفرم ساخت ویدیو با AI می‌خواهد
تصورات غلط رایج
قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید
Data Pipeline Engineer شغلی جدا از Data Engineer است
در بیشتر موارد نه. در بررسی ما روی ۳۸٬۸۰۷ آگهی باز در ۳۱۶ شرکت، هیچ آگهی‌ای این عنوان را نداشت و ۲۳۵ آگهی Data Engineer بودند. myDNA همین موقعیت را در دپارتمان Data Engineering گذاشته و Booz Allen دارندهٔ عنوان «Data Engineer and Data Pipeline Specialist» را مهندس داده می‌نامد. فقط در بعضی شرکت‌ها، مثل Hexegic، این عنوان برای نقش محدودتری به کار می‌رود که بیشتر اداره و پایش pipeline است.
pipeline یعنی یک اسکریپت ETL که هر شب اجرا می‌شود
اسکریپت اول کار است، نه همهٔ کار. مستندات Airflow می‌گوید task ها باید مثل تراکنش پایگاه داده باشند و در هر اجرای دوباره همان نتیجه را بدهند، و myDNA از مهندس pipeline مالکیت کیفیت داده، lineage و observability، شامل تازگی، کامل بودن، تشخیص تغییر schema، هزینهٔ هر job و SLA ها را می‌خواهد.
مهندس pipeline فقط می‌سازد و نگهداری کار کس دیگری است
در آگهی‌ها اداره کردن بخشی از خود شغل است. Hexegic نوبت on-call، از جمله یک آخر هفته در ماه، را جزو وظایف آورده، MongoDB راحتی با on-call شبانه‌روزی را می‌خواهد و Lyft حضور در نوبت on-call و رسیدگی به incident را.
بدون Kafka و streaming نمی‌شود وارد این کار شد
برای شروع نه. آگهی GlobalData Healthcare روی Python، SQL، PostgreSQL، منابع دادهٔ بیرونی و کیفیت داده تمرکز دارد و Hexegic آشنایی پایه با Spark را کافی می‌داند. streaming بیشتر در نقش‌های ارشد یا تیم‌های خاص می‌آید؛ برای Pika امتیاز است و MongoDB آن را برای تیم پلتفرم streaming خودش شرط کرده است.
با آمدن AI نیاز به pipeline کمتر می‌شود
آگهی‌ها خلافش را نشان می‌دهند: GlobalData Healthcare pipeline می‌سازد تا قابلیت‌های AI پلتفرمش به داده تکیه کنند، Wayve تیمی برای دادهٔ آموزش AI Driver خودش دارد و Pika تجربهٔ پشتیبانی داده برای یادگیری ماشین و اپلیکیشن‌های AI را امتیاز می‌داند. BLS هم پذیرش AI در سازمان‌ها را یکی از دلایل رشد اشتغال معماران پایگاه داده می‌داند.
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
جونیور (۰–۲ سال)
بیشتر روی نگه داشتن pipeline های موجود کار می‌کنید. آگهی Hexegic تصویر روشنی از این سطح می‌دهد: اولین واکنش به خرابی سلامت داده، خواندن کد و تغییر آن، و اطلاع دادن به کاربران.
- ◆بررسی اجراهای شب گذشته و پیدا کردن job هایی که شکست خورده‌اند
- ◆خواندن لاگ و کد یک pipeline خراب و رفع مشکل با Python یا PySpark
- ◆تنظیم یا اضافه کردن یک health check یا هشدار
- ◆به‌روز کردن زمان‌بندی اجراها
- ◆خبر دادن یک قطعی به کاربران داده و توضیح زمان رفع آن
میانی (۲–۵ سال)
مالک دریافت داده از چند منبع هستید و مدل داده را همراه نیاز محصول تغییر می‌دهید. آگهی GlobalData Healthcare نمونهٔ این سطح است: ساخت دریافت داده، طراحی مدل داده، پایش کیفیت و مدیریت تغییر schema.
- ◆اضافه کردن یک منبع دادهٔ تازه، مثلاً یک API یا فید خبری
- ◆نوشتن تست کیفیت برای داده‌ای که تازه وارد شده
- ◆بررسی یک کوئری کند و تنظیم ایندکس یا ساختار جدول
- ◆برنامه‌ریزی یک تغییر schema بدون خراب کردن مصرف‌کننده‌های قبلی
- ◆همکاری با تیم زیرساخت برای پایدار و مستند نگه داشتن pipeline ها
ارشد / Staff (۵+ سال)
تمرکز روی معماری، استانداردها و هزینه است. myDNA از مهندس ارشد خط لوله داده می‌خواهد جهت فنی pipeline های batch و streaming را تعیین کند و استانداردهای تست، CI/CD و زیرساخت به‌صورت کد را تعریف و اجرا کند؛ Wayve در سطح Principal سنجیدن هزینهٔ محاسبه در برابر ارزش داده را.
- ◆ارزیابی یک فریم‌ورک یا orchestrator تازه و نوشتن پیشنهاد برای تیم
- ◆بازبینی طراحی و کد pipeline های هم‌تیمی‌ها
- ◆تعریف SLA و هشدار برای جدول‌هایی که چند تیم به آن‌ها تکیه دارند
- ◆بررسی هزینهٔ هر job و پیدا کردن جایی که می‌شود محاسبه را ارزان‌تر کرد
- ◆توضیح trade-off های داده برای تیم‌های فنی و تیم‌های انطباق با مقررات
- ◆نوشتن سند تصمیم معماری (ADR) برای یک تغییر بزرگ
مسئولیت‌ها و وظایف
مسئولیت‌های اصلی
وظایف روزانه و مهارت‌های مورد نیاز در این شغل
- ◈ساخت و اجرای pipeline های ETL و ELT در پروداکشن برای دادهٔ عملیاتی، محصول و کسب‌وکار
- ◈دریافت داده از منابع داخلی و بیرونی: پایگاه‌های داده، API ها، فیدها، دستگاه‌ها و سرویس‌های طرف سوم
- ◈زمان‌بندی اجراها با یک orchestrator و طراحی task هایی که در اجرای دوباره همان نتیجه را بدهند
- ◈طراحی و نگهداری مدل‌های داده و ساختار پایگاه داده، تنظیم کارایی و مدیریت تغییر schema
- ◈پایش سلامت pipeline ها و کیفیت داده (تازگی، کامل بودن، lineage، SLA) و رفع سریع خرابی‌ها
- ◈حضور در نوبت on-call، رسیدگی به incident و خبر دادن قطعی‌ها به کاربران داده
- ◈نوشتن تست واحد، تست یکپارچگی و تست کیفیت داده و استقرار خودکار با CI/CD و زیرساخت به‌صورت کد
- ◈رعایت الزامات امنیت و حریم خصوصی داده، مثل کنترل دسترسی و استفاده از دادهٔ ناشناس‌شده در محیط توسعه
- ◈همکاری با تیم‌های محصول، تحلیل، زیرساخت و AI برای فهم نیاز داده و تحویل dataset های قابل اعتماد
- ◈مستندسازی pipeline ها و توضیح trade-off های داده برای ذی‌نفعان فنی و غیرفنی
مهارت‌های مورد نیاز
مهارت‌های فنی، نرم و حوزه‌ای که یک مهندس خط لوله داده موفق به آن‌ها نیاز دارد
مهارت‌های فنی
زبان اصلی pipeline ها؛ طبق ITJobsWatch در ۶۲٫۸٪ آگهی‌های بریتانیا با مهارت Data Pipeline آمده است
طراحی schema، تنظیم کوئری و رفع مشکل کارایی؛ SQL در ۶۰٫۴٪ همان آگهی‌ها آمده است
گرفتن داده از API، فید، فایل و پایگاه داده و تبدیل و بارگذاری آن
Airflow، Dagster، Prefect یا Argo؛ زمان‌بندی، وابستگی کارها، retry و backfill
طراحی task هایی که در اجرای دوباره همان نتیجه را بدهند؛ UPSERT و خواندن از partition مشخص
تست کیفیت، پایش تازگی و کامل بودن، lineage و تشخیص تغییر schema
تست واحد، تست یکپارچگی و تست کیفیت داده، و استقرار خودکار pipeline ها
AWS، Azure یا GCP؛ سرویس‌هایی مثل S3، Glue، Lambda و Redshift
پردازش توزیع‌شده وقتی حجم داده از یک ماشین بیشتر می‌شود
اجرای pipeline ها و orchestrator در container
Kafka، Flink یا Kinesis برای داده‌ای که پیوسته می‌رسد
تعریف منابع ابری pipeline ها با کد
مهارت‌های نرم
پیدا کردن علت خرابی زیر فشار و حضور در نوبت on-call
خبر دادن قطعی به کاربران و توضیح trade-off های داده برای افراد فنی و غیرفنی
نوشتن مستندات و runbook هایی که هم‌تیمی بتواند با آن‌ها pipeline را اداره کند
کار با تیم‌های زیرساخت، محصول، تحلیل و AI برای فهم نیاز داده
دانش حوزه‌ای
کنترل دسترسی، دادهٔ ناشناس‌شده در توسعه و مقرراتی مثل HIPAA و GDPR
سنجیدن هزینهٔ هر job و تصمیم دربارهٔ نگهداری یا حذف داده
مثلاً دادهٔ دارو و کارآزمایی بالینی در GlobalData یا فرمت‌های دادهٔ ژنومی در myDNA
فهم تکرار، تحمل خطا و پردازش batch و stream برای طراحی pipeline های پایدار
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به مهندس خط لوله داده
این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.
SQL، PostgreSQL و مدل‌سازی داده
هر pipeline یک سرش به پایگاه داده وصل است. GlobalData Healthcare برای Data Pipeline Engineer تجربهٔ عمیق با PostgreSQL یا پایگاه رابطه‌ای مشابه، از جمله تنظیم کارایی، می‌خواهد و myDNA تسلط به SQL روی SQL Server و PostgreSQL، شامل طراحی schema، تنظیم کوئری و رفع مشکل کارایی. طبق ITJobsWatch، SQL در ۶۰٫۴٪ آگهی‌های استخدام دائم بریتانیا که مهارت Data Pipeline را خواسته‌اند آمده است.
Python و اولین pipeline دریافت داده
Python زبان اصلی این کار است: طبق ITJobsWatch در ۶۲٫۸٪ آگهی‌های بریتانیا که مهارت Data Pipeline را خواسته‌اند آمده و myDNA نقشش را صریحاً «Python-first» می‌نامد. هدف این فاز ساختن pipeline کوچکی است که از یک API یا فید داده بگیرد، تمیزش کند و در PostgreSQL بنویسد؛ GlobalData کار با منابع بیرونی مثل API، فید و دادهٔ وب را شرط کرده است. از همین ابتدا برای کدتان تست بنویسید: myDNA تست واحد، تست یکپارچگی و تست کیفیت داده را با هم می‌خواهد.
Orchestration و pipeline تکرارپذیر
pipeline باید سر وقت اجرا شود، اگر شکست خورد دوباره اجرا شود و در اجرای دوباره همان نتیجه را بدهد. مستندات Airflow می‌گوید هر task را مثل یک تراکنش پایگاه داده ببینید که هرگز نتیجهٔ ناقص تولید نمی‌کند؛ چون Airflow ممکن است task شکست‌خورده را دوباره اجرا کند، به‌جای INSERT از UPSERT استفاده کنید و به‌جای «آخرین دادهٔ موجود» از یک partition مشخص بخوانید. myDNA و Pika هر دو تجربه با orchestrator هایی مثل Airflow، Dagster یا Prefect را خواسته‌اند و Hexegic نگهداری زمان‌بندی اجراها (build schedules) را از وظایف اصلی Data Pipeline Engineer آورده است.
ابر، انبار داده و پردازش در مقیاس
بیشتر pipeline های امروزی روی ابر اجرا می‌شوند. CACI برای Cloud Pipeline Data Engineer طراحی و نگهداری pipeline های ETL با AWS S3، AWS Glue و AWS DMS و تنظیم Redshift را می‌خواهد و myDNA از S3، Glue، EMR، Lambda و Redshift و از Snowflake و dbt نام می‌برد. وقتی حجم داده بالا می‌رود Spark وارد کار می‌شود: Hexegic خواندن و نوشتن کد Python و PySpark را شرط کرده و Wayve تسلط به Python و Spark را. طبق ITJobsWatch، در آگهی‌های بریتانیا با مهارت Data Pipeline، Azure در ۴۱٫۲٪، AWS در ۳۳٫۱٪ و Databricks در ۲۴٫۱٪ آمده است.
Streaming، کیفیت داده و کار در پروداکشن
در سطح ارشد، مالکیت کیفیت و پایداری جریان داده با شماست. myDNA از Senior Data Pipeline Engineer می‌خواهد مالک کیفیت داده، lineage و observability باشد: تازگی، کامل بودن، تشخیص تغییر schema، هزینهٔ هر job و SLA ها. برای داده‌ای که پیوسته می‌رسد Kafka و Flink رایج‌اند؛ تیم Data Pipeline در MongoDB روی یک پلتفرم streaming سازگار با Kafka و Apache Flink کار می‌کند که روی Kubernetes اجراست. on-call هم بخشی از کار است: Hexegic، MongoDB و Lyft هر سه حضور در نوبت on-call را خواسته‌اند.
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت
Orchestration و زمان‌بندی
زمان‌بندی و اجرای pipeline ها به‌صورت DAG؛ myDNA و Pika آن را نام برده‌اند و Beauchemin، سازنده‌اش، در Airbnb مهندس داده بود
پلتفرم orchestration برای ساخت، زمان‌بندی و پایش pipeline ها؛ در فهرست orchestrator های قابل قبول myDNA و Pika
موتور workflow بومی Kubernetes برای DAG ها؛ orchestrator اصلی myDNA است که روی Kubernetes اجرا می‌شود
پردازش و Streaming
پردازش توزیع‌شدهٔ دادهٔ حجیم؛ Hexegic کد PySpark و Wayve تسلط به Spark را شرط کرده‌اند
پردازش stateful جریان داده؛ تیم Data Pipeline در MongoDB تبدیل‌های لحظه‌ای را با آن انجام می‌دهد و Lyft هم نامش را آورده است
ذخیره‌سازی، انبار داده و تبدیل
پایگاه دادهٔ رابطه‌ای متن‌باز؛ GlobalData تجربهٔ عمیق با آن را شرط کرده و myDNA تسلط به SQL روی آن را
زیرساخت، کیفیت و ابزار توسعه
کنترل نسخهٔ کد pipeline ها؛ طبق ITJobsWatch در ۱۴٫۱٪ آگهی‌های بریتانیا با مهارت Data Pipeline آمده است
اجرای container ها در مقیاس؛ orchestrator اصلی myDNA و پلتفرم streaming تیم Data Pipeline در MongoDB روی آن اجرا می‌شوند
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید
مهندس خط لوله داده / مهندس دادهٔ جونیور
۰ تا ۲ سال
نگه داشتن pipeline های موجود: زمان‌بندی اجراها، health check، پیدا کردن و رفع خرابی و خبر دادن به کاربران. آگهی Data Pipeline Engineer در Hexegic برای همین کار خواندن و نوشتن کد Python و PySpark، آشنایی پایه با Spark و حضور در نوبت on-call را می‌خواهد و حقوق پایه را ۵۰ تا ۶۰ هزار پوند اعلام کرده است.
مهندس خط لوله داده / مهندس داده
۲ تا ۵ سال
ساخت و نگهداری دریافت داده از منابع داخلی و بیرونی، طراحی مدل داده، پایش کیفیت و مدیریت تغییر schema. GlobalData Healthcare برای Data Pipeline Engineer دست‌کم ۲ سال تجربهٔ ساخت و اجرای pipeline در پروداکشن با Python و SQL می‌خواهد. Booz Allen برای «Data Engineer and Data Pipeline Specialist» دو سال تجربه یا بیشتر می‌خواهد و بازهٔ حقوق را ۶۱٬۹۰۰ تا ۱۴۱٬۰۰۰ دلار اعلام کرده است.
مهندس ارشد خط لوله داده
۵+ سال
تعیین جهت فنی pipeline های batch و streaming، تعریف استاندارد تست، CI/CD و زیرساخت به‌صورت کد، و مالکیت کیفیت، lineage و observability. myDNA برای Senior Data Pipeline Engineer دست‌کم ۸ سال تجربهٔ مهندسی نرم‌افزار یا داده می‌خواهد که ۴ سالش ساخت و اجرای pipeline در مقیاس باشد. CACI برای Cloud Pipeline Data Engineer هفت سال تجربه یا بیشتر می‌خواهد و بازهٔ ۹۸٬۵۰۰ تا ۲۰۶٬۸۰۰ دلار را اعلام کرده است.
Principal / Staff Data Engineer
پس از سطح ارشد
تبدیل استراتژی دادهٔ یک تیم به سیستم‌های کارا در مقیاس بسیار بزرگ. Wayve برای Principal Data Engineer تیم Datasets کسی را می‌خواهد که pipeline های دریافت یا کیفیت داده را در مقیاس پتابایت اجرا کرده باشد؛ بازهٔ حقوق اعلام‌شده در آگهی ۲۹۰ تا ۳۴۰ هزار دلار است.
چالش‌ها و جنبه‌های منفی
واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید
خرابی و on-call
عمومیpipeline ها در هر ساعتی ممکن است بشکنند و وقتی می‌شکنند، داده‌ای که دیگران به آن تکیه دارند کهنه یا ناقص می‌شود. Hexegic نوبت on-call را با یک آخر هفته کار در ماه آورده و MongoDB راحتی با on-call شبانه‌روزی را شرط کرده است.
تغییر schema و دادهٔ نامنظم
عمومیمنبعها بی‌خبر تغییر می‌کنند. myDNA تشخیص تغییر schema را جزو مسئولیت‌های مهندس pipeline آورده و GlobalData مدیریت تغییر schema را. هر تغییر باید طوری اعمال شود که مصرف‌کننده‌های قبلی خراب نشوند.
اجرای دوباره بدون خراب کردن داده
عمومیاگر task شکست‌خورده دوباره اجرا شود و نتیجهٔ دیگری بدهد، داده تکراری یا ناقص می‌شود. مستندات Airflow به همین دلیل توصیه می‌کند به‌جای INSERT از UPSERT استفاده کنید و هرگز «آخرین دادهٔ موجود» را نخوانید، چون ممکن است بین دو اجرا عوض شده باشد.
مقررات و دادهٔ حساس
شرکت بزرگدر حوزه‌هایی مثل سلامت و پروژه‌های دولتی، pipeline باید آمادهٔ ممیزی باشد. myDNA تجربهٔ کار در محیط تحت مقررات را الزام قطعی می‌داند و کار با دادهٔ سلامت محافظت‌شده را به آن می‌سپارد؛ CACI و Booz Allen مجوز امنیتی Secret می‌خواهند.
حجم و هزینه
عمومیبا بزرگ شدن داده، هزینهٔ ذخیره‌سازی و محاسبه به مسئلهٔ اصلی تبدیل می‌شود. Wayve از کاهش بزرگ و قابل اندازه‌گیری هزینهٔ ذخیره‌سازی با تصمیم‌های زودهنگام و کم‌هزینه دربارهٔ داده می‌نویسد و myDNA هزینهٔ هر job را جزو چیزهایی آورده که مهندس pipeline باید پایش کند.
پیدا کردن آگهی با این عنوان
عمومیعنوان Data Pipeline Engineer کم به کار می‌رود و بیشتر همین کار با عنوان Data Engineer یا Software Engineer در تیم Data Pipelines آگهی می‌شود. ITJobsWatch هم صفحهٔ جداگانه‌ای برای این عنوان ندارد. اگر فقط با همین عنوان جستجو کنید، بیشتر فرصت‌ها را نمی‌بینید.
حقوق و بازار کار جهانی
حقوق جهانی مهندس خط لوله داده
حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.
* ارقام سالانه‌اند. منبع هر رقم:
- Glassdoor US, 'Data Pipeline Engineer', estimate updated Apr 2025, total pay (35 salaries): 25th–75th pct; median
- Robert Half 2027 Salary Guide, Canada, 'Data Engineer' (proxy): low–high range; median = mid tier
- ITJobsWatch, 6 months to 22 Oct 2026, UK permanent job ads citing the 'Data Pipeline' skill (proxy; 914 salaries quoted): 25th–75th pct; median
- levels.fyi, updated Oct 22 2026, 'Data Engineer' (proxy), total comp (71 submissions): 25th–75th pct; median
- levels.fyi, updated Oct 22 2026, 'Data Engineer' (proxy), total comp (64 submissions): 25th–75th pct; median
- Robert Half 2026 Salary Guide, Australia, 'Data Engineer' (proxy, starting salaries): 25th–75th pct; median = 50th pct
- Robert Half 2026 Salary Guide, Singapore, 'Data Engineer' (proxy, starting salaries): 25th–75th pct; median = 50th pct
- levels.fyi, updated Oct 22 2026, 'Data Engineer' (proxy), total comp (676 submissions): 25th–75th pct; median
چگونه از صفر شروع کنیم
برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی
ماه ۱: SQL پیشرفته و PostgreSQL
Window Function، CTE و ایندکس را تمرین کنید و یک schema کوچک طراحی کنید.
ماه ۲: اولین pipeline تکرارپذیر
یک pipeline از یک API به PostgreSQL با UPSERT بسازید و برایش تست بنویسید.
ماه ۳: Orchestration
pipeline ماه دوم را در Airflow یا Dagster زمان‌بندی کنید، retry و هشدار بگذارید و یک backfill اجرا کنید.
ماه ۴: ابر و انبار داده
داده را به یک انبار دادهٔ ابری ببرید و یک لایهٔ تبدیل ساده با dbt بسازید.
ماه ۵: Spark و کیفیت داده
یک پردازش batch با PySpark روی Databricks Free Edition بسازید و برای خروجی تست کیفیت بگذارید.
ماه ۶: پورتفولیو و درخواست کار
پروژه‌ها را با README روشن مرتب کنید و هم با عنوان Data Pipeline Engineer و هم با عنوان Data Engineer جستجو و درخواست بدهید.
پروژه‌های پیشنهادی برای رزومه
pipeline تکرارپذیر از یک API به PostgreSQL
مبتدیداده را از یک API عمومی بگیرید و در PostgreSQL بنویسید، اما طوری که اجرای دوبارهٔ همان روز ردیف تکراری نسازد: به‌جای INSERT از UPSERT استفاده کنید و هر اجرا فقط بازهٔ تاریخ خودش را بخواند، همان‌طور که مستندات Airflow توصیه می‌کند. یک تست بنویسید که pipeline را دو بار اجرا کند و نشان دهد نتیجه عوض نمی‌شود.
زمان‌بندی، backfill و هشدار با Airflow یا Dagster
مبتدیpipeline پروژهٔ قبل را در Airflow یا Dagster زمان‌بندی کنید، برایش retry و timeout بگذارید و یک backfill برای ماه گذشته اجرا کنید. چند بررسی سلامت اضافه کنید (تازگی داده، تعداد ردیف، مقدارهای خالی) و وقتی بررسی شکست خورد هشدار بفرستید؛ همان health check هایی که Hexegic از Data Pipeline Engineer می‌خواهد.
پردازش batch با PySpark
متوسطیک dataset بزرگ را روی Databricks Free Edition با PySpark پردازش کنید و خروجی را partition شده بنویسید. زمان اجرا را با و بدون partitioning مقایسه کنید و در README نتیجه و هزینهٔ تقریبی محاسبه را توضیح دهید.
دریافت داده از چند منبع برای یک ابزار AI
پیشرفتهخبرها و داده‌های عمومی دربارهٔ چند شرکت یا دارو را از چند منبع (API، فید RSS، صفحه‌های وب) جمع کنید، رکوردهای یک موجودیت را که با نام‌های مختلف آمده‌اند به هم وصل کنید (entity matching) و نتیجه را برای یک دستیار AI قابل جستجو کنید. این شبیه کاری است که GlobalData Healthcare برای پلتفرم هوش رقابتی‌اش توصیف می‌کند.
pipeline لحظه‌ای با Kafka
پیشرفتهرویدادهای ساختگی یک اپلیکیشن را به Kafka بفرستید، با یک consumer یا Flink پردازش کنید و در انبار داده ذخیره کنید. نشان دهید با رویداد تکراری، رویدادی که دیر می‌رسد و تغییر schema چه می‌کنید و چطور تأخیر و خطا را پایش می‌کنید.
مثال‌های واقعی و Case Studies
داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند
طبق معرفی‌اش در کنفرانس AI Council، اصول انبار داده را در Ubisoft یاد گرفت و در ۲۰۰۷ در Yahoo از نخستین کاربران Hadoop و Pig بود. بعد در Facebook روی فریم‌ورک‌های تحلیلی کار کرد، در Airbnb مهندس داده بود و ابزارهایی برای خودکار کردن کارهای مهندسی داده ساخت، و سپس به Lyft رفت.
سازنده و committer اصلی Apache Airflow و Apache Superset و مدیرعامل شرکت Preset است. Preset، Airflow را ابزاری متن‌باز برای orchestration جریان‌های پیچیدهٔ محاسباتی و pipeline های پردازش داده توصیف می‌کند.
Airflow از دل کار روزمرهٔ یک مهندس داده با pipeline ها بیرون آمد. به نظر می‌رسد ابزاری که برای حل مشکل تکراری تیم خودتان می‌سازید، اگر خوب طراحی و متن‌باز شود، می‌تواند به ابزار رایج یک رشته تبدیل شود.
طبق معرفی‌اش در کنفرانس QCon سان‌فرانسیسکو (۲۰۲۱)، پیش از تأسیس Confluent معمار ارشد زیرساخت داده در LinkedIn بود. به روایت یکی از قسمت‌های پادکست Confluent (۲۰۱۹)، کدنویسی Kafka را در یک تعطیلات کریسمس، وقتی در LinkedIn کار می‌کرد، شروع کرد.
از نویسندگان اصلی چند پروژهٔ متن‌باز است: Apache Kafka (سیستم پیام‌رسانی توزیع‌شده)، Apache Samza (سیستم پردازش جریان) و Project Voldemort (پایگاه دادهٔ key-value). Confluent را با Jun Rao و Neha Narkhede بنیان گذاشت و طبق صفحهٔ About شرکت، مدیرعامل و هم‌بنیان‌گذار آن است.
Kreps از مسئلهٔ جابه‌جایی داده در زیرساخت یک شرکت شروع کرد و به ابزاری رسید که امروز در آگهی‌های pipeline، از MongoDB تا Lyft و myDNA، دیده می‌شود. به نظر می‌رسد فهم عمیق زیرساخت داده می‌تواند از یک مسئلهٔ داخلی به یک دستهٔ کامل از محصولات برسد.
به گفتهٔ خودش پیش از ورود به دانشگاه مهندس نرم‌افزار و بنیان‌گذار استارتاپ بود: Rapportive را هم‌بنیان گذاشت که در ۲۰۱۲ به LinkedIn فروخته شد، و Go Test It را که Red Gate Software در ۲۰۰۹ خرید. امروز دانشیار (Associate Professor) دانشگاه کمبریج است و روی نرم‌افزارهای همکاری local-first و امنیت سیستم‌های توزیع‌شده کار می‌کند.
نویسندهٔ کتاب Designing Data-Intensive Applications است که به گفتهٔ خودش از کتاب‌های پرفروش دربارهٔ معماری پایگاه‌های داده و سیستم‌های توزیع‌شدهٔ پردازش داده است؛ ویرایش دوم آن با همکاری Chris Riccomini در ۲۰۲۶ منتشر شد. در وبلاگش هم مقاله‌هایی مثل «Turning the database inside-out with Apache Samza» (۲۰۱۵) و «Schema evolution in Avro, Protocol Buffers and Thrift» (۲۰۱۲) نوشته است.
کتاب او به‌جای آموزش یک ابزار، اصول و trade-off های پشت ابزارها را توضیح می‌دهد. برای کسی که pipeline می‌سازد، این نوع دانش احتمالاً دیرتر از دانستن یک ابزار خاص کهنه می‌شود.
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
Senior Data Pipeline Engineer/Developer
تحلیل نیازمندی‌ها
Strong SQL proficiency on Microsoft SQL Server and PostgreSQL, including schema design, query tuning, and performance troubleshooting.
SQL در حد نوشتن کوئری کافی نیست؛ باید بتوانید جدول طراحی کنید، کوئری کند را پیدا و سریع کنید و بفهمید چرا پایگاه داده کند شده است.
ضروریStrong Python proficiency across the stack (data pipelines, backend services, and APIs). This is a Python-first role.
Python فقط برای اسکریپت نیست؛ با همان زبان سرویس داده و API داخلی هم می‌نویسید. یعنی کدتان باید ساختار، تست و قابلیت نگهداری کد نرم‌افزاری را داشته باشد.
ضروریProduction experience with a workflow orchestrator (Argo Workflows, Step Functions, Prefect, Dagster, Airflow, or similar).
مهم نیست کدام orchestrator؛ مهم این است که در پروداکشن با یکی کار کرده باشید: وابستگی کارها، زمان‌بندی، retry و رسیدگی به شکست.
ضروریProduction experience with containers (Docker) and Kubernetes, which the lead orchestrator (Argo Workflows) runs on.
pipeline های این شرکت روی Kubernetes اجرا می‌شوند، پس باید بتوانید کارتان را در container بسته‌بندی کنید و مشکل اجرای آن روی کلاستر را پیدا کنید.
ضروریStrong testing discipline, including unit, integration, and data-quality or contract tests.
سه نوع تست با هم: تست کد، تست اتصال بخش‌ها به هم، و تست خود داده. تست قرارداد (contract) یعنی بررسی اینکه دادهٔ ورودی همان شکلی را دارد که توافق شده است.
ضروریExcellent written and verbal communication, including the ability to explain data tradeoffs to technical and compliance stakeholders.
در محیط تحت مقررات باید بتوانید توضیح دهید چرا یک طراحی را انتخاب کرده‌اید، هم برای مهندسان و هم برای تیم انطباق با مقررات.
مهمAWS data stack proficiency (S3, Glue, EMR, Batch, Lambda, Redshift) and/or AWS HealthOmics.
ابر اصلی این شرکت AWS است. شناخت S3، Glue و Lambda پایهٔ بیشتر pipeline های AWS است؛ HealthOmics سرویس AWS برای دادهٔ ژنومی است و مخصوص این حوزه.
مهمDistributed processing and streaming frameworks (Spark, Kafka, Kinesis).
وقتی حجم داده بالا می‌رود یا داده پیوسته می‌رسد، این ابزارها لازم می‌شوند. در این آگهی جزو مهارت‌هاست اما تمرکز اصلی نقش روی کیفیت و تکرارپذیری است.
مهمInfrastructure as code practices (Terraform, CDK, CloudFormation, or Pulumi).
منابع ابری pipeline با کد تعریف می‌شوند تا قابل بازبینی و تکرار باشند؛ یکی از این ابزارها را یاد بگیرید، بقیه مفهوم مشابهی دارند.
مهمData warehouse and transformation tooling (Snowflake, dbt).
نشان می‌دهد مهندس pipeline تا لایهٔ انبار داده و تبدیل هم می‌رود؛ همان جایی که کار با مهندس آنالیتیکس هم‌پوشانی پیدا می‌کند.
مفیدGenomics or NGS data formats and handling (FASTQ, BAM/CRAM, VCF).
دانش حوزه‌ای مخصوص ژنتیک است. در بیشتر آگهی‌های pipeline چنین چیزی نیست، اما نشان می‌دهد شناخت دادهٔ یک صنعت چقدر می‌تواند مزیت باشد.
مفید8+ years of professional software or data engineering experience.
این یک موقعیت ارشد است. برای شروع، آگهی‌هایی مثل GlobalData Healthcare با دو سال تجربه یا نقش‌های نگهداری pipeline مثل Hexegic واقع‌بینانه‌ترند.
ضروری4+ years building and operating production data pipelines at scale.
دقت کنید که هم «ساختن» آمده و هم «اداره کردن». تجربهٔ نگهداری و رفع خرابی pipeline در پروداکشن به اندازهٔ ساختن آن ارزش دارد.
ضروریDemonstrable experience working in regulated environments. Compliance is a hard requirement for this role.
شرکت با دادهٔ سلامت و ژنتیک کار می‌کند. بدون سابقهٔ کار در محیطی که ممیزی و مقررات دارد، این موقعیت مناسب شما نیست.
ضروریتحلیل مسئولیت‌ها
Builds and operates production ETL and ELT for high-volume genomic data as well as operational and business data.
هستهٔ کار همان ETL و ELT است، روی دادهٔ علمی و هم دادهٔ معمولی کسب‌وکار؛ و باز هم «اداره کردن» کنار «ساختن» آمده است.
Integrates data across LIMS, lab instruments, internal applications, and third-party sources through robust, well-tested interfaces.
داده از چند نوع منبع می‌آید: نرم‌افزار آزمایشگاه، خود دستگاه‌ها، اپلیکیشن‌های داخلی و شرکت‌های دیگر. هر اتصال باید تست داشته باشد تا خرابی یک منبع بقیه را خراب نکند.
Sets technical direction for batch and streaming data pipelines by evaluating frameworks, orchestration, storage, and processing patterns, making recommendations, and leading adoption.
در سطح ارشد شما تصمیم می‌گیرید تیم با چه ابزار و الگویی کار کند، و باید بتوانید پیشنهادتان را توجیه و اجرایش را رهبری کنید.
Defines and enforces engineering standards for testing, CI/CD, infrastructure as code, code review, and architecture decision records.
استانداردها را خودتان تعریف می‌کنید و مراقب اجرای آن‌ها هستید؛ ثبت تصمیم‌های معماری در قالب ADR هم بخشی از کار است.
Owns data quality, lineage, and observability, including freshness, completeness, schema-drift detection, cost-per-job, and SLAs.
این خط تعریف کامل «سالم بودن pipeline» است: داده به‌موقع و کامل برسد، معلوم باشد از کجا آمده، تغییر schema زود دیده شود، هزینهٔ هر اجرا معلوم باشد و تعهدهای زمانی رعایت شود.
Builds pipelines for reproducibility and audit-readiness, incorporating versioned data and code, lineage, decision logging, access controls, and evidence collection.
باید بتوانید هر خروجی را دوباره بسازید و نشان دهید با کدام کد و کدام داده ساخته شده است؛ چیزی که ممیز در محیط تحت مقررات می‌خواهد.
Utilize exclusively de-identified or synthetic data within development environments.
در محیط توسعه هرگز دادهٔ واقعی افراد را به کار نمی‌برید. ساختن دادهٔ آزمایشی ناشناس یا مصنوعی که شبیه دادهٔ واقعی رفتار کند، خودش یک مهارت است.
نتیجه‌گیری کلی
این یکی از معدود آگهی‌های باز با عنوان Data Pipeline Engineer است و خود شرکت آن را در دپارتمان Data Engineering گذاشته است. شرط‌های اصلی‌اش، یعنی SQL، Python، یک orchestrator، Docker و Kubernetes و تست جدی، همان مهارت‌های مهندس داده‌اند. آنچه این آگهی را به «pipeline» نزدیک‌تر می‌کند تأکید بر اداره کردن در کنار ساختن است: مالکیت کیفیت، lineage، تازگی، هزینهٔ هر job و SLA ها، و تکرارپذیری برای ممیزی. بخش ژنتیک و مقررات مخصوص این شرکت است. آگهی بازهٔ حقوق ندارد.
آینده و روندها
پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید
BLS آمریکا پیش‌بینی می‌کند اشتغال در گروه Database Architects از ۲۰۲۵ تا ۲۰۳۵، ۹٪ رشد کند (از ۶۹٬۵۰۰ به ۷۶٬۰۰۰ شغل)، در برابر ۳٪ برای کل مشاغل. BLS گروه جداگانه‌ای برای Data Engineer یا Data Pipeline Engineer ندارد؛ O*NET عنوان Data Engineer را از نمونه‌عنوان‌های همین گروه می‌داند.
منبع: BLS Occupational Outlook Handbook, projections 2025–35
مهارت‌های نوظهور که باید یاد بگیرید
پیش‌بینی‌های آینده
Robert Half در راهنمای حقوق ۲۰۲۶ بریتانیا می‌نویسد متخصصانی با مهارت‌هایی مثل مهندسی داده و AI همچنان کمیاب‌اند و بسیاری از کارفرمایان برای جذب آن‌ها مجبورند بالاتر از نرخ بازار حقوق پیشنهاد دهند.
در گزارش Future of Jobs 2025 مجمع جهانی اقتصاد (WEF)، کارفرمایان شرکت‌کننده در نظرسنجی «Big Data Specialists» را در رتبهٔ اول و «Data Warehousing Specialists» را در رتبهٔ ششم سریع‌ترین شغل‌های در حال رشد تا ۲۰۳۰ (از نظر درصد) قرار داده‌اند.
BLS پیش‌بینی می‌کند اشتغال Database Architects، گروهی که O*NET عنوان Data Engineer را در آن آورده، از ۲۰۲۵ تا ۲۰۳۵، ۹٪ رشد کند و دلیلش را پذیرش AI در سازمان‌ها برای پردازش داده و نیاز رو به رشد به زیرساخت دادهٔ باکیفیت می‌داند.
ریسک اول خود عنوان است: Data Pipeline Engineer کم به کار می‌رود و همین کار بیشتر با عنوان Data Engineer آگهی می‌شود، پس رزومه و جستجوی شما باید هر دو عنوان را پوشش دهد. ریسک دوم محدود ماندن به نگهداری است: در Hexegic نقشی که Data Pipeline Engineer نام دارد بیشتر رسیدگی به خرابی و on-call است و حقوق پایه‌اش (۵۰ تا ۶۰ هزار پوند) از بازهٔ Data Engineer همان شرکت (۵۵ تا ۷۵ هزار پوند) پایین‌تر است؛ برای رشد، ساختن و طراحی را هم به کارنامه‌تان اضافه کنید. نمونهٔ هشداردهندهٔ بیرونی گروه مدیران پایگاه داده است: BLS برای آن‌ها از ۲۰۲۵ تا ۲۰۳۵ رشدی پیش‌بینی نمی‌کند، چون با رفتن شرکت‌ها به ابر، مدیران کمتری به شرکت‌های بیشتری خدمت می‌دهند. یعنی کار عملیاتی تکراری در معرض خودکار شدن است و ارزش بیشتر در طراحی pipeline قابل اعتماد، کیفیت داده و فهم نیاز مصرف‌کننده‌هاست.
منابع
اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۳۶ منبع بررسی شده است.
- Senior Data Pipeline Engineer/Developer — myDNA, Houston (job posting)
- Data Pipeline Engineer — Hexegic, London (job posting)
- Data Engineer — Hexegic, London (job posting)
- Data Pipeline Engineer — GlobalData Healthcare, Birmingham (job posting)
- Data Engineer and Data Pipeline Specialist — Booz Allen Hamilton (job posting)
- Cloud Pipeline Data Engineer — CACI (job posting)
- Principal Data Engineer, Data Quality & Datasets Pipelines — Wayve (job posting)
- Data Engineer — Pika (job posting)
- Senior Software Engineer, Data Pipelines — Lyft, Toronto (job posting)
- Software Engineer 3, Data Pipeline — MongoDB, Dublin (job posting)
- Glassdoor — Data Pipeline Engineer salary, United States
- Glassdoor — Data Pipeline Engineer salary, Canada (not used in the table)
- Robert Half — Data Engineer salary, United States (2027 guide)
- Robert Half — Data Engineer salary, Canada (2027 guide)
- Robert Half — Data Engineer salary, Australia (2026 guide)
- Robert Half — Data Engineer salary, Singapore (2026 guide)
- Robert Half — 2026 Salary Guide, United Kingdom (PDF)
- levels.fyi — Data Engineer Salary in Germany
- levels.fyi — Data Engineer Salary in Netherlands
- levels.fyi — Data Engineer Salary in India
- ITJobsWatch — Data Pipeline (UK skill demand and salaries)
- ITJobsWatch — Data Engineer (UK)
- BLS Occupational Outlook Handbook — Database Administrators and Architects
- O*NET OnLine — 15-1243.00 Database Architects
- World Economic Forum — The Future of Jobs Report 2025 (PDF)
- Apache Airflow — Best Practices
- Maxime Beauchemin — The Rise of the Data Engineer (freeCodeCamp, 2017)
- AI Council — Max Beauchemin (speaker bio)
- Preset — About Us
- QCon San Francisco 2021 — Jay Kreps (speaker bio)
- Confluent Developer podcast — Jay Kreps on the Last 10 Years of Apache Kafka and Event Streaming
- Confluent — About (management team)
- Martin Kleppmann — personal website
- University of Cambridge — Dr. Martin Kleppmann
- Designing Data-Intensive Applications — book site
- Databricks — Free Edition