مهندس داده
Data Engineer
مهندس داده سیستم‌هایی می‌سازد که داده را از منابع مختلف جمع می‌کنند، تمیز و یکپارچه می‌کنند و به شکل جدول‌های قابل اعتماد در انبار داده یا data lake در اختیار تحلیل‌گران، دانشمندان داده، تیم‌های AI و خود محصول می‌گذارند. بخش اصلی کار نوشتن و نگهداری pipeline با SQL و Python، مدل‌سازی داده، زمان‌بندی کارها با ابزارهایی مثل Airflow و تضمین کیفیت و به‌موقع بودن داده است. در آگهی‌های ۲۰۲۶ کار با ابزارهای AI و آماده کردن داده برای ایجنت‌ها هم به این فهرست اضافه شده است.
مقدمه و تعریف شغل
مهندس داده (Data Engineer) زیرساختی را می‌سازد و نگه می‌دارد که داده را از منابع مختلف، مثل پایگاه دادهٔ محصول، API ها، اپلیکیشن‌های SaaS و رویدادهای کاربران، جمع می‌کند، به جدول‌های تمیز و مستند تبدیل می‌کند و به دست مصرف‌کننده‌ها می‌رساند: تحلیل‌گران، دانشمندان داده، تیم‌های AI/ML و گاهی خود مشتری. Robert Half مهندسان داده را رابط میان کاربران کسب‌وکار و دانشمندان داده می‌داند که هدف‌های کسب‌وکار را به جریان‌های پردازش داده تبدیل می‌کنند. کار روزمره بیشتر مهندسی نرم‌افزار است: نوشتن SQL و Python، تست، بازبینی کد و پایش سیستم در پروداکشن.
Maxime Beauchemin، سازندهٔ Airflow، در مقالهٔ «The Rise of the Data Engineer» (ژانویهٔ ۲۰۱۷) نوشت که در ۲۰۱۱ با عنوان business intelligence engineer به Facebook رفت و وقتی در ۲۰۱۳ از آن‌جا رفت، data engineer بود. به تعبیر او این رشته را می‌شود فرادستهٔ BI و انبار داده دانست که عناصر بیشتری از مهندسی نرم‌افزار با خود آورده است؛ او از حرکت از ابزارهای ETL گرافیکی (drag-and-drop) به سمت کد هم نوشت. آگهی‌های ۲۰۲۶ همین تصویر را نشان می‌دهند: SQL، Python، Airflow و یک انبار دادهٔ ابری هسته‌اند و Spark و Kafka در شرکت‌هایی با دادهٔ حجیم یا لحظه‌ای اضافه می‌شوند. اداره آمار کار آمریکا (BLS) گروه جداگانه‌ای برای این عنوان ندارد؛ O*NET عنوان Data Engineer را از نمونه‌عنوان‌های گروه Database Architects می‌داند که BLS برایش ۹٪ رشد اشتغال از ۲۰۲۵ تا ۲۰۳۵ پیش‌بینی می‌کند. در بریتانیا، ITJobsWatch در شش ماه منتهی به ۲۲ اکتبر ۲۰۲۶، ۲٬۱۸۳ آگهی استخدام دائم با این عنوان ثبت کرده، در برابر ۶۴۳ آگهی در همین بازهٔ ۲۰۲۵.
چه چیزی می‌سازید؟
مثال‌های واقعی از خروجی کار یک مهندس داده
جدول‌های مرجع (source of truth)
در Brex، مهندس داده در طراحی، پیاده‌سازی و نگهداری Core Data نقش اصلی دارد: جدول‌های باکیفیت و دست‌چین‌شده‌ای که منبع داده برای طیف وسیعی از کاربردهای تحلیلی‌اند. مستند نگه داشتن تعریف‌ها و بالا نگه داشتن کیفیت این جدول‌ها هم بخشی از همین کار است.
pipeline دادهٔ دستگاه‌ها و محصول
Samsara دادهٔ دستگاه‌های IoT و محصولات نرم‌افزاری‌اش را با SparkSQL و PySpark در data lake مرکزی به مدل دادهٔ اصلی می‌برد؛ از دادهٔ حسگرها تا دادهٔ بدون ساختار مثل ویدیو و صدا. خروجی برای تحلیل آماری، آموزش مدل و داشبورد استفاده می‌شود.
کنترل کیفیت داده در مقیاس بزرگ
Discord از مهندس دادهٔ ارشدش می‌خواهد audit های کیفیت داده را در مقیاس بزرگ بسازد، هر جا لازم است با هشدار و تشخیص ناهنجاری، و تجربهٔ پیاده‌سازی و پایش بررسی‌های کیفیت روی داده‌هایی در حد میلیاردها ردیف داشته باشد.
ابزار self-service و ایجنت پاسخ به سؤال‌های داده
ElevenLabs از مهندس داده می‌خواهد ابزار self-service و مستندات بسازد تا تیم‌ها خودشان نیاز داده‌ای‌شان را برطرف کنند، و ایجنت‌های AI برای پاسخ به سؤال‌های داده بسازد. Baseten هم تحلیل self-service از طریق ایجنت‌ها را با لایه‌های معنایی (semantic layer) خوش‌ساختار می‌خواهد.
pipeline های batch و streaming
Baseten توسعه و orchestration pipeline های batch و streaming را با فناوری‌هایی مثل Apache Beam، Kafka و Airflow می‌خواهد، از جمله برای داده‌های تله‌متری inference و زیرساخت. Plaid هم تجربهٔ ساخت pipeline های batch و realtime با Spark و Kafka را خواسته است.
یکپارچه‌سازی دادهٔ طرف سوم و گزارش عملکرد
در تیم Safety and Customer Care در Lyft، مهندس داده مالک مدل داده و pipeline هایی است که پلتفرم پشتیبانی انسانی و ایجنت‌های AI را تغذیه می‌کنند؛ مسئولیتش پایداری pipeline ها، یکپارچه‌سازی دادهٔ طرف سوم و گزارش دقیق عملکرد ایجنت‌هاست.
تخصص‌های مختلف مهندس داده
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
تمرکز بر لایهٔ تبدیل داده
Analytics Engineering
کار روی تبدیل داده با SQL و dbt، مدل‌سازی ابعادی و تعریف متریک‌ها. آگهی ElevenLabs برای Data Engineer تسلط کامل به dbt را شرط کرده است.
مهندس دادهٔ حجیم
Big Data / Spark Engineer
پردازش دادهٔ بسیار بزرگ با Spark روی پلتفرم‌هایی مثل Databricks یا EMR. Plaid از کار با dataset هایی در حد ۵۰۰ ترابایت تا پتابایت می‌نویسد و Lyft مهارت قوی در Spark و تنظیم کارایی SQL می‌خواهد.
مهندس دادهٔ لحظه‌ای
Streaming Data Engineer
pipeline هایی که داده را هم‌زمان با تولیدش پردازش می‌کنند، با Kafka، Beam یا Spark. Capital One برای Data Engineer 4 چند سال تجربهٔ طراحی و اجرای pipeline های real-time یا streaming را امتیاز می‌داند.
مهندس پلتفرم داده
Data Platform Engineer
ساخت پلتفرم و ابزار مشترکی که بقیهٔ تیم‌های داده روی آن کار می‌کنند. به گفتهٔ آگهی Cloudflare، سازمان داده‌اش مالک data lake، زیرساخت دریافت داده و ابزارهای پلتفرم شرکت است.
مهندس داده برای AI
Data for AI
آماده کردن داده برای مدل‌ها و ایجنت‌ها: dataset های غنی از context، لایهٔ معنایی و اتصال به ابزارهای AI. Cloudflare از ساخت لایه‌های دادهٔ آماده برای AI و کار با vector database ها و سرویس‌های مبتنی بر MCP نام می‌برد.
تفاوت با شغل‌های مشابه
کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟
به تعبیر Beauchemin، برخلاف دانشمند داده، مهندس داده ابزار، زیرساخت، فریم‌ورک و سرویس می‌سازد و کارش به مهندسی نرم‌افزار نزدیک‌تر است تا به علم داده. دانشمند داده با داده تحلیل و مدل‌سازی می‌کند؛ مهندس داده همان داده را قابل اعتماد و در دسترس می‌کند. در آگهی‌ها این دو کنار هم کار می‌کنند: Brex و Discord همکاری نزدیک با دانشمندان داده را از وظایف مهندس داده آورده‌اند.
Tristan Handy، بنیان‌گذار dbt Labs، اجزای analytics engineering را ساخت پلتفرم دادهٔ داخلی، تبدیل دادهٔ خام به مفاهیم کسب‌وکار (اغلب با مدل‌سازی ابعادی) و تضمین کیفیت و به‌موقع بودن داده با سیستم‌های خودکار می‌داند. مرز دو نقش باریک است و Brex تجربه در analytics engineering را برای Data Engineer هم می‌پذیرد. معمولاً تمرکز analytics engineer روی لایهٔ تبدیل با SQL و dbt است و مهندس داده بیشتر روی دریافت داده، زیرساخت، پردازش در مقیاس و streaming کار می‌کند.
طبق BLS، مدیر پایگاه داده (DBA) مطمئن می‌شود پایگاه داده‌ها کارا اجرا می‌شوند و کاربران به اطلاعات دسترسی دارند، و معمار پایگاه داده پایگاه‌های داده‌ای تازه برای سیستم‌ها و اپلیکیشن‌ها طراحی می‌کند و می‌سازد. BLS برای DBA ها از ۲۰۲۵ تا ۲۰۳۵ رشدی پیش‌بینی نمی‌کند (۰٪)، چون با رفتن شرکت‌ها به ابر، مدیران کمتری می‌توانند به شرکت‌های بیشتری خدمت دهند؛ برای معماران پایگاه داده، که O*NET عنوان Data Engineer را در گروهشان آورده، ۹٪. مهندس داده بیشتر از DBA با pipeline، منابع دادهٔ متعدد و انبار دادهٔ ابری سروکار دارد.
مهندس یادگیری ماشین مدل را آموزش می‌دهد، مستقر و نگهداری می‌کند؛ مهندس داده دادهٔ آموزش و ورودی همان مدل‌ها را فراهم می‌کند. Discord می‌نویسد مهندسان داده‌اش با تیم‌های علم داده، یادگیری ماشین و مهندسی کار می‌کنند تا dataset های پایه‌ای را بسازند که ابزارها، تحلیل‌ها و مدل‌ها روی آن‌ها بنا می‌شوند. Samsara هم آموزش مدل را یکی از مصارف داده‌ای می‌داند که مهندس داده فراهم می‌کند.
تأثیر در صنایع مختلف
مهندس داده در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری
مالی و پرداخت
Brex (مدیریت هزینهٔ شرکت‌ها)، Plaid (اتصال حساب‌های مالی به اپلیکیشن‌ها) و Capital One مهندس داده استخدام می‌کنند؛ آگهی‌های این حوزه روی حریم خصوصی، امنیت و درستی داده تأکید دارند
حمل‌ونقل و تاکسی اینترنتی
در Lyft، pipeline های تیم Safety and Customer Care هم پشتیبانی انسانی و هم ایجنت‌های AI را تغذیه می‌کنند و عملکرد آن‌ها را گزارش می‌دهند
اینترنت اشیا و عملیات میدانی
Samsara دادهٔ حسگرها، ویدیو و صدای دستگاه‌ها را برای صنایعی مثل حمل‌ونقل، ساخت‌وساز و تولید به مدل دادهٔ اصلی می‌برد
بازی و شبکه‌های اجتماعی
Discord برای حوزه‌هایی مثل Gaming Intelligence مهندس داده می‌خواهد که با دادهٔ حجیم کاربران، dataset های پایه برای تحلیل، آزمایش و مدل بسازد
شرکت‌های هوش مصنوعی
Baseten داده‌های تله‌متری inference را تحلیل می‌کند و ElevenLabs از مهندس داده ایجنت پاسخ به سؤال‌های داده می‌خواهد
زیرساخت اینترنت
Cloudflare محصولات دادهٔ داخلی برای تیم‌های فروش و بازاریابی (go-to-market)، محصول و مهندسی می‌سازد، با پشته‌ای شامل Go، Scala و ClickHouse
نرم‌افزار سازمانی (SaaS)
Gusto (حقوق و دستمزد و منابع انسانی کسب‌وکارهای کوچک)، Asana و Figma تیم مهندسی داده دارند تا تصمیم‌گیری داخلی بر پایهٔ دادهٔ قابل اعتماد باشد
پروژه‌های دولتی و امنیتی بریتانیا
طبق ITJobsWatch، ۱۴٫۴٪ آگهی‌های Data Engineer بریتانیا به مجوز امنیتی (Security Cleared) اشاره دارند؛ مجوزی که معمولاً برای پروژه‌های دولتی و دفاعی لازم است
تصورات غلط رایج
قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید
مهندس داده فقط SQL می‌نویسد
SQL پرتکرارترین مهارت است، اما تنها مهارت نیست. طبق ITJobsWatch، SQL در ۳۷٫۸٪ و Python در ۳۴٫۱٪ آگهی‌های Data Engineer بریتانیا آمده و آگهی‌های بررسی‌شده orchestration، انبار دادهٔ ابری، Git و تست را هم می‌خواهند. به تعبیر Beauchemin، مهندسان داده ابزار، زیرساخت، فریم‌ورک و سرویس می‌سازند.
مهندسی داده همان کار با ابزارهای ETL گرافیکی است
Beauchemin در ۲۰۱۷ از حرکت از ابزارهای ETL گرافیکی (drag-and-drop) به سمت کد نوشت و آگهی‌های امروز همین را تأیید می‌کنند: Lyft کد خوانا و تست‌شده و شرکت در بازبینی کد را می‌خواهد و Gusto تجربهٔ CI/CD و تست خودکار را.
بدون Spark و Big Data نمی‌شود مهندس داده شد
بستگی به شرکت دارد. Samsara، Lyft و Capital One روی Spark تأکید دارند، اما در آگهی‌های Brex، Discord و ElevenLabs هسته SQL، انبار داده، dbt و orchestration است و Spark اصلاً در شرایط نیامده است. برای شروع، SQL و Python و یک انبار داده مهم‌ترند.
AI به‌زودی جای مهندس داده را می‌گیرد
آگهی‌ها AI را ابزار مهندس داده می‌دانند، نه جایگزینش: Brex از مهندس داده می‌خواهد از agentic AI استفاده کند اما اعتبارسنجی را کنار نگذارد، و ElevenLabs ساختن ایجنت برای پاسخ به سؤال‌های داده را به او می‌سپارد. BLS هم پذیرش AI در سازمان‌ها را یکی از دلایل رشد اشتغال معماران پایگاه داده می‌داند.
مهندسی داده راحت‌ترین راه ورود تازه‌کارها به دنیای داده است
بیشتر آگهی‌ها چند سال تجربه می‌خواهند: Brex ۳ سال، Samsara، Lyft و Discord ۴ سال یا بیشتر. Robert Half هم می‌نویسد کارفرمایان اغلب مدرک کارشناسی و ۴ تا ۶ سال تجربه می‌خواهند. راه‌های ورود وجود دارد، مثل کارآموزی (Figma و Lyft آگهی Data Engineer Intern دارند) یا آمدن از تحلیل داده و مهندسی نرم‌افزار، که Brex و Asana هر دو را می‌پذیرند.
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
جونیور (۰–۲ سال)
بیشتر روی پروژه‌های مشخص با راهنمایی منتور کار می‌کنید. آگهی کارآموزی Figma تصویر خوبی از این سطح می‌دهد: کارآموز با پشتیبانی مدیر و منتور یک پروژهٔ محدود را از تعریف مسئله تا پیاده‌سازی، تست، مستندسازی و ارائهٔ نتیجه پیش می‌برد.
- ◆ساختن، تست و مستندسازی pipeline هایی که دادهٔ محصول یا کسب‌وکار را به انبار داده می‌آورند
- ◆نوشتن یک کار ETL تازه برای یکپارچه کردن یک منبع داده
- ◆کمک به طراحی dataset های پایه‌ای که مستند و قابل اعتمادند
- ◆بهتر کردن کارایی و پایداری pipeline های موجود
- ◆گفت‌وگو با هم‌تیمی‌های بخش‌های دیگر برای فهم نیاز داده‌ای‌شان
میانی (۲–۵ سال)
مالک مدل‌ها و pipeline های یک حوزه هستید و با تحلیل‌گران و دانشمندان داده نیازها را به جدول و متریک تبدیل می‌کنید. بخشی از کار هم نگه داشتن کیفیت و مستندات جدول‌هایی است که بقیه به آن‌ها تکیه می‌کنند.
- ◆طراحی و نگهداری مدل‌های داده و pipeline هایی که همراه محصول تغییر می‌کنند
- ◆جلسه با تحلیل‌گران یا دانشمندان داده برای تبدیل نیازشان به جدول و متریک
- ◆اتصال یک منبع دادهٔ تازه، مثلاً یک API یا دادهٔ Salesforce
- ◆بازبینی کد هم‌تیمی‌ها و نوشتن تست برای کد خود
- ◆بررسی کارهای شکست‌خورده یا کند و تنظیم SQL یا Spark
- ◆به‌روز کردن مستندات و تعریف داده‌ها
ارشد / Staff (۵+ سال)
تمرکز روی معماری، استانداردها و پروژه‌های بین‌تیمی است. آگهی‌های Discord، Gusto و Cloudflare از مهندس ارشد مالکیت پروژه‌های پیچیده از ابتدا تا انتها، طراحی معماری برای دادهٔ حجیم و منتورینگ را می‌خواهند.
- ◆تقسیم یک پروژهٔ بزرگ به فازها و سنجیدن سرعت، کاربردپذیری و ریسک
- ◆طراحی معماری داده با توازن میان کاربردپذیری، کارایی و هزینه
- ◆بازبینی طراحی (design review) و منتورینگ مهندسان دیگر
- ◆پیدا کردن فرصت‌های کاهش هزینه و بهبود کارایی pipeline ها و داشبوردها
- ◆کار با ذی‌نفعان روی مسئله‌ای که هنوز مبهم است و سریع تغییر می‌کند
- ◆تعیین استانداردهای مهندسی داده و نحوهٔ استفاده از AI در تیم
مسئولیت‌ها و وظایف
مسئولیت‌های اصلی
وظایف روزانه و مهارت‌های مورد نیاز در این شغل
- ◈طراحی، ساخت و نگهداری مدل‌های داده و pipeline هایی که با رشد سرویس‌ها و محصولات شرکت مقیاس‌پذیر بمانند
- ◈اتصال منابع دادهٔ تازه: پایگاه‌های داده، API ها، اپلیکیشن‌های SaaS و event stream ها
- ◈ساخت و نگهداری جدول‌های مرجع (source of truth) برای تحلیل، گزارش‌گیری و آموزش مدل‌ها
- ◈پیاده‌سازی تست، پایش و هشدار برای کیفیت، تازگی و درستی داده
- ◈بهینه‌سازی کارایی و هزینهٔ pipeline ها، کوئری‌ها و ذخیره‌سازی
- ◈رعایت استانداردهای امنیت داده، مثل رمزنگاری و کنترل دسترسی دقیق، و مقررات حریم خصوصی
- ◈استفاده از ابزارهای AI و ساخت ایجنت برای سریع‌تر کردن کار داده، بدون کنار گذاشتن اعتبارسنجی
- ◈همکاری با دانشمندان داده، تحلیل‌گران، تیم‌های AI/ML و کسب‌وکار برای تبدیل نیازشان به راه‌حل داده
- ◈نقش پل ارتباطی بین تیم‌های فنی و غیرفنی و مستندسازی تعریف داده‌ها برای استفادهٔ self-service
- ◈بازبینی کد، طراحی مشترک و منتورینگ مهندسان کم‌تجربه‌تر
مهارت‌های مورد نیاز
مهارت‌های فنی، نرم و حوزه‌ای که یک مهندس داده موفق به آن‌ها نیاز دارد
مهارت‌های فنی
Window Function، CTE، subquery و تنظیم کارایی؛ پرتکرارترین مهارت در آگهی‌ها
نوشتن pipeline، کار با API و کد قابل نگهداری؛ برخی شرکت‌ها Scala، Java یا Go را هم می‌پذیرند یا می‌خواهند
مدل‌سازی ابعادی، طراحی schema و جدول‌های fact و dimension؛ تقریباً در همهٔ آگهی‌ها
دریافت داده از پایگاه داده، API، اپلیکیشن SaaS و event stream و تبدیل آن
Airflow، Dagster یا Prefect: زمان‌بندی، وابستگی کارها و مدیریت خطا
Snowflake، BigQuery، Redshift یا Databricks؛ تسلط به یکی کافی است
پردازش توزیع‌شده برای دادهٔ حجیم؛ در شرکت‌های بزرگ‌تر و پلتفرم‌های lakehouse
Kafka، Beam یا Spark برای دادهٔ لحظه‌ای
تست داده، پایش تازگی و درستی، هشدار و تشخیص ناهنجاری
کنترل نسخه، بازبینی کد و استقرار خودکار pipeline ها
AWS، Azure یا GCP؛ طبق ITJobsWatch، Azure در ۲۶٫۲٪ و AWS در ۱۹٫۱٪ آگهی‌های بریتانیا آمده است
استفاده از ابزارهای AI و ساخت ایجنت برای کار داده؛ Brex، Gusto، Asana و ElevenLabs آن را خواسته‌اند
مهارت‌های نرم
توضیح مفاهیم فنی برای ذی‌نفعان کسب‌وکار و تبدیل نیاز آن‌ها به مشخصات داده
بردن یک پروژهٔ داده از طراحی تا پیاده‌سازی و پذیرش توسط کاربران
نوشتن تعریف داده‌ها و مستنداتی که بقیه بتوانند خودشان از داده استفاده کنند
شنیدن، سؤال درست پرسیدن و ساخت راه‌حلی که برای چند تیم کار کند
پیش بردن مسئله‌هایی که هنوز تعریف دقیقی ندارند و سریع تغییر می‌کنند
دانش حوزه‌ای
Plaid از مهندس داده می‌خواهد جنبه‌های مختلف محصول و استراتژی را بفهمد تا dataset ها را درست طراحی کند
رمزنگاری، کنترل دسترسی و رعایت مقررات حریم خصوصی، به‌ویژه در شرکت‌های مالی
سنجیدن هزینهٔ کوئری، ذخیره‌سازی و pipeline ها؛ Discord و Gusto هر دو آن را خواسته‌اند
فهم پردازش و ذخیره‌سازی توزیع‌شده برای کار با دادهٔ حجیم
فهم اینکه دادهٔ آموزش و خروجی مدل‌ها چه نیازهایی دارند
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به مهندس داده
این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.
SQL، پایگاه دادهٔ رابطه‌ای و مدل‌سازی داده
SQL پایهٔ این کار است. طبق ITJobsWatch، SQL پرتکرارترین مهارت در آگهی‌های استخدام دائم بریتانیا با عنوان Data Engineer است (۳۷٫۸٪). Maxime Beauchemin، سازندهٔ Airflow، در ۲۰۱۷ نوشت مهندس داده باید بتواند هر سطحی از پیچیدگی را با SQL بیان کند، از جمله با subquery های وابسته و window function. کنار SQL، مدل‌سازی ابعادی (star schema، جدول‌های fact و dimension) را یاد بگیرید؛ آگهی‌های Brex، Samsara و Capital One همه تجربهٔ data modeling می‌خواهند.
Python، Git و اولین pipeline
Python دومین مهارت پرتکرار در آگهی‌های بریتانیاست (۳۴٫۱٪ طبق ITJobsWatch) و بیشتر آگهی‌های بررسی‌شده آن را نام برده‌اند. هدف این فاز ساختن pipeline کوچکی است که از یک API داده بگیرد، تمیزش کند و در PostgreSQL بنویسد؛ آگهی Samsara کار با REST API و Git را صریحاً خواسته است. دورهٔ رایگان Data Engineering Zoomcamp از DataTalksClub کل این مسیر را با پروژه پوشش می‌دهد و دورهٔ DeepLearning.AI در Coursera را Joe Reis، یکی از نویسندگان کتاب Fundamentals of Data Engineering، تدریس می‌کند.
انبار دادهٔ ابری و dbt
یاد بگیرید داده را در یک انبار دادهٔ ابری (Snowflake، BigQuery، Redshift یا Databricks) مدل کنید و با dbt تبدیل، تست و مستند کنید. آگهی ElevenLabs تسلط کامل به dbt را شرط کرده و Brex «dbt در پروداکشن: مدل، تست، مستندات و همکاری در یک مخزن مشترک» را امتیاز می‌داند. برای تمرین، sandbox گوگل امکان کار محدود با BigQuery را بدون هزینه و بدون کارت اعتباری می‌دهد؛ DuckDB هم یک پایگاه دادهٔ تحلیلی متن‌باز است که بدون سرور جداگانه روی کامپیوتر خودتان اجرا می‌شود.
پردازش توزیع‌شده و streaming: Spark و Kafka
در شرکت‌هایی که حجم داده زیاد است Spark ابزار اصلی است: Samsara pipeline هایش را بیشتر با SparkSQL و PySpark می‌سازد، Lyft مهارت قوی در Spark می‌خواهد و Capital One از Spark و Databricks نام می‌برد. برای داده‌ای که پیوسته می‌رسد Kafka رایج است؛ Plaid تجربهٔ pipeline های batch و realtime با Spark و Kafka را خواسته است. Databricks Free Edition، که جای Community Edition را گرفته، برای تمرین Spark کافی است.
Orchestration، کیفیت داده و کار در پروداکشن
pipeline وقتی به کار می‌آید که خودکار، تست‌شده و قابل پایش باشد. Samsara تسلط به دست‌کم یک ابزار orchestration (Airflow، Dagster یا Prefect) را شرط کرده؛ Gusto تجربهٔ CI/CD، تست خودکار، data observability و رسیدگی به incident را می‌خواهد؛ و Discord ساختن audit کیفیت داده با هشدار و تشخیص ناهنجاری را. در این فاز ابزارهای AI را هم وارد کارتان کنید: Brex از مهندس داده می‌خواهد هر جا agentic AI کار pipeline و کیفیت را سریع‌تر می‌کند از آن استفاده کند، بدون اینکه اعتبارسنجی را کنار بگذارد.
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت
انبار داده و Lakehouse
انبار دادهٔ ابری؛ در آگهی‌های Brex، Gusto، Capital One و Plaid نام برده شده است. بیشتر آگهی‌های بررسی‌شده کار با دست‌کم یک انبار داده یا data lake ابری را می‌خواهند
انبار دادهٔ serverless گوگل؛ Discord و Gusto آن را نام برده‌اند و دورهٔ Data Engineering Zoomcamp روی آن تمرین می‌کند
پلتفرم مبتنی بر Spark برای data lake و lakehouse؛ در آگهی‌های Samsara، Asana، Capital One و Plaid آمده و طبق ITJobsWatch در ۱۴٫۸٪ آگهی‌های Data Engineer بریتانیا
انبار دادهٔ AWS؛ Plaid با آن کار می‌کند و Gusto و Capital One آن را کنار Snowflake نام برده‌اند
پردازش و Streaming
پردازش توزیع‌شدهٔ دادهٔ حجیم؛ در آگهی‌های Samsara، Lyft، Capital One، Plaid و Asana آمده است
انتقال و پردازش رویدادها به‌صورت پیوسته؛ Plaid و Baseten آن را برای pipeline های realtime و streaming نام برده‌اند
پایگاه دادهٔ تحلیلی SQL و متن‌باز که بدون سرور جداگانه و درون همان برنامه (in-process) اجرا می‌شود؛ دورهٔ Data Engineering Zoomcamp آن را همراه dbt به کار می‌برد
Transformation و Orchestration
تبدیل داده با SQL همراه با تست و مستندات؛ ElevenLabs تسلط کامل به آن را شرط کرده و Gusto، Plaid، Discord و Brex هم نامش را آورده‌اند
زمان‌بندی و اجرای pipeline ها؛ پرتکرارترین ابزار orchestration در آگهی‌های بررسی‌شده (Brex، Lyft، Plaid، Asana، Baseten و دیگران)
پلتفرم orchestration برای ساخت، زمان‌بندی و پایش pipeline ها؛ Samsara و Capital One آن را کنار Airflow نام برده‌اند
زیرساخت، کیفیت و ابزار توسعه
بسته‌بندی سرویس‌ها و اجرای یکسان محیط؛ Cloudflare آن را امتیاز می‌داند و در ماژول اول Data Engineering Zoomcamp آموزش داده می‌شود
ابزار متن‌باز تست کیفیت داده (GX Core) برای نوشتن انتظارها از داده و اجرای آن‌ها در pipeline
تعریف زیرساخت ابری با کد؛ هم در Data Engineering Zoomcamp و هم در دورهٔ DeepLearning.AI آموزش داده می‌شود
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید
کارآموز / مهندس دادهٔ جونیور
۰ تا ۲ سال
ساختن، تست و مستندسازی pipeline های مشخص زیر نظر منتور، کمک به طراحی dataset های پایه و بهبود کارهای موجود. آگهی کارآموزی Data Engineer در Figma برای همین سطح Python یا زبانی مشابه، نوشتن کوئری SQL و تجربهٔ کار با pipeline، ETL یا dataset های بزرگ را می‌خواهد.
مهندس داده
۲ تا ۵ سال
مالکیت مدل‌ها و pipeline های یک حوزه، اتصال منابع دادهٔ تازه و تعیین استانداردهای کیفیت. Brex برای این نقش ۳ سال تجربه یا بیشتر در مهندسی داده، تحلیل داده یا analytics engineering می‌خواهد و بازهٔ حقوق پایه را ۱۲۰٬۸۰۰ تا ۱۵۱٬۰۰۰ دلار اعلام کرده است.
مهندس دادهٔ ارشد
۵+ سال
طراحی معماری داده برای حجم بالا، مالکیت پروژه‌های پیچیده از طراحی تا پذیرش و منتورینگ. آگهی‌های ارشد بررسی‌شده بین ۴ سال (Discord) تا ۸ تا ۱۰ سال یا بیشتر (Gusto) تجربه می‌خواهند؛ بازهٔ حقوق پایهٔ آگهی Discord ۱۹۶ تا ۲۴۵ هزار دلار است.
Staff / Principal Data Engineer
پس از سطح ارشد
تعیین الگوها و استانداردهای مشترک مهندسی داده برای چند تیم، تصمیم‌های معماری پلتفرم داده و همکاری با مدیران فنی و کسب‌وکار.
چالش‌ها و جنبه‌های منفی
واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید
کیفیت داده در مقیاس بزرگ
عمومیدادهٔ منابع بالادستی ناقص یا ناسازگار است و خطا در یک جدول پایه به همهٔ گزارش‌ها و مدل‌های پایین‌دستی می‌رسد. Discord تجربهٔ پیاده‌سازی و پایش بررسی‌های کیفیت روی داده‌هایی در حد میلیاردها ردیف را می‌خواهد.
تغییر schema و داده‌ای که دیر می‌رسد
عمومیمدل داده باید همراه نیاز کسب‌وکار و مهندسی تغییر کند، بی‌آنکه مصرف‌کننده‌های قبلی خراب شوند. Lyft تکامل مدل و schema داده را از وظایف آورده و Samsara آشنایی با داده‌ای را می‌خواهد که دیر می‌رسد.
هزینه و کارایی
عمومیکوئریها و pipeline های ناکارا در ابر هزینهٔ مستقیم دارند. Discord پیدا کردن فرصت‌های بهبود کارایی و هزینهٔ pipeline ها و داشبوردها را از وظایف می‌داند و Gusto توانایی بهینه‌سازی کارایی و هزینه در کل جریان داده و ذخیره‌سازی را می‌خواهد.
پایش و رسیدگی به incident
عمومیوقتی pipeline شکست بخورد، گزارش‌ها و گاهی محصول مشتری‌محور هم خراب می‌شوند. Samsara تحویل داده با الزامات بالای پایداری، از جمله dataset هایی که مشتری می‌بیند، و Gusto آشنایی با پایش، هشدار و رسیدگی به incident را می‌خواهد.
مسئله‌های مبهم و ذی‌نفعان متعدد
عمومیدرخواستها اغلب از تیم‌های غیرفنی و با تعریف ناقص می‌رسند. Gusto دنبال کسی است که مسئله‌های نیمه‌تعریف‌شده را از قاب‌بندی تا تحویل پیش ببرد و Discord راحتی با مسئله‌های مبهم و سریع‌التغییر را می‌خواهد.
ورود به بازار بدون سابقه
عمومیبیشتر آگهی‌ها ۳ تا ۴ سال تجربه یا بیشتر می‌خواهند و موقعیت جونیور کمتر دیده می‌شود. کارآموزی، پروژهٔ پورتفولیوی واقعی و ورود از نقش‌های نزدیک مثل تحلیل داده یا مهندسی نرم‌افزار راه‌های رایج‌ترند.
حقوق و بازار کار جهانی
حقوق جهانی مهندس داده
حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.
* ارقام سالانه‌اند. منبع هر رقم:
- Robert Half 2027 Salary Guide, US national: low–high range; median = mid tier
- Robert Half 2027 Salary Guide, Canada national: low–high range; median = mid tier
- Robert Half 2026 UK Salary Guide (starting salaries): 25th–75th pct; median = 50th pct
- levels.fyi, Oct 2026, total comp (71 submissions): 25th–75th pct; median
- levels.fyi, Oct 2026, total comp (64 submissions): 25th–75th pct; median
- Robert Half 2026 Salary Guide, Australia national (starting salaries): 25th–75th pct; median = 50th pct
- Robert Half 2026 Salary Guide, Singapore (starting salaries): 25th–75th pct; median = 50th pct
- levels.fyi, Oct 2026, total comp (676 submissions): 25th–75th pct; median
چگونه از صفر شروع کنیم
برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی
ماه ۱: SQL پیشرفته و مدل‌سازی
Window Function، CTE و subquery را تمرین کنید و مدل‌سازی ابعادی Kimball را یاد بگیرید.
ماه ۲: Python و اولین pipeline
یک pipeline از یک API به PostgreSQL بسازید، با Docker اجرا کنید و کدش را در GitHub بگذارید.
ماه ۳: انبار داده و dbt
یک پروژهٔ کامل dbt با تست و مستندات روی BigQuery sandbox یا DuckDB بسازید.
ماه ۴: Airflow و orchestration
pipeline ماه دوم و مدل‌های dbt را با Airflow زمان‌بندی کنید و برای خطاها retry و هشدار بگذارید.
ماه ۵: Spark
PySpark را روی Databricks Free Edition تمرین کنید و یک پروژهٔ batch روی دادهٔ بزرگ بسازید.
ماه ۶: پورتفولیو و درخواست کار
پروژه‌ها را با README روشن مرتب کنید و به آگهی‌هایی درخواست بدهید که سابقهٔ نزدیک را می‌پذیرند؛ Brex تجربه در تحلیل داده یا analytics engineering و Asana تجربه در مهندسی نرم‌افزار را برای Data Engineer قبول می‌کنند.
پروژه‌های پیشنهادی برای رزومه
pipeline از یک API عمومی به PostgreSQL
مبتدیداده را از یک API عمومی بگیرید، تمیز کنید و در PostgreSQL بنویسید. اجرای روزانه را با cron یا Airflow زمان‌بندی کنید، برای داده‌های تکراری و ناقص تست بگذارید و در README توضیح دهید اگر API از کار بیفتد چه می‌شود.
مدل ابعادی با dbt
مبتدیروی یک dataset عمومی، با dbt و DuckDB یا BigQuery یک star schema بسازید: لایهٔ staging، جدول‌های fact و dimension و چند متریک تعریف‌شده. برای هر مدل تست و مستندات بنویسید؛ همان چیزی که Brex با عبارت «dbt در پروداکشن» می‌خواهد.
پردازش batch با Spark
متوسطیک dataset بزرگ را روی Databricks Free Edition با PySpark پردازش کنید و خروجی را به جدول Delta بنویسید. اثر partitioning را روی زمان اجرا اندازه بگیرید و نتیجه را گزارش کنید.
pipeline رویدادمحور با Kafka
پیشرفتهرویدادهای ساختگی یک فروشگاه اینترنتی را به Kafka بفرستید، با یک consumer پردازش و در انبار داده ذخیره کنید. نشان دهید با رویدادی که دیر یا تکراری می‌رسد چه می‌کنید.
کیفیت داده، پایش و ایجنت پاسخ به سؤال داده
پیشرفتهروی پروژهٔ dbt خودتان تست‌های کیفیت و هشدار بگذارید، متریک‌ها را در یک لایهٔ معنایی تعریف کنید و یک ایجنت ساده بسازید که فقط از همین تعریف‌ها به سؤال‌های داده جواب دهد. ElevenLabs و Baseten هر دو ساخت ایجنت برای تحلیل self-service را از وظایف مهندس داده آورده‌اند.
مثال‌های واقعی و Case Studies
داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند
طبق معرفی‌اش در کنفرانس AI Council، اصول انبار داده را در Ubisoft یاد گرفت، در ۲۰۰۷ در Yahoo از نخستین کاربران Hadoop و Pig بود و در Facebook روی فریم‌ورک‌های تحلیلی برای محاسبهٔ متریک‌های رشد و تعامل کار کرد. بعد در Airbnb مهندس داده بود و ابزارهایی برای خودکار کردن کارهای مهندسی داده ساخت، و سپس به Lyft رفت.
سازنده و committer اصلی Apache Airflow و Apache Superset و مدیرعامل شرکت Preset است.
Beauchemin به‌عنوان مهندس داده ابزارهایی برای خودکار کردن کار مهندسی داده ساخت. به نظر می‌رسد ساختن ابزار برای مشکلی که هر روز با آن درگیرید، به‌خصوص اگر متن‌باز شود، می‌تواند اثری فراتر از یک شرکت داشته باشد.
به گفتهٔ خودش در ایالت وایومینگ آمریکا بزرگ شد و پیش از تحصیل ریاضی در دانشگاه یوتا، سنگ‌نورد تمام‌وقت، دی‌جی حرفه‌ای و کارگر ساختمانی بود. کار داده را با پیش‌بینی و بهینه‌سازی آماری شروع کرد، بعد به یادگیری ماشین و سپس مهندسی و معماری داده رسید و خودش را «دانشمند دادهٔ در حال بهبودی» می‌نامد.
از نویسندگان کتاب Fundamentals of Data Engineering (انتشارات O'Reilly، ۲۰۲۲) است و به گفتهٔ خودش مدرس اصلی و طراح دورهٔ مهندسی دادهٔ DeepLearning.AI در Coursera است. کتاب Mixed Model Arts را هم دربارهٔ مدل‌سازی دادهٔ مدرن نوشته است.
مسیر او از سنگ‌نوردی و کار ساختمانی به ریاضی و بعد به داده نشان می‌دهد که پیشینهٔ غیرمعمول مانع ورود به این حوزه نیست؛ پایه‌های درست، مثل ریاضی و مدل‌سازی، بیشتر به کار می‌آیند.
به گفتهٔ خودش سال‌ها تحلیل‌گر داده و مدیر در استارتاپ‌ها بوده است. بنیان‌گذار dbt Labs و از سازندگان dbt است.
خودش را از پیشگامان روش کار analytics engineering می‌داند و خبرنامهٔ The Analytics Engineering Roundup را می‌نویسد.
Handy از نقش تحلیل‌گر داده آمده و ابزاری که ساخته امروز در آگهی‌های مهندسی داده هم دیده می‌شود، از ElevenLabs تا Gusto و Plaid. به نظر می‌رسد درک دقیق مشکل روزمرهٔ کاربران داده، حتی وقتی از نقش تحلیل‌گر شروع کنید، می‌تواند به ابزاری برسد که شیوهٔ کار یک رشته را تغییر دهد.
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
Data Engineer
تحلیل نیازمندی‌ها
3+ years of experience in Data Engineering, Data Analytics, or a related field such as Analytics Engineering.
سه سال سابقه لازم است، اما فقط در مهندسی داده نه؛ تجربه در تحلیل داده یا analytics engineering هم پذیرفته می‌شود. یعنی تحلیل‌گری که pipeline و مدل داده ساخته، می‌تواند برای این نقش درخواست بدهد.
ضروریAdvanced knowledge of databases and SQL with the ability to efficiently stage, process, and transform data.
SQL باید در حدی باشد که دادهٔ خام را مرحله‌به‌مرحله و با کارایی خوب به جدول نهایی برسانید، نه فقط کوئری گزارش بنویسید.
ضروریExperience integrating and orchestrating data workflows with various modern data tools and systems.
باید بدانید چند ابزار و منبع داده را چطور به هم وصل کنید و ترتیب و زمان اجرای کارها را مدیریت کنید.
ضروریExperience with data modeling, ETL/ELT processes, and data warehousing solutions.
سه پایهٔ اصلی کار: طراحی مدل داده، جابه‌جا و تبدیل کردن داده، و کار با انبار داده. یک پروژهٔ پورتفولیو با star schema و ELT هر سه را نشان می‌دهد.
ضروریExperience working with a data warehouse such as Snowflake.
عبارت «such as» یعنی تجربه با انبارهای مشابه، مثل BigQuery یا Redshift، هم پذیرفتنی است.
ضروریExperience with a data workflow orchestrator tool such as Airflow.
Airflow رایج‌ترین گزینه است، اما تجربه با Dagster یا Prefect هم همین مهارت را نشان می‌دهد: تعریف وابستگی کارها، زمان‌بندی و رسیدگی به شکست.
ضروریExperience with a programming language such as Python.
Python برای نوشتن pipeline، اتصال به API ها و خودکارسازی؛ کد شما باید قابل نگهداری باشد، نه فقط اسکریپت یک‌باره.
ضروریExperience with agentic AI.
این خط تازه است و نشان می‌دهد کارفرما انتظار دارد با ایجنت‌های AI کار کرده باشید؛ در بخش وظایف هم آمده که از agentic AI برای سرعت دادن به کار pipeline و کیفیت استفاده کنید.
مهمStrong communication skills and ability to collaborate with various stakeholders, both technical and non-technical.
بخش مهمی از کار گفت‌وگو با تیم‌های کسب‌وکار است تا بفهمید دقیقاً چه داده‌ای و با چه تعریفی لازم دارند.
مهمSolid dbt in production: models, tests, docs, and collaboration in a shared repo.
dbt امتیاز است، نه شرط. «در پروداکشن» یعنی پروژه‌ای که چند نفر روی آن کار می‌کنند و مدل‌ها تست و مستندات دارند، نه یک تمرین آموزشی.
مفیدAI-ready data: Metrics and dimensions are clear and reusable so AI-assisted analysis does not fork definitions.
اگر متریک‌ها یک تعریف روشن و مشترک نداشته باشند، ابزارهای AI هر بار جواب متفاوتی می‌سازند. این خط یعنی کارفرما ارزش لایهٔ معنایی و تعریف‌های یکتا را می‌داند.
مفیدFamiliarity with BI tools such as Looker, Tableau, or similar platforms.
دانستن اینکه دادهٔ شما در داشبورد چطور مصرف می‌شود، کمک می‌کند جدول‌ها را برای مصرف‌کنندهٔ نهایی درست طراحی کنید.
مفیدتحلیل مسئولیت‌ها
Design, build, and maintain data models and pipelines that scale with the growing number of services, products, and changes in the company.
کار با ساختن تمام نمی‌شود؛ مدل‌ها و pipeline ها باید با اضافه شدن سرویس و محصول تازه دوام بیاورند و تغییر را تحمل کنند.
Collaborate closely with Data Scientists, Data Analysts, and Business teams to understand their data needs, translating them into robust, efficient, scalable data solutions that enable ease of predictive analytics, data analysis, and metrics formulation.
مشتری‌های اصلی شما دانشمندان داده، تحلیل‌گران و تیم‌های کسب‌وکارند. باید نیاز آن‌ها را به جدول و متریک تبدیل کنید.
Maintain data documentation and definitions, building and ensuring that source-of-truth tables remain high quality for data science and reporting applications.
جدول‌های مرجع فقط وقتی ارزش دارند که همه به آن‌ها اعتماد کنند؛ مستندات و تعریف دقیق بخشی از خود کار است، نه کار اضافه.
Develop and enable integration with various data sources, allowing for more data-driven initiatives across the company.
هر منبع دادهٔ تازه، مثل یک اپلیکیشن SaaS یا API، باید به انبار داده وصل شود؛ آگهی تجربه با یکپارچه‌سازی دادهٔ Salesforce را هم امتیاز می‌داند.
Set and proliferate company-wide standards for data relating to structure, quality, and expectations.
مهندس داده در این نقش فقط مجری نیست؛ تعیین می‌کند داده در کل شرکت چه ساختار و کیفیتی داشته باشد.
Act as a liaison between the technical and non-technical teams, bridging gaps and ensuring that data solutions align with business objectives.
باید زبان هر دو طرف را بفهمید: محدودیت‌های فنی را برای کسب‌وکار و هدف کسب‌وکار را برای تیم فنی توضیح دهید.
Use agentic AI where it speeds up pipeline and quality work, without skipping validation.
AI ابزار سرعت است، نه جایگزین بررسی. هر خروجی که ایجنت می‌سازد، مثل کد یا تست، باید مثل کار یک هم‌تیمی اعتبارسنجی شود.
نتیجه‌گیری کلی
این آگهی تصویر روشنی از مهندس داده در ۲۰۲۶ می‌دهد: SQL، Python، یک انبار داده مثل Snowflake و یک orchestrator مثل Airflow هستهٔ کارند و dbt امتیاز است. Spark و Kafka در شرایط نیامده‌اند؛ تمرکز روی مدل داده، جدول‌های مرجع، کیفیت و همکاری با کسب‌وکار است. خط «Experience with agentic AI» هم نشان می‌دهد ابزارهای AI وارد کار روزمره شده‌اند. بازهٔ حقوق پایهٔ اعلام‌شده در آگهی ۱۲۰٬۸۰۰ تا ۱۵۱٬۰۰۰ دلار در سال است.
آینده و روندها
پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید
BLS آمریکا پیش‌بینی می‌کند اشتغال در گروه Database Architects از ۲۰۲۵ تا ۲۰۳۵، ۹٪ رشد کند (از ۶۹٬۵۰۰ به ۷۶٬۰۰۰ شغل)، در برابر ۳٪ برای کل مشاغل. BLS گروه جداگانه‌ای برای Data Engineer ندارد؛ O*NET این عنوان را از نمونه‌عنوان‌های همین گروه می‌داند.
منبع: BLS Occupational Outlook Handbook, projections 2025–35
مهارت‌های نوظهور که باید یاد بگیرید
پیش‌بینی‌های آینده
Robert Half در راهنمای حقوق ۲۰۲۶ بریتانیا می‌نویسد متخصصان مهارت‌هایی مثل مهندسی داده و AI همچنان کمیاب‌اند و بسیاری از کارفرمایان برای جذب آن‌ها مجبورند بالاتر از نرخ بازار حقوق پیشنهاد دهند.
در گزارش Future of Jobs 2025 مجمع جهانی اقتصاد (WEF)، کارفرمایان شرکت‌کننده در نظرسنجی «Big Data Specialists» را در رتبهٔ اول و «Data Warehousing Specialists» را در رتبهٔ ششم سریع‌ترین شغل‌های در حال رشد تا ۲۰۳۰ (از نظر درصد) قرار داده‌اند.
BLS پیش‌بینی می‌کند اشتغال Database Architects، گروهی که O*NET عنوان Data Engineer را در آن آورده، از ۲۰۲۵ تا ۲۰۳۵، ۹٪ رشد کند و دلیلش را پذیرش AI در سازمان‌ها برای پردازش داده و نیاز رو به رشد به زیرساخت دادهٔ باکیفیت می‌داند.
آگهی‌های ۲۰۲۶ نشان می‌دهند ابزارهای AI وارد کار روزمرهٔ مهندس داده شده‌اند: Brex تجربه با agentic AI را جزو شرایط آورده، Gusto نوشته AI بخش بنیادین شیوهٔ کار در شرکت است و از همه انتظار دارد با ابزارهای AI کار کنند، و ElevenLabs ساختن ایجنت برای پاسخ به سؤال‌های داده را از وظایف می‌داند. یعنی ارزش مهندس داده بیشتر در طراحی مدل داده، تعریف درست متریک‌ها و تضمین کیفیت است تا در نوشتن دستی هر کوئری. نمونهٔ هشداردهنده گروه مدیران پایگاه داده است: BLS برای آن‌ها از ۲۰۲۵ تا ۲۰۳۵ رشدی پیش‌بینی نمی‌کند، چون با رفتن شرکت‌ها به ابر، مدیران کمتری به شرکت‌های بیشتری خدمت می‌دهند. ریسک دیگر نوسان بازار است: طبق ITJobsWatch، تعداد آگهی‌های این عنوان در بریتانیا در شش ماه منتهی به ۲۲ اکتبر از ۱٬۰۲۹ در ۲۰۲۴ به ۶۴۳ در ۲۰۲۵ رسید و در ۲۰۲۶ به ۲٬۱۸۳ برگشت. برای تازه‌واردها هم مانع اصلی سابقه است: Robert Half می‌نویسد کارفرمایان اغلب مدرک کارشناسی و ۴ تا ۶ سال تجربه می‌خواهند.
منابع
اطلاعات این صفحه در تاریخ ۲۹ مهر ۱۴۰۵ از این ۳۵ منبع بررسی شده است.
- Data Engineer — Brex (job posting)
- Data Engineer — Samsara (job posting)
- Data Engineer — Lyft, Toronto (job posting)
- Senior Data Engineer — Discord (job posting)
- Senior Data Engineer — Gusto (job posting)
- Senior Data Engineer — Cloudflare (job posting)
- Data Engineer 4 (Manager, IC) — Capital One (job posting)
- Senior Data Engineer — Plaid (job posting)
- Data Engineer — Baseten (job posting)
- Data Engineer — ElevenLabs (job posting)
- Data Engineer — Asana, Warsaw (job posting)
- Data Engineer Intern (2027) — Figma (job posting)
- Data Engineer Intern (Summer 2027) — Lyft (job posting)
- Robert Half — Data Engineer salary, United States (2027 guide)
- Robert Half — Data Engineer salary, Canada (2027 guide)
- Robert Half — Data Engineer salary, Australia (2026 guide)
- Robert Half — Data Engineer salary, Singapore (2026 guide)
- Robert Half — 2026 Salary Guide, United Kingdom (PDF)
- levels.fyi — Data Engineer Salary in Germany
- levels.fyi — Data Engineer Salary in Netherlands
- levels.fyi — Data Engineer Salary in India
- BLS Occupational Outlook Handbook — Database Administrators and Architects
- O*NET OnLine — 15-1243.00 Database Architects
- World Economic Forum — The Future of Jobs Report 2025 (PDF)
- ITJobsWatch — Data Engineer (UK)
- Maxime Beauchemin — The Rise of the Data Engineer (freeCodeCamp, 2017)
- AI Council — Max Beauchemin (speaker bio)
- Preset — About Us
- Joe Reis — personal site
- The Analytics Engineering Roundup — About (Tristan Handy)
- dbt Labs — About us
- Coursera — DeepLearning.AI Data Engineering Professional Certificate
- DataTalksClub — Data Engineering Zoomcamp (GitHub)
- Databricks — Free Edition
- Google Cloud — Try BigQuery using the sandbox