مهندس کلان‌داده
Big Data Engineer
مهندس کلان‌داده (Big Data Engineer) سیستم‌هایی می‌سازد و اداره می‌کند که داده‌ای در حد ترابایت و پتابایت را جمع‌آوری، پردازش و ذخیره می‌کنند؛ معمولاً با Apache Spark، با Python یا یک زبان JVM مثل Scala و Java، و با ابزارهایی مثل Kafka، Hive و پلتفرم‌های ابری مثل Databricks و EMR. در عمل این همان کار مهندس داده است با تأکید بر پردازش توزیع‌شده در مقیاس بزرگ، و خود عنوان امروز در بازارهای محدودی دیده می‌شود: در نمونهٔ ما از ۱٬۱۹۹ آگهی LinkedIn در ۱۲ کشور (اکتبر ۲۰۲۶)، ۸۳۵ عنوان شامل Data Engineer بودند و ۱۹ عنوان Big Data Engineer یا مشابه آن، همه در لهستان، هند، سنگاپور، هلند و امارات و هیچ‌کدام در آمریکا، بریتانیا یا کانادا. ITJobsWatch هم در شش ماه منتهی به ۲۲ اکتبر ۲۰۲۶ فقط ۴ آگهی استخدام دائم با این عنوان در بریتانیا ثبت کرده، در برابر ۲٬۱۸۳ آگهی Data Engineer. اگر دنبال این شغل هستید، آگهی‌های Data Engineer را هم جستجو کنید.
مقدمه و تعریف شغل
مهندس کلان‌داده سیستم‌هایی می‌سازد که داده‌ای بیش از توان یک ماشین را جمع‌آوری، پردازش و ذخیره می‌کنند. ویکی‌پدیا کلان‌داده را مجموعه‌داده‌هایی تعریف می‌کند که برای نرم‌افزارهای سنتی پردازش داده بیش از حد بزرگ یا پیچیده‌اند. Similarweb کار Big Data Engineer را توسعه و یکپارچه‌سازی سیستم‌هایی توصیف می‌کند که داده را از سراسر دنیای دیجیتال بازیابی، پردازش و تحلیل می‌کنند و از آن دادهٔ قابل ارائه به مشتری می‌سازند. در عمل این همان کار مهندس داده است با تأکید بر پردازش توزیع‌شده در مقیاس بزرگ: MetLife آگهی Lead Big Data Engineer را با این جمله شروع می‌کند که مهندس داده نقش حیاتی در چرخهٔ عمر داده و تحلیل دارد، و ByteDance دارندهٔ عنوان Big Data Engineer Graduate را Data Engineer تیمش می‌نامد.
این عنوان از دوران Hadoop آمده است. طبق ویکی‌پدیا، توسعهٔ Hadoop در ژانویهٔ ۲۰۰۶ به یک زیرپروژهٔ مستقل منتقل شد، وقتی Doug Cutting در Yahoo! کار می‌کرد؛ Spark در ۲۰۰۹ در AMPLab دانشگاه برکلی شروع شد و Kafka در LinkedIn ساخته شد و اوایل ۲۰۱۱ متن‌باز شد. Maxime Beauchemin در ۲۰۱۷ نوشت که مهندسی داده تخصص کار با سیستم‌های توزیع‌شدهٔ موسوم به «big data»، اکوسیستم Hadoop، پردازش جریان و محاسبه در مقیاس را در خود جذب کرده است. بازار امروز همین را نشان می‌دهد. ITJobsWatch در بریتانیا در شش ماه منتهی به ۲۲ اکتبر ۲۰۲۶ فقط ۴ آگهی استخدام دائم با عنوان Big Data Engineer ثبت کرده (در همین بازهٔ ۲۰۲۴، ۵۲ آگهی)، در برابر ۲٬۱۸۳ آگهی Data Engineer؛ سهم آگهی‌هایی که مهارت Big Data را خواسته‌اند هم از ۰٫۷۲٪ کل آگهی‌های دائم در ۲۰۲۴ به ۰٫۲۶٪ رسیده است. در بررسی ما روی ۴۳٬۶۰۲ آگهی باز در ۲۷۴ شرکت (سامانه‌های Greenhouse، Ashby و Lever)، ۲۷۹ عنوان شامل Data Engineer بود و فقط ۴ عنوان شامل Big Data Engineer: Similarweb در تل‌آویو، OpenX در کراکوف، Odaseva در پاریس و OKX در سنگاپور. در نمونهٔ LinkedIn ما این عنوان بیشتر در لهستان، هند و سنگاپور دیده شد، و بیشتر در بانک‌ها و بیمه‌ها (Societe Generale، Deutsche Bank، MetLife)، شرکت‌های خدمات IT (Grid Dynamics، SoftServe، Coforge، Synechron، ITC Infotech) و شرکت‌های اینترنتی چینی (ByteDance، Tencent). در آمریکا همین کار بیشتر با عنوان Data Engineer یا «Software Engineer, Big Data» آگهی می‌شود، مثل ZipRecruiter. دربارهٔ حقوق: Glassdoor برای هلند، سوئیس و امارات کمتر از ۱۰ حقوق با این عنوان دارد، و رقم سالانه‌ای که برای سنگاپور (۹٬۷۳۳ دلار سنگاپور)، لهستان (۱۳٬۰۴۲ زلوتی) و اسرائیل (۳۲٬۹۱۷ شِکِل) نشان می‌دهد با حقوق سالانهٔ این شغل جور درنمی‌آید؛ برای مقایسه، بازهٔ سالانهٔ آگهی IQVIA در ورشو از ۱۸۸٬۷۰۰ زلوتی شروع می‌شود. پس این کشورها از Glassdoor در جدول نیستند و برای لهستان بازهٔ آگهی IQVIA آمده است. PayScale میانگین حقوق پایه را در آمریکا ۸۹٬۸۳۸ دلار گزارش می‌کند (۸۴ پروفایل، سپتامبر ۲۰۲۶)، که از کف بازهٔ همهٔ آگهی‌های آمریکایی بررسی‌شده پایین‌تر است و در جدول نیامده است. در بریتانیا، آگهی‌هایی که مهارت Big Data را خواسته‌اند طبق ITJobsWatch میانهٔ ۷۲٬۵۰۰ پوند داشته‌اند (۱۷۰ حقوق اعلام‌شده)، بالاتر از رقم Glassdoor برای این عنوان.
چه چیزی می‌سازید؟
مثال‌های واقعی از خروجی کار یک مهندس کلان‌داده
دادهٔ رفتار دیجیتال برای محصول مشتری
در Similarweb، مهندس کلان‌داده سیستم‌های پیچیده و پرمقیاسی طراحی و پیاده می‌کند که داده را از میلیون‌ها کاربر دیجیتال بازیابی و تحلیل می‌کنند، و روی زیرساخت پایش pipeline ها کار می‌کند تا دریافت و محاسبهٔ داده بی‌وقفه و قابل اعتماد بماند.
پلتفرم دادهٔ یک بازار تبلیغات
در OpenX، تیم اصلی پلتفرم داده رویدادهای میلیاردها درخواست تبلیغ در روز را پردازش می‌کند تا از آن‌ها ارزش تجاری بیرون بکشد؛ به گفتهٔ آگهی، اپلیکیشن‌های شرکت روزانه بیش از یک پتابایت داده تولید می‌کنند.
دریافت دادهٔ پرحجم در data lake
در Odaseva، مهندس کلان‌داده pipeline های Spark را برای دریافت صدها ترابایت داده در data lake می‌سازد و پایش می‌کند، جدول‌های Delta Lake یا Iceberg را بهینه می‌کند و هزینهٔ زیرساخت را پایین نگه می‌دارد.
pipeline دادهٔ یک پلتفرم امنیت سایبری
در Qualys، مهندس ارشد کلان‌داده اجزای اصلی پلتفرم داده و معماری pipeline پشت پلتفرم TruRisk را با Spark و Kafka می‌سازد و اداره می‌کند؛ پلتفرمی که به گفتهٔ آگهی روزانه میلیاردها تراکنش پردازش می‌کند.
pipeline دادهٔ پزشکی
در IQVIA، مهندسان هر بار بیش از یک میلیارد رکورد را پردازش می‌کنند و با ETL دادهٔ پزشکی را دریافت، پردازش و در Databricks بارگذاری می‌کنند.
datahub دادهٔ مالی یک بانک
در Societe Generale، مهندس کلان‌داده با Spark و Scala و همراه تیم پاریس یک datahub مالی برای فعالیت‌های structured finance می‌سازد و پردازش داده را برای پایداری، کارایی و تاب‌آوری صنعتی می‌کند.
تخصص‌های مختلف مهندس کلان‌داده
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
مهندس Spark و Scala در بانک
Spark/Scala Engineer in Banking
ساختن پلتفرم دادهٔ بانک‌ها و بیمه‌ها با Spark و یک زبان JVM. Societe Generale برای datahub مالی‌اش Spark، Scala و SQL می‌خواهد و Deutsche Bank در پونه Java یا Scala همراه با Spark روی Google Cloud.
پردازش لحظه‌ای
Real-time Big Data
pipeline هایی که داده را هم‌زمان با رسیدنش پردازش می‌کنند. ByteDance برای تیم دریافت داده سیستم‌های لحظه‌ای با توان بالا، تأخیر کم و تحمل خطا می‌خواهد و Qualys و Teamware کار با Kafka و Spark Streaming را.
lakehouse و کلان‌داده روی ابر
Lakehouse & Cloud Big Data
ساخت data lake و جدول‌های lakehouse روی ابر. Odaseva تخصص در Delta Lake یا Iceberg را شرط کرده، IQVIA شناخت قوی Databricks را و SoftServe کار با Databricks و سرویس‌های Google Cloud را.
مهندسی پلتفرم کلان‌داده
Big Data Platform Engineering
ساخت زیرساخت محاسبه و ذخیره‌سازی که بقیهٔ تیم‌ها روی آن کار می‌کنند. OKX این پلتفرم را با ایجنت‌های AI ترکیب می‌کند: رابطهای MCP برای ایجنت‌ها و ایجنت‌هایی برای زمان‌بندی و بهینه‌سازی هزینه.
دادهٔ تبلیغات
Ads & Marketplace Data
پردازش رویدادهای تبلیغاتی در حجم بسیار بالا. OpenX، Tencent برای سیستم‌های تبلیغات بین‌المللی‌اش و TikTok برای Ads Infra مهندس کلان‌داده می‌خواهند؛ TikTok تجربهٔ پردازش داده در مقیاس پتابایت را امتیاز می‌داند.
تفاوت با شغل‌های مشابه
کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟
در بیشتر شرکت‌ها این دو یک شغل‌اند و Data Engineer عنوان بسیار رایج‌تر است. چند آگهی این دو عنوان را به جای هم به کار می‌برند: آگهی Lead Big Data Engineer I در MetLife با توصیف نقش مهندس داده شروع می‌شود، آگهی Senior Big Data Engineer در Teamware سرتیتر «Senior Data Engineer – Big Data & Cloud» دارد و ByteDance دارندهٔ عنوان Big Data Engineer Graduate را Data Engineer تیمش می‌نامد. فرق، وقتی هست، در تأکید است: آگهی‌های Big Data Engineer تقریباً همیشه Spark و پردازش توزیع‌شده را شرط می‌کنند و اغلب یک زبان JVM مثل Scala یا Java (OpenX، Societe Generale، Deutsche Bank)، در حالی که طبق ITJobsWatch فقط ۱۰٪ آگهی‌های Data Engineer بریتانیا PySpark و ۱۴٫۸٪ Databricks را خواسته‌اند. صفحهٔ مهندس داده هم همین را با عنوان تخصص «Big Data / Spark Engineer» آورده است.
مهندس پلتفرم داده زیرساخت و ابزاری را می‌سازد که بقیهٔ مهندسان داده pipeline هایشان را روی آن اجرا می‌کنند. بعضی آگهی‌های Big Data Engineer در اصل همین کارند: OKX در آگهی «Big Data Engineer, Web3» نقش را Big Data Platform Engineer می‌نامد که سرویس‌های اصلی پلتفرم را برای صدها مهندس داده و تحلیل‌گر طراحی و اداره می‌کند، و Qualys از مهندس ارشد کلان‌داده ساختن اجزای اصلی پلتفرم داده را می‌خواهد. اما بیشتر آگهی‌های این عنوان، مثل Societe Generale و Odaseva، بیشتر دربارهٔ ساختن خود pipeline ها هستند.
در آمریکا و کانادا بخشی از کار کلان‌داده با عنوان مهندس نرم‌افزار آگهی می‌شود: ZipRecruiter عنوان «Software Engineer, Big Data» دارد و در متن آگهی می‌نویسد به مهندسان دادهٔ ارشد نیاز دارد، و PointClickCare عنوان «Senior Software Engineer - Big Data & Java». مهندس backend بیشتر سرویس‌ها و API های محصول را می‌سازد و مهندس کلان‌داده بیشتر سیستم‌های پردازش و ذخیره‌سازی داده را؛ مرز سخت نیست و PointClickCare از همین نقش نوشتن RESTful API را هم می‌خواهد. پایهٔ مهندسی نرم‌افزار در هر دو یکی است: Similarweb ساختار داده، design pattern و برنامه‌نویسی شیءگرا را شرط کرده و OpenX الگوریتم و ساختار داده را.
مهندس یادگیری ماشین مدل را آموزش می‌دهد و مستقر می‌کند؛ مهندس کلان‌داده داده و زیرساختی را می‌سازد که مدل‌ها با آن کار می‌کنند. در Similarweb، Big Data Engineer در یک تیم تحقیقات داده کنار دانشمندان و تحلیل‌گران داده کار می‌کند و با فناوری‌های یادگیری ماشین هم آزمایش می‌کند. تیم Ads Infra در TikTok زیرساخت محاسبه و ذخیره‌سازی کلان‌داده‌ای می‌سازد که سیستم‌های بزرگ نمایش تبلیغ و یادگیری ماشین به آن تکیه دارند.
تأثیر در صنایع مختلف
مهندس کلان‌داده در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری
تبلیغات دیجیتال
OpenX روزانه میلیاردها درخواست تبلیغ را پردازش می‌کند، Tencent دادهٔ سیستم‌های تبلیغات بین‌المللی‌اش را و TikTok زیرساخت کلان‌دادهٔ نمایش تبلیغ و یادگیری ماشین را می‌سازد
بانک و بیمه
Societe Generale برای structured finance یک datahub می‌سازد، Deutsche Bank و MetLife در پونهٔ هند مهندس کلان‌داده استخدام می‌کنند و MetLife دانش حوزهٔ بانک، خدمات مالی و بیمه را امتیاز می‌داند
سلامت و داروسازی
IQVIA دادهٔ پزشکی را با pipeline در Databricks بارگذاری می‌کند و مؤسسهٔ علوم سرطان دانشگاه ملی سنگاپور مهندس کلان‌داده‌ای می‌خواهد که کنار یک معمار Cloud/HPC کار کند
امنیت سایبری
Qualys برای پلتفرم TruRisk که به گفتهٔ آگهی روزانه میلیاردها تراکنش پردازش می‌کند، pipeline های Spark و Kafka می‌سازد
هوش دیجیتال و دادهٔ وب
Similarweb داده دربارهٔ رفتار آنلاین را برای مشتریانش جمع و تحلیل می‌کند و به گفتهٔ خودش بیش از ۴٬۳۰۰ مشتری دارد
رمزارز
OKX زیرساخت پایهٔ دادهٔ صرافی‌اش را طوری می‌سازد که زمان‌بندی، بهینه‌سازی هزینه و رسیدگی به خرابی بیشتر به دست ایجنت‌های AI انجام شود
مدیریت دادهٔ سازمانی
Odaseva که به گفتهٔ خودش ۵۰ تریلیون رکورد را مدیریت می‌کند، دریافت صدها ترابایت داده در data lake را به مهندس کلان‌داده می‌سپارد
خدمات IT و برون‌سپاری
در نمونهٔ LinkedIn ما، ۱۰ مورد از ۱۹ آگهی با این عنوان از شرکت‌های خدمات IT، مشاوره و کارگزینی بود، بیشتر در لهستان و هند؛ مثل Grid Dynamics، SoftServe، Coforge، Synechron و ITC Infotech
تصورات غلط رایج
قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید
Big Data Engineer شغلی جدا از Data Engineer است
در بیشتر موارد نه. در نمونهٔ ما از ۱٬۱۹۹ آگهی LinkedIn برای این جستجو، ۸۳۵ عنوان Data Engineer بودند و ۱۹ عنوان Big Data Engineer یا مشابه آن. خود آگهی‌ها هم دو عنوان را به جای هم به کار می‌برند: MetLife، Teamware و ByteDance در متن آگهی Big Data Engineer از مهندس داده حرف می‌زنند. آنچه این عنوان را متمایز می‌کند تأکید بر Spark، پردازش توزیع‌شده و اغلب Scala یا Java است.
Hadoop تمام شده و لازم نیست چیزی از آن بدانید
Hadoop کم‌رنگ شده اما هنوز در بعضی آگهی‌ها شرط است: ITC Infotech اکوسیستم Hadoop، Hive و HDFS را جزو مهارت‌های ضروری آورده و Teamware تجربهٔ قوی با Hadoop یا Cloudera را. ITJobsWatch نشان می‌دهد آگهی‌های بریتانیایی که Hadoop را خواسته‌اند از ۱۵۳ در ۲۰۲۴ به ۶۲ در ۲۰۲۶ رسیده‌اند. پس مفاهیم HDFS، YARN و Hive را بفهمید، اما وقت اصلی را روی Spark، ابر و فرمت‌های lakehouse بگذارید.
کلان‌داده یعنی فقط Spark
Spark هسته است، نه همهٔ کار. OpenX کنار Spark تبدیل‌های SQL با dbt یا Dataform، تنظیم کارایی BigQuery، Airflow، CI/CD و تست خودکار را می‌خواهد و Odaseva مدیریت هزینه، امنیت، حاکمیت و مدل‌سازی داده را. Similarweb هم تجربهٔ CI/CD و Git را شرط کرده است.
برای این کار باید دکترا یا پیشینهٔ علم داده داشت
آگهی‌ها بیشتر مهندس نرم‌افزار می‌خواهند تا پژوهشگر. Similarweb، OpenX و Qualys کارشناسی کامپیوتر یا رشتهٔ مرتبط خواسته‌اند و هیچ‌کدام دکترا نخواسته‌اند، و ByteDance برای فارغ‌التحصیلان تازهٔ کارشناسی هم موقعیت Big Data Engineer دارد. آنچه شرط است برنامه‌نویسی قوی، ساختار داده و فهم سیستم‌های توزیع‌شده است.
با آمدن AI این کار از بین می‌رود
آگهی‌ها AI را ابزار این شغل می‌دانند، نه جایگزینش: IQVIA آشنایی با ابزارهایی مثل Copilot یا Cursor را می‌خواهد، Grid Dynamics تجربه با Claude را امتیاز می‌داند، Deutsche Bank استفاده از ابزارهای AI همراه با قضاوت انتقادی دربارهٔ خروجی آن‌ها را، و OKX ایجنت‌های AI را داخل خود پلتفرم کلان‌داده می‌سازد. در گزارش Future of Jobs 2025 مجمع جهانی اقتصاد هم «Big Data Specialists» سریع‌ترین شغل در حال رشد تا ۲۰۳۰ است.
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
جونیور (۰–۲ سال)
بیشتر روی job ها و pipeline های موجود کار می‌کنید و Spark و داده‌های شرکت را یاد می‌گیرید. در موقعیت فارغ‌التحصیلان ByteDance، بخشی از کار رفع مشکلات سیستم‌های پروداکشن و بهبود کارایی و پایداری pipeline های دریافت داده است.
- ◆بررسی اجراهای شب گذشته و پیدا کردن job هایی که شکست خورده‌اند
- ◆خواندن لاگ و Spark UI برای پیدا کردن علت کندی یا خطای یک job
- ◆نوشتن یک تبدیل تازه با PySpark یا Spark SQL و تست آن روی نمونهٔ کوچک داده
- ◆اضافه کردن یک DAG یا تغییر زمان‌بندی در Airflow
- ◆شرکت در بازبینی کد و یادداشت برداشتن از توضیحات هم‌تیمی‌های ارشد
میانی (۲–۵ سال)
مالک چند pipeline هستید و آن‌ها را از طراحی تا پروداکشن می‌برید. آگهی Societe Generale تصویر خوبی از این سطح است: طراحی راه‌حل برای پردازش dataset های بزرگ، نوشتن job های Spark و Scala، بازبینی کد، تحویل در چرخه‌های Scrum و رفع مشکلات پروداکشن.
- ◆تبدیل یک نیاز تازهٔ تیم تحلیل یا محصول به مشخصات فنی pipeline
- ◆بهینه‌سازی یک job کند با تغییر partitioning یا join
- ◆اضافه کردن یک منبع دادهٔ تازه به data lake
- ◆نوشتن تست برای تبدیل‌ها و به‌روز کردن مستندات فنی
- ◆همکاری با تیم پاریس یا تیم دیگری در منطقهٔ زمانی متفاوت
ارشد / Lead (۵+ سال)
تمرکز روی طراحی، کارایی، هزینه و آدم‌هاست. OpenX از مهندس ارشد می‌خواهد سیستم‌های پردازش دادهٔ بزرگ را طراحی کند، مالک پروژه از ابتدا تا انتها باشد و پیچیدگی غیرضروری را حذف کند؛ Qualys منتورینگ مهندسان جونیور و میانی و تعریف استانداردهای فنی تیم را، و MetLife در سطح Lead رهبری و رشد افراد را.
- ◆طراحی معماری یک pipeline یا بخش تازهٔ پلتفرم و نوشتن سند طراحی
- ◆بررسی هزینهٔ کلاسترها و پیدا کردن job هایی که می‌شود ارزان‌تر اجرا کرد
- ◆بازبینی طراحی و کد هم‌تیمی‌ها
- ◆گفت‌وگو با تیم محصول دربارهٔ نیازها و trade-off ها
- ◆منتورینگ یک مهندس کم‌تجربه‌تر روی یک مشکل کارایی
- ◆برنامه‌ریزی ارتقای نسخهٔ Spark یا مهاجرت به ابر
مسئولیت‌ها و وظایف
مسئولیت‌های اصلی
وظایف روزانه و مهارت‌های مورد نیاز در این شغل
- ◈طراحی و ساخت pipeline های batch و streaming برای جمع‌آوری، تبدیل و پردازش dataset های بزرگ
- ◈نوشتن و بهینه‌سازی job های Spark با PySpark یا Scala و رفع مشکل کارایی آن‌ها در کلاستر
- ◈ساخت و نگهداری اجزای پلتفرم کلان‌داده: کلاستر پردازش، ذخیره‌سازی data lake و جدول‌های Delta یا Iceberg
- ◈ساخت pipeline های لحظه‌ای با Kafka و Spark Streaming یا Flink
- ◈زمان‌بندی جریان‌های کاری داده با Airflow و مدیریت وابستگی بین job ها
- ◈پایش pipeline ها، تعریف هشدار و رفع خرابی‌های پروداکشن
- ◈بهینه‌سازی کارایی و هزینهٔ زیرساخت ابری و pipeline ها
- ◈رعایت امنیت، حاکمیت داده و الزامات انطباق در ذخیره‌سازی، پردازش و اشتراک داده
- ◈همکاری با دانشمندان داده، تحلیل‌گران و تیم محصول برای تبدیل نیاز داده به راه‌حل فنی
- ◈بازبینی کد، مستندسازی و منتورینگ مهندسان کم‌تجربه‌تر
مهارت‌های مورد نیاز
مهارت‌های فنی، نرم و حوزه‌ای که یک مهندس کلان‌داده موفق به آن‌ها نیاز دارد
مهارت‌های فنی
PySpark یا Scala، Spark SQL و DataFrame، و تنظیم کارایی (partitioning، caching، broadcast join، shuffle)
کوئری‌های پیچیده، window function و group by، و فهم انبار داده
زبان رایج pipeline ها؛ Similarweb، SoftServe و ZipRecruiter آن را خواسته‌اند
زبان JVM که OpenX، Societe Generale، Deutsche Bank، Synechron و Grid Dynamics شرط کرده‌اند
Kafka همراه Spark Streaming یا Flink برای داده‌ای که پیوسته می‌رسد
Parquet، Delta Lake یا Iceberg، و نگهداری جدول‌های lake
Amazon EMR، Google Dataproc یا Databricks و سرویس‌های ذخیره‌سازی ابری
طراحی DAG، مدیریت وابستگی‌ها و رفع مشکلات عملیاتی
مفاهیم نسل اول کلان‌داده که هنوز در بعضی آگهی‌ها و سیستم‌های قدیمی هست
اجرای Spark و سرویس‌های داده در container
Git، تست واحد و یکپارچگی و استقرار خودکار job ها
پخش داده بین ماشین‌ها، تحمل خطا و پردازش موازی
مهارت‌های نرم
Similarweb گفت‌وگوی پیوسته بین تیم‌های داده و درون آن‌ها را شرط کرده است
حس مالکیت نسبت به محصول تیم و توانایی کار مستقل و گروهی
همکاری در منطقه‌های زمانی مختلف؛ Grid Dynamics در دسترس بودن تا ساعت ۸ شب به وقت لهستان را می‌خواهد
راهنمایی مهندسان جونیور و میانی در مسائل فنی پیچیده
زبان و دانش حوزه‌ای
OpenX لهستانی و انگلیسی، Odaseva فرانسوی و انگلیسی و Tencent چینی و انگلیسی می‌خواهد
Societe Generale پیشینهٔ بانکی را ترجیح می‌دهد و MetLife دانش بانک، خدمات مالی و بیمه را امتیاز می‌داند
مدیریت هزینه، امنیت و حاکمیت داده که Odaseva شرط کرده است
کار با دستیارهای کدنویسی مثل Copilot یا Cursor و بررسی انتقادی خروجی آن‌ها
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به مهندس کلان‌داده
این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.
برنامه‌نویسی: Python و یک زبان JVM (Scala یا Java)
بیشتر آگهی‌های این عنوان علاوه بر Python یک زبان JVM هم می‌خواهند: OpenX پنج سال تجربه با Java یا Scala، Societe Generale تسلط به Spark، Scala و SQL، و Synechron تجربهٔ عملی قوی با Java. Similarweb هر کدام از Python، Java یا Scala را می‌پذیرد، اما برنامه‌نویسی قوی و دانش ساختار داده، design pattern و برنامه‌نویسی شیءگرا را شرط کرده است. Git را از همین ابتدا به کار ببرید؛ Similarweb و OpenX هر دو CI/CD را هم می‌خواهند.
SQL، مدل‌سازی داده و مبانی سیستم‌های توزیع‌شده
SQL در همهٔ این آگهی‌ها هست؛ Grid Dynamics مشخصاً آشنایی با Spark SQL، از جمله window function و group by های پیچیده، را می‌خواهد و OpenX تجربهٔ طراحی سیستم پایگاه داده، رابطهای یا NoSQL. کنار SQL باید بفهمید چرا داده را روی چند ماشین پخش می‌کنند. طبق ویکی‌پدیا، Hadoop فایل‌ها را به بلوک‌های بزرگ تقسیم و روی گره‌های یک کلاستر پخش می‌کند و کد را به سمت داده می‌فرستد تا پردازش موازی شود. ByteDance حتی برای موقعیت فارغ‌التحصیلان درک قوی از اصول سیستم‌های توزیع‌شده را شرط کرده است.
Apache Spark و پردازش batch در مقیاس
Spark هستهٔ مشترک تقریباً همهٔ آگهی‌های این عنوان است. ITC Infotech فهرست روشنی از تکنیک‌هایی که باید بلد باشید می‌دهد: partitioning، caching، broadcast join، بهینه‌سازی shuffle، تنظیم حافظه و تنظیم کلاستر. Qualys از مهندس ارشد می‌خواهد job های Spark و pipeline های Kafka را debug و tune کند تا با حجم رو به رشد داده کنار بیایند. برای تمرین لازم نیست کلاستر بخرید؛ Databricks Free Edition برای شروع کافی است.
Streaming و Lakehouse
داده‌ای که پیوسته می‌رسد با Kafka و یک موتور پردازش جریان پردازش می‌شود. Qualys طراحی و بهینه‌سازی pipeline های توزیع‌شده با Spark و Kafka را شرط کرده، Teamware ساخت pipeline لحظه‌ای با Kafka و Spark Streaming یا Flink را، و ByteDance برای فارغ‌التحصیلان تجربهٔ عملی با Hadoop، Flink یا Kafka را. در لایهٔ ذخیره‌سازی، Odaseva تخصص در ساختن، مدیریت و بهینه‌سازی جدول‌های Delta Lake یا Apache Iceberg را می‌خواهد و Grid Dynamics کار با Hive و Iceberg را.
ابر، orchestration و کار در پروداکشن
بیشتر کلاسترهای امروزی روی ابرند: ITC Infotech و Coforge روی AWS (EMR، S3، Glue، Athena، Lambda) کار می‌کنند، Deutsche Bank روی Google Cloud (Dataproc برای کلاستر مدیریت‌شدهٔ Spark و Hadoop، و BigQuery)، و IQVIA و MetLife روی Azure و Databricks. Airflow در بیشتر این آگهی‌ها آمده است. در سطح ارشد، هزینه هم مسئولیت شماست: Odaseva بهینه‌سازی مداوم کارایی، پایداری و هزینهٔ pipeline ها را می‌خواهد و Deutsche Bank بهینه‌سازی job ها برای کارایی و هزینه را.
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت
موتورهای پردازش
موتور پردازش دادهٔ حجیم و ابزار مشترک تقریباً همهٔ آگهی‌های این عنوان، از Similarweb و OpenX تا Odaseva، Qualys و Societe Generale
پردازش stateful جریان داده؛ ByteDance، Tencent و Teamware آن را خواسته‌اند و برای Grid Dynamics امتیاز است
نسل اول ذخیره‌سازی و پردازش توزیع‌شده که هنوز در بعضی آگهی‌ها شرط است، مثل ITC Infotech، MetLife و Teamware
Streaming و دریافت داده
انتقال پیوستهٔ رویدادها؛ Qualys و Teamware آن را شرط کرده‌اند و Similarweb و ZipRecruiter در فهرست فناوری‌ها آورده‌اند
پردازش جریان با همان API های Spark؛ ITC Infotech و Teamware از Spark Streaming نام برده‌اند
سرویس جمع‌آوری و پردازش دادهٔ لحظه‌ای در AWS؛ Coforge آن را در فهرست سرویس‌های AWS آورده است
ذخیره‌سازی، Lakehouse و انبار داده
پلتفرم lakehouse مبتنی بر Spark؛ IQVIA، SoftServe، Odaseva و MetLife آن را خواسته‌اند و طبق ITJobsWatch در هر ۴ آگهی بریتانیایی Big Data Engineer آمده است
فرمت باز جدول برای data lake؛ Odaseva تخصص در Iceberg یا Delta Lake را شرط کرده و Grid Dynamics با Hive و Iceberg کار می‌کند
فرمت جدول lakehouse که Matei Zaharia از توسعه‌دهندگانش است؛ IQVIA و Odaseva آن را خواسته‌اند
انبار دادهٔ ابری؛ OpenX تخصص در آن را شامل تنظیم کارایی و پایش می‌خواهد و Deutsche Bank و SoftServe هم نامش را برده‌اند
Orchestration، ابر و زیرساخت
زمان‌بندی و اجرای pipeline ها؛ OpenX، Similarweb، Grid Dynamics، ITC Infotech و Deutsche Bank آن را خواسته‌اند
کلاستر مدیریت‌شدهٔ Spark و Hadoop در AWS؛ ITC Infotech، Synechron و Coforge روی آن کار می‌کنند
سرویس مدیریت‌شدهٔ Spark و Hadoop در Google Cloud؛ Deutsche Bank تجربهٔ عملی با آن را شرط کرده است
اجرای Spark و سرویس‌های داده در container؛ Grid Dynamics می‌خواهد بدانید Spark روی Kubernetes چطور کار می‌کند
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید
مهندس کلان‌داده / مهندس دادهٔ جونیور
۰ تا ۲ سال
ورود معمولاً از برنامه‌های فارغ‌التحصیلان یا نقش‌های کوچک‌تر pipeline است. ByteDance برای «Big Data Engineer Graduate» دانشجوی سال آخر یا فارغ‌التحصیل تازهٔ کارشناسی یا ارشد کامپیوتر می‌خواهد که به یکی از زبان‌های Java، Scala، Python یا Go مسلط باشد و با Hadoop، Flink یا Kafka کار عملی کرده باشد. دانشگاه ملی سنگاپور (NUS) برای Big Data Engineer مؤسسهٔ علوم سرطان دو سال تجربه یا بیشتر در مهندسی داده، توسعهٔ backend یا DevOps خواسته است.
مهندس کلان‌داده
۲ تا ۵ سال
~$153K
میانگین سالانه (آمریکا)
ساختن و نگهداری pipeline های Spark و بهبود زیرساخت کد و داده. Similarweb برای Big Data Engineer دست‌کم ۴ سال تجربهٔ توسعهٔ نرم‌افزار یا داده با Python، Java یا Scala می‌خواهد و Societe Generale ۳ تا ۵ سال تجربهٔ مهندسی کلان‌داده، ترجیحاً در بانک. ZipRecruiter برای «Software Engineer, Big Data» با دست‌کم ۲ سال تجربه بازهٔ حقوق پایهٔ ۱۳۰ تا ۱۷۵ هزار دلار در آمریکا اعلام کرده است.
مهندس ارشد کلان‌داده
۵+ سال
~$205K
میانگین سالانه (آمریکا)
طراحی سیستم‌های پردازش دادهٔ بزرگ، بهینه‌سازی کارایی و منتورینگ. Qualys دست‌کم ۵ سال تجربه و سابقهٔ طراحی pipeline توزیع‌شده با Spark و Kafka می‌خواهد، OpenX پنج سال Java یا Scala و سه سال توسعهٔ سیستم‌های کلان‌داده، و IQVIA در ورشو شش سال تجربه با بازهٔ حقوق پایهٔ سالانهٔ ۱۸۸٬۷۰۰ تا ۳۵۰٬۲۰۰ زلوتی. ZipRecruiter برای «Senior Software Engineer, Big Data» با ۵ سال تجربه یا بیشتر بازهٔ ۱۷۰ تا ۲۴۰ هزار دلار را اعلام کرده است.
Lead / Big Data Lead
۸ سال به بالا
رهبری فنی و رهبری افراد. MetLife برای Lead Big Data Engineer I دوازده تا چهارده سال تجربه یا بیشتر می‌خواهد و علاوه بر طراحی و برآورد مستقل راه‌حل، رهبری افراد را: مربیگری، رشد دادن و درگیر نگه داشتن اعضای تیم. ITC Infotech برای Senior Big Data Engineer ده تا شانزده سال تجربه می‌خواهد که دست‌کم هشت سالش در مهندسی داده یا کلان‌داده باشد، و Coforge در یک آگهی مشترک برای Big Data Engineer و Big Data Lead بازهٔ ۳ تا ۱۰ سال را آورده است.
چالش‌ها و جنبه‌های منفی
واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید
پیدا کردن آگهی با این عنوان
عمومیدر بریتانیا و آمریکا این عنوان تقریباً دیده نمی‌شود و همین کار با عنوان Data Engineer یا «Software Engineer, Big Data» آگهی می‌شود. اگر فقط با همین عنوان جستجو کنید، بیشتر فرصت‌ها را نمی‌بینید؛ رزومه و جستجوی شما باید هر دو عنوان را پوشش دهد.
کارایی Spark در مقیاس بزرگ
عمومیjob ای که روی نمونهٔ کوچک سریع است، روی دادهٔ کامل ممکن است کند شود یا از حافظه بیرون بزند. ITC Infotech به همین دلیل partitioning، caching، broadcast join، بهینه‌سازی shuffle و تنظیم حافظه و کلاستر را جزو مهارت‌های لازم آورده و Qualys debug و tune کردن job ها با رشد حجم داده را.
هزینهٔ محاسبه و ذخیره‌سازی
عمومیدر این مقیاس هر تصمیم طراحی هزینه دارد. Odaseva بهینه‌سازی مداوم کارایی، پایداری و هزینه را از وظایف اصلی آورده، Tencent بهینه‌سازی کارایی و هزینهٔ اجزای پلتفرم را و Synechron استفادهٔ بهینه از منابع AWS را.
مهاجرت سیستم‌های قدیمی
شرکت بزرگبخشی از کار نگهداری و جابه‌جا کردن سیستم‌های قدیمی است. Grid Dynamics ارتقای نسخهٔ Spark و مهاجرت به ابر را جزو وظایف آورده، Teamware مهاجرت داده بین محیط‌های داخلی و ابری را و ITC Infotech پروژه‌های مهاجرت به ابر را امتیاز می‌داند.
پشتیبانی پروداکشن
عمومیpipeline ها در پروداکشن خراب می‌شوند و رفعشان با شماست. Societe Generale پشتیبانی از اپلیکیشن‌ها و رفع مشکلات پروداکشن را می‌خواهد و ITC Infotech رفع مشکلات پروداکشن و بهبود پایداری پلتفرم را.
زبان و منطقهٔ زمانی
عمومیبیشتر آگهی‌های این عنوان در شرکت‌های بین‌المللی است. OpenX لهستانی، Odaseva فرانسوی و Tencent چینی را کنار انگلیسی شرط کرده‌اند و Grid Dynamics و Societe Generale کار با تیم‌هایی در منطقه‌های زمانی دیگر را.
حقوق و بازار کار جهانی
حقوق جهانی مهندس کلان‌داده
حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.
* ارقام سالانه‌اند. منبع هر رقم:
- Glassdoor US, 'Big Data Engineer', estimate updated Apr 2025, total pay (1,675 salaries): 25th–75th pct; median
- ZipRecruiter posting, 'Software Engineer, Big Data' (US remote; 2+ yrs required, 4+ preferred), Sep 2026: posted US base range; median = midpoint
- ZipRecruiter posting, 'Senior Software Engineer, Big Data' (US remote; 5+ yrs), open Oct 2026: posted US base range; median = midpoint
- Glassdoor Canada, 'Big Data Engineer', estimate updated Oct 2026, total pay (60 salaries): 25th–75th pct; median
- Glassdoor UK, 'Big Data Engineer', estimate updated Oct 2026, total pay (114 salaries): 25th–75th pct; median
- Glassdoor Germany, 'Big Data Engineer', estimate updated Feb 2026, total pay (83 salaries): 25th–75th pct; median
- Glassdoor France, 'Big Data Engineer', estimate updated Dec 2022, total pay (105 salaries): 25th–75th pct; median
- IQVIA posting, 'Senior Big Data Engineer' (Warsaw; 6 yrs data engineering), Sep 2026: posted annualized base range; median = midpoint
- Glassdoor Australia, 'Big Data Engineer', estimate updated Apr 2026, total pay (22 salaries): 25th–75th pct; median
- Glassdoor India, 'Big Data Engineer', estimate updated Oct 2024, total pay (947 salaries): 25th–75th pct; median
چگونه از صفر شروع کنیم
برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی
ماه ۱: Spark از پایه
PySpark، DataFrame و Spark SQL را روی Databricks Free Edition یاد بگیرید و یک dataset بزرگ عمومی را پردازش کنید.
ماه ۲: سیستم‌های توزیع‌شده و فرمت‌های ذخیره‌سازی
بفهمید داده چطور بین ماشین‌ها پخش می‌شود و چرا Parquet و partitioning مهم‌اند.
ماه ۳: تنظیم کارایی Spark
partitioning، caching، broadcast join و shuffle را روی پروژهٔ ماه اول امتحان کنید و نتیجه را بنویسید.
ماه ۴: Kafka و Structured Streaming
یک pipeline لحظه‌ای کوچک بسازید که رویدادها را از Kafka بخواند و تجمیع کند.
ماه ۵: Lakehouse و Airflow
خروجی‌ها را در جدول Iceberg یا Delta بنویسید و کل کار را با Airflow زمان‌بندی کنید.
ماه ۶: پورتفولیو و درخواست کار
پروژه‌ها را با README روشن مرتب کنید و هم با عنوان Big Data Engineer و هم با عنوان Data Engineer جستجو و درخواست بدهید.
پروژه‌های پیشنهادی برای رزومه
پردازش batch یک dataset بزرگ با PySpark
مبتدییک dataset عمومی بزرگ را روی Databricks Free Edition با PySpark پردازش کنید و خروجی را به‌صورت Parquet و partition شده بنویسید. زمان اجرا را با و بدون partitioning، و یک join را با و بدون broadcast مقایسه کنید و در README توضیح دهید در Spark UI چه دیدید. این همان تکنیک‌هایی است که ITC Infotech صریحاً می‌خواهد.
بازنویسی همان job به Scala همراه با تست
متوسطjob پروژهٔ قبل را با Scala بازنویسی کنید و برای تبدیل‌ها تست واحد بنویسید؛ کتابخانهٔ spark-testing-base برای همین کار ساخته شده است. نقش‌های بانکی مثل Societe Generale هم Spark و Scala می‌خواهند و هم روش‌هایی مثل TDD و clean code.
pipeline لحظه‌ای با Kafka و Spark Structured Streaming
متوسطرویدادهای ساختگی یک اپلیکیشن را به Kafka بفرستید، با Structured Streaming در پنجره‌های زمانی تجمیع کنید و نتیجه را در جدول Delta یا Parquet بنویسید. نشان دهید با رویداد تکراری و رویدادی که دیر می‌رسد چه می‌کنید و تأخیر pipeline را چطور پایش می‌کنید.
یک lakehouse کوچک با Iceberg یا Delta
پیشرفتهدادهٔ پروژه‌های قبل را در جدول‌های Iceberg یا Delta نگه دارید و schema evolution، خواندن نسخه‌های قبلی جدول (time travel) و فشرده‌سازی فایل‌های کوچک را امتحان کنید. Odaseva دقیقاً تخصص در ساختن، مدیریت و بهینه‌سازی همین جدول‌ها را می‌خواهد.
pipeline زمان‌بندی‌شده روی ابر با گزارش هزینه
پیشرفتهjob های Spark را با Airflow روی EMR یا Dataproc زمان‌بندی کنید، برایشان پایش و هشدار بگذارید و در README هزینهٔ هر اجرا و راه‌های کم کردنش را توضیح دهید. ITC Infotech پایش، هشدار و پایداری را از وظایف آورده و Odaseva و Deutsche Bank بهینه‌سازی هزینه را.
مثال‌های واقعی و Case Studies
داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند
طبق ویکی‌پدیا، در ۱۹۸۵ از دانشگاه استنفورد کارشناسی گرفت. پیش از Lucene در Xerox PARC روی فناوری جستجو کار کرد، در Excite از طراحان اصلی موتور جستجو بود و در Apple نویسندهٔ اصلی چارچوب جستجوی متن V-Twin.
با Mike Cafarella پروژه‌های متن‌باز Lucene و Nutch را بنیان گذاشت و پس از انتشار مقالهٔ MapReduce گوگل در دسامبر ۲۰۰۴، با او چارچوب متن‌باز Hadoop را ساخت. در Yahoo! پروژهٔ Hadoop را تمام‌وقت رهبری کرد و بعد به Cloudera رفت. در ۲۰۱۰ رئیس هیئت‌مدیرهٔ Apache Software Foundation شد و در ۲۰۱۵ جایزهٔ O'Reilly Open Source را گرفت.
Hadoop از دل یک مسئلهٔ عملی بیرون آمد: گسترش جستجو به داده‌هایی که در یک ماشین جا نمی‌شد. به نظر می‌رسد ابزارهای پایه‌ای این رشته از تلاش برای حل یک مشکل واقعی مقیاس ساخته شده‌اند، نه از تعریف یک عنوان شغلی.
طبق ویکی‌پدیا، دانشمند کامپیوتر رومانیایی‑کانادایی است که در دانشگاه واترلو درس خواند و در ۲۰۰۵ با تیمش در مسابقات برنامه‌نویسی ICPC مدال طلا گرفت. در ۲۰۰۹، در AMPLab دانشگاه برکلی، Spark را به‌عنوان جایگزینی سریع‌تر برای MapReduce ساخت.
در ۲۰۱۳ از هم‌بنیان‌گذاران Databricks بود و طبق ویکی‌پدیا تا اکتبر ۲۰۲۶ مدیر ارشد فناوری آن است؛ پروژه‌های متن‌باز Delta Lake و MLflow را هم توسعه داده است. برای پژوهش دکترایش دربارهٔ محاسبات در مقیاس بزرگ جایزهٔ ACM Doctoral Dissertation Award ۲۰۱۴ و در ۲۰۲۵ جایزهٔ ACM Prize in Computing را گرفت. از ۲۰۲۳ دانشیار دانشگاه برکلی است.
Spark با این ایده ساخته شد که پردازش توزیع‌شده می‌تواند سریع‌تر و ساده‌تر از MapReduce باشد. برای مهندس کلان‌داده، فهم همین تفاوت‌های طراحی احتمالاً از حفظ کردن API ها ماندگارتر است.
طبق رزومهٔ خودش، بیشتر سال‌های ۲۰۱۴ تا ۲۰۲۵ را روی Apache Spark کار کرده است: در Databricks، در مرکز فناوری Spark شرکت IBM، به‌عنوان Developer Advocate کلان‌دادهٔ متن‌باز در Google، به‌عنوان سرپرست فنی Spark در Apple و به‌عنوان مهندس نرم‌افزار Spark در Netflix (۲۰۲۱ تا ۲۰۲۵).
committer و عضو PMC پروژهٔ Apache Spark است و از نویسندگان کتاب‌های Learning Spark و High Performance Spark از O'Reilly. به گفتهٔ رزومه‌اش، در Netflix پروژهٔ Spark-Upgrade را برای خودکار کردن مهاجرت‌های Spark رهبری کرد و برای کاربران کلان‌داده مطالب آموزشی ساخت. طبق ویکی‌پدیا، کتابخانهٔ spark-testing-base را هم ساخته و نگهداری می‌کند. اکنون هم‌بنیان‌گذار Fight Health Insurance است، ابزاری مبتنی بر AI برای اعتراض به رد درخواست‌های بیمهٔ درمان.
مسیر او نشان می‌دهد که می‌شود یک کارنامهٔ کامل را روی عمق در یک فناوری ساخت و آن را از شرکتی به شرکت دیگر برد. کتابخانهٔ تستش هم یادآوری است که کد Spark هم مثل هر کد دیگری به تست نیاز دارد.
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
Big Data Engineer
تحلیل نیازمندی‌ها
Holds a BSc degree in Computer Science\Engineering or a related technical field of study.
مدرک کارشناسی فنی شرط است، اما رشته محدود به کامپیوتر نیست. اگر از رشتهٔ مهندسی دیگری می‌آیید، باید با پروژه نشان دهید که برنامه‌نویسی و مبانی کامپیوتر را بلدید.
ضروریHas at least 4 years of software or data engineering development experience in one or more of the following programming languages: Python, Java, or Scala.
چهار سال تجربهٔ توسعه، چه در مهندسی نرم‌افزار و چه در مهندسی داده. یعنی سابقهٔ backend هم حساب می‌شود؛ مهم این است که با یکی از این سه زبان کد پروداکشن نوشته باشید.
ضروریHas strong programming skills and knowledge of Data Structures, Design Patterns and Object Oriented Programming.
این شرکت مهندس نرم‌افزار داده‌محور می‌خواهد، نه کسی که فقط SQL می‌نویسد. احتمالاً در مصاحبه سؤال ساختار داده و طراحی کد هم هست.
ضروریHas good understanding and experience of CI/CD practices and Git.
کد pipeline هم مثل کد محصول از مسیر بازبینی، تست خودکار و استقرار خودکار می‌گذرد. کار با Git و یک ابزار CI را در پروژه‌هایتان نشان دهید.
ضروریExcellent communication skills with the ability to provide constant dialog between and within data teams.
شما بین مهندسان داده، دانشمندان داده و تحلیل‌گران کار می‌کنید و باید بتوانید نیاز آن‌ها را بفهمید و محدودیت‌های فنی را برایشان توضیح دهید.
مهمCan easily prioritize tasks and work independently and with others.
در تیم تحقیقات داده کارها همیشه از قبل تعریف‌شده نیستند؛ باید بتوانید خودتان تصمیم بگیرید کدام کار اول انجام شود.
مهمConveys a strong sense of ownership over the products of the team.
خروجی این تیم دادهٔ مشتری است. مالکیت یعنی اگر داده اشتباه یا دیر رسید، شما پیگیر رفعش باشید، نه اینکه منتظر گزارش دیگران بمانید.
مهمIs comfortable working in a fast-paced dynamic environment.
اولویت‌ها ممکن است زود عوض شوند و فناوری‌های تازه امتحان شوند؛ برای کسی که ساختار ثابت می‌خواهد مناسب نیست.
مفیدHas experience with containerization technologies like Docker and Kubernetes.
در بخش «امتیاز» آمده است. اجرای job ها و سرویس‌ها در container در پلتفرم‌های دادهٔ امروزی رایج است و Kubernetes در فهرست فناوری‌های کلان‌دادهٔ همین آگهی هم هست.
مفیدExperience in designing and productization of complex big data pipelines.
امتیاز است، اما قلب کار همین است: بردن یک pipeline از ایده و نمونهٔ اولیه تا سیستمی پایدار در پروداکشن. یک پروژهٔ پورتفولیو که این مسیر کامل را نشان دهد ارزش زیادی دارد.
مهمFamiliar with a cloud provider (AWS / Azure / GCP).
یکی از سه ابر کافی است. EMR که در فهرست فناوری‌های آگهی آمده سرویس AWS است، پس آشنایی با AWS اینجا مزیت دارد.
مفیدExperience with Big Data technologies and common frameworks such as Spark, Airflow, Kafka, Parquet, Databricks, EMR, Kubernetes.
این فهرست تقریباً همان پشتهٔ استاندارد این شغل است: Spark برای پردازش، Kafka برای جریان داده، Parquet برای ذخیره‌سازی، Airflow برای زمان‌بندی و Databricks یا EMR برای اجرا روی ابر.
مهمتحلیل مسئولیت‌ها
Design and implement complex high scale systems using a large variety of technologies.
طراحی هم بخشی از کار است، نه فقط پیاده‌سازی. باید بتوانید برای یک مسئله بین چند فناوری انتخاب کنید و انتخابتان را توضیح دهید.
You will work in a data research team alongside other data engineers, data scientists and data analysts. Together you will tackle complex data challenges and bring new solutions and algorithms to production.
شما کسی هستید که الگوریتم دانشمند داده را از notebook به سیستم پروداکشن می‌برد. فهم پایه‌ای از کار دانشمند داده این همکاری را راحت‌تر می‌کند.
Contribute and improve the existing infrastructure of code and data pipelines, constantly exploring new technologies and eliminating bottlenecks.
بخش زیادی از کار بهبود سیستم موجود است: پیدا کردن جایی که pipeline کند است و رفع آن، نه فقط ساختن چیز تازه.
You will experiment with various technologies in the domain of Machine Learning and big data processing.
مرز کلان‌داده و یادگیری ماشین در این تیم باز است؛ آشنایی با چرخهٔ کار مدل‌ها برای شما مزیت است.
You will work on a monitoring infrastructure for our data pipelines to ensure smooth and reliable data ingestion and calculation.
پایش جزو شغل است. باید بتوانید هشدار درست تعریف کنید تا خرابی دریافت یا محاسبهٔ داده پیش از رسیدن به مشتری دیده شود.
نتیجه‌گیری کلی
این آگهی عنوان دقیق Big Data Engineer را دارد و نشان می‌دهد این عنوان در عمل چه می‌خواهد: یک مهندس نرم‌افزار با چهار سال تجربه در Python، Java یا Scala که ساختار داده، design pattern و CI/CD را بلد است و با پشتهٔ Spark، Kafka، Parquet، Airflow و Databricks یا EMR کار کرده است. تفاوتش با یک آگهی معمولی Data Engineer بیشتر در تأکید بر سیستم‌های پرمقیاس، کار کنار دانشمندان داده و آزمایش با یادگیری ماشین است. آگهی بازهٔ حقوق ندارد.
آینده و روندها
پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید
BLS آمریکا پیش‌بینی می‌کند اشتغال در گروه Database Architects از ۲۰۲۵ تا ۲۰۳۵، ۹٪ رشد کند (از ۶۹٬۵۰۰ به ۷۶٬۰۰۰ شغل)، در برابر ۳٪ برای کل مشاغل. BLS گروه جداگانه‌ای برای Big Data Engineer یا Data Engineer ندارد؛ نزدیک‌ترین گروه‌های O*NET به جستجوی «big data engineer» Data Warehousing Specialists و Database Architects هستند و O*NET عنوان Data Engineer را از نمونه‌عنوان‌های Database Architects می‌داند.
منبع: BLS Occupational Outlook Handbook, projections 2025–35
مهارت‌های نوظهور که باید یاد بگیرید
پیش‌بینی‌های آینده
Robert Half در راهنمای حقوق ۲۰۲۶ بریتانیا می‌نویسد متخصصانی با مهارت‌هایی مثل مهندسی داده و AI همچنان کمیاب‌اند و بسیاری از کارفرمایان برای جذب آن‌ها مجبورند بالاتر از نرخ بازار حقوق پیشنهاد دهند.
در گزارش Future of Jobs 2025 مجمع جهانی اقتصاد (WEF)، کارفرمایان شرکت‌کننده در نظرسنجی «Big Data Specialists» را در رتبهٔ اول و «Data Warehousing Specialists» را در رتبهٔ ششم سریع‌ترین شغل‌های در حال رشد از ۲۰۲۵ تا ۲۰۳۰ (از نظر درصد رشد) قرار داده‌اند.
BLS پیش‌بینی می‌کند اشتغال Database Architects، گروهی که O*NET عنوان Data Engineer را در آن آورده، از ۲۰۲۵ تا ۲۰۳۵، ۹٪ رشد کند و دلیلش را پذیرش AI در سازمان‌ها برای پردازش داده و نیاز رو به رشد به زیرساخت دادهٔ باکیفیت می‌داند.
ریسک اول خود عنوان است: Big Data Engineer در بریتانیا و آمریکا تقریباً از آگهی‌ها حذف شده و ITJobsWatch در شش ماه منتهی به ۲۲ اکتبر ۲۰۲۶ فقط ۴ آگهی با این عنوان در بریتانیا دیده است، در برابر ۵۲ آگهی در همین بازهٔ ۲۰۲۴. اگر به بازارهای آمریکا یا بریتانیا فکر می‌کنید، خودتان را Data Engineer با تخصص Spark معرفی کنید. ریسک دوم ماندن روی ابزارهای قدیمی است: طبق ITJobsWatch، آگهی‌های بریتانیایی که Hadoop را خواسته‌اند در همین دو سال از ۱۵۳ به ۶۲ رسیده‌اند، در حالی که Apache Spark در همین شش ماه در ۲۷۶ آگهی آمده است. ارزش بیشتر در Spark، ابر، فرمت‌های lakehouse و توانایی کم کردن هزینه است.
منابع
اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۴۹ منبع بررسی شده است.
- Big Data Engineer — Similarweb, Tel Aviv (job posting)
- Senior Big Data Engineer IV — OpenX, Krakow (job posting)
- Big Data Engineer — Odaseva, Paris (job posting)
- Big Data Engineer, Web3 — OKX, Singapore (job posting)
- Big Data Engineer — Societe Generale, Warsaw (job posting)
- Senior Big Data Engineer — Qualys, Pune (job posting)
- Senior Big Data Engineer — IQVIA, Warsaw (job posting)
- Lead Big Data Engineer I — MetLife, Pune (job posting)
- Senior Big Data Engineer (AWS | PySpark | EMR) — ITC Infotech, Bengaluru (job posting)
- BigData-Hadoop/Scala Engineer, AVP — Deutsche Bank, Pune (job posting)
- Big Data Engineer Graduate - 2027 Start — ByteDance, Singapore (job posting)
- Big Data Engineer (Cancer Science Institute) — National University of Singapore (job posting)
- Senior Big Data Engineer — Grid Dynamics, Poland (job posting)
- Senior Big Data Engineer — Teamware Solutions, Dubai (job posting)
- Big Data Development Senior Engineer — Tencent, Singapore (job posting)
- Senior Software Engineer, Ads Infra - Big Data — TikTok USDS, Los Angeles (job posting)
- Senior Software Engineer - Big Data & Java — PointClickCare, Mississauga (job posting)
- Software Engineer, Big Data — ZipRecruiter (job posting)
- Senior Software Engineer, Big Data — ZipRecruiter (job posting)
- Glassdoor — Big Data Engineer salary, United States
- Glassdoor — Big Data Engineer salary, Canada
- Glassdoor — Big Data Engineer salary, United Kingdom
- Glassdoor — Big Data Engineer Gehalt, Deutschland
- Glassdoor — Big Data Engineer salary, France
- Glassdoor — Big Data Engineer salary, Australia
- Glassdoor — Big Data Engineer salary, India
- PayScale — Big Data Engineer salary, United States (not used in the table)
- ITJobsWatch — Big Data Engineer (UK)
- ITJobsWatch — Data Engineer (UK)
- ITJobsWatch — Big Data (UK skill demand and salaries)
- ITJobsWatch — Hadoop (UK)
- ITJobsWatch — Apache Spark (UK)
- BLS Occupational Outlook Handbook — Database Administrators and Architects
- O*NET OnLine — occupations matching “big data engineer”
- O*NET OnLine — 15-1243.00 Database Architects
- World Economic Forum — The Future of Jobs Report 2025 (PDF)
- Robert Half — 2026 Salary Guide, United Kingdom (PDF)
- Maxime Beauchemin — The Rise of the Data Engineer (freeCodeCamp, 2017)
- Wikipedia — Big data
- Wikipedia — Apache Hadoop
- Wikipedia — Apache Spark
- Wikipedia — Apache Kafka
- Wikipedia — Doug Cutting
- Wikipedia — Matei Zaharia
- Holden Karau — Resume (personal site)
- Wikipedia — Holden Karau
- Apache Spark — SQL Performance Tuning
- Apache Hadoop — HDFS Architecture
- Data Engineering Zoomcamp — DataTalksClub (GitHub)