مهندس پلتفرم داده
Data Platform Engineer
مهندس پلتفرم داده زیرساخت مشترکی را می‌سازد و اداره می‌کند که بقیهٔ سازمان روی آن با داده کار می‌کنند: سیستم‌هایی که داده را از دیتابیس‌ها و سرویس‌های عملیاتی به data lake یا انبار داده می‌برند، موتورهای پردازش مثل Spark و Kafka، catalog و lineage، کنترل دسترسی، پایش کیفیت، و ابزارهای self-service که تیم‌های دیگر با آن‌ها pipeline خودشان را می‌سازند. مشتری‌های این نقش تیم‌های داخلی‌اند: مهندسان داده، تحلیل‌گران، دانشمندان داده و تیم‌های ML و AI. آگهی‌های ۲۰۲۶ این کار را بیشتر یک تخصص مهندسی نرم‌افزار می‌دانند تا کار تحلیلی، و در بسیاری از آن‌ها پشتیبانی از ML و محصولات مبتنی بر AI هم به وظایف اضافه شده است.
مقدمه و تعریف شغل
مهندس پلتفرم داده (Data Platform Engineer) سیستم‌هایی را می‌سازد و اداره می‌کند که بقیهٔ سازمان با آن‌ها داده را جابه‌جا، پردازش، پیدا و استفاده می‌کنند. Samsara این نقش را «یک تخصص مهندسی نرم‌افزار متمرکز بر زیرساخت داده» توصیف می‌کند: سیستم‌های replication از دیتابیس‌های پروداکشن به lakehouse، زیرساخت Spark و Databricks، سرویس‌های متادیتا و orchestration و کتابخانه‌های داخلی داده. Figma کار را ساختن «پلتفرم مشترک داده» و «ابزارهای self-service و مسیرهای روشن» برای تیم‌هایی می‌داند که pipeline خودشان را می‌سازند. تفاوت اصلی با مهندس داده همین است: مهندس داده بیشتر pipeline و مدل داده می‌سازد و مهندس پلتفرم داده زیرساخت و ابزاری که آن کارها روی آن انجام می‌شود.
ایدهٔ «پلتفرم داده» به‌عنوان محصولی برای تیم‌های دیگر در بحث data mesh صورت‌بندی روشنی پیدا کرد. Zhamak Dehghani در مقاله‌ای که دسامبر ۲۰۲۰ در سایت Martin Fowler منتشر کرد، یکی از چهار اصل data mesh را «زیرساخت دادهٔ self-serve به‌عنوان پلتفرم» نامید: پلتفرمی که پیچیدگی تأمین و مدیریت زیرساخت را پنهان کند تا تیم‌های دامنه بتوانند داده‌شان را خودشان اداره کنند. لایهٔ ذخیره‌سازی هم در این سال‌ها عوض شد: طبق اعلامیهٔ Databricks در ۲۰۲۴، Delta Lake و Iceberg (که در Netflix ساخته شد) به دو استاندارد اصلی متن‌باز برای lakehouse تبدیل شده‌اند. در آگهی‌های ۲۰۲۶ که برای این صفحه بررسی شد عنوان شغل یکدست نیست: شرکت‌های کوچک‌تر بیشتر «Data Platform Engineer» نوشته‌اند و شرکت‌های بزرگ «Software Engineer, Data Platform» با پیشوند سطح. خواسته‌های تازه هم مربوط به AI است: Figma پلتفرمی می‌خواهد که محصولات مبتنی بر AI را پشتیبانی کند، Ramp تجربهٔ feature store را امتیاز می‌داند و Ellipsis Health زیرساخت عملیات مدل‌های زبانی بزرگ را از وظایف آورده است.
چه چیزی می‌سازید؟
مثال‌های واقعی از خروجی کار یک مهندس پلتفرم داده
پلتفرم مشترک داده
Figma از مهندس پلتفرم داده می‌خواهد پلتفرمی را بسازد و تکامل دهد که تحلیل، علم داده و توسعهٔ محصولات داده‌محور روی آن کار می‌کنند، و توسعهٔ داده را با بهتر کردن محیط محلی، تست، CI/CD و استقرار سریع‌تر کند.
Replication و ingestion از سیستم‌های عملیاتی
Samsara سیستم‌هایی می‌خواهد که داده را از RDS، DynamoDB، API های داخلی و سیستم‌های رویدادمحور به lakehouse منتقل کنند و برای پتابایت‌ها داده کار کنند.
ابزار و چارچوب self-service
Coinbase SDK هایی می‌خواهد که سرویس‌های داخلی با آن‌ها به پلتفرم داده وصل شوند، و اپلیکیشن‌هایی که کاربران با آن‌ها pipeline خودشان را مدیریت، پایش و عیب‌یابی کنند. Chime چارچوب‌های self-serve برای ETL/ELT در batch و streaming.
Lakehouse و لایهٔ ذخیره‌سازی
Samsara روی Delta Lake در S3، catalog و سرویس‌های متادیتا کار می‌کند و Twilio برای سطح Staff تجربهٔ عملی با قالب‌های Hudi، Iceberg یا Delta را خواسته است.
Governance، lineage و کنترل دسترسی
Chime از مهندس ارشد می‌خواهد lineage، schema registry و کنترل دسترسی را در همهٔ دامنه‌ها طراحی و اجرا کند تا الزامات SOX و حفاظت از داده‌های شخصی رعایت شود. Coinbase کنترل دسترسی، ردیابی کیفیت، catalog و audit استفاده از داده را.
زیرساخت داده برای ML و AI
Ramp پلتفرم تحلیل و پلتفرم ML را با هم می‌سازد و تجربهٔ feature store را امتیاز می‌داند. Ellipsis Health زیرساختی برای آموزش، fine-tuning و inference مدل‌های زبانی بزرگ و پایش آن‌ها می‌خواهد.
تخصص‌های مختلف مهندس پلتفرم داده
این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد
Lakehouse و لایهٔ ذخیره‌سازی
Lakehouse & Storage
قالب‌های جدول، catalog و متادیتا و چیدمان داده روی object storage. Samsara روی Delta Lake در S3 کار می‌کند و تجربه با Iceberg یا Hudi را هم می‌پذیرد؛ Twilio تجربهٔ عملی با Hudi، Iceberg یا Delta را شرط کرده است.
Streaming و دادهٔ لحظه‌ای
Streaming & Real-Time Data
انتقال و پردازش پیوستهٔ رویدادها. Vercel پلتفرمی برای جابه‌جایی و پردازش لحظه‌ای داده با Kafka و تحلیل کم‌تأخیر با ClickHouse و Tinybird می‌خواهد؛ Okta مهندسانی برای ساخت و بهینه‌سازی زیرساخت streaming؛ Chime دست‌کم یک فناوری streaming از میان Kafka، Flink یا Kinesis.
Ingestion، replication و CDC
Ingestion, Replication & CDC
رساندن دادهٔ سیستم‌های عملیاتی به پلتفرم تحلیلی. Samsara replication از RDS و DynamoDB به lakehouse را هستهٔ کار می‌داند، Brex هم replication و CDC را در وظایف و مهارت‌هایش آورده و Ellipsis Health از Debezium نام برده است.
Governance، امنیت و observability داده
Governance, Security & Observability
کنترل دسترسی، lineage، catalog، audit و پایش کیفیت و تازگی داده؛ به‌ویژه در صنایع تحت مقررات. Chime الزامات SOX و داده‌های شخصی را نام برده، Ellipsis Health HIPAA و SOC-2 را و SentiLink طراحی چارچوب observability داده برای استانداردهای سخت‌گیرانهٔ کیفیت و تازگی را.
پلتفرم داده برای ML و AI
ML & AI Data Platform
زیرساختی که تیم‌های ML و AI روی آن کار می‌کنند. نقش پلتفرم دادهٔ Ramp به‌طور خاص روی پلتفرم‌هایی تمرکز دارد که چرخهٔ توسعهٔ مدل‌های ML را پشتیبانی می‌کنند و تجربهٔ feature store را امتیاز می‌داند؛ Figma پلتفرمی برای «سیستم‌های AI در سطح پروداکشن» می‌خواهد؛ Ellipsis Health زیرساخت آموزش و inference مدل‌های زبانی بزرگ و vector database ها را در شرایط ترجیحی آورده است.
تفاوت با شغل‌های مشابه
کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟
مهندس داده pipeline ها و مدل‌های داده را می‌سازد و نگه می‌دارد تا جدول‌های قابل اعتماد به دست تحلیل‌گران و تیم‌های محصول برسد. مهندس پلتفرم داده زیرساخت و ابزاری را می‌سازد که آن pipeline ها روی آن اجرا می‌شوند. Samsara مرز را صریح می‌کشد: نقش پلتفرم داده‌اش «مهندسی دادهٔ تحلیلی یا کسب‌وکاری نیست» و اگر تجربهٔ اصلی‌تان مدل‌سازی SQL، داشبورد BI، ابزارهای ETL یا ساختن data mart است، احتمالاً مناسب این نقش نیستید. در شرکت‌های کوچک‌تر مرز نرم‌تر است: SentiLink و Ellipsis Health ساختن pipeline های ETL/ELT را هم از مهندس پلتفرم داده می‌خواهند و SentiLink سابقه در مهندسی داده را می‌پذیرد.
مهندس آنالیتیکس داده‌ای را که به انبار داده رسیده، معمولاً با SQL و dbt، به مدل‌ها و متریک‌های قابل استفاده تبدیل می‌کند. مهندس پلتفرم داده زیرساخت زیر همین کار را فراهم می‌کند: انبار داده، orchestrator، CI/CD و پایش. Figma کار پلتفرم را سریع‌تر و ساده‌تر کردن «توسعهٔ داده» با بهتر کردن محیط محلی، تست، CI/CD، staging و استقرار توصیف می‌کند، یعنی همان چرخه‌ای که مهندس آنالیتیکس هر روز در آن کار می‌کند. Chime تجربه با dbt را از مهندس پلتفرم هم می‌خواهد، پس شناخت کار مهندس آنالیتیکس به کار می‌آید.
معمار داده تعیین می‌کند دادهٔ سازمان چه شکل و چه استانداردی داشته باشد: مدل دادهٔ سازمانی، تعریف‌های واحد و استانداردهای کیفیت، امنیت و مالکیت. مهندس پلتفرم داده سیستم‌هایی را می‌سازد و اداره می‌کند که این استانداردها را عملی می‌کنند. Chime از مهندس ارشد پلتفرم داده می‌خواهد lineage، schema registry و کنترل دسترسی را در همهٔ دامنه‌ها طراحی و اجرا کند. در سطح Staff دو نقش به هم نزدیک می‌شوند: Vercel از مهندس پلتفرم داده انتخاب معماری و فناوری داده را می‌خواهد و هم‌زمان می‌نویسد او باید کد پروداکشن بنویسد.
مهندس DevOps و پلتفرم زیرساخت و مسیر تحویل عمومی نرم‌افزار را می‌سازد: CI/CD، Terraform، Kubernetes و پایش. مهندس پلتفرم داده همین ابزارها را برای سیستم‌های داده به کار می‌برد؛ SentiLink ساختن سرویس‌های دادهٔ کانتینری روی Kubernetes و دانش کاری Infrastructure-as-Code را شرط کرده است. تفاوت در تخصص داده است: Spark، Kafka، lakehouse، کیفیت و lineage داده. Dehghani در مقالهٔ data mesh می‌نویسد پلتفرم داده را می‌توان امتداد پلتفرم تحویلی دانست که سرویس‌ها را اجرا و پایش می‌کند، اما فناوری زیر آن امروز بسیار متفاوت است؛ مثلاً سرویس‌ها به‌صورت کانتینر روی Kubernetes اجرا می‌شوند و pipeline داده به‌صورت job های Spark روی یک کلاستر Databricks.
تأثیر در صنایع مختلف
مهندس پلتفرم داده در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری
فین‌تک و پرداخت
Chime پلتفرم داده‌ای می‌خواهد که الزامات SOX و حفاظت از داده‌های شخصی را رعایت کند؛ Brex تیم Data Enablement Platform دارد تا داده‌ای که از سرویس‌ها و سیستم‌های متعدد می‌آید به محصول برسد؛ Ramp پلتفرم تحلیل و ML را برای applied scientist ها و مهندسان ریسک می‌سازد.
رمزارز و بازارهای مالی
Coinbase پلتفرم داده‌ای می‌سازد که همهٔ دادهٔ داخلی و شخص ثالث را متمرکز کند، با کنترل دسترسی در لایه‌های مختلف ذخیره‌سازی، catalog، lineage و audit استفاده.
IoT و عملیات فیزیکی
Samsara زیرساختی برای ingestion، پردازش، catalog و دسترسی به پتابایت‌ها دادهٔ IoT می‌خواهد که تحلیل، AI، محصول و عملیات روی آن کار کنند.
نرم‌افزار طراحی و همکاری
Figma پلتفرم داده را پایهٔ «نسل بعدی محصولات مبتنی بر AI» خود می‌داند؛ از تحلیل self-serve تا سیستم‌های AI در سطح پروداکشن.
زیرساخت ابری و ابزار توسعه‌دهندگان
Vercel پلتفرم داده‌ای با یکپارچه‌سازی batch و real-time می‌خواهد که روی Kafka، ClickHouse، Tinybird و Snowflake تحلیل کم‌تأخیر بدهد و از کارهای ML هم پشتیبانی کند.
امنیت و هویت دیجیتال
تیم پلتفرم دادهٔ Okta تحلیل streaming، گزارش‌گیری تعاملی برای کاربران، پلتفرم داده و ML و telemetry محصولات را ممکن می‌کند؛ SentiLink پلتفرمی برای ساختن دقیق‌ترین dataset هویت‌ها در تشخیص تقلب.
سلامت و AI درمانی
Ellipsis Health پلتفرم داده‌ای می‌خواهد که HIPAA و SOC-2 را رعایت کند و هم‌زمان زیرساخت آموزش، fine-tuning و inference مدل‌های زبانی بزرگ را فراهم کند.
ارتباطات ابری
Twilio برای سطح Staff کسی می‌خواهد که سیستم‌های داده، ذخیره‌سازی و چارچوب‌های پردازش را در مقیاس طراحی کند و کیفیت، یکپارچگی و امنیت داده را در کل چرخهٔ عمرش تضمین کند.
تصورات غلط رایج
قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید
مهندس پلتفرم داده همان مهندس داده با عنوان تازه است
هم‌پوشانی زیاد است، اما تمرکز فرق دارد. Samsara صریحاً می‌نویسد نقش پلتفرم داده‌اش مهندسی دادهٔ تحلیلی یا کسب‌وکاری نیست و کسی را می‌خواهد که پلتفرم داده و سیستم توزیع‌شده در پروداکشن ساخته و اداره کرده باشد. Chime هم سابقه را «نه فقط نوشتن pipeline، بلکه مالکیت پایداری، کارایی و هزینهٔ آن‌ها در مقیاس» تعریف می‌کند.
با SQL و dbt می‌شود وارد این نقش شد
SQL لازم است اما کافی نیست. تقریباً همهٔ آگهی‌های بررسی‌شده یک زبان برنامه‌نویسی پروداکشن می‌خواهند: Python، Go، Java، Kotlin یا Scala. Coinbase پنج سال سابقهٔ مهندسی نرم‌افزار backend می‌خواهد و Okta تسلط به یک زبان backend و راحتی با چند زبان دیگر.
باید همهٔ ابزارهای این حوزه را بلد باشید
آگهی‌ها پر از «such as» و «or similar» هستند: Chime یکی از Snowflake، BigQuery یا Redshift را می‌خواهد و یکی از Airflow، Dagster یا Prefect. Lendable کنار فهرست ابزارهایش نوشته تجربه با آن‌ها «مفید است اما ضروری نیست». آنچه ثابت می‌ماند مفاهیم است: سیستم توزیع‌شده، مدل داده، قابلیت اطمینان و ساختن ابزار برای دیگران.
AI این نقش را بی‌مصرف می‌کند
در آگهی‌های ۲۰۲۶ AI بیشتر به کار این نقش اضافه کرده است: Figma پلتفرم داده را پایهٔ محصولات مبتنی بر AI می‌داند، Ramp feature store و پلتفرم ML می‌خواهد و Ellipsis Health زیرساخت مدل‌های زبانی بزرگ. استفاده از ابزارهای AI هم انتظار می‌رود، اما با نظارت: Coinbase می‌نویسد «از AI مولد مسئولانه و با نظارت انسانی استفاده کند». BLS هم رشد Database Architects را به پذیرش AI در سازمان‌ها و نیاز به زیرساخت دادهٔ باکیفیت ربط می‌دهد.
Streaming همیشه بهتر از batch است
آگهی‌ها هر دو را می‌خواهند و انتخاب را مهارت می‌دانند. Chime از مهندس ارشد دست‌کم یک فناوری streaming می‌خواهد با این توضیح که «بدانید کِی batch کافی نیست»؛ یعنی batch پیش‌فرض است و streaming برای جایی که لازم است. Figma هم پشتیبانی از الگوهای batch، micro-batch، reverse ETL و تحویل به محصول را کنار هم آورده است.
یک روز کاری واقعی
در هر سطح روز کاری چه شکلی است؟
جونیور (۰–۲ سال)
عنوان «مهندس پلتفرم دادهٔ جونیور» در آگهی‌ها کم است و بیشتر آگهی‌های بررسی‌شده دست‌کم سه سال سابقه می‌خواهند. در این سال‌ها معمولاً به‌عنوان مهندس داده، backend یا DevOps کار می‌کنید یا در تیم پلتفرم کنار افراد ارشد؛ Lendable برای Data Platform Engineer خود نوشته کنار اعضای ارشد تیم روی مسائل پیچیده کار می‌کنید و مالکیت بخش‌هایی از مسئله با خود شماست.
- ◆بررسی job های شکست‌خورده در orchestrator و پیدا کردن علت
- ◆نوشتن تست و CI برای یک pipeline یا کتابخانهٔ داخلی
- ◆اضافه کردن یک منبع دادهٔ تازه با الگوی استاندارد تیم
- ◆یادگیری Terraform و شیوهٔ استقرار تیم با تغییرهای کوچک
- ◆مستند کردن نحوهٔ استفاده از یک ابزار پلتفرم برای تیم‌های دیگر
میانی (۲–۵ سال)
مالک بخشی از پلتفرم هستید و در چرخهٔ on-call شرکت می‌کنید. Brex برای Software Engineer II وظایف را ساختن، بهبود و نگهداری انبار داده، streaming، replication، orchestration، observability و دسترسی‌ها، همراه با شرکت در on-call و بهبود مداوم کارایی عملیاتی آورده است.
- ◆طراحی و پیاده‌سازی یک بخش پلتفرم، مثلاً replication یک دیتابیس به lakehouse
- ◆رسیدگی به هشدار on-call و نوشتن گزارش پس از incident
- ◆بهینه‌سازی یک job کند Spark یا یک کوئری پرهزینه
- ◆جلسه با تیم علم داده یا محصول برای فهمیدن نیاز تازه‌شان
- ◆بازبینی کد هم‌تیمی‌ها
ارشد و Staff (۵+ سال)
تصمیم‌های بزرگ‌تر با شماست: نقشهٔ راه فنی، build در برابر buy، الگوهای یکپارچه‌سازی و استانداردهایی که تیم‌های دیگر به کار می‌برند. Chime از مهندس ارشد design doc، تصمیم‌گیری بین گزینه‌ها و منتورینگ مهندسان جونیور و میانی را می‌خواهد و Figma رهبری پروژه‌های مبهم میان‌تیمی و تعیین مرز مالکیت بین تیم‌های داده، زیرساخت، علم داده، امنیت و محصول را.
- ◆نوشتن design doc برای یک بخش تازهٔ پلتفرم و جمع کردن نظر تیم‌ها
- ◆ارزیابی یک ابزار تجاری در برابر ساختن نسخهٔ داخلی
- ◆تعریف data contract و الگوی پشتیبانی‌شده با تیم‌های تولیدکنندهٔ داده
- ◆منتورینگ و بازبینی طراحی مهندسان دیگر
- ◆بررسی هزینه و کارایی پلتفرم و اولویت‌بندی کارهای بعدی
مسئولیت‌ها و وظایف
مسئولیت‌های اصلی
وظایف روزانه و مهارت‌های مورد نیاز در این شغل
- ◈ساختن و تکامل پلتفرم مشترک داده که تحلیل، علم داده و محصولات داده‌محور روی آن کار می‌کنند
- ◈طراحی و اداره کردن سیستم‌های ingestion و replication از دیتابیس‌ها، API ها و رویدادهای سیستم‌های عملیاتی به data lake یا lakehouse
- ◈ساختن ابزار، SDK و چارچوب self-service تا تیم‌های دیگر pipeline خودشان را بسازند، مستقر کنند و پایش کنند
- ◈اداره کردن انبار داده، data lake، orchestration، پردازش batch و streaming در مقیاس بزرگ
- ◈پیاده‌سازی کنترل دسترسی، catalog، lineage، data contract و پایش کیفیت و تازگی داده
- ◈فراهم کردن زیرساخت داده برای کارهای ML و AI، از feature store تا مسیر داده برای آموزش و استقرار مدل
- ◈شرکت در on-call و رسیدگی به incident های پلتفرم داده
- ◈همکاری با تیم‌های مهندسی محصول، علم داده، تحلیل، امنیت و انطباق برای تبدیل درخواست‌ها به الگوهای قابل استفادهٔ مجدد
- ◈نوشتن design doc، بازبینی طراحی و کد، و منتورینگ مهندسان کم‌تجربه‌تر
مهارت‌های مورد نیاز
مهارت‌های فنی، نرم و حوزه‌ای که یک مهندس پلتفرم داده موفق به آن‌ها نیاز دارد
مهندسی نرم‌افزار و زیرساخت
نوشتن سرویس، کتابخانه و ابزار قابل نگهداری؛ Samsara، Coinbase و Figma همه آن را شرط کرده‌اند
طراحی سیستم پایدار و مقیاس‌پذیر و نوشتن design doc؛ Chime آن را صریحاً خواسته است
کوئری کارا و شناخت دیتابیس‌های رابطه‌ای، ستونی و NoSQL؛ SentiLink و Ellipsis Health بر آن تأکید دارند
اداره کردن سرویس‌هایی مثل S3، RDS، DynamoDB و Kinesis در پروداکشن؛ Samsara و Ramp آن را خواسته‌اند
تعریف و تغییر زیرساخت با کد؛ در آگهی‌های Chime، Lendable، Samsara و SentiLink آمده است
اجرای سرویس‌های داده در کانتینر؛ SentiLink آن را شرط کرده و Samsara امتیاز می‌داند
خودکارسازی تست و استقرار برای کد داده؛ Figma و Ellipsis Health آن را خواسته‌اند
سیستم‌های داده
پردازش توزیع‌شدهٔ داده و بهینه‌سازی job ها؛ Samsara تجربهٔ قوی با آن یا سیستم مشابه را شرط کرده است
انتقال و پردازش رویدادها؛ Chime دست‌کم یک فناوری streaming می‌خواهد و Brex تجربه با Kafka
Snowflake، BigQuery، Redshift یا Databricks؛ تقریباً همهٔ آگهی‌ها یکی را نام برده‌اند
Delta Lake، Iceberg یا Hudi؛ Twilio آن را شرط کرده و Samsara امتیاز می‌داند
Airflow، Dagster یا Prefect؛ Ramp و Chime آن را شرط کرده‌اند
انتقال دادهٔ دیتابیس‌های OLTP به lakehouse؛ Samsara و Brex آن را خواسته‌اند
feature store، پشتیبانی از workflow های ML و زیرساخت مدل‌های زبانی؛ Ramp، Figma و Ellipsis Health آن را امتیاز می‌دانند
عملیات، governance و همکاری
پایش تازگی، تست کیفیت در سطح ردیف، تشخیص تغییر schema و داشبورد SLA؛ فهرستی که Chime آورده است
کنترل دسترسی، catalog، lineage و audit؛ Coinbase و Chime آن را خواسته‌اند
Chime، SentiLink و Brex شرکت در on-call را بخشی از کار می‌دانند
تبدیل درخواست تیم‌های محصول، علم داده و امنیت به الگوهای قابل استفادهٔ مجدد؛ در همهٔ آگهی‌ها آمده است
بازبینی کد و طراحی و رشد دادن مهندسان دیگر؛ Okta، Chime و Twilio آن را خواسته‌اند
ارزیابی ابزار تجاری در برابر ساختن داخلی؛ Chime، Vercel و Lendable آن را آورده‌اند
نقشه راه و مسیر آموزشی
نقشه راه تبدیل شدن به مهندس پلتفرم داده
این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.
پایهٔ مهندسی نرم‌افزار: یک زبان پروداکشن، لینوکس، Git و SQL
آگهی‌های این نقش پیش از هر ابزار داده‌ای، مهندسی نرم‌افزار می‌خواهند. Samsara تسلط به دست‌کم یک زبان پروداکشن مثل Go، Python، Scala یا Java را شرط کرده، Figma «مهارت قوی مهندسی نرم‌افزار (Python یا مشابه)» و Coinbase پنج سال سابقهٔ backend. یک زبان را عمیق یاد بگیرید (Python رایج‌ترین است و Go در Samsara، SentiLink و Coinbase آمده)، کار با خط فرمان لینوکس و Git را جدی بگیرید و SQL را در حد نوشتن کوئری کارا بلد باشید؛ Ellipsis Health نوشتن SQL پیشرفته و بهینه‌سازی کارایی را خواسته است.
انبار داده، Lakehouse و مدل‌سازی داده
مهندس پلتفرم باید بداند داده کجا و با چه قالبی ذخیره می‌شود. Chime تجربهٔ عملی با یک انبار دادهٔ ابری (Snowflake، BigQuery یا Redshift) و dbt را می‌خواهد و Samsara کار با Databricks، Delta Lake یا فناوری‌های مشابه lakehouse مثل Iceberg یا Hudi را امتیاز می‌داند. Iceberg طبق سایت خودش قالبی برای جدول‌های تحلیلی بسیار بزرگ است که به موتورهایی مثل Spark، Trino و Flink اجازه می‌دهد هم‌زمان و بی‌خطر روی یک جدول کار کنند. Databricks Free Edition، که جای Community Edition را گرفته، برای تمرین کافی است.
پردازش توزیع‌شده، streaming و CDC
هستهٔ فنی این نقش سیستم‌های توزیع‌شده است. Samsara «تجربهٔ قوی با Apache Spark یا سیستم‌های مشابه» را شرط کرده و Twilio برای سطح Staff تسلط به Hadoop، Spark و Kafka را. Chime دست‌کم یک فناوری streaming (Kafka، Flink یا Kinesis) می‌خواهد و می‌نویسد باید بدانید «کِی batch کافی نیست». انتقال تغییرات دیتابیس‌های عملیاتی به lakehouse هم بخش رایجی از کار است: Brex CDC را در فهرست مهارت‌های موردنظرش آورده و Ellipsis Health از Debezium نام برده، ابزاری متن‌باز که هر insert، update و delete دیتابیس را لحظهٔ commit به Kafka می‌فرستد.
زیرساخت به‌صورت کد، کانتینر، ابر و CI/CD
پلتفرم داده خودش نرم‌افزاری است که باید با کد ساخته، تست و مستقر شود. Chime و Lendable از Terraform نام برده‌اند، SentiLink ساختن سرویس‌های دادهٔ کانتینری روی Kubernetes را شرط کرده و Samsara تجربهٔ اداره کردن زیرساخت پروداکشن در AWS (S3، RDS، DynamoDB و مانند آن) را. Figma هم بهتر کردن محیط توسعهٔ محلی، تست، CI/CD، staging و استقرار برای کار داده را از وظایف اصلی آورده است.
ساختن پلتفرم: orchestration، catalog و lineage، کیفیت داده و داده برای ML و AI
در این فاز از «ساختن pipeline» به «ساختن چیزی که دیگران pipeline شان را روی آن می‌سازند» می‌رسید. Coinbase از مهندس پلتفرم داده SDK برای تیم‌های محصول و اپلیکیشن‌های self-service برای مدیریت و رفع خطای pipeline ها می‌خواهد؛ Chime چارچوب‌های self-serve برای ETL/ELT، data contract، schema registry و lineage. برای سمت ML و AI، Ramp ساختن feature store را امتیاز می‌داند؛ Feast یک feature store متن‌باز است که مستنداتش آموزش RAG هم دارد. مقالهٔ Zhamak Dehghani دربارهٔ data mesh منطق «پلتفرم دادهٔ self-serve» را توضیح می‌دهد.
ابزارها و استک فنی
ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت
انبار داده، Lakehouse و قالب جدول
پلتفرم داده مبتنی بر Spark؛ Samsara پلتفرم پردازش داده‌اش را روی Spark و Databricks ساخته و Ellipsis Health انبار داده‌اش را با Databricks، dbt و Spark
قالب متن‌باز جدول برای داده‌های تحلیلی بسیار بزرگ که چند موتور پردازش می‌توانند هم‌زمان روی آن کار کنند؛ Twilio تجربهٔ عملی با Hudi، Iceberg یا Delta را خواسته است
پردازش، Streaming و CDC
موتور پردازش توزیع‌شدهٔ داده؛ در آگهی‌های Samsara، Coinbase، Twilio، SentiLink و Ellipsis Health آمده است
پردازش stateful روی جریان داده؛ Chime آن را یکی از گزینه‌های streaming آورده و Brex و Okta هم نامش را برده‌اند
Orchestration و Transformation
زمان‌بندی و اجرای pipeline ها؛ Coinbase آن را بخشی از سرویس‌های پایهٔ پلتفرم داده‌اش آورده و Chime، Samsara، Ramp و Brex هم نامش را برده‌اند
پلتفرم orchestration برای ساخت، زمان‌بندی و پایش pipeline ها؛ Chime، Samsara و Ramp آن را کنار Airflow آورده‌اند
چارچوب تبدیل داده با SQL؛ Chime تجربهٔ dbt را در شرایط آورده و Lendable و Ellipsis Health با آن کار می‌کنند
زیرساخت، Governance و داده برای ML
تعریف زیرساخت ابری با کد؛ در آگهی‌های Chime، Lendable، Samsara، Ramp و Ellipsis Health آمده است
اجرای خودکار و مقیاس‌پذیر اپلیکیشن‌های کانتینری؛ SentiLink ساختن سرویس‌های داده روی آن را شرط کرده و Lendable و Ellipsis Health با آن کار می‌کنند
catalog و پلتفرم متادیتای داده؛ Samsara آن را کنار Unity Catalog، Hive Metastore و Amundsen نمونهٔ ابزار catalog و کشف داده آورده است
لایهٔ مدیریت و governance داده و دسترسی‌ها؛ در فهرست ابزارهای catalog آگهی Samsara آمده است
مسیر پیشرفت شغلی
از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید
مهندس داده، backend یا DevOps (پیش از ورود)
۰ تا ۳ سال
آگهی جونیور با عنوان مهندس پلتفرم داده کم دیده می‌شود. آگهی‌ها سابقه را از چند مسیر می‌پذیرند: SentiLink «مهندسی نرم‌افزار، مهندسی داده یا حوزهٔ مرتبط»، Figma «پلتفرم داده، زیرساخت توسعه‌دهنده یا سیستم‌های توزیع‌شده» و Brex «مهندسی backend یا full-stack». این سال‌ها را صرف ساختن و اداره کردن سیستم واقعی در پروداکشن کنید.
مهندس پلتفرم داده
۳ تا ۵ سال
ساختن و نگهداری بخش‌هایی از پلتفرم: انبار داده، streaming، replication، orchestration، observability و دسترسی‌ها، همراه با شرکت در on-call. Brex برای Software Engineer II در تیم Data Enablement Platform سه سال سابقه یا بیشتر در نقش زیرساخت یا پلتفرم داده می‌خواهد و بازهٔ حقوق را ۱۵۲ تا ۱۹۰ هزار دلار اعلام کرده است.
مهندس ارشد پلتفرم داده
۵+ سال
مالکیت سیستم‌های اصلی پلتفرم، نوشتن design doc، تصمیم build در برابر buy، تعیین استانداردهایی که تیم‌های دیگر به کار می‌برند و منتورینگ. Chime، SentiLink و Coinbase برای عنوان‌های Senior پنج سال سابقه یا بیشتر می‌خواهند و Figma هم برای Data Platform Engineer؛ بازهٔ حقوق پایهٔ آگهی Chime ۱۸۷ تا ۲۵۹ هزار دلار است.
Staff / Principal
۸+ سال
تعیین چشم‌انداز فنی و نقشهٔ راه پلتفرم داده، انتخاب معماری و فناوری، رهبری فنی و منتورینگ تیم، در حالی که هنوز کد پروداکشن می‌نویسید. Twilio برای Staff Software Engineer در پلتفرم داده هشت سال سابقه یا بیشتر می‌خواهد و Vercel برای نقش Staff خود هشت سال سابقه که دست‌کم پنج سالش در سطح Principal باشد.
چالش‌ها و جنبه‌های منفی
واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید
مشتری‌های زیاد با نیازهای متفاوت
عمومیکاربران پلتفرم تیم‌های داخلی‌اند و هر کدام چیز دیگری می‌خواهند. Figma از مهندس پلتفرم داده می‌خواهد با تیم‌های مهندسی داده، زیرساخت داده، علم داده، پژوهش، پلتفرم مدل، امنیت و مهندسی محصول مرز مالکیت و الگوهای پشتیبانی‌شده را تعریف کند. بخش بزرگی از کار گفت‌وگو و اولویت‌بندی است، نه فقط کد.
On-call و فشار incident
عمومیوقتی پلتفرم داده از کار بیفتد، کار چند تیم می‌خوابد. Chime شرکت در on-call را الزامی کرده و نوشته ممکن است خارج از ساعت کاری به incident پاسخ دهید، «با فوریتی که از زیرساخت پشت محصولات مالی انتظار می‌رود». SentiLink و Brex هم on-call را جزو کار آورده‌اند.
مقررات و حفاظت از داده
شرکت بزرگدر صنایع تحت مقررات، governance اختیاری نیست. Chime الزامات SOX و حفاظت از داده‌های شخصی را نام برده و نوشته در این محیط‌ها governance، کنترل دسترسی و audit trail «غیرقابل مذاکره» است؛ Ellipsis Health رعایت HIPAA و SOC-2 و ارزیابی راه‌حل‌های ناشناس‌سازی داده را می‌خواهد.
هزینه و کارایی در مقیاس
عمومیپلتفرم داده در ابر هزینهٔ مستقیم دارد و با رشد داده بزرگ‌تر می‌شود. Chime سابقه را «مالکیت پایداری، کارایی و هزینه در مقیاس» تعریف می‌کند و Ellipsis Health بهینه‌سازی ذخیره‌سازی، دسترسی و پردازش داده برای هزینه و کارایی در GCP و AWS را از وظایف می‌داند.
ناسازگاری فناوری‌ها و تغییر مداوم
عمومیابزارهای این حوزه سریع عوض می‌شوند و همیشه با هم سازگار نیستند. طبق اعلامیهٔ Databricks در ۲۰۲۴، Delta Lake و Iceberg با وجود اهداف و طراحی مشابه، به‌دلیل توسعهٔ جداگانه ناسازگار شدند و سازگار کردنشان «سفری طولانی» است که احتمالاً چند سال طول می‌کشد. انتخابی که امروز می‌کنید روی کار سال‌ها بعد اثر دارد.
ورود دشوار بدون سابقه
عمومیاین نقش معمولاً اولین شغل کسی نیست. Brex برای سطح II سه سال سابقه در زیرساخت یا پلتفرم داده می‌خواهد، Samsara چهار سال، و Figma، Chime و SentiLink پنج سال یا بیشتر. مسیر واقع‌بینانه شروع از مهندسی داده، backend یا DevOps و حرکت تدریجی به سمت کار پلتفرم است.
حقوق و بازار کار جهانی
حقوق جهانی مهندس پلتفرم داده
حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.
* ارقام سالانه‌اند. منبع هر رقم:
- Glassdoor US, estimate updated Apr 2025 (160 salaries), total pay: 25th–75th pct; median
- Brex posting, Software Engineer II, Data Enablement Platform (San Francisco, 3+ yrs), Jun 2026: posted salary range; median = midpoint
- Chime posting, Senior Software Engineer, Data Platform (San Francisco, 5+ yrs), Oct 2026: posted wage range; median = midpoint
- Okta posting, Senior Software Engineer, Data Platform (Toronto), Oct 2026: posted base range; median = midpoint
- Glassdoor UK, estimate updated Oct 2026 (32 salaries), total pay: 25th–75th pct; median
- Glassdoor NL, estimate updated Apr 2022 (12 salaries), total pay: 25th–75th pct; median
- Glassdoor India, estimate updated Apr 2023 (30 salaries), total pay: 25th–75th pct; median
چگونه از صفر شروع کنیم
برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی
ماه ۱: Spark در عمق
اگر تا حالا فقط SQL و dbt کار کرده‌اید، Spark را روی Databricks Free Edition یاد بگیرید: partitioning، shuffle و اینکه چرا یک job کند می‌شود.
ماه ۲: Kafka و CDC
مفاهیم Kafka را یاد بگیرید و یک PostgreSQL را با Debezium به Kafka وصل کنید.
ماه ۳: Lakehouse
تغییرات رسیده از Kafka را در جدول‌های Iceberg یا Delta Lake اعمال کنید و schema evolution را تمرین کنید.
ماه ۴: Terraform، Docker و Kubernetes
کل زیرساخت پروژه را با Terraform و Docker تعریف کنید و یک سرویس را روی Kubernetes اجرا کنید.
ماه ۵: ابزار self-service و کیفیت داده
یک قالب یا CLI بسازید که pipeline تازه با تست و CI تولید کند و پایش تازگی و کیفیت داده را به آن اضافه کنید.
ماه ۶: پورتفولیو و درخواست
دو پروژهٔ کامل با README دقیق دربارهٔ تصمیم‌های طراحی منتشر کنید. داخل شرکت فعلی هم داوطلب کارهای پلتفرمی شوید، مثل ابزار مشترک یا on-call تیم داده.
پروژه‌های پیشنهادی برای رزومه
Lakehouse کوچک با Iceberg یا Delta Lake
متوسطیک dataset عمومی را با Spark در جدول‌های Iceberg یا Delta Lake ذخیره کنید، روی آن update و delete و تغییر schema انجام دهید و نشان دهید دو موتور مختلف (مثلاً Spark و Trino یا DuckDB) همان جدول را می‌خوانند. کل زیرساخت را با Docker Compose یا Terraform تعریف کنید تا با یک فرمان بالا بیاید.
Replication از دیتابیس عملیاتی با CDC
پیشرفتهیک PostgreSQL با داده‌ای که مدام تغییر می‌کند بسازید، تغییراتش را با Debezium به Kafka بفرستید و در یک جدول lakehouse یا انبار داده اعمال کنید. شبیه همان کاری است که Samsara برای انتقال داده از RDS و DynamoDB به lakehouse انجام می‌دهد. در README توضیح دهید با رکوردی که دیر یا تکراری می‌رسد چه می‌کنید.
قالب self-service برای ساختن pipeline
متوسطیک ابزار خط فرمان یا قالب بسازید که با یک فرمان، pipeline تازه با ساختار استاندارد، تست، CI در GitHub Actions و زمان‌بندی در Airflow یا Dagster تولید کند. هدف همان چیزی است که Figma «ابزارهای self-service و مسیرهای روشن» برای تیم‌هایی می‌نامد که pipeline خودشان را می‌سازند.
Observability و کیفیت داده
متوسطبرای چند جدول، پایش تازگی داده (freshness)، تست کیفیت در سطح ردیف، تشخیص تغییر schema و یک داشبورد SLA بسازید و برای هر خطا هشدار بفرستید. این دقیقاً فهرستی است که Chime در شرایط آگهی Senior آورده است.
Feature store برای یک مدل ML
پیشرفتهبا Feast چند feature از یک dataset عمومی تعریف کنید، آن‌ها را برای آموزش مدل (offline) و برای پیش‌بینی لحظه‌ای (online) سرو کنید و نشان دهید هر دو مسیر یک مقدار برمی‌گردانند. Ramp تجربهٔ ساختن feature store را برای مهندس پلتفرم داده امتیاز می‌داند.
مثال‌های واقعی و Case Studies
داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند
طبق معرفی‌اش در مقاله‌ای که در سایت Martin Fowler منتشر کرد، مدیر فناوری‌های نوظهور Thoughtworks در آمریکای شمالی بود با تمرکز بر معماری سیستم‌های توزیع‌شده، و عضو هیئت مشورتی فناوری Thoughtworks.
در همین مقاله (دسامبر ۲۰۲۰) چهار اصل data mesh را شرح داد که یکی از آن‌ها «زیرساخت دادهٔ self-serve به‌عنوان پلتفرم» است: پلتفرمی که ابزار ساختن، نگهداری و اجرای محصولات داده را با دانش تخصصی کمتر در اختیار تیم‌های دامنه بگذارد. طبق همان صفحه، بعدها کتاب کاملی دربارهٔ data mesh نوشت.
Dehghani پلتفرم داده را محصولی برای تیم‌های دیگر می‌بیند، نه فقط مجموعه‌ای از سیستم‌ها. به نظر می‌رسد مهندس پلتفرم داده‌ای که کاربرانش را مثل مشتری ببیند و کار را برای آن‌ها ساده کند، ارزش بیشتری می‌سازد.
طبق معرفی‌اش در کنفرانس QCon سان‌فرانسیسکو ۲۰۲۱، پیش از تأسیس Confluent معمار ارشد زیرساخت داده در LinkedIn بود.
طبق همان معرفی، از نویسندگان اولیهٔ چند پروژهٔ متن‌باز است: Project Voldemort (یک key-value store)، Apache Kafka (سیستم پیام‌رسانی توزیع‌شده) و Apache Samza (سیستم پردازش stream). در زمان آن کنفرانس مدیرعامل Confluent بود، شرکتی که پشتیبان Kafka است.
Kreps پیش از راه‌اندازی شرکت، معمار زیرساخت داده بود و Kafka، که از نویسندگان اولیه‌اش است، امروز در آگهی‌های پلتفرم داده از Coinbase تا Vercel دیده می‌شود. به نظر می‌رسد کار عمیق روی زیرساخت داده، به‌خصوص وقتی متن‌باز شود، می‌تواند به ابزاری برسد که فراتر از یک شرکت به کار می‌آید.
طبق اعلامیهٔ Databricks در ژوئن ۲۰۲۴، او و Daniel Weeks پروژهٔ Iceberg را در Netflix توسعه دادند و آن را به بنیاد نرم‌افزار Apache سپردند. Blue از بنیان‌گذاران و مدیرعامل Tabular بود، شرکتی که هر سه بنیان‌گذارش پیش‌تر در Netflix کار می‌کردند، و ریاست PMC پروژهٔ Iceberg را هم بر عهده داشت.
Apache Iceberg امروز طبق همین اعلامیه یکی از دو استاندارد اصلی متن‌باز برای قالب lakehouse است. Databricks در ۲۰۲۴ اعلام کرد Tabular را می‌خرد. Blue در همان اعلامیه گفت Iceberg را برای حل مشکلات اساسی داده در درستی، کارایی و مقیاس‌پذیری ساختند.
Iceberg از مشکلی عملی در لایهٔ ذخیره‌سازی یک شرکت بزرگ شروع شد. به نظر می‌رسد کار روی لایه‌های پایه‌ای پلتفرم داده، که کمتر دیده می‌شوند، می‌تواند اثری بسیار فراتر از یک تیم داشته باشد.
نمونه آگهی استخدام واقعی + تحلیل
یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش
Data Platform Engineer
تحلیل نیازمندی‌ها
5+ years of experience building and operating production data platforms, developer infrastructure, or distributed systems
پنج سال سابقه، اما از سه مسیر: پلتفرم داده، زیرساخت توسعه‌دهنده یا سیستم‌های توزیع‌شده. یعنی مهندس DevOps یا backend که سیستم توزیع‌شده در پروداکشن اداره کرده هم در دایرهٔ این آگهی است. کلمهٔ «operating» مهم است: ساختن کافی نیست، باید سیستم را در پروداکشن نگه داشته باشید.
ضروریStrong software engineering skills (Python or similar), with experience designing reliable and scalable systems
این آگهی مهندس نرم‌افزار می‌خواهد، نه اسکریپت‌نویس. کدی که می‌نویسید باید ساختار، تست و طراحی مناسب برای مقیاس داشته باشد. Python مثال است و زبان مشابه هم پذیرفته می‌شود.
ضروریExperience improving developer workflows such as local development, testing, CI/CD, orchestration, or deployment
مشتری شما توسعه‌دهندگان داده‌اند. باید نشان دهید کار آن‌ها را سریع‌تر کرده‌اید: محیط توسعهٔ محلی، تست خودکار، CI/CD یا مسیر استقرار. یک پروژهٔ پورتفولیو که pipeline تازه را با یک فرمان و همراه با تست و CI بسازد، دقیقاً همین را نشان می‌دهد.
ضروریExperience with modern data infrastructure, such as cloud data warehouses, transformation frameworks, workflow orchestrators, infrastructure as code, and observability tools
پنج دسته ابزار، بدون نام بردن از محصول خاص: انبار دادهٔ ابری (مثل Snowflake یا BigQuery)، چارچوب تبدیل (مثل dbt)، orchestrator (مثل Airflow یا Dagster)، زیرساخت به‌صورت کد (مثل Terraform) و ابزار observability. شناخت دسته‌ها مهم‌تر از یک برند است.
ضروریA track record of owning shared systems end to end, leading ambiguous cross-functional projects, and communicating effectively with Data Science, Infrastructure, and Product Engineering partners
سیستم «مشترک» یعنی سیستمی که چند تیم به آن وابسته‌اند. باید سابقهٔ مالکیت کامل چنین سیستمی و رهبری پروژه‌هایی را داشته باشید که تعریف روشنی نداشتند و چند تیم در آن‌ها درگیر بودند. این بخش در مصاحبه معمولاً با مثال‌های رفتاری سنجیده می‌شود.
ضروریExperience supporting ML or research data workflows
شرط نیست، امتیاز است. نشان می‌دهد پلتفرم داده در Figma برای تیم‌های ML و پژوهش هم کار می‌کند؛ آگهی در معرفی نقش هم از «سیستم‌های AI در سطح پروداکشن» نام برده است.
مفیدتحلیل مسئولیت‌ها
Build and evolve the shared data platform that powers analytics, Data Science, and data-driven product development at Figma
کار اصلی ساختن پلتفرمی است که سه گروه روی آن کار می‌کنند: تحلیل، علم داده و توسعهٔ محصول. «evolve» یعنی پلتفرم ثابت نمی‌ماند و با نیاز تازه باید تغییر کند.
Make data development faster and easier by improving local development, testing, CI/CD, staging, and deployment workflows
شبیه کار مهندس پلتفرم در نرم‌افزار، اما برای کد داده: اینکه یک مهندس داده بتواند مدلش را روی کامپیوتر خودش تست کند، در staging ببیند و با اطمینان مستقر کند.
Create self-service tools and clear paths for teams to build, deploy, and operate reliable data pipelines
هستهٔ مفهوم پلتفرم: به‌جای اینکه هر pipeline را خودتان بسازید، ابزار و مسیری می‌سازید که تیم‌ها خودشان pipeline قابل اعتماد بسازند و اداره کنند.
Improve the reliability of critical data systems through better monitoring, data quality, incident response, upgrades, and performance management
بخش عملیاتی کار: پایش، کیفیت داده، رسیدگی به incident، ارتقای نسخه‌ها و مدیریت کارایی. این‌ها کارهای کم‌جلوه‌ای‌اند که پایداری سیستم به آن‌ها بستگی دارد.
Make trusted data easier to find and use by establishing clear definitions, ownership, lineage, and reliability expectations
داده‌ای که پیدا نشود یا معلوم نباشد از کجا آمده، استفاده نمی‌شود. تعریف روشن، مالک مشخص، lineage و انتظار مشخص از پایداری، داده را قابل اعتماد می‌کند؛ این همان کاری است که ابزارهای catalog و lineage انجام می‌دهند.
Partner across Data Engineering, Data Infrastructure, Data Science, Research, Modeling Platform, Security, and Product Engineering to define ownership boundaries and supported patterns for batch, micro-batch, reverse ETL, and product-facing delivery
هفت تیم در این جمله نام برده شده‌اند. باید با همه کار کنید تا معلوم شود چه کسی مالک چیست و پلتفرم کدام الگوها را رسماً پشتیبانی می‌کند: batch، micro-batch، reverse ETL (برگرداندن داده از انبار به ابزارهای عملیاتی) و تحویل داده به خود محصول.
نتیجه‌گیری کلی
این آگهی تصویر روشنی از مهندس پلتفرم داده می‌دهد: مشتری‌های شما تیم‌های داخلی‌اند و کارتان ساختن پلتفرم مشترک، ابزار self-service و مسیر توسعه و استقرار برای کار داده است. شرایط بیشتر مهندسی نرم‌افزار و زیرساخت است تا SQL و تحلیل، و هیچ ابزار خاصی شرط نشده؛ دسته‌های ابزار مهم‌اند. AI هم در آن دیده می‌شود: نقش برای ساختن پایهٔ «نسل بعدی محصولات مبتنی بر AI» تعریف شده و تجربه با workflow های ML امتیاز است. بازهٔ حقوق پایهٔ اعلام‌شده ۱۵۳ تا ۳۷۶ هزار دلار است؛ Figma می‌نویسد سطح شغلی و حقوق در جریان مصاحبه تعیین می‌شود.
آینده و روندها
پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید
BLS آمریکا پیش‌بینی می‌کند اشتغال در گروه Database Architects از ۲۰۲۵ تا ۲۰۳۵، ۹٪ رشد کند (از ۶۹٬۵۰۰ به ۷۶٬۰۰۰ شغل). BLS گروه جداگانه‌ای برای Data Platform Engineer یا Data Engineer ندارد؛ O*NET عنوان Data Engineer را از نمونه‌عنوان‌های همین گروه می‌داند و نزدیک‌ترین گروه رسمی همین است.
منبع: BLS Occupational Outlook Handbook, projections 2025–35
مهارت‌های نوظهور که باید یاد بگیرید
پیش‌بینی‌های آینده
در گزارش Future of Jobs 2025 مجمع جهانی اقتصاد (WEF)، کارفرمایان شرکت‌کننده در نظرسنجی «Big Data Specialists» را در رتبهٔ اول و «Data Warehousing Specialists» را در رتبهٔ ششم سریع‌ترین شغل‌های در حال رشد از ۲۰۲۵ تا ۲۰۳۰ (از نظر درصد رشد خالص) قرار داده‌اند.
BLS پیش‌بینی می‌کند اشتغال Database Architects، گروهی که O*NET عنوان Data Engineer را در آن آورده، از ۲۰۲۵ تا ۲۰۳۵، ۹٪ رشد کند و دلیلش را پذیرش AI در سازمان‌ها برای پردازش داده و نیاز رو به رشد به زیرساخت دادهٔ باکیفیت می‌داند.
ورود به این نقش بدون سابقه دشوار است: بیشتر آگهی‌های بررسی‌شده سه تا پنج سال یا بیشتر سابقه در زیرساخت، پلتفرم داده یا مهندسی نرم‌افزار می‌خواهند و آگهی جونیور با این عنوان کم دیده می‌شود. لایهٔ فناوری هم پایدار نیست؛ طبق اعلامیهٔ Databricks، دو قالب اصلی lakehouse به‌دلیل توسعهٔ جداگانه ناسازگار شدند و سازگاری کامل‌شان احتمالاً چند سال طول می‌کشد. ابزارهای AI وارد کار شده‌اند، اما با شرط نظارت: Coinbase استفادهٔ «مسئولانه و با نظارت انسانی» از AI مولد را در شرایط آورده است. نمونهٔ هشداردهنده گروه مدیران پایگاه داده است: BLS برای آن‌ها از ۲۰۲۵ تا ۲۰۳۵ رشدی پیش‌بینی نمی‌کند، چون با رفتن شرکت‌ها به ابر، مدیران کمتری می‌توانند به شرکت‌های بیشتری خدمت کنند. ارزش این نقش در ساختن و اداره کردن سیستم‌هاست، نه در کار دستی تکراری روی آن‌ها.
منابع
اطلاعات این صفحه در تاریخ ۳۰ مهر ۱۴۰۵ از این ۳۲ منبع بررسی شده است.
- Data Platform Engineer — Figma (job posting)
- Software Engineer - Data Platform — Samsara, Remote US (job posting)
- Software Engineer - Data Platform — Samsara, Remote Canada (job posting)
- Senior Software Engineer, Data Platform — Chime (job posting)
- Senior Software Engineer - Data Platform — Coinbase (job posting)
- Senior Software Engineer, Data Platform — Okta, Toronto (job posting)
- Software Engineer II, Data Enablement Platform — Brex (job posting)
- Software Engineer - Data Platform — Vercel (job posting)
- Staff Software Engineer (L4) Data Platform — Twilio (job posting)
- Senior Data Platform Engineer — SentiLink (job posting)
- Senior Data Platform Engineer — Ellipsis Health (job posting)
- Data Platform Engineer — Lendable, London (job posting)
- Software Engineer, Data Platform — Ramp (job posting)
- Brex SE II, Data Enablement Platform — archived copy (salary)
- Chime Senior SE, Data Platform — archived copy (salary)
- Okta Senior SE, Data Platform — archived copy (salary)
- Glassdoor — Data Platform Engineer salary, United States
- Glassdoor — Data Platform Engineer salary, United Kingdom
- Glassdoor — Salaris Data Platform Engineer, Nederland
- Glassdoor — Data Platform Engineer salary, India
- BLS Occupational Outlook Handbook — Database Administrators and Architects
- O*NET OnLine — 15-1243.00 Database Architects
- World Economic Forum — The Future of Jobs Report 2025 (PDF)
- Zhamak Dehghani — Data Mesh Principles and Logical Architecture (martinfowler.com, 2020)
- Thoughtworks — Zhamak Dehghani (profile)
- QCon San Francisco 2021 — Jay Kreps (speaker bio)
- Databricks — Agrees to Acquire Tabular, founded by the original creators of Apache Iceberg (2024)
- Apache Iceberg — project home
- Delta Lake — project home
- Feast — The Open Source Feature Store
- Debezium — change data capture
- OpenLineage — project home