🔄

توسعه‌دهنده ETL

ETL Developer

توسعه‌دهنده ETL داده را از سیستم‌های عملیاتی یک سازمان بیرون می‌کشد، پاک و یکپارچه می‌کند و در انبار داده بارگذاری می‌کند تا گزارش‌ها و تحلیل‌ها روی دادهٔ درست و به‌موقع کار کنند. بیشتر آگهی‌هایی که با این عنوان دیدیم مال شرکت‌های خدمات IT، بانک‌ها، سازمان‌های دولتی، بیمه و بیمارستان‌ها بود و ابزارهای تجاری مثل Informatica، SSIS و DataStage را می‌خواستند. کار با مهندسی داده هم‌پوشانی زیادی دارد و بخش بزرگی از آن نگهداری و پشتیبانی بارگذاری‌های شبانه است.

SQL / PL-SQLInformatica PowerCenter / IDMCSSISDimensional ModelingData WarehousingUnix Shell

مقدمه و تعریف شغل

توسعه‌دهندهٔ ETL (ETL Developer) فرایندهایی می‌سازد و نگه می‌دارد که داده را از منبع بیرون می‌کشند (Extract)، تغییر می‌دهند (Transform) و در مقصد بارگذاری می‌کنند (Load). مقصد معمولاً انبار دادهٔ سازمان (enterprise data warehouse) و data mart های آن است. Kimball Group این سه حرف را چنین توضیح می‌دهد: داده را از محل اصلی‌اش بیرون می‌آورید، کاری رویش انجام می‌دهید و آن را در جدول‌هایی بارگذاری می‌کنید که کاربران کسب‌وکار از آن‌ها کوئری می‌گیرند. در آگهی ایالت کلرادو، این نقش داده را با Informatica از Operational Data Store و منابع بیرونی به انبار داده می‌برد و برای گزارش‌دهی فدرال فایل می‌سازد. O*NET نزدیک‌ترین گروه رسمی را Data Warehousing Specialists می‌داند و نگاشت داده بین سیستم‌های منبع، انبار داده و data mart ها را از وظایف آن می‌شمارد.

این عنوان از دوران انبار دادهٔ سازمانی آمده و هنوز استخدام دارد، اما بیشتر بیرون از شرکت‌های نرم‌افزاری. در بردهای استخدام ۴۷۸ شرکت روی Greenhouse، Lever و Ashby (۵۲٬۸۸۹ آگهی باز در اکتبر ۲۰۲۶) ۳۳۳ آگهی عنوان Data Engineer داشتند و فقط یکی عنوان ETL Developer، آن هم در Accenture Federal Services، پیمانکار دولت آمریکا. در نمونهٔ ما از LinkedIn آمریکا، از ۷۳ آگهی با ETL یا نام یک ابزار ETL در عنوان، ۴۵ مورد مال شرکت‌های خدمات IT، مشاوره و تأمین نیرو بود، ۱۰ مورد سازمان‌های دولتی و پیمانکارانشان، ۸ مورد بانک و خدمات مالی و ۲ مورد بیمه و بیمارستان. Glassdoor برای این عنوان در آمریکا ۳٬۴۲۸ گزارش حقوق دارد. در بریتانیا اما عنوان کمیاب است: ITJobsWatch در شش ماه منتهی به ۲۳ اکتبر ۲۰۲۶ فقط ۱۵ آگهی دائم با این عنوان ثبت کرده، در برابر ۲٬۱۸۷ آگهی Data Engineer. ابزارها هم در حال تغییرند: به گفتهٔ Qlik، با استناد به راهنمای چرخهٔ عمر محصول Informatica، پشتیبانی PowerCenter 10.5 در ۳۱ مارس ۲۰۲۶ تمام شد و چند آگهی تجربهٔ مهاجرت به نسخهٔ ابری Informatica را شرط کرده‌اند.

چه چیزی می‌سازید؟

مثال‌های واقعی از خروجی کار یک توسعه‌دهنده ETL

🏗️

بارگذاری انبار داده از سیستم‌های عملیاتی

در وزارت آموزش ایالت کلرادو، توسعه‌دهندهٔ ETL با Informatica داده را از Operational Data Store، داده‌های آزمون‌ها و منابع بیرونی به انبار داده می‌برد؛ انباری که به گفتهٔ آگهی پشتیبان گزارش‌های مهم آموزشی ایالت است.

📑

data mart و فایل‌های گزارش

همان آگهی کلرادو ساخت و نگهداری فرایندهای ETL برای data mart ها و تولید فایل برای گزارش‌دهی فدرال را از وظایف آورده است؛ یعنی خروجی کار گاهی یک فایل رسمی است که باید دقیقاً با قالب تعیین‌شده بخواند.

🧱

بارگذاری fact و dimension با تاریخچه

Golden 1 از توسعه‌دهندهٔ ارشد ETL طراحی بارگذاری snapshot fact روزانه و ماهانه، accumulating snapshot، factless fact و dimension های نوع ۱، ۲ و ۳ را می‌خواهد. dimension نوع ۲ مثلاً آدرس قبلی مشتری را هم نگه می‌دارد تا گزارش‌های گذشته عوض نشوند.

✅

کنترل کیفیت و تطبیق داده

Guidehouse پیاده کردن بررسی کیفیت داده، فرایندهای تطبیق (reconciliation) و چارچوب مدیریت خطا را می‌خواهد و At Home اجرای unit test و تطبیق داده برای اطمینان از درستی و کامل بودن آن را.

📤

تبادل داده با مشتریان و شرکا

در Phillips & Cohen، فرایندهای یکپارچه‌سازی داده ورودی و خروجی را بین چند سیستم و پلتفرم جابه‌جا می‌کنند و خودکار کردن انتقال فایل با FTP/SFTP امتیاز به حساب می‌آید.

☁️

مهاجرت job های قدیمی به ابر

TCS برای Informatica ETL Developer دست‌کم ۲ سال تجربه در پروژه‌های مهاجرت به Informatica IDMC می‌خواهد و Excellus BCBS در فهرست ابزارهایش Cloud Data Integration for PowerCenter را آورده است. Huntington هم مشارکت در مهاجرت به ابر و بهینه‌سازی Snowflake را از Lead ETL Developer می‌خواهد.

تخصص‌های مختلف توسعه‌دهنده ETL

این شغل یک عنوان واحد نیست — مسیرهای تخصصی متعددی دارد

🧩

توسعه‌دهندهٔ Informatica

Informatica Developer

پرتکرارترین تخصص در آگهی‌هایی که دیدیم. طبق ITJobsWatch، Informatica و PowerCenter هر کدام در ۴۶٫۷٪ آگهی‌های ETL Developer بریتانیا آمده‌اند. ایالت کلرادو، Golden 1، Truist و TCS آگهی با همین ابزار دارند و Golden 1 نصب و مدیریت PowerCenter و IDQ را هم از نقش ارشد می‌خواهد.

🪟

توسعه‌دهندهٔ SSIS و Data Factory

SSIS / Data Factory Developer

در سازمان‌هایی که روی SQL Server کار می‌کنند. Phillips & Cohen، At Home و Weltman, Weinberg & Reis داده را با SSIS بارگذاری می‌کنند و AFL همین کار را با Azure Data Factory و Microsoft Fabric؛ آگهی AFL نمونه‌ای از حرکت همین تخصص به سمت ابزارهای ابری مایکروسافت است.

🏦

ETL پرحجم با DataStage و Ab Initio

DataStage / Ab Initio (Banking-scale ETL)

این دو ابزار بیشتر در بانک‌ها و پروژه‌های بزرگ دیده می‌شوند: Huntington در کنار AWS Glue و Snowflake از IBM DataStage استفاده می‌کند، Citi برای ETL Data Engineer تجربه با Ab Initio یا ابزار ETL دیگر را شرط کرده و TCS برای Senior DataStage Developer دست‌کم ۱۰ سال تجربه و آشنایی با AutoSys را می‌خواهد.

☁️

مدرن‌سازی و مهاجرت ETL

ETL Modernization & Migration

انتقال job های قدیمی به سرویس‌های ابری. TCS دست‌کم ۲ سال تجربه در مهاجرت به Informatica IDMC و ایالت کلرادو «migration exposure» می‌خواهند. خود Informatica در صفحهٔ PowerCenter مشتریان را به مهاجرت workflow ها به ابر دعوت می‌کند.

🏥

یکپارچه‌سازی داده در سلامت و بخش دولتی

Healthcare & Public-Sector Data Integration

Gainwell برای سیستم‌های Medicaid با داده‌های عضو، صلاحیت، ارائه‌دهنده و claim کار می‌کند، Nationwide Children's Hospital آشنایی با Clarity و Caboodle را ترجیح می‌دهد و ایالت کلرادو برای گزارش‌دهی فدرال فایل می‌سازد. بسیاری از آگهی‌های این حوزه شهروندی آمریکا یا مجوز امنیتی می‌خواهند.

تفاوت با شغل‌های مشابه

کجا این شغل تمام می‌شود و شغل دیگری شروع می‌شود؟

مهندس دادهData Engineer

دو نقش هم‌خانواده‌اند و پایهٔ مشترکشان SQL، انبار داده و ساخت و نگهداری جریان داده است؛ فرق اصلی در کارفرما و ابزار است. در بردهای ۴۷۸ شرکت روی Greenhouse، Lever و Ashby، ۳۳۳ آگهی Data Engineer بود و فقط یک ETL Developer، در حالی که بیشتر آگهی‌های آمریکایی با عنوان ETL مال شرکت‌های خدمات IT، دولت، بانک و بیمه بودند و ابزارهای تجاری مثل Informatica، DataStage و SSIS را می‌خواستند. صفحهٔ مهندس داده از حرکت این رشته از ابزارهای ETL گرافیکی به سمت کد می‌گوید. مرز در حال کم‌رنگ شدن است: Charles Schwab عنوان «ETL Developer - Data Engineer» و Citi عنوان «ETL Data Engineer» دارد و در LinkedIn آمریکا ۲۰۶ مورد از ۲۵۰ نتیجهٔ جستجوی «ETL Developer» عنوان Data Engineer داشتند. در حقوق فرق روشنی ندیدیم: ZipRecruiter میانگین ETL Developer را در آمریکا ۱۱۹٬۳۴۶ دلار و Data Engineer را ۱۲۹٬۷۱۶ دلار می‌دهد و Glassdoor برعکس (۱۴۶٬۵۶۳ در برابر ۱۳۵٬۱۴۸). صفحهٔ مهندس خط لوله داده خودش می‌گوید در بیشتر شرکت‌ها همان مهندس داده است، پس همین مقایسه برای آن هم صدق می‌کند.

مهندس آنالیتیکسAnalytics Engineer

هر دو با مدل‌سازی ابعادی سروکار دارند؛ Golden 1 از توسعه‌دهندهٔ ارشد ETL تسلط بر روش Kimball را می‌خواهد. فرق در جای کار و ابزار است: به نوشتهٔ صفحهٔ مهندس آنالیتیکس، او بیشتر روی داده‌ای کار می‌کند که به warehouse رسیده و معمولاً با SQL و dbt آن را مدل می‌کند. توسعه‌دهندهٔ ETL در الگوی کلاسیک داده را پیش از بارگذاری و با ابزار ETL تبدیل می‌کند؛ AFL از او ساخت pipeline های source-to-stage و stage-to-data warehouse را می‌خواهد. وقتی سازمانی ابزارهای ELT را می‌آورد، این دو به هم نزدیک می‌شوند: Miami University برای BI ETL Data Developer کار با dbt، Fivetran و Airflow را نام برده است.

مهندس کلان‌دادهBig Data Engineer

به نوشتهٔ صفحهٔ مهندس کلان‌داده، آگهی‌های آن عنوان تقریباً همیشه Spark و پردازش توزیع‌شده را شرط می‌کنند. آگهی‌های ETL Developer بیشتر ابزار ETL و پایگاه دادهٔ رابطه‌ای می‌خواهند: TCS برای ETL Developer در Phoenix ابزار Informatica PowerCenter، PL/SQL و اسکریپت Unix را و ایالت کلرادو Informatica و SQL روی Oracle را. هم‌پوشانی هم هست: Charles Schwab تجربه با Teradata و محیط‌های Big Data/Hadoop و TCS در Charlotte آشنایی با Hadoop را هم خواسته است.

توسعه‌دهنده BIBI Developer

توسعه‌دهندهٔ BI گزارش و داشبورد می‌سازد و توسعه‌دهندهٔ ETL داده‌ای را بارگذاری می‌کند که آن گزارش‌ها رویش بنا شده‌اند؛ هر دو اغلب در یک تیم انبار داده‌اند. طبق ITJobsWatch، در ۴۰٪ آگهی‌های ETL Developer بریتانیا عنوان Business Intelligence Developer و در ۵۳٪ عنوان SQL Developer هم آمده است. بعضی آگهی‌ها دو نقش را یکی کرده‌اند: Miami University عنوان «BI ETL Data Developer» دارد، Cleaver-Brooks از «SSIS/SSAS Data Warehousing Engineer» ساخت مدل‌های تحلیلی SSAS را هم می‌خواهد و یک آگهی قراردادی برای ایالت Connecticut عنوان «Senior Tableau & ETL Developer» دارد.

تأثیر در صنایع مختلف

توسعه‌دهنده ETL در همه صنایع مشغول به کار است — نه فقط شرکت‌های فناوری

🏦

بانک و اتحادیهٔ اعتباری

Golden 1 از توسعه‌دهندهٔ ارشد ETL آشنایی با قوانین bank secrecy و مبارزه با پول‌شویی را می‌خواهد؛ Huntington برای تیم Enterprise Data Warehouse و Truist برای Informatica آگهی دارند

🏛️

دولت و پیمانکاران دولتی

وزارت آموزش کلرادو با ETL گزارش‌های فدرال می‌سازد، ادارهٔ مالیه شهر نیویورک برای سامانهٔ پرداخت CityPay مدیر Informatica استخدام می‌کند و Accenture Federal Services برای ETL Developer - SME مجوز امنیتی Top Secret می‌خواهد

🏥

سلامت و بیمهٔ درمانی

Gainwell داده‌های Medicaid را با Informatica PowerCenter یکپارچه می‌کند و Excellus BCBS و Nationwide Children's Hospital هم آگهی ETL Developer دارند

💼

خدمات IT و مشاوره

در نمونهٔ ما ۴۵ مورد از ۷۳ آگهی آمریکایی با عنوان ETL مال شرکت‌های خدمات IT، مشاوره و تأمین نیرو بود؛ TCS برای Informatica، DataStage و SSIS جداگانه آگهی می‌دهد

⚖️

وصول مطالبات و خدمات حقوقی

Phillips & Cohen با SSIS دادهٔ ورودی و خروجی مشتریان را جابه‌جا می‌کند و مؤسسهٔ حقوقی Weltman, Weinberg & Reis داده را از سیستم‌های تراکنشی با SSIS به انبار داده می‌برد

🏭

خرده‌فروشی و تولید

At Home انبار داده‌اش را روی SQL Server و SSIS نگه می‌دارد، AFL (سازندهٔ کابل فیبر نوری) از Azure Data Factory و Fabric استفاده می‌کند و Cleaver-Brooks از SSIS و SSAS

🎓

آموزش

وزارت آموزش کلرادو داده‌های آزمون‌ها و منابع دیگر را در انبار داده بارگذاری می‌کند و Miami University برای تیم Business Intelligence توسعه‌دهندهٔ BI ETL می‌خواهد

📣

فناوری بازاریابی

fullthrottle.ai ۸۰٪ نقش SQL/ETL Developer را ETL و ۲۰٪ را آماده‌سازی داده برای مدل‌های AI تعریف کرده است

تصورات غلط رایج

قبل از تصمیم‌گیری، این باورهای اشتباه را بشناسید

ETL Developer شغلی منقرض شده است

در آمریکا و هند هنوز آگهی زیادی دارد: در نمونهٔ ما از LinkedIn آمریکا ۷۳ آگهی با ETL یا نام یک ابزار ETL در عنوان پیدا کردیم و Glassdoor برای این عنوان در آمریکا ۳٬۴۲۸ و در هند ۹۸۹ گزارش حقوق دارد. اما در بریتانیا عنوان کمیاب است (۱۵ آگهی دائم در شش ماه طبق ITJobsWatch) و بسیاری از کارهای ETL با عنوان Data Engineer آگهی می‌شوند.

با ابزار گرافیکی ETL دیگر لازم نیست کد بنویسید

ابزار جای SQL و اسکریپت را نمی‌گیرد. TCS برای ETL Developer زبان PL/SQL، اسکریپت Bash و Korn، Core Java و Perl را می‌خواهد، Truist اسکریپت‌نویسی Unix/Linux را الزامی می‌داند و ایالت کلرادو SQL قوی روی Oracle و کار با stored procedure را. آگهی‌های تازه‌تر Python را هم اضافه کرده‌اند، مثل Huntington و fullthrottle.ai.

یاد گرفتن یک ابزار برای کل مسیر شغلی کافی است

ابزارها عمر محدودی دارند. به گفتهٔ Qlik، با استناد به راهنمای چرخهٔ عمر Informatica، پشتیبانی PowerCenter 10.5 در ۳۱ مارس ۲۰۲۶ تمام شد و نسخهٔ متن‌باز Talend Open Studio از ۳۱ ژانویهٔ ۲۰۲۴ کنار گذاشته شده است. چیزی که می‌ماند مفاهیم است: مدل‌سازی ابعادی، طراحی بارگذاری، کیفیت داده و SQL.

کار یعنی فقط ساختن pipeline تازه

بخش بزرگی از کار نگهداری و پشتیبانی است. Kimball Group از ۳۴ زیرسیستم ETL، ۱۳ مورد را به مدیریت محیط پروداکشن اختصاص می‌دهد. Golden 1 آمادگی on-call شبانه‌روزی را شرط کرده، Excellus BCBS از سطح I حضور در نوبت on-call را می‌خواهد و Cleaver-Brooks روز کاری را با بررسی اجراهای شبانهٔ ETL شروع می‌کند.

این کار فنی محض است و با کاربران سروکاری ندارد

ایالت کلرادو از این نقش می‌خواهد مستقیم با کاربران کسب‌وکار، تحلیل‌گران و تصمیم‌گیرندگان نیازمندی بگیرد، تأیید بگیرد، جلسه اداره کند و به کاربران آموزش دهد؛ حتی گاهی پیشینهٔ قانونی یک درخواست را بررسی کند. Phillips & Cohen هم همکاری با مشتریان برای گرفتن نیازمندی را جزو وظایف آورده است.

یک روز کاری واقعی

در هر سطح روز کاری چه شکلی است؟

جونیور (۰–۲ سال)

کار زیر نظر توسعه‌دهندگان باتجربه‌تر و با تمرکز روی یک ابزار است. Excellus BCBS برای سطح I نوشته است: نوشتن کد، پیدا کردن و رفع مشکل‌های سیستم، حضور در نوبت on-call پشتیبانی پروداکشن و پیروی از فرایندها و استانداردهای مستند.

  • ◆بررسی یک job شبانهٔ ناموفق و پیدا کردن ردیف‌هایی که بارگذاری را شکسته‌اند
  • ◆نوشتن کوئری SQL برای یک mapping تازه زیر نظر توسعه‌دهندهٔ ارشد
  • ◆اجرای unit test و مقایسهٔ تعداد ردیف‌های منبع و مقصد
  • ◆به‌روز کردن مستندات mapping ها و workflow ها

میانی (۲–۵ سال)

مسئول بارگذاری‌ها از نیازمندی تا پروداکشن هستید. آگهی کلرادو، که ۳ سال تجربه می‌خواهد، چرخه را چنین می‌نویسد: گرفتن نیازمندی، تأیید گرفتن از کاربران، توسعه و unit test، انتقال به QA و تست کاربران، انتقال به پروداکشن و تنظیم runbook و زمان‌بندی.

  • ◆جلسه با تحلیل‌گران کسب‌وکار دربارهٔ یک گزارش تازه و نوشتن source-to-target mapping
  • ◆ساخت یا تغییر یک workflow در Informatica یا یک package در SSIS
  • ◆رفع خرابی یک بارگذاری و نوشتن تحلیل ریشهٔ مشکل
  • ◆آماده کردن کد برای انتقال به محیط تست و پروداکشن

ارشد (۵+ سال)

تمرکز روی استاندارد، طراحی و هدایت دیگران است، ولی کار عملی هم کم نمی‌شود. Cleaver-Brooks، با شرط ۵ سال تجربه، روز این نقش را چنین توصیف می‌کند: صبح بررسی اجراهای شبانهٔ ETL و رفع هر ناهنجاری، پیش از ظهر کار با ذی‌نفعان برای تبدیل نیاز گزارش به مدل داده و بعدازظهر بهینه کردن یک package سنگین SSIS و مستند کردن جریان داده.

  • ◆تعریف الگوی طراحی و استاندارد نام‌گذاری برای تیم ETL
  • ◆بازبینی کد توسعه‌دهندگان دیگر و هدایت release
  • ◆تنظیم کارایی بارگذاری‌های کند و مدیریت سرور ابزار ETL
  • ◆برنامه‌ریزی مهاجرت job های قدیمی به سرویس ابری

مسئولیت‌ها و وظایف

مسئولیت‌های اصلی

وظایف روزانه و مهارت‌های مورد نیاز در این شغل

فنی
  • ◈طراحی، ساخت و نگهداری فرایندهای ETL که داده را از سیستم‌های عملیاتی، فایل‌ها و منابع بیرونی به انبار داده و data mart ها می‌برند
  • ◈تبدیل نیازمندی کسب‌وکار به source-to-target mapping، قواعد تبدیل و طراحی فنی
  • ◈طراحی بارگذاری fact و dimension، از جمله dimension هایی که تاریخچهٔ تغییرات را نگه می‌دارند
  • ◈نوشتن و بهینه کردن SQL، stored procedure و تنظیم کارایی mapping ها و بارگذاری‌ها
  • ◈پیاده کردن کنترل کیفیت داده، تطبیق منبع و مقصد و مدیریت ردیف‌های خطادار
  • ◈پایش job های شبانه، رفع خرابی‌ها، تحلیل ریشهٔ مشکل و حضور در نوبت on-call
  • ◈مشارکت در مهاجرت بارگذاری‌های قدیمی به ابزارها و سرویس‌های ابری
مهارت نرم
  • ◈گفت‌وگو با کاربران و تحلیل‌گران کسب‌وکار برای گرفتن و مستند کردن نیازمندی و آموزش آن‌ها
مدیریتی
  • ◈جابه‌جایی کد بین محیط‌های توسعه، تست و پروداکشن طبق چرخهٔ SDLC و نوشتن runbook و زمان‌بندی

مهارت‌های مورد نیاز

مهارت‌های فنی، نرم و حوزه‌ای که یک توسعه‌دهنده ETL موفق به آن‌ها نیاز دارد

مهارت‌های فنی

SQL پیشرفته (PL/SQL یا T-SQL)ضروری

کوئری پیچیده، stored procedure و تنظیم کارایی؛ کلرادو SQL قوی روی Oracle و At Home T-SQL پیچیده را می‌خواهند

یک ابزار ETLضروری

Guidehouse تجربهٔ قوی با Informatica، SSIS، Talend، DataStage، AWS Glue یا ابزار مشابه را می‌خواهد

مدل‌سازی ابعادی و انبار دادهضروری

fact و dimension، star و snowflake schema و dimension های تاریخچه‌دار (Golden 1 و Guidehouse)

Source-to-target mappingضروری

تبدیل نیاز کسب‌وکار به نگاشت ستون‌ها و قواعد تبدیل (At Home و Guidehouse)

کیفیت داده و تطبیقمهم

اعتبارسنجی، تطبیق منبع و مقصد و مدیریت ردیف‌های خطادار (Guidehouse و Phillips & Cohen)

تنظیم کاراییمهم

TCS بهینه کردن mapping ها، کوئری‌ها، partitioning، ایندکس و اجرای workflow را می‌خواهد

اسکریپت Unix/Linuxمهم

کلرادو، Truist و TCS اسکریپت‌نویسی shell را برای اتوماسیون و اجرای batch می‌خواهند

زمان‌بندی jobمهم

AutoSys در آگهی‌های TCS و Redwood RunMyJobs در آگهی AFL؛ تعریف وابستگی، هشدار و بازیابی خودکار

ETL ابریمهم

Azure Data Factory و Fabric (AFL)، AWS Glue (Huntington و Guidehouse) و Informatica IDMC (TCS)؛ Golden 1 تجربهٔ پیاده‌سازی ابری را ضروری می‌داند

Pythonمفید

برای اتوماسیون و پردازش داده؛ برای Lead ETL Developer در Huntington و در fullthrottle.ai الزامی است و در Phillips & Cohen امتیاز

Git و CI/CDمفید

Excellus BCBS از Git و Azure DevOps نام می‌برد و Accenture Federal Services از DevSecOps و CI/CD

مهارت‌های نرم

گرفتن و مستند کردن نیازمندیضروری

کار مستقیم با کاربران و تحلیل‌گران کسب‌وکار و گرفتن تأیید نیازمندی (کلرادو)

مستندسازی و runbookمهم

Golden 1 نوشتن راهنمای پشتیبانی و runbook را می‌خواهد و کلرادو مستند کردن mapping ها، workflow ها و کد SQL را

انضباط پشتیبانی پروداکشنمهم

حضور در on-call، تحلیل ریشهٔ مشکل و رفع پایدار خرابی‌ها (Golden 1، Excellus BCBS، Gainwell)

ارتباط با مشتری و ذی‌نفعمهم

Phillips & Cohen همکاری با ذی‌نفعان داخلی و مشتریان برای گرفتن نیازمندی و توضیح راه‌حل را می‌خواهد

آموزش کاربرانمفید

کلرادو هماهنگی و اجرای آموزش و تست برای تحلیل‌گران و کاربران نهایی را از وظایف آورده است

دانش حوزه‌ای

مهاجرت و چرخهٔ عمر ابزارهامهم

تجربهٔ مهاجرت از PowerCenter به IDMC یا از ابزارهای محلی به ابر (TCS و کلرادو)

مقررات بانکیمفید

Golden 1 آشنایی با قوانین bank secrecy و مبارزه با پول‌شویی را از توسعه‌دهندهٔ ارشد ETL می‌خواهد

دادهٔ سلامتمفید

Gainwell تجربه با دادهٔ Medicaid (عضو، صلاحیت، ارائه‌دهنده و claim) را شرط کرده است

محیط‌های دولتیمفید

Guidehouse توانایی گرفتن مجوز Public Trust و Accenture Federal Services مجوز Top Secret فعال را می‌خواهند

ضروری — بدون آن نمی‌توان وارد بازار کار شدمهم — تفاوت بین جونیور و میانیمفید — مزیت رقابتی

نقشه راه و مسیر آموزشی

نقشه راه تبدیل شدن به توسعه‌دهنده ETL

این مسیر گام به گام شما را از صفر تا حرفه‌ای هدایت می‌کند.

1

SQL و پایگاه دادهٔ رابطه‌ای

⏱️ ۲ تا ۳ ماه

SQL مهارت اصلی این شغل است و ابزار ETL جای آن را نمی‌گیرد. ایالت کلرادو «Strong SQL skills with Oracle databases» و کار با stored procedure را می‌خواهد و At Home نوشتن و بهینه کردن T-SQL پیچیده را. از کوئری‌های ساده شروع کنید و به join، تابع‌های پنجره‌ای، stored procedure و خواندن plan اجرای کوئری برسید.

SELECT، JOIN، GROUP BYWindow functionsStored procedure و تابعPL/SQL (Oracle) یا T-SQL (SQL Server)ایندکس و plan اجرای کوئریطراحی جدول و کلیدها
2

انبار داده و مدل‌سازی ابعادی

⏱️ ۲ ماه

آگهی‌ها مدل‌سازی ابعادی را تقریباً همیشه می‌خواهند: Golden 1 تجربه با انبار دادهٔ مبتنی بر روش Kimball و طراحی بارگذاری snapshot fact، accumulating snapshot و dimension های نوع ۱، ۲ و ۳ را شرط کرده و Guidehouse فهم star و snowflake schema را. Kimball Group کار ETL را به ۳۴ زیرسیستم تقسیم می‌کند؛ مرور همین فهرست نشان می‌دهد این کار فقط جابه‌جا کردن داده نیست.

Fact و DimensionStar / Snowflake schemaSlowly Changing Dimensions (نوع ۱، ۲ و ۳)Staging، ODS و Data MartSurrogate keySource-to-target mapping
3

یک ابزار ETL را عمیق یاد بگیرید

⏱️ ۲ تا ۳ ماه

بیشتر آگهی‌ها نام یک ابزار مشخص را می‌آورند و ایالت کلرادو در مصاحبه آزمون عملی Informatica می‌گیرد. SSIS با نسخهٔ رایگان Developer از SQL Server قابل تمرین است و Informatica برای Cloud Data Integration یک لایهٔ رایگان (تا ۲۰ میلیون ردیف و ۱۰ ساعت پردازش در ماه) دارد. Apache Hop هم ابزاری متن‌باز است که pipeline را روی یک بوم گرافیکی طراحی می‌کند و برای فهم الگوی کار ابزارهای گرافیکی مفید است.

SSIS: Control Flow و Data FlowInformatica: mapping، session و workflowLookup، join و aggregate در ابزاربارگذاری افزایشی (incremental load)Error handling و loggingParameter و configuration
4

اسکریپت، زمان‌بندی و پشتیبانی پروداکشن

⏱️ ۱ تا ۲ ماه

job های ETL معمولاً شبانه و خودکار اجرا می‌شوند و کسی باید وقتی شکستند درستشان کند. کلرادو اسکریپت‌نویسی UNIX/LINUX را می‌خواهد، TCS برای ETL Developer در Phoenix اسکریپت Bash و Korn و برای DataStage زمان‌بندی با AutoSys، و Golden 1 نوشتن runbook برای پشتیبانی عملیاتی. Python هم در آگهی‌های تازه‌تر بیشتر دیده می‌شود: Huntington برای Lead ETL Developer تجربهٔ Python/PySpark را شرط کرده است.

Bash و خط فرمان Linuxزمان‌بندی job و وابستگی‌هاRestart و بازیابی بارگذاری ناموفقRunbook و گزارش رخدادPython برای اتوماسیونGit
5

ETL ابری و مهاجرت

⏱️ مداوم

ابزارها به سمت ابر می‌روند و آگهی‌ها تجربهٔ مهاجرت را می‌خواهند: TCS دست‌کم ۲ سال تجربه در پروژه‌های مهاجرت به Informatica IDMC، کلرادو «migration exposure» و AFL کار با Azure Data Factory و Microsoft Fabric. Miami University برای همین عنوان ابزارهای ELT مثل dbt، Fivetran و Airflow را نام برده است. یاد گرفتن یک سرویس ابری و الگوی ELT راه حرکت به سمت مهندسی داده را هم باز می‌کند.

Azure Data Factory / Fabric Data FactoryInformatica IDMCAWS GlueELT و dbtSnowflake یا یک انبار دادهٔ ابریCI/CD برای کد داده

ابزارها و استک فنی

ابزارهایی که هر مهندس AI باید بشناسد، دسته‌بندی‌شده بر اساس اولویت

ابزارهای ETL سازمانی

Informatica PowerCenter / IDMC

پرتکرارترین ابزار در آگهی‌های این عنوان؛ طبق ITJobsWatch در ۴۶٫۷٪ آگهی‌های ETL Developer بریتانیا آمده است. کلرادو، Golden 1، Truist و TCS آن را می‌خواهند

ضروری
SSIS (SQL Server Integration Services)

ابزار ETL مایکروسافت روی SQL Server؛ Phillips & Cohen، At Home، Weltman و Cleaver-Brooks با آن کار می‌کنند

ضروری
IBM DataStage

رایج در بانک‌ها و پروژه‌های بزرگ؛ Huntington و TCS آن را نام برده‌اند

مفید
Ab Initio

در بعضی بانک‌های بزرگ؛ Citi برای ETL Data Engineer تجربه با Ab Initio یا ابزار ETL دیگر را شرط کرده است

پیشرفته
Qlik Talend Cloud

نسخهٔ تجاری Talend؛ Guidehouse آن را در فهرست ابزارها آورده است. نسخهٔ متن‌باز Talend Open Studio از ۳۱ ژانویهٔ ۲۰۲۴ کنار گذاشته شده است

مفید

ETL ابری

Azure Data Factory

سرویس یکپارچه‌سازی داده در Azure؛ AFL برای ETL Developer آن را شرط کرده است

مفید
Fabric Data Factory

Data Factory در Microsoft Fabric؛ AFL آن را کنار Azure Data Factory آورده است

مفید
AWS Glue

ETL بدون سرور در AWS؛ Huntington و Guidehouse آن را نام برده‌اند

مفید
Informatica Cloud Data Integration

نسخهٔ ابری Informatica (بخشی از IDMC)؛ لایهٔ رایگانش تا ۲۰ میلیون ردیف و ۱۰ ساعت پردازش در ماه را پوشش می‌دهد

مفید

پایگاه داده و انبار داده

Oracle (SQL و PL/SQL)

کلرادو SQL قوی روی Oracle و TCS زبان PL/SQL را می‌خواهند

ضروری
Microsoft SQL Server (T-SQL)

پایگاه دادهٔ اصلی در آگهی‌های SSIS؛ نسخهٔ Developer برای توسعه و تست رایگان است

ضروری
Snowflake

انبار دادهٔ ابری؛ Huntington ساخت pipeline با Snowflake و بهینه‌سازی آن را می‌خواهد

مفید
PostgreSQL

پایگاه دادهٔ متن‌باز که برای تمرین و پروژهٔ شخصی مناسب است؛ Guidehouse آن را در کنار SQL Server و Oracle آورده است

مفید

زمان‌بندی و ابزارهای جدیدتر

AutoSys

زمان‌بند job در شرکت‌های بزرگ؛ TCS برای Informatica و DataStage آن را خواسته است

مفید
Control-M

زمان‌بند و ارکستراتور workflow سازمانی از BMC

مفید
Apache Airflow

ارکستراسیون pipeline با کد Python؛ Miami University آن را در کنار dbt و Fivetran آورده است

مفید
dbt

تبدیل داده با SQL داخل انبار داده (الگوی ELT)؛ پلی به سمت analytics engineering و مهندسی داده

پیشرفته
Apache Hop

ابزار متن‌باز طراحی pipeline روی بوم گرافیکی؛ برای تمرین الگوی ابزارهای ETL گرافیکی بدون لایسنس

مفید
ضروری — باید یاد بگیریدمفید — ارزش یادگیری داردپیشرفته — برای سطوح ارشد

مسیر پیشرفت شغلی

از جونیور تا Staff Engineer — چه مهارت‌هایی نیاز دارید و چه درآمدی انتظار داشته باشید

توسعه‌دهندهٔ ETL جونیور / Level I

۰ تا ۲ سال

نوشتن و رفع اشکال کد زیر نظر دیگران، حضور در نوبت on-call و یاد گرفتن یک ابزار؛ Excellus BCBS برای سطح I همین‌ها را نوشته است

SQLیک ابزار ETLمستندسازیUnit testGit

توسعه‌دهنده ETL

۲ تا ۵ سال

ساخت و نگهداری بارگذاری‌ها از نیازمندی تا پروداکشن، کار مستقیم با کاربران کسب‌وکار و نوشتن runbook؛ کلرادو برای این نقش ۳ سال تجربه و Phillips & Cohen سه تا پنج سال می‌خواهند

Informatica یا SSISDimensional ModelingPL/SQL یا T-SQLUnix ShellRequirements Gathering

توسعه‌دهندهٔ ارشد ETL

۵+ سال

~$142K

میانگین سالانه (آمریکا)

تعریف استاندارد و الگوی طراحی، مدیریت ابزار، رهبری release و هدایت توسعه‌دهندگان دیگر؛ آگهی Golden 1 دقیقاً همین را می‌خواهد

Kimball / SCDPerformance TuningInformatica AdministrationRelease ManagementMentoring

Lead ETL Developer / ETL Architect

پس از سطح ارشد

رهبری فنی تیم، طراحی چارچوب یکپارچه‌سازی داده و هدایت مهاجرت به ابر؛ Huntington از Lead ETL Developer مربیگری و نقشهٔ مدرن‌سازی می‌خواهد و Accenture Federal Services برای ETL Developer - SME دست‌کم ۱۰ سال تجربه

Data Integration ArchitectureCloud MigrationTechnical LeadershipData Governance

چالش‌ها و جنبه‌های منفی

واقعیت‌هایی که کمتر در آگهی‌های شغلی می‌بینید — قبل از ورود بدانید

پنجرهٔ زمانی بارگذاری و on-call

عمومی

بارگذاری‌ها معمولاً شبانه اجرا می‌شوند و باید پیش از شروع کار کاربران تمام شوند. Kimball Group پنجرهٔ پردازش را از محدودیت‌های اصلی طراحی ETL می‌داند و Golden 1 آمادگی on-call شبانه‌روزی را شرط کرده است.

دادهٔ منبع ناپاک

عمومی

Kimball Group از «واقعیت‌های دادهٔ منبع» در کنار بودجه و مهارت تیم به‌عنوان فشارهای بیرونی بر طراحی ETL نام می‌برد. بخش بزرگی از کار تطبیق، اعتبارسنجی و رسیدگی به ردیف‌هایی است که با قاعده‌ها نمی‌خوانند.

کهنه شدن ابزار و فشار مهاجرت

شرکت بزرگ

به گفتهٔ Qlik، پشتیبانی PowerCenter 10.5 در ۳۱ مارس ۲۰۲۶ تمام شد و Talend Open Studio از ۲۰۲۴ کنار گذاشته شده است. آگهی‌ها تجربهٔ مهاجرت می‌خواهند و کسی که فقط یک ابزار قدیمی بلد است، با گذشت زمان گزینه‌های کمتری دارد.

بازار پر از شرکت‌های واسط و قراردادی

عمومی

در نمونهٔ ما ۴۵ مورد از ۷۳ آگهی آمریکایی با عنوان ETL مال شرکت‌های خدمات IT، مشاوره و تأمین نیرو بود و بخشی از آن‌ها قراردادی‌اند؛ مثلاً یک آگهی برای ایالت Connecticut نرخ ساعتی ۷۰ دلار به‌صورت C2C و ۶۰ دلار به‌صورت W2 اعلام کرده است. شرایط این کارها با استخدام مستقیم فرق دارد.

شرط شهروندی، اقامت و مجوز امنیتی

شرکت بزرگ

بسیاری از آگهی‌های دولتی و بانکی شرط‌های سخت دارند: Guidehouse شهروندی یا گرین‌کارت آمریکا، Accenture Federal Services شهروندی و مجوز Top Secret و ایالت کلرادو سکونت در کلرادو را می‌خواهد. کلرادو و Phillips & Cohen هم اسپانسر ویزا نمی‌شوند.

یک کار با چند عنوان

عمومی

در LinkedIn آمریکا ۲۰۶ مورد از ۲۵۰ نتیجهٔ جستجوی «ETL Developer» عنوان Data Engineer داشتند و عنوان‌های ترکیبی مثل «ETL Developer - Data Engineer» یا «Informatica Developer» هم رایج‌اند. برای پیدا کردن کار باید با چند عنوان و نام ابزارها جستجو کنید.

حقوق و بازار کار جهانی

حقوق جهانی توسعه‌دهنده ETL

حقوق سالانه در کشورهای مختلف بر اساس داده‌های منتشرشده؛ منبع هر ردیف با آیکون کنار نام کشور باز می‌شود.

کشورمیانه / میانگینارز
🇺🇸آمریکا
$141,800USD

چگونه از صفر شروع کنیم

برنامه گام‌به‌گام برای ورود به مهندسی هوش مصنوعی

ماه ۱: SQL پیشرفته و مدل‌سازی ابعادی

تابع‌های پنجره‌ای و stored procedure را محکم کنید و تکنیک‌های مدل‌سازی ابعادی Kimball را بخوانید.

ماه ۲: اولین ابزار ETL

SQL Server Developer را نصب کنید و آموزش رسمی ساخت package در SSIS را کامل کنید.

ماه ۳: پروژهٔ star schema و dimension نوع ۲

دو پروژهٔ اول پورتفولیو را بسازید: بارگذاری یک star schema و یک dimension تاریخچه‌دار با بارگذاری افزایشی.

ماه ۴: ابزار دوم

یکی از pipeline ها را در لایهٔ رایگان Informatica Cloud Data Integration یا در Apache Hop دوباره بسازید تا الگوی ابزار دیگری را هم بشناسید.

ماه ۵: اسکریپت، زمان‌بندی و کیفیت داده

Bash یاد بگیرید، بارگذاری را زمان‌بندی کنید، جدول لاگ و گزارش تطبیق بسازید و runbook بنویسید.

ماه ۶: آشنایی با ابر و جستجوی کار

Azure Data Factory را در حد یک pipeline ساده یاد بگیرید. برای جستجو هم عنوان ETL Developer و هم نام ابزارها (Informatica Developer، SSIS Developer) و Data Engineer را امتحان کنید.

پروژه‌های پیشنهادی برای رزومه

انبار دادهٔ کوچک با star schema

مبتدی

یک مجموعه‌دادهٔ عمومی (مثلاً فروش یا سفرها) را از چند فایل CSV با SSIS یا Apache Hop در یک staging و بعد در یک star schema با یک fact و چند dimension بارگذاری کنید. نمودار مدل و جدول source-to-target را در README بگذارید.

SQL Server یا PostgreSQLSSIS یا Apache HopSQL
زمان تخمینی: ۲ هفته

dimension نوع ۲ و بارگذاری افزایشی

متوسط

برای جدول مشتری یک dimension نوع ۲ بسازید که تغییر آدرس را با تاریخ شروع و پایان نگه دارد و بارگذاری روزانه را فقط برای ردیف‌های تازه یا تغییرکرده اجرا کنید. چند تغییر ساختگی وارد کنید و نشان دهید تاریخچه درست مانده است.

SQLSSIS یا Informatica Cloud Data IntegrationStored Procedure
زمان تخمینی: ۲ هفته

چارچوب کیفیت و تطبیق داده

متوسط

برای پروژهٔ قبلی جدول لاگ اجرا، جدول خطا برای ردیف‌های رد شده و گزارش تطبیق (تعداد ردیف و جمع مبلغ بین منبع و مقصد) بسازید؛ همان کاری که Guidehouse و At Home از این نقش می‌خواهند.

SQLSSIS یا Apache HopPython (اختیاری)
زمان تخمینی: ۲ هفته

اجرای شبانه، زمان‌بندی و runbook

پیشرفته

بارگذاری را با Airflow یا cron زمان‌بندی کنید، وابستگی‌ها و هشدار خطا را تعریف کنید و امکان اجرای دوباره از نقطهٔ شکست را بسازید. یک runbook بنویسید که می‌گوید وقتی job شکست، قدم‌به‌قدم چه باید کرد.

Apache Airflow یا cronBashGit
زمان تخمینی: ۳ هفته

مهاجرت یک pipeline به ابر

پیشرفته

یکی از pipeline های قبلی را در Azure Data Factory، Informatica Cloud Data Integration یا با dbt و یک انبار دادهٔ ابری از نو بسازید و در README مقایسه کنید چه چیزی آسان‌تر یا سخت‌تر شد؛ آگهی‌ها تجربهٔ مهاجرت را می‌خواهند.

Azure Data Factory یا Informatica CDIdbtSnowflake یا PostgreSQL
زمان تخمینی: ۴ هفته

مثال‌های واقعی و Case Studies

داستان‌های واقعی از مهندسانی که در این حوزه تأثیرگذار بوده‌اند

R

Ralph Kimball

پیشینه

طبق ویکی‌پدیا، در ۱۹۷۳ از Stanford دکترای مهندسی برق گرفت و در Xerox PARC از طراحان اصلی ایستگاه کاری Xerox Star بود. بعد در Metaphor Computer Systems در ۱۹۸۲ Capsule Facility را ساخت: روشی گرافیکی که آیکون‌ها را در یک جریان منطقی به هم وصل می‌کرد تا غیربرنامه‌نویس‌ها هم بتوانند برنامه بسازند. در ۱۹۸۶ Red Brick Systems را بنیان گذاشت و تا ۱۹۹۲ مدیرعامل آن بود.

دستاورد

روش او، مدل‌سازی ابعادی یا روش Kimball، کنار روش Bill Inmon یکی از دو روش اصلی طراحی انبار داده است. نویسندهٔ اصلی کتاب‌های The Data Warehouse Toolkit (۱۹۹۶) و The Data Warehouse ETL Toolkit (۲۰۰۴) است و از ۱۹۹۲ از طریق Kimball Group مشاوره و آموزش انبار داده داده است.

درس کلیدی

ابزارهای گرافیکی امروزی ETL شباهت زیادی به ایدهٔ Capsule او دارند، اما آنچه از کار او ماندگار شده روش طراحی است، نه ابزار. به نظر می‌رسد سرمایه‌گذاری روی مفاهیم مدل‌سازی، بیش از تسلط بر یک محصول، در طول سال‌ها جواب می‌دهد.

J

Joe Caserta

پیشینه

طبق صفحهٔ کتاب در Wiley، بنیان‌گذار Caserta Concepts، یک شرکت مشاورهٔ انبار داده، است؛ مرتب برای مجله‌های چاپی و آنلاین می‌نویسد و در DWList، جامعهٔ آنلاین متخصصان انبار داده، فعال است.

دستاورد

همراه Ralph Kimball کتاب The Data Warehouse ETL Toolkit را نوشت (Wiley، اکتبر ۲۰۰۴، ۵۲۸ صفحه). توضیح ناشر ETL را وقت‌گیرترین و پرزحمت‌ترین بخش انبار داده می‌داند و می‌گوید کتاب روش‌های استخراج داده از منابع پراکنده، حذف دادهٔ تکراری و نادرست، تبدیل و بارگذاری را آموزش می‌دهد.

درس کلیدی

مسیر او از کار مشاوره‌ای تا نوشتن یک مرجع نشان می‌دهد تجربهٔ عملی پروژه‌های ETL، اگر مستند و منظم شود، می‌تواند به دانشی تبدیل شود که دیگران سال‌ها از آن استفاده کنند.

A

Andy Leonard

پیشینه

طبق پروفایل سخنرانی‌اش در SQLBits، توسعه‌دهندهٔ پایگاه داده و انبار دادهٔ SQL Server و مربی، مشاور و توسعه‌دهندهٔ SSIS و Azure Data Factory است. Enterprise Data & Analytics را بنیان گذاشته و Chief Data Engineer آن است.

دستاورد

سازندهٔ مجموعهٔ ابزار DILM (Data Integration Lifecycle Management) Suite است و در SQLBits دربارهٔ سریع‌تر کردن SSIS و طراحی چارچوب SSIS برای اجرای metadata-driven، مدیریت اتصال‌ها و لاگ متمرکز سخنرانی کرده است.

درس کلیدی

او هم SSIS درس می‌دهد و هم Azure Data Factory؛ یعنی ابزار نسل قبل و نسل ابری را کنار هم. به نظر می‌رسد برای یک متخصص ETL، دنبال کردن نسل بعدی همان ابزار راه طبیعی‌تری است تا شروع دوباره از صفر.

نمونه آگهی استخدام واقعی + تحلیل

یک آگهی واقعی از شرکت فعال در حال استخدام، با تحلیل هر بخش

ETL (Extract Transform Load) Developer - Classified.

State of Colorado (Colorado Department of Education)دنور، کلرادو (آمریکا) — هیبرید، فقط برای ساکنان کلرادو2026-10-16

تحلیل نیازمندی‌ها

EN

Three (3) years of relevant professional experience in data integration (SSIS), data warehouse management, or database administration.

سه مسیر ورود را می‌پذیرد: یکپارچه‌سازی داده، مدیریت انبار داده یا مدیریت پایگاه داده. یعنی کسی که مدیر پایگاه داده یا توسعه‌دهندهٔ SSIS بوده، می‌تواند از همین‌جا وارد شود. آگهی ترکیب تحصیلات مرتبط و دست‌کم ۲ سال تجربه را هم معادل می‌داند.

ضروری
EN

Experience in Data integration with systems like Informatica, SSIS, or other ETL tools.

عبارت «or other ETL tools» نشان می‌دهد تجربه با هر ابزار ETL قابل قبول است؛ کسی که الگوی کار یک ابزار را می‌شناسد، ابزار بعدی را سریع‌تر یاد می‌گیرد.

ضروری
EN

Experience in data warehouse management that included dimensional data modeling, index mgt, etc

مدل‌سازی ابعادی (fact و dimension) و مدیریت ایندکس پایهٔ کارند؛ بدون آن‌ها بارگذاری ممکن است کار کند اما گزارش‌ها کند یا نادرست می‌شوند.

ضروری
EN

Strong SQL skills with Oracle databases .

ابزار ETL روی پایگاه داده کار می‌کند و بیشتر خطاها با SQL پیدا و رفع می‌شوند. برای این آگهی SQL روی Oracle مهم است؛ PL/SQL را هم یاد بگیرید.

ضروری
EN

Experience with Informatica IDMC / Informatica Cloud or PowerCenter with migration exposure.

نشانهٔ روشن دورهٔ گذار: کارفرما هم PowerCenter (نسخهٔ محلی) را دارد و هم به نسخهٔ ابری IDMC فکر می‌کند و کسی را می‌خواهد که مهاجرت بین این دو را دیده باشد.

مهم
EN

Experience with UNIX/LINUX scripting.

job ها روی سرور اجرا می‌شوند و فایل‌ها، زمان‌بندی و اتوماسیون اغلب با اسکریپت shell مدیریت می‌شوند؛ حد پایهٔ Bash برای شروع کافی است.

مهم
EN

Performance Test: As part of the interview process, candidates will be required to complete a technical performance assessment to demonstrate their proficiency in Informatica and workflow development and management if they are chosen for an interview.

در مصاحبه باید جلوی ارزیاب با Informatica workflow بسازید. یعنی گفتن «با این ابزار کار کرده‌ام» کافی نیست و تمرین عملی، مثلاً با لایهٔ رایگان Informatica Cloud، لازم است.

مهم

تحلیل مسئولیت‌ها

EN

Develop, maintain, and enhance Informatica Extract, Load, and Transform (ETL) processes to load data from the Operational Data Store (ODS), Assessment collections, and external data sources to the Data Warehouse

هستهٔ کار: داده از ODS (پایگاه دادهٔ عملیاتی یکپارچه)، داده‌های آزمون‌ها و منابع بیرونی به انبار داده می‌رود. «maintain» و «enhance» نشان می‌دهند بیشتر کار روی فرایندهای موجود است، نه ساختن از صفر.

EN

Develop, maintain, and enhance Informatica ETL processes for Data Marts and file creation for federal reporting.

خروجی بخشی از کار فایل‌هایی است که به دولت فدرال گزارش می‌شوند؛ قالب این فایل‌ها از بیرون تعیین شده و خطا در آن‌ها هزینه دارد.

EN

Gather functional requirements; develop detailed requirements; review the functional and detailed requirements with business users/owners; obtain signoff on requirements; develop software and unit test; migrate software to QA and get the business users/owners to test and approve; migrate approved software to production and set up runbooks and schedules.

کل چرخهٔ SDLC در یک جمله: از گرفتن نیازمندی و تأیید آن تا تست کاربران و انتقال به پروداکشن. در سازمان‌های دولتی و بانکی این مراحل رسمی و مستندند و نمی‌شود از آن‌ها گذشت.

EN

Consult directly with business users, business analysts and decision-makers to gather and document requirements and define scope.

این نقش واسطی بین کسب‌وکار و داده است. توانایی پرسیدن سؤال درست و نوشتن نیازمندی روشن به اندازهٔ مهارت فنی اهمیت دارد.

EN

As necessary, research the background of requested enhancements to understand legislative requirements or educational practices driving the requests.

گاهی باید بفهمید یک تغییر به خاطر کدام قانون یا رویهٔ آموزشی درخواست شده است. دانش حوزه (اینجا آموزش و گزارش‌دهی دولتی) بخشی از کار است.

EN

This would include adding documentation to related Informatica objects (mappings, workflows, etc.), comments in SQL code, updates to requirements and design documents (process, workflow, and data model documents).

مستندسازی جزو کار است، نه کار اضافه. نفر بعدی که ساعت دو بامداد یک job شکسته را درست می‌کند، به همین مستندات تکیه می‌کند.

EN

Coordinate and conduct training and testing for business analysts and other end-users.

آموزش دادن به تحلیل‌گران و کاربران هم از وظایف است؛ کسی که از تدریس یا پشتیبانی کاربران می‌آید، اینجا مزیت دارد.

نتیجه‌گیری کلی

این آگهی تصویر روشنی از توسعه‌دهندهٔ ETL در یک سازمان دولتی می‌دهد: ۳ سال تجربه، تسلط عملی بر Informatica و SQL روی Oracle، مدل‌سازی ابعادی، پیروی دقیق از SDLC و کار مستقیم با کاربران کسب‌وکار. نیمی از وظایف فنی نیست: نیازمندی، مستندسازی و آموزش. حقوق پیش‌بینی‌شده در آگهی ۹۶٬۷۸۱٫۸۰ دلار در سال است و کار فقط برای ساکنان کلرادو باز است.

آینده و روندها

پیش‌بینی ۵–۱۰ ساله و مهارت‌هایی که باید یاد بگیرید

BLS گروه جداگانه‌ای برای ETL Developer ندارد. O*NET گروه Data Warehousing Specialists را، که Informatica، DataStage، SSIS و Talend را در فهرست فناوری‌هایش دارد، زیرمجموعهٔ Database Architects می‌داند و BLS برای این گروه از ۲۰۲۵ تا ۲۰۳۵ رشد ۹٪ پیش‌بینی می‌کند (از ۶۹٬۵۰۰ به ۷۶٬۰۰۰ شغل). خود عنوان چنین روندی نشان نمی‌دهد: در بریتانیا ITJobsWatch در شش ماه منتهی به ۲۳ اکتبر ۲۰۲۶، ۱۵ آگهی دائم با این عنوان ثبت کرده، در برابر ۲۰ و ۱۹ آگهی در همین بازهٔ ۲۰۲۵ و ۲۰۲۴، در حالی که کل آگهی‌های IT آن‌جا بیشتر شده است. به همین دلیل برای این صفحه نشان رشد نگذاشته‌ایم.

منبع: BLS OOH 2025–35 (Database Architects); ITJobsWatch UK

مهارت‌های نوظهور که باید یاد بگیرید

مهاجرت از PowerCenter به Informatica IDMCAzure Data Factory و Microsoft FabricAWS Glue و SnowflakePython و PySpark در کنار ابزار ETLCI/CD و کنترل نسخه برای کد ETLآماده‌سازی داده برای مدل‌های AI

پیش‌بینی‌های آینده

2026

به گفتهٔ Qlik، با استناد به راهنمای چرخهٔ عمر محصول Informatica (نسخهٔ ۲۰۲۵.۰۵)، پشتیبانی PowerCenter 10.5 در ۳۱ مارس ۲۰۲۶ به پایان رسید. Informatica در صفحهٔ PowerCenter مشتریان را به مهاجرت workflow ها به ابر «با سرعت خودتان» دعوت می‌کند.

2035

BLS پیش‌بینی می‌کند اشتغال در گروه Database Architects، که O*NET متخصصان انبار داده را در آن می‌گذارد، از ۲۰۲۵ تا ۲۰۳۵، ۹٪ رشد کند.

ریسک‌های واقعی

دو فشار هم‌زمان روی این عنوان هست. اول، چرخهٔ عمر ابزارها: به گفتهٔ Qlik پشتیبانی PowerCenter 10.5 تمام شده و Informatica خودش مشتریان را به مهاجرت به ابر دعوت می‌کند؛ Talend Open Studio هم کنار گذاشته شده است. دوم، ادغام عنوان در مهندسی داده: کارفرماهایی مثل Charles Schwab، Citi و First Citizens Bank عنوان‌های ترکیبی ETL و Data Engineer می‌گذارند و Huntington از Lead ETL Developer تجربهٔ Python/PySpark و پلتفرم‌های ابری را می‌خواهد. کسی که فقط یک ابزار قدیمی بلد است در خطر است؛ کسی که مفاهیم انبار داده را با یک ابزار ابری و Python ترکیب کند، هم در این بازار و هم در مهندسی داده جا دارد.

منابع

اطلاعات این صفحه در تاریخ ۱ آبان ۱۴۰۵ از این ۴۸ منبع بررسی شده است.

  1. ETL (Extract Transform Load) Developer — State of Colorado, Denver (job posting)
  2. Sr ETL Developer — Golden 1 Credit Union, Sacramento (job posting)
  3. ETL Developer — Guidehouse (job posting)
  4. ETL Developer — Phillips & Cohen Associates (job posting)
  5. SQL/ETL Developer — fullthrottle.ai (job posting)
  6. ETL Developer - SME — Accenture Federal Services (job posting)
  7. ETL Developer — Tata Consultancy Services, Phoenix (job posting)
  8. Informatica ETL Developer — Tata Consultancy Services, Charlotte (job posting)
  9. Lead ETL Developer - EDW — Huntington National Bank (job posting)
  10. Informatica Developer (Medicaid Systems) — Gainwell Technologies (job posting)
  11. Software Engineer IV - ETL Developer — Excellus BCBS (job posting)
  12. ETL Data Engineer - Assistant Vice President — Citi, Mississauga (job posting)
  13. ETL Developer - Data Engineer — Charles Schwab (job posting)
  14. ETL Developer (Azure Data Factory/MS Fabric) — AFL (job posting)
  15. Data Warehouse and ETL Developer — At Home (job posting)
  16. SSIS/SSAS Data Warehousing Engineer — Cleaver-Brooks (job posting)
  17. BI ETL Data Developer II or III — Miami University (job posting)
  18. Informatica Developer (Unix) — Truist (job posting)
  19. Informatica Administrator — NYC Department of Finance (job posting)
  20. ETL Developer — Weltman, Weinberg & Reis (job posting)
  21. Senior ETL Developer — Nationwide Children's Hospital (job posting)
  22. DataStage Developer — Tata Consultancy Services (job posting)
  23. Senior DataStage Developer — Tata Consultancy Services (job posting)
  24. SSIS Developer — Tata Consultancy Services (job posting)
  25. Data Engineer II - ETL/ELT — First Citizens Bank (job posting)
  26. Senior Tableau & ETL Developer (State of Connecticut client) — InstantServe (job posting)
  27. ZipRecruiter — ETL Developer salary, United States
  28. ZipRecruiter — Data Engineer salary, United States
  29. Glassdoor — ETL Developer salary, United States
  30. Glassdoor — Data Engineer salary, United States
  31. Glassdoor — ETL Developer salary, Canada
  32. Glassdoor — ETL Developer salary, United Kingdom
  33. Glassdoor — ETL Developer salary, India
  34. Glassdoor — ETL Developer Gehalt, Deutschland
  35. ITJobsWatch — ETL Developer (UK, permanent)
  36. ITJobsWatch — Data Engineer (UK, permanent)
  37. BLS Occupational Outlook Handbook — Database Administrators and Architects
  38. O*NET OnLine — 15-1243.01 Data Warehousing Specialists
  39. Kimball Group — ETL Architecture's 34 Subsystems
  40. Kimball Group — Dimensional Modeling Techniques
  41. Wiley — The Data Warehouse ETL Toolkit (Kimball, Caserta)
  42. Ralph Kimball — Wikipedia
  43. Andy Leonard — SQLBits speaker profile
  44. Qlik — Five considerations for Informatica customers (PowerCenter 10.5 end of support)
  45. Qlik — Talend Open Studio retirement
  46. Informatica — PowerCenter to Cloud Modernization
  47. Informatica — Free Cloud Data Integration
  48. Microsoft — SQL Server downloads (free Developer edition)

برای راهنمایی شخصی‌سازی‌شده مشاوره بگیرید