Data Engineer

Банк «Південний» — один із лідерів фінансового ринку України, який займає третє місце у групі українських банків із приватним капіталом за розміром активів.

Вже 32 роки «Південний» є надійним фінансовим партнером для приватних клієнтів, малого, середнього і корпоративного бізнесу.
Команда «Південного» — це понад 1700 активних і цілеспрямованих співробітників по всій Україні.

Зараз ми шукаємо Data Engineer.

Місія ролі:

Розвиток та підтримка сучасної Data Platform Банку, створення надійних, продуктивних і масштабованих процесів обробки та інтеграції даних.

У цій ролі ви будете відповідати за розробку ETL/ELT-процесів, побудову data pipelines, оптимізацію обробки великих обсягів даних та забезпечення їхньої якості.

Окремим напрямом стане участь у міграції існуючих Oracle ETL-процесів на Data Platform, впровадження сучасних інженерних підходів та розвиток стандартизованих компонентів для роботи з даними.

Що ми пропонуємо:

• конкурентну заробітну плату;
• медичне страхування;
• роботу у функціональному комфортному офісі з можливістю дистанційної роботи;
• консультації корпоративного психолога;
• можливість кар’єрного росту та розвитку;
• можливість проходження професійних курсів та навчання;
• можливість працювати в стабільній та професійній компанії з дружньою командою.

Що потрібно робити:

• розробляти та підтримувати ETL/ELT-процеси в Data Platform Банку;
• писати та оптимізувати SQL, Spark / PySpark-код і data pipelines;
• реалізовувати обробку даних за архітектурою RAW → HIST → TRANSFORMED → GOLD;
• розробляти incremental, CDC та near-real-time процеси обробки даних;
• створювати та підтримувати механізми завантаження даних (data ingestion) з різних джерел;
• реалізовувати historization, deduplication, validation та reconciliation;
• оптимізувати Spark jobs, включаючи partitioning, joins, shuffle, memory та parallelism;
• розробляти повторно використовувані компоненти та framework-рішення для типових процесів обробки даних;
• брати участь у code review, refactoring та усуненні технічного боргу;
• впроваджувати механізми Data Quality, logging, monitoring, retry та error handling;
• працювати з Apache Ozone, Apache Iceberg, Parquet та іншими компонентами Data Platform;
• розробляти та підтримувати DAG і процеси оркестрації в Apache Airflow;
• працювати з metadata model, Data Catalog та Data Lineage;
• підтримувати процеси CI/CD, Git та підхід Everything as Code;
• брати участь у міграції існуючих Oracle ETL-процесів на Data Platform;
• проводити performance testing, аналізувати bottlenecks та оптимізувати продуктивність процесів;
• готувати технічну документацію та стандартизовані шаблони реалізації;
• взаємодіяти з Data Architect, аналітиками, ІТ-фахівцями та іншими командами під час розробки й впровадження data-рішень.

Для цього знадобиться:

• досвід роботи Data Engineer / ETL Developer / DWH Developer від 3 років;
• впевнене володіння SQL та практичний досвід оптимізації запитів;
• практичний досвід роботи з Apache Spark / PySpark;
• досвід розробки ETL/ELT-процесів та data pipelines;
• розуміння принципів distributed processing, partitioning, shuffle та parallelism;
• досвід обробки великих обсягів даних;
• розуміння CDC, incremental processing та historization;
• досвід роботи з Parquet, Iceberg або аналогічними форматами;
• досвід роботи з Apache Airflow або іншими інструментами оркестрації;
• практичний досвід code review, refactoring та performance optimization;
• розуміння принципів Data Quality, logging, monitoring та error handling;
• досвід використання Git, CI/CD та підходу Everything as Code;
• розуміння процесів розробки та розгортання змін між середовищами DEV / TEST / PROD;
• вміння писати структурований, підтримуваний та повторно використовуваний код;
• навички аналізу вузьких місць і підвищення продуктивності процесів обробки даних;
• базове розуміння Data Modeling, Metadata Management, Data Catalog та Data Lineage;
• досвід командної взаємодії з Data Architect, аналітиками та ІТ-фахівцями;
• англійська мова — Intermediate, достатня для роботи з технічною документацією.

Буде перевагою:

• досвід роботи з Oracle PL/SQL;
• досвід роботи з Oracle Analytics / Oracle BI;
• досвід міграції ETL-процесів з Oracle на сучасні Data Platform;
• поглиблені знання Apache Spark / PySpark;
• практичний досвід використання Python для обробки даних та автоматизації процесів.

Якщо вас зацікавила наша пропозиція, надсилайте свій відгук та дізнавайтесь про деталі.

Термін розгляду резюме становить 14 днів. У разі, якщо ви не отримали від нас відповіді, це означає, що зараз ми не можемо запропонувати вам вакансію, але зберегли резюме до нашої бази, ми зв’яжемось з Вами у разі появи відповідної пропозиції.

Дякуємо за проявлений інтерес до нашої вакансії!

Відгукнутись на вакансію