Data Engineer

Are you a Senior Data Engineer passionate about building scalable, high-performance data platforms and working with modern Lakehouse technologies? Join Sigma Software’s Data Engineering Center of Excellence and contribute to the modernization of an enterprise-scale analytics ecosystem for the retail domain.
We are looking for a Senior specialist with strong Databricks, PySpark, and cloud data engineering expertise to participate in the migration of a large-scale analytical platform from BigQuery to Databricks. You will collaborate with international teams, contribute to architectural decisions, and help shape reliable and scalable data solutions.
We at Sigma Software create opportunities for continuous learning, technology growth, and meaningful engineering impact while working on complex international projects.

CUSTOMER

Our Customer is a leading retail technology company specializing in AI-driven pricing optimization solutions for enterprise retailers. The company helps businesses improve profitability and competitiveness through advanced analytics, automation, and intelligent pricing strategies. Their platform combines business intelligence with sophisticated algorithms to support data-informed pricing decisions at scale for global retail organizations.

PROJECT

The project focuses on the strategic migration of a large-scale analytical platform from a legacy BigQuery ecosystem to a modern Databricks Lakehouse architecture. The platform processes high-volume retail datasets, machine learning workloads, analytics pipelines, and customer-specific business logic.
As part of the modernization initiative, the engineering team is implementing scalable Spark-based processing, Delta Lake architecture, medallion data layers, and modern governance practices. The role offers an opportunity to work with distributed data processing systems, optimize large-scale workloads, and contribute to the evolution of an enterprise-grade data platform.

Key Technologies: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog

Job Description

• Participate in the migration of a large-scale analytical platform from BigQuery to Databricks
• Design and implement scalable Lakehouse architectures using Databricks and Delta Lake
• Analyze existing ETL / ELT workloads and define migration approaches
• Develop and optimize data pipelines processing large volumes of retail and analytical data
• Implement incremental processing strategies and scalable transformation frameworks
• Build and maintain Spark-based data processing solutions using PySpark
• Design and maintain medallion architecture layers including Bronze, Silver, and Gold
• Implement data governance and security best practices using Unity Catalog
• Collaborate with Data Science, Analytics, Product, and Customer Engineering teams
• Participate in architecture discussions and technical solution design
• Develop reusable data platform components and engineering standards
• Conduct code reviews and contribute to platform reliability and maintainability
• Troubleshoot and optimize complex SQL and Spark workloads
• Support production deployments and platform modernization activities

Qualifications

• 5+ years of professional experience as a Data Engineer
• Strong programming skills in Python and advanced SQL
• Hands-on commercial experience with Databricks
• Strong knowledge of Apache Spark, primarily PySpark
• Experience designing and building modern cloud-based data platforms
• Experience developing ETL / ELT pipelines and large-scale data processing solutions
• Hands-on experience with Delta Lake
• Experience with Spark Declarative Pipelines
• Experience with cluster monitoring, metrics analysis, and performance optimization
• Strong understanding of distributed data processing architectures
• Solid understanding of data warehousing concepts and dimensional modeling
• Experience with Airflow or similar orchestration tools
• Experience optimizing complex analytical SQL workloads
• Experience implementing CI / CD practices for data engineering platforms
• Strong troubleshooting and performance optimization skills
• Ability to work collaboratively in cross-functional international teams
• Upper-Intermediate or higher English level

Will be a plus

• Experience working with GCP cloud services
• Experience with AWS or Azure cloud platforms
• Experience in retail analytics or pricing optimization domains
• Experience supporting machine learning or AI-related data workloads
• Experience with platform modernization and cloud migration initiatives

Personal Profile

• Strong analytical and problem-solving mindset
• Proactive and ownership-driven approach
• Ability to work independently and collaboratively
• Good communication and stakeholder collaboration skills
• Passion for scalable data engineering and modern data platforms
• Interest in continuous learning and technology innovation

________________________________________________________________________________

Ти Senior Data Engineer, який захоплюється побудовою масштабованих високопродуктивних платформ даних і роботою з сучасними Lakehouse-технологіями? Приєднуйся до Data Engineering Center of Excellence у Sigma Software та долучайся до модернізації аналітичної екосистеми enterprise-рівня у сфері retail.

Ми шукаємо Senior-фахівця з глибокою експертизою у Databricks, PySpark і cloud data engineering для участі в міграції великої аналітичної платформи з BigQuery до Databricks. Ти співпрацюватимеш із міжнародними командами, братимеш участь в архітектурних рішеннях і допомагатимеш створювати надійні та масштабовані рішення для роботи з даними.

У Sigma Software ми створюємо можливості для безперервного навчання, професійного розвитку та значущого впливу на engineering-рішення під час роботи над складними міжнародними проєктами.

Замовник

Наш Customer — провідна компанія у сфері retail technology, що спеціалізується на AI-driven рішеннях для оптимізації ціноутворення для enterprise retailers. Компанія допомагає бізнесам підвищувати прибутковість і конкурентоспроможність завдяки advanced analytics, automation та intelligent pricing strategies. Їхня платформа поєднує business intelligence із складними алгоритмами для підтримки data-informed pricing decisions у глобальних retail organizations.

Проєкт

Проєкт зосереджений на стратегічній міграції великої аналітичної платформи з legacy BigQuery ecosystem до сучасної Databricks Lakehouse architecture. Платформа обробляє великі обсяги retail datasets, machine learning workloads, analytics pipelines і customer-specific business logic.

У межах modernization initiative engineering team впроваджує масштабовану Spark-based processing, Delta Lake architecture, medallion data layers і сучасні governance practices. Роль надає можливість працювати з distributed data processing systems, оптимізувати large-scale workloads і робити внесок у розвиток enterprise-grade data platform.

Ключові технології: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog

Обов’язки

• Брати участь у міграції великої аналітичної платформи з BigQuery до Databricks
• Проєктувати та впроваджувати масштабовані Lakehouse architectures з використанням Databricks і Delta Lake
• Аналізувати існуючі ETL / ELT workloads і визначати підходи до міграції
• Розробляти та оптимізувати data pipelines для обробки великих обсягів retail і analytical data
• Впроваджувати incremental processing strategies і scalable transformation frameworks
• Будувати та підтримувати Spark-based data processing solutions з використанням PySpark
• Проєктувати та підтримувати medallion architecture layers, включаючи Bronze, Silver і Gold
• Впроваджувати best practices для data governance та security з використанням Unity Catalog
• Співпрацювати з командами Data Science, Analytics, Product і Customer Engineering
• Брати участь в architecture discussions і technical solution design
• Розробляти reusable data platform components та engineering standards
• Проводити code reviews і сприяти підвищенню reliability та maintainability платформи
• Усувати проблеми та оптимізувати складні SQL і Spark workloads
• Підтримувати production deployments і platform modernization activities

Вимоги

• 5+ років професійного досвіду на позиції Data Engineer
• Сильні навички програмування на Python і advanced SQL
• Практичний комерційний досвід роботи з Databricks
• Глибокі знання Apache Spark, переважно PySpark
• Досвід проєктування та побудови сучасних cloud-based data platforms
• Досвід розробки ETL / ELT pipelines і large-scale data processing solutions
• Практичний досвід роботи з Delta Lake
• Досвід роботи зі Spark Declarative Pipelines
• Досвід cluster monitoring, metrics analysis і performance optimization
• Глибоке розуміння distributed data processing architectures
• Розуміння концепцій data warehousing і dimensional modeling
• Досвід роботи з Airflow або подібними orchestration tools
• Досвід оптимізації складних analytical SQL workloads
• Досвід впровадження CI / CD practices для data engineering platforms
• Сильні troubleshooting і performance optimization skills
• Вміння ефективно співпрацювати в cross-functional international teams
• Рівень англійської — Upper-Intermediate або вище

Буде плюсом

• Досвід роботи з GCP cloud services
• Досвід роботи з AWS або Azure cloud platforms
• Досвід у retail analytics або pricing optimization domains
• Досвід підтримки machine learning або AI-related data workloads
• Досвід platform modernization і cloud migration initiatives

Персональні якості

• Сильне аналітичне мислення та problem-solving mindset
• Проактивний підхід і ownership-driven attitude
• Здатність працювати як самостійно, так і в команді
• Хороші communication та stakeholder collaboration skills
• Захоплення scalable data engineering і сучасними data platforms
• Інтерес до continuous learning і technology innovation

Відгукнутись на вакансію