Home Job Postings DataOps Engineer채용 – Work at Englewood Cliffs, NJ until September and Plano, TX This topic has replies, 0 voices, and was last updated 2 days ago by Katherine. Now Editing “DataOps Engineer채용 – Work at Englewood Cliffs, NJ until September and Plano, TX” Name * Password * Email Topic Title (Maximum Length 80) Company * Location Expires at 글로벌 시장을 선도하는 한국계 기업에서 Apache Iceberg 기반의 Lakehouse 데이터 플랫폼과 Docker 기반 마이크로서비스(Spark, Flink, Presto 등)를 구축 및 운영할 중급(Mid-Level) Data Ops Engineer를 모집합니다. 데이터 파이프라인 구축부터 CI/CD, 모니터링, 보안, 장애 대응까지 플랫폼 전반의 운영을 담당하며, 대규모 환경에서도 안정적이고 효율적인 데이터 플랫폼을 유지·관리하는 역할입니다. 본 포지션은 뉴저지(Englewood Cliffs)에서 첫 근무(~9월) 후, 텍사스 달라스 인근(Plano)으로 근무지를 이전하여 근무하는 조건입니다. <strong>Job Title:</strong> Data Ops Engineer <strong>Condition:</strong> 1 year contract + extension or direct hire <strong>Location: </strong>Englewood Cliffs through September, and Plano, TX starting October, 2026 <strong>Hours: </strong>9:00 AM - 6:00 PM (subject to change) <strong>Benefits:</strong> Medical / Vision / Dental / PTO (After 90 days) <strong>주요 업무:</strong> <strong>Apache Iceberg 운영</strong> • Apache Iceberg 테이블 구축 및 운영 • 스키마 변경(Schema Evolution), 파티션 관리, Snapshot 보관 정책 운영 • Hive Metastore, AWS Glue, Nessie 등 Catalog 동기화 및 관리 <strong>Docker 이미지 구축 및 테스트</strong> • Spark, Flink, Presto용 Multi-stage Docker 이미지 작성 • Docker Compose를 활용한 로컬 테스트 환경 구축 • Trivy, Snyk 등을 활용한 컨테이너 이미지 보안 취약점 점검 <strong>데이터 파이프라인 개발</strong> • ETL/ELT 파이프라인 개발 및 운영 • 원시(Raw) 데이터를 Apache Iceberg 테이블로 적재 • 필요 시 Kafka, Pulsar, Kinesis 기반 스트리밍 데이터 파이프라인 구축 <strong>CI/ CD 자동화</strong> • GitHub Actions, GitLab CI, Azure DevOps 기반 CI/CD 구축 및 운영 • Dockerfile Lint 검사, 이미지 보안 스캔, 메타데이터 버전 관리 및 무중단 배포 자동화 <strong>인프라 자동화</strong> • Python 및 Ansible을 활용한 클러스터 구축, Catalog 구성, Vacuum/Compaction 및 운영 작업 자동화 <strong>모니터링(Observability)</strong> • OpenTelemetry, Prometheus, Grafana, Loki 기반 모니터링 환경 구축 • 파이프라인 지연 시간, 리소스 사용량, 테이블 상태 및 오류율 대시보드 구성 • Alert 설정 및 운영 <strong>SLA 모니터링</strong> • 데이터 최신성, 작업 성공률 및 쿼리 응답 시간 모니터링 • SLA 목표 대비 성능을 분석하고 이슈 보고 <strong>장애 대응(Incident Response)</strong> • On-call 운영 참여 • 데이터 파이프라인, Iceberg 메타데이터 및 컨테이너 장애의 1차 분석 및 해결 <strong>• Root Cause Analysis(RCA) 작성 및 개선 방안 제안 보안 및 컴플라이언스 지원</strong> • Image Signing, mTLS, IAM Role 및 Bucket Policy 관리 지원 • GDPR, HIPAA, ISO 27001 등 보안 규정 준수 지원 <strong>기술 문서화 및 지식 공유</strong> • 내부 기술 문서 최신화 • Apache Iceberg, Docker Best Practices 및 자동화 관련 기술 세션 및 데모 진행 <strong>자격 요건:</strong> • 컴퓨터공학, IT, 데이터 엔지니어링 또는 관련 분야 학사 이상 (석사 우대) • 5년 이상 대규모 데이터 플랫폼(Lakehouse, Data Warehouse, Big Data 등) 구축 및 운영 경험 • Apache Iceberg 운영 경험 - 테이블 생성, 파티션 관리, Schema Evolution, Catalog 연동 • Docker 활용 능력 - Multi-stage Build, Docker Compose, 이미지 보안 취약점 점검 • Spark, Flink 또는 Presto(Trino) 중 하나 이상의 데이터 처리 엔진 운영 경험 • Python 및/또는 Ansible을 활용한 인프라 및 플랫폼 자동화 경험 • Docker Lint, 이미지 보안 검사, 자동 배포를 포함한 CI/CD 구축 경험 • Prometheus, Grafana, OpenTelemetry, Loki 등 모니터링 도구 활용 경험 • 장애 대응 및 Root Cause Analysis(RCA) 작성 경험 • On-call 운영 참여 가능자 • 초기에는 뉴저지(Englewood Cliffs)에서 근무하고, 2026년 10월부터 텍사스 Plano(달라스 지역)로 근무지 이전이 가능한 분 <strong>우대 사항: </strong> • AWS, Azure 또는 GCP 기반 클라우드 데이터 플랫폼 운영 경험 – EMR, Dataproc, Synapse • Delta Lake, Apache Hudi 등 다른 Lakehouse 포맷 경험 및 Iceberg와의 비교/평가 경험 • Kafka, Pulsar, Kinesis 기반 스트리밍 데이터 처리 경험 • 관련 자격증 보유자 (Databricks Lakehouse Associate, Google Professional Data Engineer, AWS, etc.) • 제약, 금융, 의료 등 규제 산업(Regulated Industry)의 데이터 플랫폼 운영 경험 및 GDPR, HIPAA 등 관련 컴플라이언스 이해도가 있는 분 --------------------------------------------------------------------------------------------- <strong>Position Summary: </strong> We are looking for a mid level engineer to build and operate a data platform that uses Apache Iceberg as the lake house table format and Docker based micro services (Spark, Flink, Presto, etc.). you will own the end to end delivery pipeline, monitoring, security, and incident response, ensuring the platform runs reliably at scale. <strong>Key Responsibilities:</strong> <strong>Iceberg operations</strong> • Support tables, manage schema changes, partitions, snapshot retention, and keep the catalog (Hive Metastore, AWS Glue, Nessie, …) synchronized. <strong>Docker image creation & testing </strong> • Write multi stage Dockerfiles for Spark/Flink/Presto, run local test environments with Docker Compose, and conduct vulnerability scans (Trivy, Snyk, …). <strong>Data pipeline development </strong> • Build ETL/ELT jobs that ingest raw data and write to Iceberg tables; add simple streaming components using Kafka, Pulsar, or Kinesis when needed. <strong>CI/CD automation </strong> • Configure pipelines (GitHub Actions, GitLab CI, Azure DevOps, …) to lint Dockerfiles, scan images, version Iceberg metadata, and deploy pipelines without downtime. • Automation with Ansible/Python script cluster provisioning, catalog configuration, vacuum/compaction, and other routine housekeeping tasks. <strong>Observability </strong> • Instrument services with OpenTelemetry, Prometheus, Grafana, and Loki; create dashboards showing pipeline latency, resource usage, table health, and error rates; set up basic alerts. <strong>SLA monitoring</strong> • Measure data freshness, job success rates, and query response times against agreed upon targets and report deviations. Incident response • Join the on call rotation, perform first line diagnosis and resolution of pipeline failures, Iceberg metadata issues, or container crashes; write concise root cause analyses and suggest improvements. <strong>Security & compliance support</strong> • Help enforce image signing, mTLS, IAM roles, and bucket policies; collaborate with the security team to meet GDPR, HIPAA, or ISO 27001 requirements. <strong>Knowledge sharing </strong> • Keep internal documentation up to date and run short tech demos or brown bag sessions on Iceberg, Docker best practices, and automation techniques. <strong>Requirements/Qualifications:</strong> • Bachelor’s degree in Computer Science, IT, Data Engineering, or a related field (Master’s a plus). • 5+ years of hands on experience building and operating large scale data platforms (lake house, data warehouse, or big data ecosystems). • Proven production experience with Apache Iceberg (table creation, partition management, schema evolution, catalog integration). • Strong Docker skills: multi stage builds, Docker Compose testing, routine image security scanning. • Experience with at least one major data processing engine (Spark, Flink, or Presto/Trino) and its connection to Iceberg tables. • Proficiency in Python and/or Ansible for automating infrastructure and platform tasks. • Experience building CI/CD pipelines that include Docker linting, vulnerability scanning, and automated deployment of data pipeline code. • Familiarity with observability tooling (Prometheus, Grafana, OpenTelemetry, Loki) and ability to create useful alerts and dashboards. • Ability to respond to incidents, write clear root cause analysis reports, and contribute to post mortem actions. • Willingness to participate in an on call rotation as a first line responder. • Availability to work on site in New Jersey for the initial assignment and relocate to Dallas by October 2026. <strong>Preferred Qualifications:</strong> • Experience with cloud native data services on AWS, Azure, or GCP (EMR, Dataproc, Synapse, etc.). • Familiarity with other lake house formats such as Delta Lake or Apache Hudi and ability to evaluate trade offs against Iceberg. • Knowledge of streaming platforms (Kafka, Pulsar, Kinesis) and real time processing patterns. • Relevant certifications (Databricks Lakehouse Associate, Google Professional Data Engineer, AWS Certified Data Analytics – Specialty, etc.). • Background supporting data platforms in regulated industries (pharma, finance, healthcare) and understanding of associated compliance frameworks. ※ 채용 절차: 전화 인터뷰, In-Person or Virtual 인터뷰 ※ 지원 방법: recruiting@people4nets.com 으로 이력서 송부 (담당자: Katherine) ※ 문의: 214-444-0240 I agree to the terms of service Update List
