Topic Edit: [뉴저지주 & 텍사스주] 데이터 운영 엔지니어 (DataOps Engineer) – 이중언어 (한국어, 영어)

This topic has replies, 0 voices, and was last updated 2 weeks ago by P4Nsolutions.

Now Editing “[뉴저지주 & 텍사스주] 데이터 운영 엔지니어 (DataOps Engineer) – 이중언어 (한국어, 영어)”

Name *

Password *

Topic Title (Maximum Length 80)

Company *

Location

Expires at

직책: 데이터 운영 엔지니어 (DataOps Engineer)
월 급여: 약 $14,000 (경력 및 자격에 따라 협의 가능)
계약 기간: 1년 (연장 가능, 정규직 전환 기회 있음)
근무지:
뉴저지주 Englewood Cliffs (2026년 9월까지)
텍사스주 Plano (2026년 10월부터)
※ 2026년 10월부터 텍사스로 이전 근무가 가능하며, 9월까지 뉴저지에서 현장 근무가 가능한 분을 찾습니다.

근무 시간: 오전 9:00 - 오후 6:00 (현지 시간 기준)
복리후생: 의료/시력/치과 보험, 유급 휴가(PTO, 90일 근무 후 자격 부여)
채용 인원: 1명
자격 요건: 이중언어 구사자 (한국어 및 영어)
직무 요약
Apache Iceberg를 데이터 레이크하우스 테이블 형식으로 사용하고, Docker 기반 마이크로서비스(Spark, Flink, Presto 등)를 활용하는 데이터 플랫폼을 구축 및 운영할 중급 엔지니어를 찾습니다. 플랫폼이 안정적으로 운영될 수 있도록 전체 엔드 투 엔드 전달 파이프라인, 모니터링, 보안 및 장애 대응을 책임지게 됩니다.주요 책임 업무
Iceberg 운영: 테이블 지원, 스키마 변경, 파티셔닝, 스냅샷 보존 관리 및 카탈로그(Hive Metastore, AWS Glue, Nessie 등) 동기화 유지.
Docker 이미지 생성 및 테스트: Spark/Flink/Presto를 위한 멀티 스테이지 Dockerfile 작성, Docker-Compose를 활용한 로컬 테스트 환경 운영, 취약점 스캔(Trivy, Snyk 등) 수행.
데이터 파이프라인 개발: 원시 데이터를 수집하여 Iceberg 테이블에 기록하는 ETL/ELT 작업 구축; 필요 시 Kafka, Pulsar, Kinesis를 활용한 스트리밍 구성 요소 추가.
CI/CD 자동화: Dockerfile 린트, 이미지 스캔, Iceberg 메타데이터 버전 관리, 무중단 파이프라인 배포를 위한 파이프라인(GitHub Actions, GitLab CI, Azure DevOps 등) 구성.
Ansible/Python 자동화: 클러스터 프로비저닝, 카탈로그 구성, vacuum/compaction 등 정기적인 유지 관리 작업을 위한 스크립트 작성.
관측성(Observability): OpenTelemetry, Prometheus, Grafana, Loki를 활용한 서비스 계측; 파이프라인 지연 시간, 리소스 사용량, 테이블 상태 및 오류율을 보여주는 대시보드 생성; 기본 알림 설정.
SLA 모니터링: 데이터 신선도, 작업 성공률, 쿼리 응답 시간을 측정하여 합의된 목표 대비 편차 보고.
장애 대응: 온콜(on-call) 로테이션 참여, 파이프라인 실패/Iceberg 메타데이터 문제/컨테이너 충돌에 대한 1차 진단 및 해결; 명확한 근본 원인 분석 작성 및 개선 방안 제시.
보안 및 규정 준수 지원: 이미지 서명, mTLS, IAM 역할 및 버킷 정책 적용 지원; GDPR, HIPAA, ISO 27001 규정 준수를 위해 보안 팀과 협업.
지식 공유: 내부 문서 최적화, Iceberg, Docker 모범 사례 및 자동화 기술에 대한 짧은 기술 데모 또는 브라운 백 세션 운영.
최소 자격 요건
컴퓨터 과학, IT, 데이터 공학 또는 관련 분야 학사 학위 (석사 우대).
대규모 데이터 플랫폼(레이크하우스, 데이터 웨어하우스 또는 빅데이터 생태계) 구축 및 운영 실무 경험 약 5년.
Apache Iceberg 프로덕션 사용 경험 (테이블 생성, 파티션 관리, 스키마 진화, 카탈로그 통합).
강력한 Docker 기술: 멀티 스테이지 빌드, Docker-Compose 테스트, 정기적인 이미지 보안 스캔.
주요 데이터 처리 엔진(Spark, Flink, Presto/Trino 중 하나 이상)과 Iceberg 테이블 연결 경험.
인프라 및 플랫폼 작업 자동화를 위한 Python 및/또는 Ansible 숙련도.
Docker 린트, 취약점 스캔, 데이터 파이프라인 코드 자동 배포를 포함하는 CI/CD 파이프라인 구축 경험.
관측성 도구(Prometheus, Grafana, OpenTelemetry, Loki)에 대한 친숙도 및 유용한 알림/대시보드 생성 능력.
장애 대응, 명확한 근본 원인 분석 보고서 작성 및 사후 조치 기여 능력.
1차 대응자로서 온콜 로테이션 참여 의지.
초기 뉴저지 현장 근무 및 2026년 10월까지 댈러스로 이전 근무 가능 여부.
우대 사항
AWS, Azure, GCP 기반 클라우드 네이티브 데이터 서비스(EMR, Dataproc, Synapse 등) 경험.
Delta Lake나 Apache Hudi 등 다른 레이크하우스 형식에 대한 친숙도 및 Iceberg와의 트레이드오프 평가 능력.
스트리밍 플랫폼(Kafka, Pulsar, Kinesis) 및 실시간 처리 패턴 지식.
관련 자격증 (Databricks Lakehouse Associate, Google Professional Data Engineer, AWS Certified Data Analytics – Specialty 등).
규제 산업(제약, 금융, 헬스케어) 데이터 플랫폼 지원 경험 및 관련 규정 준수 프레임워크 이해도.
※ 채용 절차: 서류 전형, 전화 면접, 현장 면접

※ 지원 방법 / 문의:
이력서를 recruiting@people4nets.com으로 보내주시기 바랍니다.
문의 사항은 469-305-2236 (Jaime)로 연락주세요.

Job Title: DataOps Engineer 
Contract Period: 1 yr. + extension or direct hire opportunity
Working Location: 
Englewood Cliffs, NJ (through September 2026) ※
Plano, TX (effective October 2026 onward) ※

※ We are looking for candidates who are willing to relocate to Texas starting in October and are available to work onsite in New Jersey through September.

Work Hours: 9:00 - 6:00 local time
Pay rate: $9,800/month (Based on experience and qualifications)
Benefits: Medical / Vision / Dental insurance, PTO (eligible after 90 days)
Person in needed: 1
Requirements: Bilingual (Both Korean and English)

JD Details
We are looking for a mid‑level engineer to build and operate a data platform that uses Apache Iceberg as the lake‑house table format and Docker‑based micro‑services (Spark, Flink, Presto, etc.). you will own the end‑to‑end delivery pipeline, monitoring, security, and incident response, ensuring the platform runs reliably at scale.

Key Responsibilities
Iceberg operations: support tables, manage schema changes, partitions, snapshot retention, and keep the catalog (Hive Metastore, AWS Glue, Nessie, …) synchronized.
Docker image creation &amp; testing: write multi‑stage Dockerfiles for Spark/Flink/Presto, run local test environments with Docker‑Compose, and conduct vulnerability scans (Trivy, Snyk, …).
Data pipeline development: build ETL/ELT jobs that ingest raw data and write to Iceberg tables; add simple streaming components using Kafka, Pulsar, or Kinesis when needed.
CI/CD automation: configure pipelines (GitHub Actions, GitLab CI, Azure DevOps, …) to lint Dockerfiles, scan images, version Iceberg metadata, and deploy pipelines without downtime.
Automation with Ansible/Python: script cluster provisioning, catalog configuration, vacuum/compaction, and other routine housekeeping tasks.
Observability: instrument services with OpenTelemetry, Prometheus, Grafana, and Loki; create dashboards showing pipeline latency, resource usage, table health, and error rates; set up basic alerts.
SLA monitoring: measure data freshness, job success rates, and query response times against agreed‑upon targets and report deviations.
Incident response: join the on‑call rotation, perform first‑line diagnosis and resolution of pipeline failures, Iceberg metadata issues, or container crashes; write concise root‑cause analyses and suggest improvements.
Security &amp; compliance support: help enforce image signing, mTLS, IAM roles, and bucket policies; collaborate with the security team to meet GDPR, HIPAA, or ISO 27001 requirements.
Knowledge sharing: keep internal documentation up to date and run short tech demos or brown‑bag sessions on Iceberg, Docker best practices, and automation techniques.

Minimum Requirements
Bachelor’s degree in Computer Science, IT, Data Engineering, or a related field (Master’s a plus).
~5 years of hands‑on experience building and operating large‑scale data platforms (lake‑house, data‑warehouse, or big‑data ecosystems).
Proven production experience with Apache Iceberg (table creation, partition management, schema evolution, catalog integration).
Strong Docker skills: multi‑stage builds, Docker‑Compose testing, routine image security scanning.
Experience with at least one major data‑processing engine (Spark, Flink, or Presto/Trino) and its connection to Iceberg tables.
Proficiency in Python and/or Ansible for automating infrastructure and platform tasks.
Experience building CI/CD pipelines that include Docker linting, vulnerability scanning, and automated deployment of data‑pipeline code.
Familiarity with observability tooling (Prometheus, Grafana, OpenTelemetry, Loki) and ability to create useful alerts and dashboards.
Ability to respond to incidents, write clear root‑cause analysis reports, and contribute to post‑mortem actions.
Willingness to participate in an on‑call rotation as a first‑line responder.
Availability to work on‑site in New Jersey for the initial assignment and relocate to Dallas by October 2026.

Preferred Qualifications
Experience with cloud‑native data services on AWS, Azure, or GCP (EMR, Dataproc, Synapse, etc.).
Familiarity with other lake‑house formats such as Delta Lake or Apache Hudi and ability to evaluate trade‑offs against Iceberg.
Knowledge of streaming platforms (Kafka, Pulsar, Kinesis) and real‑time processing patterns.
Relevant certifications (Databricks Lakehouse Associate, Google Professional Data Engineer, AWS Certified Data Analytics – Specialty, etc.).
Background supporting data platforms in regulated industries (pharma, finance, healthcare) and understanding of associated compliance frameworks.

※ Hiring Process: Resume screening, phone interview, and onsite interview

※ How to Apply / Inquiries:
    Please send your resume to recruiting@people4nets.com
    For inquiries, please contact 469-305-2236 (Jaime)
    https://www.instagram.com/p4nsolutions/

I agree to the terms of service