Backend Engineer (AI Gateway Developer) 모집 – Englewood Cliffs, NJ –> Plano, TX

  • #3972482
    Katherine 67.***.22.226 97

    P4N Solutions

    글로벌 시장을 선도하는 한국계 기업에서 Backend Engineer를 모집합니다. 본 포지션은 뉴저지(Englewood Cliffs)에서 첫 근무(~9월) 후, 텍사스 달라스 인근(Plano)으로 근무지를 이전하여 근무하는 조건입니다.
    글로벌 서비스의 백엔드 시스템을 함께 설계하고 성장시켜 나갈 역량 있는 엔지니어분들의 많은 지원 바랍니다.

    Job Title: Backend Engineer_AI Gateway Developer
    Condition: 1 year contract + extension or direct hire
    Location: Englewood Cliffs through September, and Plano, TX starting October, 2026
    Hours: 9:00 AM – 6:00 PM (subject to change)
    Benefits: Medical / Vision / Dental / PTO (After 90 days)

    Position Summary:
    We are building an AI Gateway — a high-performance, secure intermediary layer that routes, inspects, and governs all traffic between enterprise clients and LLM/AI service providers. This role requires deep expertise in network programming, async Python, and cloud infrastructure to design and operate a latency-sensitive, policy-driven gateway that handles massive concurrent streaming connections at scale.

    Key Responsibilities:
    • Async Python & Network Programming (3 + yrs) – Strong hands on experience with asyncio, aiohttp/anyio, low level TCP/UDP sockets, WebSocket & SSE servers, TLS handshake, connection pooling, keep alive, and zero copy buffering
    • Streaming & Large Payload Handling – Ability to manage chunked transfer, bidirectional streaming, back pressure and high throughput data paths for real time LLM inference
    • Protocol Knowledge – Working familiarity with HTTP/2 & HTTP/3 (multiplexing, HPACK), gRPC, and occasional custom protocol parsers
    • FastAPI Based Backend (3 + yrs) – Design, develop and test production grade REST/Streaming APIs; pragmatic use of Pydantic, dependency injection and OpenAPI docs
    • Containerization & Kubernetes – Docker, AKS/EKS/GKE deployment experience; HPA/VPA scaling, rolling updates, and service mesh (e.g., Istio/Envoy) basics
    • Async Messaging & Event Driven Design – Production use of Redis Streams, RabbitMQ or Kafka for decoupled task queues, retries and back off logic
    • PostgreSQL & Vault – Advanced query tuning, partitioning, PgBouncer pooling, plus HashiCorp Vault (dynamic secrets, transit encryption) for key management
    • Cloud Networking & Security – L4/L7 load balancing, TLS termination, reverse proxy (NGINX/Envoy), mTLS between services, and automated cert lifecycle
    • IaC & CI/CD – Terraform modules for multi env infra, plus GitHub Actions/GitLab CI pipelines with container image scanning and canary/blue green deployments

    Requirements/Qualifications:
    • Enterprise Security Gateways – Integration with CASB/DLP/WSS or similar edge security platforms; centralized logging & audit trails
    • IAM & SSO – Configuring Azure AD/Entra ID, Okta, SAML 2.0 or OIDC SSO flows; managing Conditional Access & SCIM provisioning
    • AI/LLM Pipelines – Building prompt engineering workflows, PII anonymization, and monitoring Azure OpenAI (or comparable) usage, rate limits & cost
    • API Gateway Operations – Custom webhook/REST integrations, circuit breaker patterns, rate limiting, auto retry and health checking
    • Observability & FinOps – End to end monitoring with Datadog, Prometheus/Grafana or Azure Monitor; proactive cost optimization and 24/7 incident response (SLA/SLO)

    ———————————————————————————————————
    포지션 소개:
    기업 고객과 AI/LLM 서비스 제공업체 사이의 모든 트래픽을 안전하고 효율적으로 중계·제어하는 AI Gateway를 구축하는 백엔드 엔지니어를 모집합니다. 대규모 동시 스트리밍 연결을 안정적으로 처리할 수 있는 고성능 네트워크 시스템을 설계 및 운영하며, Python 프로그래밍, 클라우드 인프라, Kubernetes 및 AI 플랫폼 경험을 보유한 분을 찾습니다.
    주요 업무:

    자격 요건:
    • Enterprise Security Gateway(CASB, DLP, WSS 등) 구축 또는 연동 경험
    • Azure AD(Entra ID), Okta, SAML 2.0, OIDC 기반 IAM 및 SSO 구축 경험
    • Azure OpenAI 또는 유사 LLM 플랫폼 활용 경험
    • Prompt Workflow 및 개인정보(PII) 비식별화(Anonymization) 경험
    • API Gateway 운영 경험: Webhook 및 REST API Integration, Circuit Breaker, Rate Limiting, Auto Retry, Health Check
    • Datadog, Prometheus, Grafana, Azure Monitor 등을 활용한 모니터링 경험
    • 클라우드 비용 최적화(FinOps) 및 장애 대응(On-call/SLA/SLO) 경험

    우대 사항:
    • AI 플랫폼, API Gateway 또는 Platform Engineering 경험
    • 대규모 분산 시스템(Distributed Systems) 개발 경험
    • 고성능 네트워크 서버 및 스트리밍 서비스 개발 경험
    • Azure, AWS 또는 GCP 기반 클라우드 인프라 운영 경험
    • AI/LLM 서비스 및 Enterprise AI 플랫폼 구축 경험

    ※ 채용 절차: 전화 인터뷰, In-Person or Virtual 인터뷰
    ※ 지원 방법: recruiting@people4nets.com 으로 이력서 송부 (담당자: Katherine) ※ 문의: 214-444-0240