데이터 엔지니어 기술 스택 고민..

  • #3829860
    고민 68.***.92.3 1774

    안녕하세요,

    저는 현재 ETL, SQL Developer 로 일을 하고 있고, 이쪽 분야에 2년 정도 경력이 있습니다. 원래 이쪽 분야에서 커리어를 시작 한 것은 아니고, 다른 엔지니어링 분야 에서 몇년 근무하다가 전향한 케이스 입니다. 최종적으로는 데이터 엔지니어 로 타이틀을 달고 싶은 욕심이 있습니다.

    현재 회사에선 GUI based ETL Tool 을 사용하여 ETL 개발 및 유지 보수를 하고있고, ETL 개발에 필요한 SP or View 개발을 주로 하고 있습니다 (일은 많아서 프로젝트는 계속해서 있습니다). 그렇다 보니, 대부분 ETL 개발은 code based 로 이루어 지는 다른 회사들에 비교하면, 많이 뒤쳐진 느낌입니다.
    Airflow, Python, Databricks, Aws, GCP, Azure 등등…

    그래서 이쪽 분야에 계신 분들의 조언 좀 듣고 싶습니다. 틈틈히 위에 언급한 기술들 사용하여 개인 Project Building 을 하려고 노력은 하는중인데, 일하면서 병행하기가 쉽지는 않네요..

    하루 빨리 개인 프로젝트 수를 늘려서 데이터 엔지니어로 이직을 준비해야 할까요?

    어떤 조언이든 감사하게 받겠습니다.

    • Aa 174.***.196.7

      저는 data analyst인데요 저도 같은 고민이예뇨 sql python만 쓰는데 제대로된 machine learning pipeline을 공부하고 싶은데 쉽진 않아서 coursera에 코스 정도 보고 있는데 그런 환경의 회사에서 일하고 싶네요

    • Sk 50.***.65.85

      데이터 엔지니어 5년차 입니다

      맒씀하신데로 데이터가 있는 회사에 있어야지 스킬이 늘어요.
      저희 회사도 5년전만 해도 데이터에 투자가 별로 없어서 시퀄로 다 되었는데, 지금은 페타바이트를 리얼타임으로 처리하도록 회사에서 투자해줘서 리얼타임 모니터 등 만듭니다. 코딩은 자비 씨샵 파이썬 스파크 쿠보네티 씨퀄 큐브 파워비아이 트리노 등 다 씁니다.
      눈치채셨는지 모르겟지만 전 코딩이 분석보다 조금 더 좋습니다.

      데이터 분석가라면 여러 툴을 써서 비즈니스를 리드해 가는 스킬이 필요한데, 하나 비즈니스 시나리오를 잡고 (챗봇 같은) 그걸 가지고 끝까지 물고 개선해 나가야만 답이 있는 것 같아요