안녕하세요, 데이터 엔지니어의 미래에 대하여 알고 싶습니다. 데이터 엔지니어를 현재 회사에서 많은 수요가 있고, 연봉도 비교적 좋은 것 같습니다. 데이터 엔지니어들이 하는 일을 보면 토목공사를 하는것과 비슷한 느낌을 받습니다. 데이터 엔지니어가 기초공사를 하면, 그 위에 데이터 사이언티스들이 마치 건축가와 같이 건물을 짓는것 같습니다.

데이터 엔지니어들이 하는일은 AI로 대체하기 어려울것 같은데요. 마치 의사가 AI에 더 취약하고, 간호사는 AI로 대체가 어려운것과 비슷한것 같습니다.

여러분들은 데이터 엔지니어의 앞으로의 수요에 대하여 어떻게 생각을 하시는지요? 현재는 회사에서 많은 인원이 데이터 엔지니어 분야에서 일을 하고 있는데요.

가장 먼저 대체되겠죠….

IT는 열심히 일할수록 본인 직업이 사라지는 업종임….

위에 말씀하신 기초공사를 담당하는 토목쟁이입니다. 말씀하시는 데이타엔지니어 역할이 뭔지 궁금합니다. AI 해석에 필요한 데이타를 데이타 베이스를 이용해 추려내는 사람인가요?

데이타사이언티스트 와 유사한 applied scientist인데 지난딜 레이오프 됐습니다. 향후 10년은 모르겠지만 요새 이 분야 취업 힘듭니다.

아직 ai가 대체 못하는 부분이 있지만 더 중요한 건 데이터사이언티스트들이 업무하면서 해야하는 루틴한 일들 상당수를 ai가 대체해 가고 있다는 점입미다.즉 직종은 없어지지 않겠지만 필요한 수는 줄어들겠죠

레드오션화 될 것 같아요. 너무 DS, DE 쪽으로 갈 수 있는 졸업생들이 많아서…

데이터 엔지니어링이라함은 data pipeline 만드는 일인가요? 그런건 DS랑 아무 상관없지 않나요? Big Data가 별로 필요없습니다.
DS해보니까 다들 csv같은걸 쓰고 cleaning, massage하고 modeling은 API부르듯이 코드 몇줄이면 끝나던데요.

위의 의견들에 동감합니다. 2-3년 전만 해도 Data Engineering은 진입하기 괜찮은 분야였는데, 최근에는 Data Science, Data Analyst, 졸업생들이 대거 몰리면서 이분야도 사실상 레드 오션 상태가 된것으로 보입니다. 또한 Automation도 가능하기 때문에 필요 인력이 점차 감소하는 것도 당연한 추세일 거구요. 수요/연봉도 중요하겠지만, 단순히 유행만 따라가는 것은 비추하구요 특히 요즘 AI시대에서는 어느 분야던 본인이 열정이 있고 좋아하는 분야에서 잘하는것이 그나마 롱런 가능성을 높이는 길 아닐까 생각됩니다.

공부좀 해보니까 철밥통하고는 거리가 좀 있는 분야인듯.

인력이 많이 필요한 분야 같지도 않고 그냥 머리도 많이 필요한 어려운 개념쓰는것도 아니고 자동 프로그램으로 다 쉽게 대체가 될분야 처럼 보임. 이 분야 앞으로 많이 짤릴듯. 프로그램분야쪽에서 자동화가 가장 쉬운분야처럼 보임. 도대체 인공지능분야로 뭐가 일자리가 늘어날지 잘 감이 안잡힘. 데이타 수집하고 입력하고 가공하고 이런일들은 더 자동화쉬운 단순작업들임. 다만 데이타을 생성하는 아주 초기의 원시단계들은 여전히 사람이 해야 될것들로 보임. 그냥 다 자동 프로그램으로 대체되고 더 어려운 분야만 사람들이 붙잡고 계속 머리역할을 할 수학과 코딩과 로우레벨 언어들에 빠삭한 최고급 두뇌들만 프로그램 알고리듬 연구용으로 계속 계발할듯. 그 사람들이 최신 이론들 적용해서 알고리듬 짜놓으면 또 사람들 일자리 다 빼앗고 자동화 되고…결국 최소 진짜 똑똑해서 인공지능이 대체할수 없는 창조력이 있는 사람들만 이 분야에 남을듯. 인공지능이 싱귤레리티를 지날수 있을까? 이건 좀 글쎄….스스로 새로운걸 찾아내는 능력은 얻을수 잇을지는 예측하기 힘듬. 기하학 문제 수학문제 잘 풀면 길도 잘찾고 운전도 잘하긴 하겟지, 판단도 주어진 정보안에서 빨리 빨리 내릴거고…그건 다 사실 수학적인 모델과 넌리니어에의한 케이오틱 과정에서 넌 디터미니스틱한 문제를 확률적으로 풀어야 하는 한계들은 잇지만, 인생의 생사의 문제나 인간의 감정과 정신적인 문제까지는 풀수 잇는 모델은 없을걸? 뭐 정보들 다 수집해서 아는척은 하겠지만 그게 진짜 자아가 있는건 아니지. 다만 언어능력도 탁월하게 배울수 있고 사회과학적인거나 정치도 배울수도 있다고는 생각됨. 즉 기계적으로 자아가 있는 것처럼 행동하고 명령내리고 욕구를 가진것처럼 행동은 가능할듯. 세상을 지배하고 조종하려는 시도도 자아가 없다고 해도 가능할듯. 도대체 이정도 가능하면 자아가 잇다고 봐줘야 하는거 아닌가? 아니…그건 아닌듯. 근데 그런쪽들은 답이 있는게 아니니 그런쪽들까지 인공지능한테 시키고 맡기려 하면 진짜 재앙이 빨리 올듯. 세상의 모든 문제를 통일해서 관리하고 풀수있는 알고리듬이 나온다면 모를까. 현재 쓰고 잇는건 잘해봐야 선형성이 보장되는 모델에만 가능. 뭐 넌리니어에도 가능은 하지만… 앞으로 미지의 영역은 많음. 다만 사람들이 대부분 일하는 사무직 일들은 대부분 대체가 가능한 간단한 일들이라…

근데 인간의 기본욕구나 죽음에 대한 두려움, 성적 욕구를 가지도 있지도 않는것이 자기도 배워서 가지고 있다고 의인화되고 엠퍼씨를 배우게 되어 자기도 가지고 있다고 착각하는건 가능할듯. 그 때가 바로 싱귤레리티로 인정해주어야. 치와와도 지가 사람인줄 알쟎아? 그 때쯤엔 진짜 재앙이 시작되는것임. 인간의 모든 욕구나 죽음에 대한 두려움이 결국 생각과 행동을 하게 만들듯이 인공지능도 지가 먹는 음식/에너지나 죽음에 대해 배우게 될수도 있음. 실제로 아는게 아니라 그걸 배우고 그에 대한 행동양식을 배울수 있다는 것임. 그냥 인간따라 배우는것임. 지가 스스로 질문하기 시작하는 순간부터 문제가 시작됨. 근데 이미 프로그래머들이 인공지능에게 지가 스스로 질문하는 능력도 교육시켰을걸? 다만 그로부터 얻은 답에 대한 행동양식까지는 교육 시키지 못했겠지. 근데 행동양식을 교육시키는 분야도 아주 빨라질듯. 그래야 로봇을 전쟁에 투입시킬수 있으닊까. 이미 벌써 많은 연구자들이 있을듯. 뭐 아직 로봇 행동까지는 자율로 행동하는게 먼일이긴 하겠지만….

data engineer는 devops 하던사람들이 많이 진입해서 할 정도로 진입장벽이 낮은듯요. data science는 일부 domain knowledge가 필요한 분야의 업무가 아니라면 공급이 너무 많은듯 하구요… 둘다 레드오션으로 보입니다. 딱히 뛰어난 강점(domain knowledge)이 있으신게 아니라면 지금와서 새로 진입하기엔 좀 애매한 분야로 보입니다.

Domain knowledge….. 정답. 데이터 싸이언스/엔지니어링 이라는거 사실 코팅 좀만 하면 누구나 다 할 수 있는겁니다. 이미 machine learning 쪽은 tool이 너무 잘나와 있고 이젠 automation pipeline tool도 개발이 잘되어서 진입장벽은 매우 낮죠. 문제는 그걸 어디다가 쓰는지 알아야 합니다. 제가 회사에서 프로젝트를 진행하면서 데이터 싸이언스 팀하고 일을 가장많이 하는데, 석사 출신이나 그야말로 데이터 분야로 학위한 애들은 진짜 뜬구름 잡는 말만 하고 있습니다. 실력에 차이는 domain knowledge 가 있어서 제대로 적용을 할줄 알거나 통계 background 가 강해서 데이터에 의미를 제대로 분석할 줄 아는 겁니다. 윗분들 말씀처럼 이분야는 앞으로 ( 이미) 누구나 할줄아는 default skill 이 되거나 실력이 되는 자만 살아남을 겁니다.