Machine Learning 난이도가 낮아지고 있다고 생각하나요?

  • #3252056
    dddd 69.***.231.162 1877

    안녕하세요. 전 CS (non-ML) 박사 과정 마치고 대기업 연구소에서 일하고 있습니다. 현재 하는 일이 ML은 아닌데 최근 채용되는 박사들 보면 절반 이상이 ML관련이고, 인턴도 그 쪽으로 많이 뽑더라구요.

    근데 가끔 보면 CS 학부생 인턴도 RNN, GAN같은 비교적 최신 기술을 써서 프로젝트를 하는 것 같더라구요. 최근 keras나 pyTorch같은 프레임웍이 많이 발전해서 그런가, 학습 데이터만 있고 문제만 명확하면 한 두달 안에 뚝딱 만들어서 꽤 쓸만한 (overfit은 고려 안하고) 결과가 나오더군요.

    진입 장벽이 몇 년 사이에 많이 낮아진 것 같은데… 어떻게 생각하시나요?
    이게 얼마 안 남은 low-hanging fruit을 따먹고 있는 건지, 아니면 정말 ML 세상이 열린건지 모르겠습니다.

    • CS 73.***.166.92

      구현이 쉬워진거지 이론이 쉬워진것은 아닙니다.

      모든 사람이 타자칠줄 아는 시대가 왔지만 모두가 글을 잘쓰는것은 아니잖아요.

      • dddd 69.***.231.162

        지금은 타자 칠 줄만 알아도 전문가 행세를 할 수 있는 시기인가 봅니다…

    • CS 73.***.166.92

      그리고 학습데이터가 있고 문제가 명확하기까지가 제일 어려운 부분이라고 생각합니다.
      흔히들 말하는 것이 데이터정제하는데만 프로젝트 전체의 80%시간이 걸린다고들 합니다.
      문제가 명확하려면 일단 input 이 뭔지 objective/loss function 이 뭔지를 정의해야할텐데, 그게 끝나면 나머지는 모델 튜닝이니 사실 전제하신 두 부분이 플젝에 대부분을 차지하는 큰 스텝들 입니다.

      • dddd 69.***.231.162

        그렇군요. 아직 전인미답의 어플리케이션이 많이 있다보니, 학습데이터가 부실하고 문제 정의에서 개선할 여지가 많더라도 일단은 처음 모델을 만들었다는 점에서 크레딧을 먹는 것 같기도 합니다..

    • gngn 218.***.30.147

      근데 솔직히 논문 나오는것들 보면 기사에서 떠들어대는거에 비해 획기적이진 않은거같은 느낌도 많은데
      알고리즘 성능을 봤을땐 현실세계로 가져오기 힘든것도 많은듯한데요

      • dddd 69.***.231.162

        비전문가인 제가 보기에도 약 파는(?) 논문들이 많더군요. 모델이 작동하긴 하는데, 현실 세계의 노이즈를 견딜 수 없을 것 같은 느낌을 주는. 그래서인가 제품 개발팀에서는 눈에 불을 켜고 제약사항을 꼬치꼬치 캐뭍더라구요.

        • gngn 218.***.30.147

          저도 사실 저울질하다가 엔지니어링에 집중하기로했습니다. 사실 ML도 버블좀 껴있는듯합니다. 알고리즘 아이디어 제안해서 논문쓰고 이런게 재밌고 멋있는 일이긴하지만 현실에서 돈을 만들어낼까할때 아직 완전히 신뢰가 가진안네요

    • . 73.***.252.71

      모든게 라이브러리, 툴로 들어가 버리니까 이론 잘 몰라도 되지 않을까요? 소프트웨어 엔지니어도 학교에서 배우는 cs 이론들 실전에서 별로 안 쓰잖아요. 제 생각엔 가까운 시일내에 개발자가 ML까지 카버할수 있을거 같습니다.

      • dddd 192.***.10.201

        제가 궁금한 부분도 같은 지점이었습니다. ML의 미래가 컴파일러나 하드코어 PL처럼 일부 리서처들이 만들어 놓은 걸 가져다 쓰면 충분한 식이 될지, 아니면 계속 전문가의 터치가 필요한 (아무나 라이브러리 가져다 써서는 문제가 풀리지 않는) 영역으로 남을지 의문이네요.

    • Bn 73.***.80.167

      제대로 된 배경지식 없이 라이브러리 쓰듯 ml을 하면 원글에서 언급된 “ overfit은 고려안하고” 와 비슷한 문제가 발생하겠죠. 물론 일반 개발자들이 그부붙까지 캐치업 할 수도 있지만 다른일 하면서 쫓아가는데는 한계가 있을 꺼라고 생각합니다

      • dddd 192.***.10.201

        네. (아직 베이스라인도 없는 문제의 경우에) 정말 최소한의 데모만 보여주려고 마음 먹으면 라이브러리랑 깨끗한 데이터 가져다가 하루 안에도 끝내겠더군요. 반면 이미 깃헙 같은데 공개된 솔루션 (코드+데이터) 을 가져다가 overfit개선하고 조금 다른 문제에 적용하려고 하면 바로 헬게이트가 열리는 느낌을 받았습니다.

    • mechanical 72.***.191.66

      제가 전기화학 에너지 관련 업체에서 근무중인데 시스템 실험 데이터 분석으로 최근부터 파이썬을 쓰고 있습니다 (다른 사람들은 아직까지 excel 쓰구요). 학교에서나 회사에서 MATLAB 을 많이 쓰고 파이썬 온라인 무료 강의가 많다보니 디벨러퍼가 아닌 유저로서 익히는데 그리 오래 걸리지가 않더라구요. ML 도 마찬가지였습니다. Udemy 나 비슷한 강의 듣고 배워서 쓰다보니 사용방법을 익히는데 그리 어렵지가 않았습니다. 물론 내가 알고리즘 개발을 하지 않겠지만 현업에서 기존의 ML 라이브러리를 이용해서 이리 저리 실험 데이터 분석하는데는 손 쉽게 할수 있었습니다. 비 전공자로써 가장 어려운 점이 아무리 알고리즘을 이해해도 어떻게 라이브러리를 갖다 실제로 쓰는지 몰라서 많이들 포기하는데 (실제 아무리 sklearn document를 봐도 뭔말인지 모르겠더라구요) 온라인 강의가 있어서 이런부분이 쉽게 해결되었습니다.

      • dddd 192.***.10.201

        말씀하신 대로 scikit-learn같은 라이브러리에 포함될 정도로 범용 모델을 쓸 때는 진입장벽이 많이 낮아졌단 걸 느낍니다.

    • 답답 175.***.39.144

      적당히 이용 하는건 쉽습니다. 전공자 아니어도..
      근데 남들보다 다른..new를 창출 하기가 어렵죠