무엇을 대상으로 머신러닝을 돌린다는지 모르겠습니다. spakr에서 MLlib가 있고.. 여튼 결론은 돌리고 나면 알고리즘에 따른 결과 값이 나옵니다. 이게 상품ID에 대한 수치일 수도 있고, 어떤 이미지인지를 판단할 수 있는 score일 수 있습니다. 이 정보를 기반으로 현재의 서비스와 연관시키는 것이 중요합니다. 제 생각에도 ML엔지니어와 데이터 사이언티스트가 필요해 보이네요.
파이썬 기반이면 sklearn 이용하면 대부분의 알고리즘 몇줄 코딩으로 구현 가능합니다.
(이미 데이터가 있다는 가정이고요)
웹인터페이스 경우 flask 만으로도 프로덕션 수준까지 쉽게 가능합니다.
굳이 java 기반의 하둡이나 스파크 이용하지 않으셔도 되고요
나중에 scalability 고려하신다면 그때가서 따른 엔지니어 구하셔야 할거에요..
분산이나 병렬처리는 알고리즘 수준에서도 고려되어야 하지만 프레임워크가 달라질수 있고 이건 또다른 세계입니다.
머신러닝 저희 팀에서도 하라고 해서 저도 시작했는데, 알고리즘계발이 아니라면 별로 안어렵습니다. 솔찍히 데이터 쎗만 제대로 구축해 놓으면 머신러닝에 적용되는 모든 알고리즘 자동으로 다 돌려볼수 있는 코드하나 구축해 놓으면 쉽게 돌릴수 있고 데이터 분석도 자동으로 해주는 코드하나 있으면 살짝만 고치면 되고. 오히려 머신러닝을 제대로 적용할 수 있는 그 분야에 지식이 훨씬더 중요합니다. 우리팀장은 지도 시작한지 얼마되지도 않았고, 우리팀으로 오기전에도 전혀 빽그라운드 없던 사람인데 책 한두권 읽고 우리팀 프로젝트 몇개 (솔찍히 별거 안했슴) 보고는 밖에 나가서 자기가 무슨 머신러닝 전문가라고 떠들고 다닙니다. 벌써 여러대학에 가서 발표도 했습니다. 요즘 데이터 싸이언스 전공으로 사람도 뽑는데 솔찍히 대부분 별로 다른거 모르겠어요.
사실 머신러닝으로 하는건 수식 coefficient찾아주는거고 그거 요즘은 라이브러리가 다 해주고… 트레이닝 결과가 나오면 왜 그렇게 나온건지 이해하기 힘들잖아요. 그럼 전문가가 하든 초보가 하든 별차이가 없을듯… 어찌보면 “이렇게 하면 결과 나오겠지?”하는 “감”이 좋은 사람이 실력자인듯…