파이썬 기반이면 sklearn 이용하면 대부분의 알고리즘 몇줄 코딩으로 구현 가능합니다.
(이미 데이터가 있다는 가정이고요)
웹인터페이스 경우 flask 만으로도 프로덕션 수준까지 쉽게 가능합니다.
굳이 java 기반의 하둡이나 스파크 이용하지 않으셔도 되고요
나중에 scalability 고려하신다면 그때가서 따른 엔지니어 구하셔야 할거에요..
분산이나 병렬처리는 알고리즘 수준에서도 고려되어야 하지만 프레임워크가 달라질수 있고 이건 또다른 세계입니다.