Home Forums Job & Work Life 머신러닝 딥러닝 EditDeleteReply 2018-09-0703:23:09 #3250862 sfdsfsd 220.***.158.19 1176 교수님이 GPU10개 쌓아놓고 대용량 데이터 오니까 머신러닝 딥러닝으로 분석할 준비하라는데 통계과 수학과로 이루어진 팀이라 R 파이썬으로 분석하는데 병렬처리나 분산처리쪽으로는 깜깜하네요 하둡이나 스파크가 병렬처리 분산처리나 대용량 데이터의 딥러닝 머신러닝 분석에 솔루션이 될수있을까요? Love0 Hate1 List Write EditDeleteReply CS 73.***.166.92 2018-09-0703:54:50 이건 세팅에 따라 천차만별입니다. 어떤 부분을 병렬/분산 처리 하고싶은지 부터 생각해보세요. 그냥 여러 하이퍼파라미터세팅을 각각의 머신에서 돌리는것도 한가지 방법입니다. 기본적인 메시지큐 라이브러리 등으로 자동화 해놓으면 편합니다. 하나의 모델을 병렬/분산처리로 트레이닝 하고싶다면, 제 생각엔 사용하시는 딥러닝 프레임웍에서 제시하는 방향대로 하시는게 마음 편하실 겁니다. PyTorch https://pytorch.org/tutorials/intermediate/dist_tuto.html TensorFlow https://www.tensorflow.org/deploy/distributed EditDeleteReply sfdsfsd 220.***.158.19 2018-09-0704:08:50 감사합니다!! 좋은 하루되셔요 Name * Password * Email I agree to the terms of service Cancel Comment