머신러닝 딥러닝

  • #3250862
    sfdsfsd 220.***.158.19 1175

    교수님이 GPU10개 쌓아놓고

    대용량 데이터 오니까 머신러닝 딥러닝으로 분석할 준비하라는데

    통계과 수학과로 이루어진 팀이라

    R 파이썬으로 분석하는데 병렬처리나 분산처리쪽으로는 깜깜하네요

    하둡이나 스파크가 병렬처리 분산처리나 대용량 데이터의 딥러닝 머신러닝 분석에 솔루션이 될수있을까요?

    • CS 73.***.166.92

      이건 세팅에 따라 천차만별입니다.
      어떤 부분을 병렬/분산 처리 하고싶은지 부터 생각해보세요.

      그냥 여러 하이퍼파라미터세팅을 각각의 머신에서 돌리는것도 한가지 방법입니다. 기본적인 메시지큐 라이브러리 등으로 자동화 해놓으면 편합니다.

      하나의 모델을 병렬/분산처리로 트레이닝 하고싶다면, 제 생각엔 사용하시는 딥러닝 프레임웍에서 제시하는 방향대로 하시는게 마음 편하실 겁니다.

      PyTorch
      https://pytorch.org/tutorials/intermediate/dist_tuto.html

      TensorFlow https://www.tensorflow.org/deploy/distributed

    • sfdsfsd 220.***.158.19

      감사합니다!!
      좋은 하루되셔요