안녕하세요, 집에서 취미로 머신러닝을 해보고 싶습니다.

그리고, 머신러닝을 빨리 돌릴 수 있게, 슈퍼컴퓨터를 구축하고 싶습니다. 개인적인 취미로 해 보고 싶습니다. 혹시, 이러한 슈퍼컴퓨터를 구축하기 위한 책이나 유튜브 비디오들이 있나요?

경험이 있으신 분들은 좋은 정보를 같이 공유 했으면 합니다.

요새 누가 슈퍼컴퓨터를 구축하나요
그냥 AWS에서 제공되는 서비스들 이용하면서 AWS machine learning course 열공하셔서 certificate 따시면 됩니다.

어떤 머신러닝인지에 따라도 다르고, 취미로 할 모델은 집에 노트북으로도 충분히 빠르게 돌아가리라 생각됩니다. 데이터량이 많은것도, 복잡도가 높은것도 아니니, 집컴으로 돌려보시지요. 혹은 구글 코렙 사용해보시길.

역시 너드들 아니랄까봐 누군가 무슨 질문 하면 지적하고 폄하하기 바쁘죠 ㅋㅋ
질문에 답을 하자면 유튜브에서 diy supercomputer만 쳐도 많이 나옵니다. 허나 이정도 검색하실 역량은 기본으로 전제되어야 머신러닝을 시작하실 수 있을 겁니다. 재밌게 잘 해보시길.

kubeflow

gpu 하나 장만하면 몇 만불 깨져요. 🙂
구글 클라우드에서 돌리세요.

얼나마 수퍼를 원하시는지 모르지만 쉽게는 그냥 게임용 workstation 하나 사서 (GPU 좋은거) 시스템 싹 다시 깔면 됩니다. multi-GPU 를 원하면 nvidia 에 scientific computer 사양보시고 만드셔도 됩니다.

직접 클러스터 만들어 돌려보는 것 자체가 목적이 아닌 이상, AWS나 Google Cloud로 하시는게 좋습니다. 웬만한 것은 쉽게 deploy하여 바로 사용할 수 있게 되어 있으니, 시간 낭비도 적고 관리도 간단합니다. 그리고 손수 업그레이드하지 않아도 최신 하드웨어를 이용할 수 있다는 장점도 있고요.

시스템 구축 취미를 가지고 계셔서 직접 해보시고 싶으시다면, 예산에 따라 차이가 많이 나겠죠. 예산이 충분하다면, 메모리 빵빵하게 (최소 512GB정도) 넣고 GPU 넣어서 몇 대 장만하고 최소 10G 네트웍으로 묶으면 (25G recommended), commercial env에서 아주 많이 뒤지지는 않을겁니다. 다만 GPU 여러개 넣으면 쿨링과 파워에 많은 신경을 써야 합니다. 소프트웨어는 일단 클러스터 관리는 Kubernetes가 좋겠고, 거기서 여러가지 ML 프레임웍을 돌려보시면 되겠습니다.

안그러면 single node로도 많은걸 할 수 있어요. GPU 여러 개 넣고요. 알파고의 후기 버젼 (이세돌 매치 훨씬 후)은 싱글노드에서 약 한달 러닝 시켜서 나왔습니다. 다른 매치 정보가 들어가지 않고, 그냥 바닥부터 룰만 가지고 러닝한 것으로, 결과물은 이세돌 매치 때의 수준을 비교도 안되게 능가하는 성능을 가졌습니다.

안녕하세요…AWS나 Google Cloud 경우 비용은 얼마나 들까요?