Topic 12 continued.
3. app 시작 도중 에러는 다 고쳤고, 이제 써볼까.
- Submit 누르니 에러? C:/Program Files/NVIDIA Corporation/NVSMI/nvml.dll 이 없다고 에러나네. 내 gpu가 nvdia이긴 하지만 그런 파일은 없는데? 뭘 설치해야 하나. pynvml.py가 그 파일을 거기서 찾는데, 이 녀석이 잘못한 건가 내가 뭘 안 깔아서 그러는 건가. 구글에 물어보니 아 pynvml이 뭘 몰라서 그런 거라고 https://github.com/gpuopenanalytics/pynvml/issues/31 여기 나오네. nvml.dll을 시스템에서 찾아보니 c:\Windows\System32\nvml.dll에 있네. 카피해주자. 파일을 거기서 C:\Program Files\NVIDIA Corporation\NVSMI로 카피해주고, 다시 Submit 클릭. Good, 뭔가를 다운로드 한 후 다음 에러 발생. 휴 에러 언제 끝나냐.
- RuntimeError: addmm_impl_cpu_ not implemented for Half 에러? 뭔 말인지 모르겠네. Bing copilot 한테 물어보니, GPU용 데이터 타입인 “float16″을 써서 그런 것일걸? “float32″로 바꿔보라고. 뭔 말인지 모르겠지만, 코드를 보니 float16이라는 글자가 보임. float32로 수정해줌. app.py 재실행함.
4. 마침내 runtime 에러도 모두 수정하고, 진짜 써볼까.
- Submit 눌러 줌.
- 뭔가 온라인 데모하고 비슷하게 프로세싱 timer가 돌아가는데, 온라인 데모는 1분 정도면 됐는데 이건 cpu로 돌리는 것이라 그런건지 아니면 gpu가 너무 구형이라 그런건지 한참 걸리네요.
- 뉴스 headline 다운로드는 십몇 초 정도고 나머지 시간은 텍스트 생성 시간. 아주 천천히 단어가 생성이 됨. 총 10분 걸림. 온라인 데모의 딱 10배 느림. -_- “Use Latest Basic Financials” 체크박스를 켜고 돌렸더니 17분 걸림.
5. 성능에 대한 소감
- 내 pc는 너무너무 구렸다는 것.
- 내 컴퓨터는 무려 9년된 것, 그것도 살 당시에도 이미 중고를 샀던 건데 이번에 너무 과한 일을 시켜서 혼쭐이 남. 이 구형 pc로는 llm이 너무 과한 일이었던 것. 그래도 내 pc에 램을 거의 100GB 꽂아놔서 웬만한 건 쌩쌩 돌아가는 편인데, 이제 보내고 ai 시대를 맞아 새로 하나 사야 하는 걸까.
- 딸래미에게 사준 mac m2로 해보면 좀 나을까. 딸, 방학 때 오면 보자.
- 전문 연구자님들. 취미로 돌리는 ai에 적당한 싼 gpu 추천해주세요. 1000~3000불 사이 정도면 좀 돌릴만 하려나요? nvidia 주가폭등의 주인공 h100은 amazon에 보니 4만 3천달러로 취미용으로 사기에는 너무 비싸고.
- 그외, 우선 코드가 당연히 gpu는 nvidia를 쓰게 돼 있는 걸 보고, 아 nvidia가 이 개발도구 때문에 시장에 대한 거의 독점했다는 얘기가 다시 떠올랐네요.
- 내 gpu는 무려 10년 전 출시된 nvidia gtx 970인데 이것도 ai가 gpu로 쳐주려나 궁금하네요. float16 (gpu 전용 데이터타입) to float32 코드 수정을 하라 해서 했는데 그게 gpu를 disable 시켰다는 뜻인지, 아니면 좀 성능이 저하된 모드로 여전히 gpu를 쓴다는 건지 아직 잘 모르겠음. 암튼 bing copilot이 시키는 대로 하니 에러는 수정이 됐음.
FinGPT가 로컬 동작하니, 다음에는 주가 estimate의 정확성 담보를 어떻게 하고 있는지 내부를 좀 더 알아보죠. 기사를 요약하는 수준인 건지, sentiment를 추가해주는 수준인지, 아니면 뭔 더 고도의 ai 가 있는 것인지.
https://www.workingus.com/forums/topic/road-to-fingpt-2 에서 계속