Topic Edit: Road to FinGPT

This topic has [21] replies, 0 voices, and was last updated 1 year ago by zapster.

Now Editing “Road to FinGPT”

Name *

Password *

Topic Title (Maximum Length 80)

Goal: ai에게 주가 물어보기 (미씨주식방 아짐의 질문 "이제라도 nvidia 사야 돼요?"를 화두 삼아 ai 최신 기술은 어디에 와 있는지 배우며 계속 가봅니다)

주가 물어볼 수 있는 FinGPT라는 게 있다고 해서 그걸 더 알아보는 과정에서, 생초보 기초 지식이 없어서 힘들군요.  모델이 뭔지, 어떻게 다운로드 한다는 건지, 어찌 실행하는 건지 등등. 그래서 쌩 초보의 마음으로 정리해봤습니다. 이게 온라인에 웹페이지 형태로 서비스 되고 있는 게 아니라서요.

llm 모델 사용하는 일반 지식이라도 먼저 알아봅시다. 가입하고 돈 내고 그런 거 제가 취급 안 하므로, 아래 언급되는 소프트웨어, 서비스들은 모두 무료입니다.

주말 프로젝트로 짬내어 주식 거래와 연관된 ai 기술에 대한 캐치업을 좀 해보고자 소위 "ai 무지렁이 (저요)를 위한 ai 기술 맛보며 알아보기"를 해보는 중입니다. 저와 비슷한 위치에 있는 분들 (어디 가서 뭘 해봐야 하느지 그 자체를 모르는 사람들)을 위해서, 실패와 성공을 모두 기록해둡니다.

Edit: 따라하기 태스크 목차

Topic 1: mistral 맛보기 (완전 offline 에서 실행되는 chatgpt 같은 겁니다)
Topic 2: chatgpt UI와 동일한 UI로 mistral:7b 사용하기
Topic 3: chatgpt UI와 동일한 UI로 codellama 사용해보기
Topic 4: chatgpt UI와 동일한 UI로 wizard-math 사용해보기
Topic 5: FinGPT 기능 맛보기
Topic 6: webui로 FinGPT/fingpt-forecaster_dow30_llama2-7b_lora 다운로드하여 써보기 (실패)
Topic 7: Dall-E 3 사용해보기는 유료라서 스킵.
Topic 8: openart.ai 온라인 text-to-image 서비스에서 이쁜 여자 사진 생성해보기
Topic 9: Stable diffusion (또다른 오픈소스 text-to-image 생성 모델) 다운로드 하여 이쁜 여자 사진 생성해보기
Topic 10: Hugging Face 에 있는 저 수많은 모델을 어떻게 갖다 쓰라는 거지? 제일 심플해보이는 translation 모델로 모델 가져다 쓰는 방법 알아보자.
Topic 11: FinGPT를 Colab에서 돌려보기 (실패)
Topic 12: FinGPT를 로컬에서 돌려보기 (성공)

Topic 1: mistral 맛보기 (완전 offline 에서 실행되는 chatgpt 같은 겁니다)

이 대단한 걸 무료로 오픈한 meta에게 잠시 감사의 마음을 전하고요.

<ul>
	<li>	Download and install OllamaSetup.exe from https://ollama.com/download</li>
	<li>	명령행 모드로 mistral 모델 실행하여 일반 대화 시작 =&gt; ollama run mistral (ollama.exe가 명령이에요)</li>
	<li>	명령행 모드로 wizard-math 모델 실행하여 수학 문제 대화 시작 =&gt; ollama run wizard-math</li>
	<li>	명령행 모드로 codellama 모델 실행하여 코딩 문제 대화 시작 =&gt; ollama run codellama</li>
	<li>명령행 모드로 sqlcoder 모델 실행하여 sql 질문 시작 =&gt; ollama run sqlcoder</li>
</ul>

아직 stable diffusion 이 ollama에 없어서 text-to-image 를 못 하네요.

Topic 2: chatgpt UI와 동일한 UI로 mistral:7b 사용하기. 이건 UI니까 꼭 필요한 건 아닙니다. 위의 명령행으로도 기능 맛보기는 되죠. 이건 docker가 필요해서 셋업 난이도가 상당하네요. docker 뭔지 모르시면 다음 2개도 건너뛰고 fingpt 기능 맛보기로 가세요.
<ul>
	<li>	docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama-webui:/app/backend/data --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main (웹서버 실행하고)</li>
	<li>	start http://localhost:3000 (브라우저로 접속)</li>
	<li>	Sign up (user, password 아무거나 입력) &gt; Settings &gt; Models &gt; "mistral" 입력 &gt; Click Download icon</li>
	<li>	New Chat 누르고 대화 시작</li>
</ul>

Topic 3: chatgpt UI와 동일한 UI로 codellama 사용해보기
<ul>
	<li>	Go to Settings &gt; Models &gt; "codellama" 입력 &gt; Click Download icon</li>
	<li>	New Chat 누르고 codellama 모델을 dropdown 에서 선택하고</li>
	<li>	코딩을 시켜본다, 예: "Write download_youtube.py with pytube."</li>
</ul>

Task 4: chatgpt UI와 동일한 UI로 wizard-math 사용해보기
<ul>
	<li>	Go to Settings &gt; Models &gt; "wizard-math" 입력 &gt; Click Download icon</li>
	<li>	New Chat 누르고 wizard-math 모델을 dropdown 에서 선택하고</li>
	<li>	수학 문제를 물어본다. 잘 못 푸니까 쉬운 걸로 살살 물어보세요. 답 확인은 wolframalpha.com 사용하시고.</li>
</ul>

Topic 5: FinGPT 기능 맛보기
<ul>
	<li>	설치 필요없는 온라인 데모, AAPL 내일 주가 실시간으로 물어볼 수 있습니다</li>
	<li>	https://huggingface.co/spaces/FinGPT/FinGPT-Forecaster 여기에 가서 걍 submit 버튼 클릭, 끝.</li>
	<li>	어제 3/18일 돌려봤는데 3/19일에 3-4% down 될 거라고 했는데, 오늘 1.58% 올랐습니다. -_- 역시 그렇지 뭐...</li>
	<li>	오늘 3/19일 돌려보길, 3/20일에 2-3% down 될 거라고 그러네요. 내일 봅시다.</li>
</ul>

Topic 6: webui로 FinGPT/fingpt-forecaster_dow30_llama2-7b_lora 다운로드하여 써보기 (실패)
<ul>
	<li>	git clone https://github.com/oobabooga/text-generation-webui</li>
	<li>	cd text-generation-webui</li>
	<li>	start_windows.bat (웹서버 실행하고)</li>
	<li>	start http://127.0.0.1:7861 (브라우저로 접속)</li>
	<li>	Go to Model &gt; Download &gt; Download model or LoRA: FinGPT/fingpt-forecaster_dow30_llama2-7b_lora 
&gt; click Download</li>
	<li>	Click the blue refresh icon under LoRA(s). 이거 ui가 극악의 난이도네요. 수많은 메뉴를 좌악 펼쳐놓고 니가 알면 써봐라 하는 식. 오늘은 일단 여기서 포기.</li>
</ul>
Edit: 이건 실패. 알고보니 text-generation-webui 프로젝 이름이 말하듯이 chatbot 용 도구였습니다. FinGPT를 돌릴 수 있는지는 잘 모르겠는데, FinGPT에 최적화된 UI는 아니었던 듯. UI가 복잡하여 Task 6은 사용해보기 실패했고, 포기 합니다.

ai 무료 모델 맛보기 이 정도면 된 거 같고요.

수학 문제도 다 틀리면서도 마치 정답인 양 태연한 게 llm 이라서, fingpt 저 응답을 믿을 수는 당연히 없죠. fingpt를 포함하여, 이게 주가를 물어보는 것이라서 당연히 finance gpt용 백테스트 시스템도 필요하고 전진분석 시스템도 필요한데요.  급한 넘이 우물 판다고 내가 만들어야 하나 아니면 누군가 이미 만들었을까.

"기사 몇 개 읽고 주가를 예측한다는 게 이게 말이 안 되는데... 음"

좀 더 찾아봅니다.

I agree to the terms of service