자아.. 네트워크 세팅 끝났고.. VPN 세팅 끝났고!
이젠 올라마 세팅을 해보자고!!!
그럼 일단 brew로 다운!
brew install ollama
그다음 서버 가동! 서비스로 가동
brew services start ollama
모델을 다운 받아야하는데 내가 정한 모델은 qwen2.5-coder:14b
모델이다 원래는 7b를 해볼까했는데 서버사양도 좋게 구매한 김에 한번 올려봤다.
해당 명령어로 모델을 다운 받고
ollama pull qwen2.5-coder:14b
LLM 테스트 진행한다.
ollama run qwen2.5-coder:14b
일반 대화처럼 대화를 진행하면 작동여부 확인 끝!
추후에 도커 세팅 및 Caddy 세팅이 끝나면 웹화면 붙이는 부분도 뒤에 나온다!
일단 이건 여기까지!