Ollama: Local LLM in Two Proje

Ollama is a local runtime for open-source LLMs (Llama, Qwen, Gemma, DeepSeek, Mistral, and more), released in 2023 and now widely used as the de facto standard for running LLMs locally. Pull a model once, then call it over HTTP from localhost with no cloud API key and no per-request cost. The trade-off: model quality and speed depend heavily on local VRAM/RAM, and open-source models generally lag behind paid frontier models like Claude or GPT. I used Ollama as the local inference engine in two separate projects:

Key points from actually using it:

• Same model, different jobs. Both projects ran llama3.2:3b via Ollama's local HTTP server, but the RAG chatbot used it as one of several LLMs compared under identical prompts (STRICT vs. GENEROUS strategies), while the receipt project used it as the last step of a pipeline, only after OCR and rule-based logic had already narrowed the candidates.
• The reason was consistent across both. Iterating on prompts and testing repeatedly against cloud APIs adds cost and rate limits; a local model removes both constraints during development.
• Not measured. I didn't benchmark response latency or accuracy against the cloud models in either project — that comparison stayed qualitative.

I previously wrote about setting up OpenClaw as an agent server on an old MacBook, using Claude (Pro plan) as the model. Since OpenClaw also supports Ollama as a model provider, running it on a local model instead would avoid API costs entirely — worth trying next.

===

Ollama는 2023년에 나온, 로컬에서 오픈소스 LLM(Llama, Qwen, Gemma, DeepSeek, Mistral 등)을 돌리는 런타임이다. 모델을 한 번 받아두면 이후로는 클라우드 API 키 없이, 요청당 비용 없이 localhost로 HTTP 호출만 하면 된다. 다만 모델 성능·속도가 로컬 VRAM/RAM에 크게 좌우되고, 오픈소스 모델은 Claude·GPT 같은 유료 최신 모델보다 성능이 낮은 편이라고 알려져 있다. 두 프로젝트에서 이걸 로컬 추론 엔진으로 썼다.

실제로 써보면서 확인한 점들:

• 같은 모델, 다른 역할. 두 프로젝트 모두 llama3.2:3b를 Ollama의 로컬 HTTP 서버로 돌렸지만, RAG 챗봇에서는 동일 프롬프트(STRICT/GENEROUS)로 여러 LLM과 나란히 비교하는 대상 중 하나였고, 영수증 프로젝트에서는 OCR·규칙 단계가 이미 후보를 좁혀놓은 뒤 마지막 추출 단계만 맡았다.
• 이유는 두 프로젝트 모두 같았다. 프롬프트를 반복해서 바꿔가며 테스트하는 개발 단계에서 클라우드 API를 계속 호출하면 비용과 요청 제한이 부담됐고, 로컬 모델은 이 제약이 없었다.
• 측정은 안 했다. 두 프로젝트 다 클라우드 모델 대비 응답 속도나 정확도를 정량적으로 비교하지는 않았다.

예전에 오래된 맥북에 OpenClaw를 에이전트 서버로 올려본 후기를 쓴 적이 있는데, 그때는 모델로 Claude(Pro 요금제)를 붙였다. OpenClaw가 Ollama도 모델 프로바이더로 지원하니, 과금 없이 쓰고 싶을 때는 로컬 모델로 붙이는 것도 다음에 시도해볼 만하다.

Links

Github: https://github.com/SangjinKO/llm-rag-chatbot

Github: https://github.com/SangjinKO/ocr-rule-llm-receipt

Velog: 오픈클로 사용후기