LLM

ollama-advisor: 내 PC에 맞는 Ollama 모델을 자동 추천해주는 Python 라이브러리

Programming, Python, LLM

개요

ollama-advisor는 시스템 사양(RAM, GPU VRAM)과 사용 목적(코딩, 추론, 비전, 임베딩 등)에 따라 실행 가능한 Ollama 모델을 자동으로 추천해주는 Python 라이브러리입니다.

Mac, Windows, Linux, Google Colab 모두 지원합니다.

설치

pip install ollama-advisor

사용법

시스템 사양 확인

Ollama가 설치되어 있지 않아도 시스템 사양을 확인할 수 있습니다.

import ollama_advisor as oa

specs = oa.get_system_specs()
for k, v in specs.items():
    print(f"{k}: {v}")

ram_gb: 16.0
gpu: {'type': 'apple', 'name': 'Apple Silicon (unified memory)', 'vram_gb': 16.0}
usable_gb: 12.8
platform: mac

Apple Silicon Mac (16GB)에서 실행한 결과입니다. 사용 가능한 메모리가 12.8GB(전체의 80%)로 계산됩니다.

Read more…