핵심 요약
Ollama 로컬 서버에서 모델 응답이 종료된 후에도 기본적으로 5분간 메모리에 남는다. 현재 메모리에 상주 중인 모델 확인은 ollama ps 명령어로 하며, 메모리 사용 위치와 유지 시간을 확인할 수 있다. 즉시 모델을 내리고 싶으면 ollama stop <모델명> 명령을 사용하거나 API 요청에 "keep_alive": 0 값을 지정한다. keep_alive 옵션은 요청별로 모델 유지 시간을 초 단위 또는 분 단위로 설정 가능하며, 음수 값일 경우 메모리에서 계속 유지한다. 메모리 해제 여부는 ollama ps 명령어 결과에서 모델이 목록에서 사라졌는지 확인하면 된다.
ollama ps에서 모델 상태 확인 절차
- 로컬 Ollama 서버 실행 상태에서 터미널에
ollama ps입력 NAME열에서 해당 모델 이름 확인- 같은 행의
PROCESSOR열에서 메모리 위치 파악:100% GPU는 GPU 메모리,100% CPU는 시스템 RAM UNTIL열에서 메모리 유지 예상 시간 확인
메모리에 올라간 모델 내리기
- 한 번 사용 후 종료하려면:
ollama stop <모델명>실행 - API 사용 시 응답 직후 즉시 내릴 경우: 요청 본문에
"keep_alive": 0포함 - 메모리 유지 시간을 지정하려면 숫자(초 단위) 또는 문자열(
"10m")로 설정 가능 - 기본 서버 설정(
OLLAMA_KEEP_ALIVE)보다 우선 적용됨
메모리 해제 확인 방법
- 모델 삭제 명령 실행 후
ollama ps를 통해 목록에 모델명 미존재 확인 - 메모리 해제는 물리적 메모리 사용량보다
ollama ps상태가 중요 - 모델 파일 삭제와 메모리 해제는 별개 작업임
실무 유의점
- API 요청마다
keep_alive값을 적절히 조정하여 메모리 자원 최적화 권장 - GPU와 CPU 메모리 분포를 확인해 적절한 리소스 관리를 실시해야 함
- 잦은 모델 호출 시 메모리 상주 시간 조절로 시스템 부하 감소 가능