핵심 요약

Ollama 로컬 서버에서 모델 응답이 종료된 후에도 기본적으로 5분간 메모리에 남는다. 현재 메모리에 상주 중인 모델 확인은 ollama ps 명령어로 하며, 메모리 사용 위치와 유지 시간을 확인할 수 있다. 즉시 모델을 내리고 싶으면 ollama stop <모델명> 명령을 사용하거나 API 요청에 "keep_alive": 0 값을 지정한다. keep_alive 옵션은 요청별로 모델 유지 시간을 초 단위 또는 분 단위로 설정 가능하며, 음수 값일 경우 메모리에서 계속 유지한다. 메모리 해제 여부는 ollama ps 명령어 결과에서 모델이 목록에서 사라졌는지 확인하면 된다.

ollama ps에서 모델 상태 확인 절차

  1. 로컬 Ollama 서버 실행 상태에서 터미널에 ollama ps 입력
  2. NAME 열에서 해당 모델 이름 확인
  3. 같은 행의 PROCESSOR 열에서 메모리 위치 파악: 100% GPU는 GPU 메모리, 100% CPU는 시스템 RAM
  4. UNTIL 열에서 메모리 유지 예상 시간 확인

메모리에 올라간 모델 내리기

  • 한 번 사용 후 종료하려면: ollama stop <모델명> 실행
  • API 사용 시 응답 직후 즉시 내릴 경우: 요청 본문에 "keep_alive": 0 포함
  • 메모리 유지 시간을 지정하려면 숫자(초 단위) 또는 문자열("10m")로 설정 가능
  • 기본 서버 설정(OLLAMA_KEEP_ALIVE)보다 우선 적용됨

메모리 해제 확인 방법

  • 모델 삭제 명령 실행 후 ollama ps를 통해 목록에 모델명 미존재 확인
  • 메모리 해제는 물리적 메모리 사용량보다 ollama ps 상태가 중요
  • 모델 파일 삭제와 메모리 해제는 별개 작업임

실무 유의점

  • API 요청마다 keep_alive 값을 적절히 조정하여 메모리 자원 최적화 권장
  • GPU와 CPU 메모리 분포를 확인해 적절한 리소스 관리를 실시해야 함
  • 잦은 모델 호출 시 메모리 상주 시간 조절로 시스템 부하 감소 가능

1차 출처