핵심 요약

vLLM에서 하나의 기본 모델에 다수의 LoRA 어댑터를 병렬로 서빙하려면 --max-loras로 배치 내 최대 어댑터 수를, --max-lora-rank로 어댑터 rank의 상한을 별도로 설정해야 한다. 동적 로딩 기능은 보안 위험이 있어 신뢰할 수 있고 격리된 환경에서만 운영 환경 적용이 권고된다.

공유 모델과 배치 설정

LoRA는 SupportsLoRA가 구현된 vLLM 모델에서 사용 가능하며, 활성화 플래그는 --enable-lora다. --max-loras는 한 배치에서 처리할 수 있는 LoRA 어댑터 최대 수를 지정하며 기본값은 1이다. 이 값은 전체 저장 가능 어댑터 수가 아닌 배치 병렬 처리를 위한 조건이다. 예를 들어, 서로 다른 두 LoRA 어댑터를 한 배치에 포함하려면 --max-loras를 2 이상으로 설정한다. 실제 설정값은 병렬 처리 대상 어댑터 수에 따라 결정한다.

rank 한도는 별도 확인 필요

--max-lora-rank는 어댑터 latent dimension인 rank의 최대값 설정으로 기본값은 16이다. 설정 가능 값은 1, 8, 16, 32, 64, 128, 256, 320, 512이며, 어댑터별 rank를 확인해 그 값 이상으로 설정한다. 예를 들어 rank가 32인 어댑터를 사용하려면 최소 32 이상의 --max-lora-rank가 요구된다. 배치 내 어댑터 수(--max-loras)와 rank 한도 설정(--max-lora-rank)은 별개 조건이다. 또한 --lora-dtype이 auto일 경우 기본 모델의 데이터 형식을 따른다.

동적 로딩과 보안 조건

vLLM은 서버 시작 시 어댑터를 제공하는 방식 외에 API 엔드포인트와 플러그인 기반 동적 로딩을 지원한다. 공식 문서는 동적 로딩이 보안상 위험할 수 있으므로, 격리되고 완전히 신뢰할 수 없는 환경에서는 운영 환경에서 사용하지 말 것을 권고한다. 신뢰 가능한 환경이라도 누가 동적 로딩을 사용할지, 허용 어댑터, 변경 관리 정책 등 보안 관리를 반드시 수립해야 한다. 동적 로딩 사용을 원하지 않을 경우 서버 시작 시 어댑터를 미리 로드하는 방식을 적용한다.

운영 환경 적용 시 비교 지표

배치 설정 변경 시 같은 트래픽과 환경 조건에서 처리량, 지연 시간, 메모리 사용량을 측정해 비교한다. 이때 동시에 사용하는 어댑터 수와 rank 설정도 함께 기록하여 각 설정의 성능 차이를 명확히 한다. 운영 적용 전에는 현재 사용 중인 vLLM 버전 문서에서 기본값을 재확인하고, 동적 로딩 계획 시 보안 경고 사항도 반드시 점검한다.

1차 출처