openllms에 새로운 라우팅 방식 하나를 추가했습니다.
이름은 Steward입니다.
여러 GPT나 Claude 계정을 묶어서 쓰다 보면 단순히 “남은 사용량이 많은 계정부터 쓰자”로는 조금 아쉽습니다.
예를 들어 사용량이 많이 남았는데 곧 리셋되는 계정이 있다면,
그 계정은 아껴두는 것보다 리셋되기 전에 먼저 쓰는 게 낫습니다.
그래서 Steward는
남은 사용량 × 리셋 임박도
를 같이 점수화해서 지금 어떤 계정을 쓰는 게 유리한지 판단합니다.
OAuth 계정도 우선합니다.
기존에는
라운드로빈으로 골고루 쓰거나, 한 계정을 먼저 소진하거나, 남은 쿼터가 많은 계정을 우선하거나, 리셋이 가까운 계정을 먼저 쓰는 식이었다면
Steward는 이걸 조금 더 영리하게 판단해서 계정을 골라주는 역할입니다.
그래서 이름도 Steward. 여러 계정을 대신 관리해주는 집사 같은 역할입니다.
이번에 이 라우팅을 추가하면서 발견한 오류 몇 개도 같이 수정했습니다.
openllms는 여러 ChatGPT, Claude 구독 계정을 하나의 OpenAI 호환 API처럼 묶어서 사용하는 프로젝트입니다.
셀프호스팅은 무료이고 Docker로 직접 서버나 PC에 올려 사용할 수 있습니다.
조금씩 제가 처음 만들고 싶었던 “여러 LLM 구독을 알아서 관리해주는 라우터”에 가까워지고 있습니다.