LLM 구독비용 게이트웨이 빌드인퍼블릭

요즘 빌드인퍼블릭에 많이 소홀했습니다.

커뮤니티 운영하고, SNS 관리하고, 법인 설립하고… 이것저것 동시에 하다 보니 몸이 열 개라도 모자라네요 ㅎㅎ

그래도 뒤에서는 하나씩 계속 만들고 있습니다.

요즘 만들고 있는 것 중 하나는 LLM Gateway입니다.

제가 만드는 앱들에도 AI 기능을 계속 붙이고 있는데, 매번 OpenAI나 Claude API Key를 발급받아 사용하려니 좀 아깝다는 생각이 들었습니다.

구독료는 구독료대로 내고, API 비용은 또 따로 나가니까요.

지금만 해도 GPT 계정 2개, Claude 계정 1개를 구독하고 있습니다.

그래서 생각했습니다.

“이미 내고 있는 이 구독비 안에서 최대한 해결할 수 없을까?”

구조는 단순합니다.

GPT 계정 2개 + Claude 계정 1개 ↓ LLM Gateway ↓ 하나의 API Endpoint ↓ 제가 만드는 여러 앱

앱에서는 어떤 계정을 쓸지 신경 쓸 필요 없이 하나의 엔드포인트만 호출합니다.

뒤에서는 연결된 계정들의 사용량과 상태를 확인해서 요청을 알아서 나눠줍니다.

한 계정의 사용량이 부족하면 다른 계정으로 넘기고, 여러 계정이 있다면 남은 사용량에 따라 로드밸런싱하는 식입니다.

호출 방식도 최대한 기존 OpenAI API와 비슷하게 만들어서 Cursor나 IDE, 봇 같은 곳에는 주소 하나만 바꿔서 붙일 수 있게 만들고 있습니다.

컨셉은 두 가지입니다.

직접 서버를 운영할 수 있는 분들에게는 셀프호스팅 버전을 무료로 공개하고,

서버 운영이 귀찮은 분들은 저렴하게 사용할 수 있는 클라우드 버전을 제공하는 것.

물론 각 서비스의 이용약관이나 인증 방식처럼 실제 서비스로 만들려면 확인하고 풀어야 할 부분도 많습니다.

결국 제가 원하는 건

AI를 붙일 때마다 “API 비용 얼마나 나오지?”부터 걱정하지 않는 환경입니다.

이미 매달 적지 않은 돈을 AI 구독에 쓰고 있으니까요.

과연 구독형 AI들을 하나로 묶어서 실제로 쓸 만한 LLM 인프라처럼 만들 수 있을지.

직접 한번 만들어보겠습니다.