29 lines
1.3 KiB
YAML
29 lines
1.3 KiB
YAML
# llm-proxy — YAML-декларативный роутер OpenAI API (подробности в CONFIG.md).
|
|
# Принимает /v1/chat/completions и /v1/models, маршрутизирует между апстримами
|
|
# по внутреннему учёту конкурентности и мержит patch-слои в тело запроса.
|
|
#
|
|
# Запуск на 76.179 (llm-router): podman-compose up -d
|
|
# Образ тянется из нашего реестра (zot): images.binom.pw/llm-proxy:<tag>
|
|
services:
|
|
llm-proxy:
|
|
image: images.binom.pw/llm-proxy:latest
|
|
container_name: llm-proxy
|
|
restart: unless-stopped
|
|
networks:
|
|
- bifrost
|
|
environment:
|
|
# Путь к конфигу внутри контейнера (файл монтируется ниже).
|
|
- CONFIG_PATH=/config/config.yaml
|
|
volumes:
|
|
# Монтируем свой config.yaml (секреты — через ${...} внутри файла,
|
|
# резолвятся из env контейнера, напр. ROUTER_API_KEY).
|
|
- ./config.yaml:/config/config.yaml:ro
|
|
# Если ключи в config.yaml ссылаются на env (${ROUTER_API_KEY}), пробросим их:
|
|
# environment:
|
|
# - ROUTER_API_KEY=__SET_FROM_CONFIG_DB__
|
|
|
|
networks:
|
|
bifrost:
|
|
external: true
|
|
name: bifrost_default
|