This commit is contained in:
2026-08-30 13:12:15 +03:00
parent f213b139da
commit 995c5fba0e
15 changed files with 969 additions and 375 deletions
+12 -7
View File
@@ -1,6 +1,6 @@
# llm-proxy — прослойка OpenAI API: добавляет provider.ignore (исключение
# дорогих провайдеров) + allow_fallbacks:false и reasoning.enabled:false для
# моделей с суффиксом "-no-think", проксирует на RouterAI. Ответ — как есть.
# llm-proxy — YAML-декларативный роутер OpenAI API (подробности в CONFIG.md).
# Принимает /v1/chat/completions и /v1/models, маршрутизирует между апстримами
# по внутреннему учёту конкурентности и мержит patch-слои в тело запроса.
#
# Запуск на 76.179 (llm-router): podman-compose up -d
# Образ тянется из нашего реестра (zot): images.binom.pw/llm-proxy:<tag>
@@ -13,10 +13,15 @@ services:
- bifrost
environment:
- PORT=8100
- UPSTREAM_URL=https://routerai.ru/api/v1
- ROUTER_API_KEY=__SET_FROM_CONFIG_DB__
- EXCLUDED_PROVIDERS=deepseek
- THINKING_MODELS=deepseek/deepseek-v4-flash-0731,deepseek/deepseek-v4-flash
# Путь к конфигу внутри контейнера (файл монтируется ниже).
- CONFIG_PATH=/config/config.yaml
volumes:
# Монтируем свой config.yaml (секреты — через ${...} внутри файла,
# резолвятся из env контейнера, напр. ROUTER_API_KEY).
- ./config.yaml:/config/config.yaml:ro
# Если ключи в config.yaml ссылаются на env (${ROUTER_API_KEY}), пробросим их:
# environment:
# - ROUTER_API_KEY=__SET_FROM_CONFIG_DB__
networks:
bifrost: