feat: 402 (insufficient balance / лимит токенов) — фейловер на следующий апстрим
402 от провайдера — ошибка аккаунта (баланс/лимит токенов), а не запроса: следующий апстрим в списке модели может быть платёжеспособен. Теперь при 5xx/429/402 освобождаем слот и пробуем следующего свободного; остальные 4xx продолжаем отдавать клиенту как есть. Обновлён CONFIG.md (маршрутизация, лог-секции). Ранее этот правка терялась (3155065 не сохранился) — восстанавливаю.
This commit is contained in:
@@ -229,7 +229,7 @@ private suspend fun handleChat(
|
||||
setBody(forwarded.toString())
|
||||
}.execute { resp ->
|
||||
upstreamStatus = resp.status.value
|
||||
if (upstreamStatus >= 500 || upstreamStatus == 429) {
|
||||
if (upstreamStatus >= 500 || upstreamStatus == 429 || upstreamStatus == 402) {
|
||||
log.warn { "[llm-proxy] model=$modelName upstream=${up.id} вернул $upstreamStatus → фейловер" }
|
||||
failed.add(up.id)
|
||||
failover = true
|
||||
|
||||
Reference in New Issue
Block a user