feat: watchdog на первый байт стрима (first_byte_timeout) — фейловер + backoff при молчании апстрима

2026-09-15 00:37:51 +03:00
parent 293964d8f1
commit 249b83eb51
7 changed files with 465 additions and 11 deletions
@@ -30,6 +30,12 @@ non-stream.
 1s, далее 2s, 4s, … до потолка; успех сбрасывает. Все апстримы модели в откате
 — `503` с `Retry-After`.

+Для `stream=true` запросов действует watchdog на первый байт ответа:
+`first_byte_timeout` (ISO-8601, дефолт `PT30S`, `PT0S` отключает) — если
+апстрим не прислал ни одного байта за окно, слот освобождается, ошибка идёт
+в backoff и роутер фейловерит на следующего свободного апстрима. Приоритет:
+`upstreams[].first_byte_timeout` → `providers[].first_byte_timeout` → `PT30S`.
+
 Прокси отдаёт Prometheus-метрики по `GET /metrics` (запросы по
 `model/upstream/provider/result`, занятые слоты, счётчик и окно backoff-отката) —
 подключите скрейп в Prometheus и стройте дашборды/алерты в Grafana. Список