feat: watchdog на первый байт стрима (first_byte_timeout) — фейловер + backoff при молчании апстрима

2026-09-15 00:37:51 +03:00
parent 293964d8f1
commit 249b83eb51
7 changed files with 465 additions and 11 deletions
@@ -9,7 +9,7 @@ import kotlinx.coroutines.sync.withLock
 *
 * Метрики (всё в памяти, сброс при рестарте):
 * - `llm_proxy_requests_total{model,upstream,provider,result}` — счётчик
- *   chat-запросов; `result`: `ok | 4xx | 429 | 402 | 5xx | net_err | cancelled`;
+ *   chat-запросов; `result`: `ok | 4xx | 429 | 402 | 5xx | net_err | timeout | cancelled`;
 * - `llm_proxy_upstream_inflight{upstream,provider}` — сейчас в работе (слоты);
 * - `llm_proxy_upstream_fail_streak{upstream,provider}` — текущая серия сбоев
 *   (счётчик backoff);