feat: фоновый пинг апстримов в backoff-откате (probe_interval) — мгновенное возвращение в пул

2026-09-15 01:00:10 +03:00
parent 249b83eb51
commit c6a24a94b0
8 changed files with 452 additions and 0 deletions
@@ -36,6 +36,14 @@ non-stream.
 в backoff и роутер фейловерит на следующего свободного апстрима. Приоритет:
 `upstreams[].first_byte_timeout` → `providers[].first_byte_timeout` → `PT30S`.

+Пока апстрим «отдыхает» в backoff-откате, его можно фоново пинговать:
+`probe_interval` (ISO-8601, дефолт `PT1S`, `PT0S` отключает) — HealthProber
+шлёт апстриму минимальный запрос (`2+2=?`, `max_tokens=4`) и, как только тот
+ответил, снимает его с отката немедленно, не дожидаясь истечения
+backoff-интервала. Пинг не занимает слот конкурентности и не засчитывается
+в backoff. Приоритет: `upstreams[].probe_interval` →
+`providers[].probe_interval` → `PT1S`.
+
 Прокси отдаёт Prometheus-метрики по `GET /metrics` (запросы по
 `model/upstream/provider/result`, занятые слоты, счётчик и окно backoff-отката) —
 подключите скрейп в Prometheus и стройте дашборды/алерты в Grafana. Список