feat: фоновый пинг апстримов в backoff-откате (probe_interval) — мгновенное возвращение в пул
Build LLM Proxy / Build and push (release) Successful in 42s
Build LLM Proxy / Build and push (release) Successful in 42s
This commit is contained in:
@@ -15,3 +15,12 @@ const val UPSTREAM_REQUEST_TIMEOUT_MS: Long = 5 * 60_000L
|
||||
* Отключается явным `first_byte_timeout: PT0S` на апстриме или провайдере.
|
||||
*/
|
||||
val DEFAULT_FIRST_BYTE_TIMEOUT: Duration = 30.seconds
|
||||
|
||||
/**
|
||||
* Default интервал фоновой проверки («пинга») апстрима, который сейчас в
|
||||
* backoff-откате: пока апстрим молчит, HealthProber шлёт ему минимальный
|
||||
* запрос (2+2=?, max_tokens=4) каждые [DEFAULT_PROBE_INTERVAL], и как только
|
||||
* он отвечает — снимает его с отката раньше, чем истечёт интервал бэкоффа.
|
||||
* Отключается явным `probe_interval: PT0S` на апстриме или провайдере.
|
||||
*/
|
||||
val DEFAULT_PROBE_INTERVAL: Duration = 1.seconds
|
||||
|
||||
Reference in New Issue
Block a user