standalone: token accounting per assistant turn (input/output → SQLite)
LiteLlm API не отдаёт split prompt/completion наружу через send()
(внутренний OpenAI Usage сидит в pw.binom.litert.openai и недоступен),
поэтому измеряем через LiteConversation.tokenCount():
input = tokenCount() до первого send в turn'е
(= system + вся история + tools + только что добавленное user-сообщение)
output = tokenCount() после завершения turn'а - input
(= assistant text + tool calls + tool results за tool loop)
Пишем в assistant-запись как TurnTokens(input, output) в payload_json.
Никаких schema-миграций: payload-формат уже обёрнут в MessageBodyPayload,
просто добавлено опциональное поле tokens.
MessageStore.tokenStats(conversationId) → TokenStats(turns, inputTokens, outputTokens).
На старте агент печатает сводку по всем диалогам:
tokens: 17 convs, 134 turns, in=523844, out=58290, total=582134
Бэкенды без tokenCount() (off-line LiteRT-LM модели) → tokens=null,
старые assistant-записи без метрики → пропускаются в tokenStats без ошибок.
Tests: TokenStatsTest (5 green) + PersistenceTest (unchanged) → 165 total.
Backward compat: legacy plain-array payload всё ещё читается, tokens=null.
This commit is contained in:
@@ -200,6 +200,27 @@ OpenAI). Это происходит в фоне (`Dispatchers.IO`), основ
|
||||
повторения. Используется как cheap "auto-improving prompt feedback"
|
||||
без ручного переписывания system prompt.
|
||||
|
||||
## Учёт токенов (token accounting)
|
||||
|
||||
Каждый assistant-ход после LiteLlm.send помечает assistant-запись `TurnTokens(input, output)`:
|
||||
|
||||
- **`input`** — снимок `LiteConversation.tokenCount()` **до** первого send в turn'е
|
||||
(system + вся история + tools + только что добавленное user-сообщение).
|
||||
- **`output`** — дельта после завершения turn'а (assistant text + tool calls +
|
||||
tool results, всё что LiteConversation добавила за весь tool loop).
|
||||
- Хранится в `payload_json` assistant-сообщения (без schema-миграций). Бэкенды
|
||||
без `tokenCount()` (off-line модели LiteRT-LM счётчик не отдают) дают `tokens=null`.
|
||||
|
||||
На старте агент печатает сводку по всем существующим диалогам:
|
||||
|
||||
```
|
||||
tokens: 17 convs, 134 turns, in=523844, out=58290, total=582134
|
||||
```
|
||||
|
||||
`MessageStore.tokenStats(conversationId)` отдаёт `TokenStats(turns, inputTokens, outputTokens)`
|
||||
для одного диалога — можно использовать из HTTP фасада или клиентских дашбордов
|
||||
для оценки cost.
|
||||
|
||||
## Куратор памяти (Curator)
|
||||
|
||||
Фоновая корутина (запускается автоматически, если `AGENTIK_MEMORY_DIR != off`):
|
||||
|
||||
Reference in New Issue
Block a user