subochev
427ce8a572
Добавляет второй бэкенд эмбеддингов для vector-памяти: on-device SigLIP2
через ONNX Runtime. Не требует сети (HTTP), не светят тексты заметок наружу.
* gradle/libs.versions.toml: text-embedding-kmp = "3.0.0-SNAPSHOT", модули
api-jvm / siglip-jvm (group переехал с pw.binom.voice.embeddingtext на
pw.binom.ai.embeddingtext).
* settings.gradle.kts: mavenLocal() добавлен в dependencyResolutionManagement
(text-embedding-kmp публикуется локально как snapshot).
* memory-vector/SiglipEmbeddingProvider (jvmMain) — адаптер
pw.binom.voice.embeddingtext.TextEmbeddingExtractor → EmbeddingProvider:
оборачивает blocking embed() в withContext(Dispatchers.IO) + Mutex (ONNX
сессия не reentrant), размерность пробируется через probe embed("probe")
(768 для SigLIP2-base).
* memory-vector/build.gradle.kts: api(libs.text.embedding.api) +
implementation(libs.text.embedding.siglip); jvmTest получает
SiglipEmbeddingProviderTest — smoke test (skip если модель не найдена).
* standalone/AgentikConfig: новый enum EmbeddingBackend { HTTP, SIGLIP },
поля embeddingBackend / embeddingModelPath / embeddingTokenizerPath, env:
AGENTIK_EMBEDDING_BACKEND, AGENTIK_EMBEDDING_MODEL_PATH,
AGENTIK_EMBEDDING_TOKENIZER_PATH.
* standalone/Main.kt: switch на embeddingBackend при memory-backend=vector;
для SIGLIP требуются оба пути, иначе ошибка с понятным сообщением.
* standalone/README.md: обновлены env-vars, добавлены две bash-секции
(HTTP и SIGLIP) + инструкция скачивания модели с static.binom.pw.
* scripts/install-text-embedding-stub.sh: workaround для upstream бага
(siglip-jvm/*.module ссылается на api без -jvm variant). Создаёт
stub-артефакт api:3.0.0-SNAPSHOT в mavenLocal с тем же содержимым.
Удалить когда upstream починит module-metadata.
Smoke test: AGENTIK_MEMORY_BACKEND=vector AGENTIK_EMBEDDING_BACKEND=siglip
+ несуществующий путь → FileNotFoundException с понятным трейсом (значит
ONNX Runtime инициализирован, путь через factory пробрасывается корректно).
Tests: 288 total green. Fatjar 250MB (вырос из-за onnxruntime ~80MB).
Dropped: старый stub-jar pw.binom.voice.embeddingtext:api:2.0.0-SNAPSHOT.
51 lines
1.9 KiB
Bash
Executable File
51 lines
1.9 KiB
Bash
Executable File
#!/bin/bash
|
||
# Создаёт stub-артефакт `pw.binom.voice.embeddingtext:api:2.0.0-SNAPSHOT`,
|
||
# ссылающийся на `api-jvm:2.0.0-SNAPSHOT`. Нужно из-за бага в upstream module
|
||
# metadata у siglip-jvm (ссылается на `api` без variant).
|
||
#
|
||
# Удалить, когда upstream починит module-metadata.
|
||
|
||
set -e
|
||
M2="${HOME}/.m2/repository"
|
||
GROUP_DIR="${M2}/pw/binom/ai/embeddingtext"
|
||
SRC_DIR="${GROUP_DIR}/api-jvm/3.0.0-SNAPSHOT"
|
||
DST_DIR="${GROUP_DIR}/api/3.0.0-SNAPSHOT"
|
||
|
||
if [ ! -f "${SRC_DIR}/api-jvm-3.0.0-SNAPSHOT.jar" ]; then
|
||
echo "Source api-jvm not found: ${SRC_DIR}"
|
||
echo "Сначала опубликуй text-embedding-kmp в mavenLocal:"
|
||
echo " git clone https://git.binom.pw/subochev/text-embedding-kmp /tmp/text-embedding-kmp"
|
||
echo " cd /tmp/text-embedding-kmp && ./gradlew -Pversion=3.0.0-SNAPSHOT :api:publishJvmPublicationToMavenLocal :siglip:publishJvmPublicationToMavenLocal"
|
||
exit 1
|
||
fi
|
||
|
||
mkdir -p "${DST_DIR}"
|
||
cp "${SRC_DIR}/api-jvm-3.0.0-SNAPSHOT.jar" "${DST_DIR}/api-3.0.0-SNAPSHOT.jar"
|
||
cp "${SRC_DIR}/api-jvm-3.0.0-SNAPSHOT-sources.jar" "${DST_DIR}/api-3.0.0-SNAPSHOT-sources.jar" 2>/dev/null || true
|
||
|
||
cat > "${DST_DIR}/api-3.0.0-SNAPSHOT.pom" <<POM
|
||
<?xml version="1.0" encoding="UTF-8"?>
|
||
<project xmlns="http://maven.apache.org/POM/4.0.0">
|
||
<modelVersion>4.0.0</modelVersion>
|
||
<groupId>pw.binom.ai.embeddingtext</groupId>
|
||
<artifactId>api</artifactId>
|
||
<version>3.0.0-SNAPSHOT</version>
|
||
<packaging>jar</packaging>
|
||
</project>
|
||
POM
|
||
|
||
cat > "${DST_DIR}/maven-metadata-local.xml" <<META
|
||
<?xml version="1.0" encoding="UTF-8"?>
|
||
<metadata>
|
||
<groupId>pw.binom.ai.embeddingtext</groupId>
|
||
<artifactId>api</artifactId>
|
||
<version>3.0.0-SNAPSHOT</version>
|
||
<versioning>
|
||
<snapshot><timestamp>20260101.000000</timestamp></snapshot>
|
||
<lastUpdated>20260101000000</lastUpdated>
|
||
</versioning>
|
||
</metadata>
|
||
META
|
||
|
||
echo "Installed stub: pw.binom.ai.embeddingtext:api:3.0.0-SNAPSHOT -> ${DST_DIR}"
|