ViewMate

Очки RayNeo X2 + компаньон на телефон: кино и чат с ассистентом.

Статус реализации (19.08.2026)

Возможность	Статус
Бинокулярный видеорендер на очках (ExoPlayer → EGL-блит в оба глаза), fullscreen	✅ этап 1
Пульт: пауза/плей/±30с/закрыть (с телефона и из консоли)	✅
Связка очки↔телефон по WiFi (WS), два эмулятора + adb forward	✅
Каталог Jellyfin на телефоне (Фильмы/Сериалы/Папки, поиск, постеры, бейджи зеркала)	✅
Детали: выбор озвучки, статус конвертации, заказ зеркала	✅
Реальное скачивание с S3 (SigV4, прогресс, докачка с места, персистентный статус)	✅
Экран «Очки»: связь, батарея/память, пульт	✅
Синхронизированный звук на телефоне (очки без динамиков)	✅ 19.08 (diff < 1000 мс, авто-ресинк)
Чат с ассистентом (режим CHAT, сессии Hermes, голосовой ассистент)	❌ заглушка
Жесты RayNeo (пауза/перемотка жестом)	❌ в планах
NSD-дискавери телефона (реальные очки находят телефон по сети)	✅ 19.08: mDNS + скан /24 (на RayNeo multicast режется — работает скан; эмулятор — fallback 10.0.2.2)

Подробный журнал решений и инцидентов: /root/notes/2026-08-19.md (внутреннее).

Структура

app-glasses/   RayNeo X2 — AR-приложение: видео (ExoPlayer), жесты, связь по WiFi
app-phone/     компаньон на телефон — каталог, дубль-управление, чат
app-host/      отладочный хост — «бэк» без UI, к которому цепляются очки
lib-core/      общий слой (KMP): режимы, состояния, команды, DTO
sketches/      эскизы UI: раскладка экранов + сценарии использования

Эскизы интерфейса

• sketches/phone-ui/index.html — эскизы 4 экранов телефона (раскладка компонентов, открыть в браузере)
• sketches/phone-ui/preview.png — скриншот эскизов
• sketches/phone-ui/FLOW.md — сценарии использования: как посмотреть фильм, проверить очки, поговорить с ассистентом, что видно при не-сконвертированном/частично скачанном контенте

Режимы

Два режима на очках

Режим	Состояния	Что происходит
MOVIE (кино)	PLAYING, PAUSED	видео на очках (ExoPlayer), звук выбранной дорожки на телефоне, синхронизация по позиции
CHAT (общение)	SESSION_SELECT, TALKING	выбор сессии Hermes, затем разговор в рамках сессии

Переключение режимов — с телефона (и жестом на очках). Оба дёргают один локальный агент (lib-core).

Каталог — НЕ режим очков

Каталог контента (Jellyfin) живёт только на телефоне (и в будущем — у голосового ассистента, который тоже будет по нему ходить). Выбрал в каталоге → «включить» → очки переходят в режим MOVIE с готовым контентом.

Очки — «экран кинотеатра»: они ждут, когда им скажут «включи», и не листают каталог сами.

Локальный голосовой ассистент (в будущем)

Вызывается в любом режиме (двойной клик в чате), поверх всего. Умеет: ходить по каталогу, включать/ставить кино, переключать режимы, переключать сессии, отвечать на вопросы (локально, без сервера).

Жесты (распознаёт RayNeo SDK, TempleAction)

Вне распознавания (обычный режим)

Жест (SDK)	Режим КИНО	Режим ЧАТ
Click	пауза ↔ плей	старт / стоп диктовки
DoubleClick	игнор	отмена диктовки
TripleClick	безусловный вызов ассистента (пауза видео + затемнение + слушаем)	безусловный вызов ассистента (слушаем)
SlideBackward / SlideForward	перемотка	в SESSION_SELECT — листание сессий; в TALKING — скролл текста ответа
LongClick	(резерв)	показать / спрятать текст последнего ответа

Во время распознавания речи (LISTENING)

Жест	Действие
Click	завершить распознавание: вывести весь текст (все фразы) в консоль; затемнение уходит, видео остаётся на паузе
DoubleClick	отмена распознавания (текст отбрасывается)
TripleClick	игнор
VAD молчит 30 с	автоматическая отмена распознавания

TripleClick — безусловный вызов локального ассистента из любого места (поверх всего). Распознавание идёт по фразам: VAD отсёк фразу — распознал — отобразил на очках — слушаем дальше; ввод считается открытым до Click.

Жесты распознаёт сам SDK (TempleAction.Click/DoubleClick/SlideBackward/ SlideForward/LongClick) — своя детекция не нужна (проверено в pair-view, MainActivity.kt). TripleClick: если SDK его не отдаёт — детект по таймстампам кликов в onTouchEvent.

Ассистент (потоковый): TripleClick → говорите → каждая фраза уходит в LLM (llm.binom.pw), ответ текстом на очки; история диалога — в SQLite на телефоне. Модель/ключ: local.properties llm.model/llm.apiKey.

Состояния ассистента (единые для обоих ассистентов)

IDLE ──► LISTENING ──► THINKING ──► SPEAKING ──► IDLE
        (слушает)     (думает)     (говорит)

Состояние	Индикатор
IDLE	ничего
LISTENING	красная точка ● мигает + время записи (0:07, 0:23…)
THINKING	спиннер / точки «думает»
SPEAKING	«говорит» (другим цветом / без мигания)

Один и тот же индикатор для Порфирия и локального ассистента — очкам неважно, кто за ним стоит.

Панель индикаторов

Всегда видна, по центру снизу. Содержимое меняется от режима:

Режим/состояние	Содержимое панели
КИНО	просмотрено / осталось (12:34 / 56:00) + 🔋 батарея + ⏰ часы
ЧАТ, диктовка	● 0:07 (красная точка + время записи) + 🔋 + ⏰
ЧАТ, думает/говорит	индикатор состояния (⏳/🔊) + 🔋 + ⏰
Потеря связи с телефоном	вместо времени — «связь потеряна» (⚠️) + 🔋

• Часы — время очков (часы очков, просто время)
• Батарея — очков
• Просмотрено/осталось — из PlaybackState (positionMs/durationMs)
• Если связи с телефоном нет — панель показывает ⚠️ вместо времени (см. Автоматика)

Текст ответа на экране

Длинные ответы можно показать текстом (по LongClick) и скроллить свайпами. Полезно, когда ответ многословный — перечитать спокойно.

Автоматика

Событие	Действие
Очки выключились / экран погас	пауза (видео и аудио)
Потеря связи очки ↔ телефон (WiFi)	пауза (и на очках, и на телефоне) + на панели ⚠️ «связь потеряна» вместо времени
Связь восстановилась	продолжить с того же места, панель — как обычно

Связь и поток

очки (RayNeo X2)                телефон (компаньон)              сервер
┌─────────────────┐            ┌──────────────────┐
│ режимы:         │            │ каталог Jellyfin  │            Jellyfin
│ MOVIE/CHAT      │◄──WiFi────►│ статусы зеркал    │──media-mirror API──► координатор
│ жест = switch   │            │ заказ конвертации │                  → воркеры → S3
│ видео ExoPlayer │            │ переключение      │
│                 │            │ режимов очков     │
│                 │            │ чат с Hermes      │──assistent/chat──► Hermes API
└─────────────────┘            └──────────────────┘                  → TTS → в ухо

• Один локальный агент (на телефоне) — очки и телефон два рендера одного состояния
• WiFi-связь очки ↔ телефон (вместо Bluetooth в старом pair-view)
• Кино: видео 480p H.264 из S3 (media-mirror) на очках, звук выбранной дорожки на телефоне, синхронизация по позиции (очки — мастер, телефон подстраивает аудио)
• Чат: с Hermes через сервер; медиа-интенты («включи сериал X») — напрямую в media-mirror API, без LLM

Медиа-конвейер (внешний, уже живой)

• Координатор: https://mirror.binom.pw (X-API-Key) — заказ конвертации, статусы, файлы
• Формат зеркала: video.mkv (H.264/NVENC, 480p, без звука) + audio-N.ogg (все дорожки, мета title/language)
• S3: https://s3.binom.pw, bucket media, ключи mirror/{itemId}/...; клиентский ключ (read-only) — в конфиге

Полное описание API: media-mirror-api/README.md (https://git.binom.pw/subochev/media-mirror-api).