subochev/rayneo-vm
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
main
rayneo-vm/TASKS.md
T

15 KiB
Raw Permalink Blame History

1 · Биноокулярный стартовый экран

Стартовый экран (тот когда не запущено ничего на виртуальных мониторах) отображается криво, не бинокулярно. Он тоже должен быть бинокулярным.

Причина: StatusOverlay в app-glasses-vm/.../ui/GlassesScreen.kt — обычный Compose-оверлей, центрируется по всей ширине 1280px, поэтому попадает на стык глаз и рисуется ОДИН раз, а не в обеих половинах. Тот же приём уже используется в CursorOverlay (руками: x и x + half).

Решение (согласовано 2026-09-27):

  • Перенести в rayneo-mercury удобную view-mate-функцию Binocular из view-mate/app-glasses/.../ui/ViewUtils.kt (fun Binocular, BinocularSize, BinocularScreenSide, enum Side, ScreenSize, getValue-extension). Она делает Row из двух Column(weight(1f)), каждый прогоняет весь content в своей половине, а BinocularScreenSize сообщает композитору размер одного глаза (W/2 × H).
  • Использовать Binocular { ... } только для простых экранов (Starting / NoConnection / NoAppSelected / Error / ShizukuMissing).
  • НЕ трогать GL-сюрфейс (BinocularRendererView — он сам бинокулярит на 1280 и кладётся ВНЕ Binocular) и НЕ трогать CursorOverlay — там хитрая отрисовка, оставить как есть.

Где переносить: модуль rayneo-mercury. Кандидаты: :binocular-renderer либо новый маленький :compose-binocular. Решить при реализации (по зависимостям — Binocular не нужен GL).

2 · Проброс звука с виртуального дисплея на телефон

Добавить возможность проброса звука с виртуального дисплея на телефон. Переключатель: через телефон или с очков. Сначала механика, потом кнопка в мобильном приложении.

Что уже есть (но не доделано):

  • AudioCaptureService (очки) — НЕ объявлен в манифесте, никто не вызывает; SetAudioMode на очках только логируется (VmService.kt). Сейчас в MIC-fallback, а нужен AudioPlaybackCapture.
  • Серверного endpoint /vm-audio НЕТ (WifiServerTransport регистрирует только /vm).
  • AudioPlaybackManager (телефон) написан, но никем не вызывается; AudioPlaybackService — заглушка.
  • UI-переключателя нет; controller.setAudioMode не вызывается.

Решение (согласовано 2026-09-27):

  • MediaProjection ОБЯЗАТЕЛЕН для AudioPlaybackCapture (CAPTURE_AUDIO_OUTPUT — privileged, Shizuku не даёт; Accessibility тоже не даёт). НО диалог можно обойти: MediaProjection проверяет AppOps PROJECT_MEDIA → cmd appops set <pkg> PROJECT_MEDIA allow отключает диалог НАВСЕГДА. Выполнять через Shizuku (один раз, либо при каждом соединении, если appop сбрасывается системой).
  • ON_PHONE: захват AudioPlaybackCapture на очках → стрим на телефон → AudioPlaybackManager играет. Обязательно глушить динамик очков (STREAM_MUSIC → 0 / mute), иначе двойной звук.
  • ON_GLASSES: стоп захвата, вернуть звук очков.
  • Захватывается ВСЁ системное аудио очков, включая звук гостя — так и надо.
  • Переключатель — на экране общего статуса очков (GlassesStatusScreen), не в пульте.

Открытые технические вопросы (проверить на девайсе):

  • Работает ли cmd appops set ... PROJECT_MEDIA allow от shell на RayNeo X3 Pro (SELinux)?
  • Cбрасывается ли PROJECT_MEDIA appop при перезапуске/обновлении? Если да — выставлять при каждом соединении.
  • Глушение: setStreamVolume(STREAM_MUSIC, 0) глобально; вернуть прежнее значение в ON_GLASSES.

Риск: самая большая задача. Начинать первой.

3 · Автоскрытие курсора

Когда приложение на виртуальном дисплее запущено, отображается положение мышки (жёлтая точка). Когда она долго не двигается — скрывать на очках.

Механики нет вообще. Курсор задаётся в moveCursor (VmGlassesController.kt), скрывается только в stopGuest.

Решение (согласовано 2026-09-27):

  • Watchdog: 3 секунды после последнего действия → скрыть курсор.
  • «Движением» считать любое действие с тачпадом: move / click / scroll (moveCursor / clickCursor / scrollCursor) — все сбрасывают таймер и показывают курсор.
  • После скрытия при следующем действии курсор появляется (можно на новой позиции — не принципиально).

4 · Клавиатура

  1. Когда на очках поле ввода в фокусе — НЕ показывать клавиатуру на очках.
  2. Когда на телефоне тыкаю кнопку клавиатуры — ввести текст, и всё, что вводится, уходит на очки.

Текущее состояние:

  • На телефоне есть рабочий KeyboardDialog, но он не подключён к навигации (ZonaProfile — мёртвый экран). В RemoteScreen.kt кнопка «Клавиатура» задизейблена.
  • На очках своей клавиатуры нет. Но когда гости (Zona) получает фокус в поле ввода, он показывает СВОЙ системный IME поверх нашего приложения (один экземпляр на display 0, поэтому не бинокулярный). Это и есть проблема 4.1.

Решение (согласовано 2026-09-27):

  • 4.1: написать крошечный IME-заглушку (VmNoopImeService, 0 UI) внутри GlassesApp и поставить его дефолтным IME навсегда через Shizuku (settings put secure default_input_method <наш IME>). Обратно НЕ возвращать (пользователю не важно). Никакого диалога выбора IME.
  • 4.2: ввод с телефона — инжект Unicode в KeyEvent (через Shizuku binder, injectText(String)), чтобы работали русский и английский. Новое сообщение SetText в :shared VmMessage. Кнопка клавиатуры — в RemoteScreen (там сейчас заглушка).
  • В перспективе: onAccessibilityEvent из #5 может помочь прятать IME гостя (см. #5).

Открытые вопросы (проверить):

  • Пустит ли RayNeo выбрать наш IME дефолтным (settings put secure default_input_method) через shell?
  • Нужны ли отдельные кнопки Backspace/Enter на телефонной клавиатуре (обычно да).

5 · Accessibility-сервис (авто-запуск + фоновый процесс) — НЕ ЗАКРЫТА

Рассмотреть возможность добавить сервис в режиме Accessibility: принимать наши команды, делать всё в фоне (mDNS и т.п.), запускать основное Activity, если оно не запущено — легальный авто-запуск.

ЦЕЛЬ (уточнено 2026-09-27): Accessibility должен быть включён ВСЕГДА. В него планируется перенести работу с WiFi и Bluetooth (наши каналы, не Mercury). Так гарантируем, что сервис всегда запущен (система его сама держит/перезапускает, без foreground-нотификации).

Уже сделано (ядро, проверено на девайсе 2026-09-27):

  • app-glasses-vm/.../VmAccessibilityService.kt — пассивный слушатель: НЕ читает содержимое (canRetrieveWindowContent=false), НЕ инжектит. В onServiceConnected поднимает MainActivity (авто-запуск).
  • res/xml/vm_accessibility_service.xml — конфиг (eventTypes=typeWindowStateChanged).
  • Манифест: <service> с BIND_ACCESSIBILITY_SERVICE + meta-data.
  • Строки в res/values/strings.xml.
  • Проверено: включение работает (и вручную в UI, и программно от shell); Enabled services + Bound services подтверждены; при бинде поднимается процесс и MainActivity (I/VmAccessibilitySvc: Accessibility-сервис подключён → MainActivity запущена из Accessibility-сервиса).

МОДЕЛЬ — КАК У SHIZUKU (согласовано 2026-09-27): provisioning при каждом подключении телефона к очкам проверяет, включён ли Accessibility, и если нет — включает:

settings get secure enabled_accessibility_services
# если нашего сервиса нет:
settings put secure enabled_accessibility_services \
  pw.binom.rayneovm.glasses/pw.binom.rayneovm.glasses.VmAccessibilityService
settings put secure accessibility_enabled 1

Выполнять с телефона через уже готовый AdbController (wireless-adb → shell). Проверено: от shell settings put работает.

ДВА ПУТИ ВКЛЮЧЕНИЯ (делаем оба):

  • (A) Основной — с телефона: при коннекте AccessibilityProvisioner.ensure() (по аналогии с ShizukuProvisioner) проверяет/включает через adb.
  • (B) Самовосстановление — на очках: само приложение при старте проверяет свой сервис (локально, через Shizuku) и включает, если выключен.

ВАЖНЫЕ ОГРАНИЧЕНИЯ (проверено/выяснено):

  • force-stop снимает accessibility-флаг. am force-stop, обновление APK и т.п. выключают сервис — поэтому provisioning перепроверяет при каждом коннекте (не один раз).
  • Ребут: надо проверить, переживает ли enabled_accessibility_services перезагрузку очков (обычно secure setting переживает, но проверить на RayNeo). Если нет — задействовать наш HOME-кандидат (MainActivity уже с HOME intent-filter) и/или BOOT_COMPLETED.
  • onAccessibilityEvent — мгновенный, никаких тяжёлых операций (ANR → система отрубит сервис). Сетевую логику — в корутины/отдельные потоки.
  • Перенос WiFi/BLE-логики в сервис: сейчас mDNS + WebSocket server живут в foreground-VmService. План — перенести host-логику в VmAccessibilityService (или сделать его хостом), VmService сделать тонким/убрать. Обсудить при реализации.
  • Что Accessibility НЕ даёт: не заменяет MediaProjection/PROJECT_MEDIA appop для #2. Для ввода (в перспективе) может дать onAccessibilityEvent (фокус окна) для #4.
  • Отдельно — киоск (Kiosk / Lock Task Mode): требует deviceOwner (dpm set-device-owner — одноразово, без сброса не снять) либо whitelisting. Проработать позже, отдельной задачей.

Общие согласования

  • Расширять :shared VmMessage новыми сообщениями (SetText, SetKeyboardActive, реальный SetAudioMode и т.п.) — ОК (APK всё равно пересобираются).
  • Все «повышения» делаются с телефона через AdbController при коннекте (проверено от shell 2026-09-27):
    • Accessibility: settings put secure enabled_accessibility_services + accessibility_enabled 1;
    • MediaProjection без диалога: cmd appops set pw.binom.rayneovm.glasses PROJECT_MEDIA allow;
    • дефолтный IME: settings put secure default_input_method <наш IME> (проверить в #4).
  • Порядок работы ночью: #2 → #1 → #3 → #4 → #5 (по убыванию риска/размера).
  • Коммиты/пуш — по завершении блоков; отдельно rayneo-vm и rayneo-mercury.
  • Отмашка на начало работ — ждём от пользователя (пока не дана).

Правила ночной сессии (согласовано 2026-09-27)

  1. Упёрся в проблему — не стоим. Зафиксировать её в BLOCKERS.md (корень репо): задача, что сделано, в чём стена, что проверено, варианты обхода. Затем перейти к следующей задаче.
  2. Погасить экран очков в конце. Когда все задачи закрыты ИЛИ дальнейшее продвижение невозможно — ОБЯЗАТЕЛЬНО выключить экран очков: adb -s A06B4AB933C4103 shell input keyevent 223 (KEYCODE_SLEEP), либо через ScreenControl (Канал 1) / Shizuku SET_SCREEN. Проверить по mWakefulness=Dozing/Asleep.
  3. Все три пре-авторизации выданы: ребут очков — можно; менять системные настройки очков (Accessibility / PROJECT_MEDIA / дефолтный IME) на постоянку — можно; при равнозначных развилках выбирать самому и документировать.
Reference in New Issue View Git Blame Copy Permalink