diff --git a/docs/OBSERVATORY_REALTIME_PROFILES_EXECPLAN.md b/docs/OBSERVATORY_REALTIME_PROFILES_EXECPLAN.md index c6fd28f..79318d5 100644 --- a/docs/OBSERVATORY_REALTIME_PROFILES_EXECPLAN.md +++ b/docs/OBSERVATORY_REALTIME_PROFILES_EXECPLAN.md @@ -1,8 +1,8 @@ # Observatory: четыре этапа создания полного real-time Perception-профиля -Дата: 2026-09-01; обновлено 2026-09-02 00:41 МСК. Текущая цель — переносимые полные профили и снижение задержек всей цепочки; допустимый лабораторный overload не блокирует разработку и не выдаётся за real-time PASS. В двух новых source-paced пилотах с перекрытием CPU и последовательного GPU этапа получены 128/128 результатов без drops; source→local receiver p95 143.32/153.44 ms, p99 198.22/194.25 ms. Среднее ожидание очереди 7.20/8.31 ms против 13.65/25.48 ms в serial-контролях. Это перспективный экспериментальный scheduler, не квалификация и не замена рабочего runtime. Этап 1 частично выполнен; этапы 2–4 не начаты. Static-obstacle слой и coarse `hard_surface` остаются достаточными для сельского прототипа; профиль не сводится к одной модели. +Дата: 2026-09-01; обновлено 2026-09-02 01:36 МСК. Текущая цель — переносимые полные профили и снижение задержек всей цепочки; допустимый лабораторный overload не блокирует разработку и не выдаётся за real-time PASS. Исправленный source preroll binding проверен тремя новыми source-paced Worker-прогонами полного графа: стартовый кадр теперь действительно получает текущую геометрию и TGS, однако каждый прогон выдал 127/128 результатов и один явный `handoff-overflow`. Source→local receiver p95 = 120.84–127.18 ms, p99 = 135.46–143.22 ms; zero-drop и 125 ms gates не пройдены. Этап 1 частично выполнен; этапы 2–4 не начаты. Static-obstacle слой и coarse `hard_surface` остаются достаточными для сельского прототипа; профиль не сводится к одной модели. -Последнее изменение, 2026-09-02 01:06 МСК: выполнен Git checkpoint и отдельное исправление source preroll binding. Metadata-only аудит прежних 128 кадров меняет admission только кадра 0: 75 → 76 допустимых cloud/pose пар. Это не новый модельный прогон; старые latency-результаты выше остаются последними измеренными. Следующий gate — bounded Worker pilot нового source binding, включая влияние первого нового geometry frame на последующие temporal outputs. +Последнее изменение, 2026-09-02 01:22–01:33 МСК: bounded Worker pilot нового binding выполнен на source commit `fd83138`. Кадр 0 изменился с unavailable на valid: 4,787 current points, 7,207 history-only points и 9,096 принятых TGS points. DDRNet masks и RF-DETR proposals совпали со старым контролем на всех 127 общих кадрах; дальнейшие различия geometry/temporal ожидаемо начинаются с исправленного кадра 0. Профиль остаётся observation-only, standalone release и внешний transport ещё не проверены. Текущий evidence: [отчёт этапа 1](../experiments/perception/PERCEPTION_STREAM_STAGE1_2026-09-01.md), [ADR 0049](adr/0049-stream-first-perception-profiles.md), [candidate manifest](../config/perception/k1-perception-ddrnet39-rfdetr-tgs-prototype-v1.json). Запрет full-source preload закреплён в новом контракте; старый batch materializer пока не удалён и продуктовый путь не переключён. @@ -234,7 +234,9 @@ EoMT — семейство ViT-моделей сегментации изобр - 2026-09-02: 91 focused tests PASS (12 pilot, 52 contract, 27 existing live-ingress/synchronizer/shadow), Ruff PASS, Python 3.9 child lint PASS. Семь последовательных Worker runs и версии кода сохранены в `.runtime/perception-latency-20260902T0020MSK/manifest.json`. Worker-сервисы восстановлены, Triton ready=200, local 8000=200; Frigate/Ollama exited/restart=no. Никаких продуктовых defaults/registry cutover. - 2026-09-02 01:06 МСК: по запросу владельца сохранены все 122 изменённых/новых исходных файла семью тематическими коммитами; чистая контрольная точка `ffd6be5`. Коммиты: `d655d69` equipment/capture, `a945d66` backend lifecycle, `62d5520` Worker packaging, `5a78c99` portable UI, `4e04d06` real-time contracts, `bfe6ef4` streaming pilot, `ffd6be5` plan/evidence. Push не выполнялся; raw/weights/runtime не включены. Отдельный `05c99ef` исправляет девять legacy test failures: исторические fixtures отделены от новых installed-package pins, старый image явно отвергается; production digest checks не ослаблены. - 2026-09-02: следующий source-binding increment отделяет первый preroll от текущих LiDAR increments, сохраняет history-only timestamps/points в rolling/TGS и добавляет поэлементные причины unavailable/stale/held. Metadata audit: первый кадр получает 4,787 current points, 7,207 preroll points остаются history-only; остальные 127 admissions и increment identities неизменны. 384 focused Python tests и 62 выбранных frontend architecture/Observatory tests PASS. Нового GPU run, frontend build, deployment или product cutover в этой итерации не было. -- Этап 1: частично выполнен; совместный пилот и ограниченный latency experiment выполнены. Performance gate остаётся FAIL, но сам по себе больше не является запретом экспериментальной упаковки. Preroll source fix проверен unit/integration и metadata-only аудитом, ещё не новым модельным прогоном. Следующие задачи: повторить bounded Worker pilot, довести выходной layered-freshness ABI, перенести расписание в общий runtime, затем измерить transport/application boundary. DDRNet/online-surface jitter остаётся отдельным profiling направлением. Нельзя закрывать whole-path gate по compute-only метрике или отсутствию drops. +- 2026-09-02 01:22–01:33 МСК: preroll fix проверен тремя последовательными 128-frame Worker-прогонами полного графа. Во всех трёх кадр 0 valid и TGS рассчитан; model outputs на 127 общих последовательностях совпали с прежним control. Каждый прогон потерял ровно один кадр из-за `handoff-overflow`: A — seq 84, B/C — seq 38. p95 = 127.18/125.19/120.84 ms, p99 = 143.22/138.02/135.46 ms. Ничего не продвинуто в defaults: zero-drop и 125 ms gate FAIL. Evidence: `.runtime/perception-preroll-worker-20260902T0122MSK/manifest.json`. +- 2026-09-02 01:33 МСК: временно остановленные Triton, perception Worker и два Observatory agent возвращены в исходное состояние; Triton healthy/ready=200, оба agent running, canonical Mac 8000=200, Mac 8765 закрыт. Legacy perception Worker возобновил существовавший до замера HTTP 404 restart loop (running, restart count 4 на контрольном снимке); новый пилот от него не зависел. Ollama/Frigate сохранены exited/restart=no. Модельные запуски были строго последовательными; EoMT и посторонняя GPU-нагрузка не запускались. +- Этап 1: частично выполнен; функциональный общий граф и исправленный preroll измерены, но real-time qualification не закрыта. Performance gate остаётся FAIL, но сам по себе больше не является запретом экспериментальной упаковки. Следующие задачи: устранить `handoff-overflow` без скрытого замедления clock/ослабления учёта, довести выходной layered-freshness ABI, перенести расписание в общий runtime, затем измерить transport/application boundary. DDRNet/online-surface jitter остаётся отдельным profiling направлением. Нельзя закрывать whole-path gate по compute-only метрике. - Этапы 2, 3, 4: не начаты. Продуктовый backend/frontend path, active registry, canonical local 8000 и физический источник не переключались. Старый full-source materializer остаётся legacy; новый streaming transport ещё не реализован. ## Surprises / открытые вопросы @@ -272,6 +274,6 @@ EoMT — семейство ViT-моделей сегментации изобр ## Outcomes / retrospective -Результат этапа 1 на текущий момент: исполняемые invariants, pinned manifest-кандидат, component baseline и измеренный совместный граф с bounded causal history, очередью и исходным 1× clock. Локальная оптимизация убрала drops на 128 кадрах, но real-time gate не прошёл. Transport, network end-to-end, переносимость по нескольким записям и standalone packaging остаются непроверенными. Экспорт image дополнительно упёрся в отсутствующий cached Triton blob / NVCR 403; временный mounted pilot не заменяет поставляемый образ. Ollama/Frigate остались выключенными, остальной временно остановленный Mission Core-контур восстановлен. +Результат этапа 1 на текущий момент: исполняемые invariants, pinned manifest-кандидат, component baseline и измеренный совместный граф с bounded causal history, очередью и исходным 1× clock. Исправленный preroll функционально подтверждён на Worker, но три повтора стабильно выявили один bounded-queue drop и p99 выше 125 ms. Transport, network end-to-end, переносимость по нескольким записям и standalone packaging остаются непроверенными. Экспорт image дополнительно упёрся в отсутствующий cached Triton blob / NVCR 403; временный mounted pilot не заменяет поставляемый образ. Ollama/Frigate остались выключенными, остальной временно остановленный Mission Core-контур восстановлен. После этапа 4 здесь будут перечислены digest самостоятельного полного образа, измеренные статусы и ошибки по recordings, реально проверенные source/hardware/config комбинации, состояние сохранённого EoMT-варианта и оставшиеся physical-live/quality/vehicle-integration ограничения. Готовый Docker и готовая автономия не отождествляются. diff --git a/experiments/perception/PERCEPTION_STREAM_STAGE1_2026-09-01.md b/experiments/perception/PERCEPTION_STREAM_STAGE1_2026-09-01.md index 800bd67..069918c 100644 --- a/experiments/perception/PERCEPTION_STREAM_STAGE1_2026-09-01.md +++ b/experiments/perception/PERCEPTION_STREAM_STAGE1_2026-09-01.md @@ -8,8 +8,10 @@ Worker: RTX 4090, 24564 MiB, NVIDIA driver 610.47. Подробности и evidence нового experiment `perception-joint-pilot-20260901T2040Z` находятся ниже. Последнее дополнение — 2026-09-02 00:41 МСК: семь bounded latency runs; shared-budget CPU overlap дважды дал 128/128 без drops, -но p99 194.25–198.22 ms не проходит исходные 125 ms. Подробности — в последнем -разделе. Это не product cutover и не самостоятельный образ. +но p99 194.25–198.22 ms не проходит исходные 125 ms. Последнее дополнение — +2026-09-02 01:22–01:33 МСК: три Worker-повтора после исправления preroll, +каждый 127/128 с одним `handoff-overflow`; p95 120.84–127.18 ms, +p99 135.46–143.22 ms. Это не product cutover и не самостоятельный образ. ## Решение и сделанный объём @@ -557,3 +559,88 @@ Python-кода PASS. Full backend/frontend suite и production build не вы новых визуальных или продуктовых runtime изменений в этом шаге нет. На Mac только небольшие fixtures и metadata audit, без моделей/load tests. Worker-сервисы не останавливались; canonical local 8000 сохранён. + +## Bounded Worker-пилот исправленного preroll — 2026-09-02 01:22–01:33 МСК + +Source commit `fd8313899b16b16a578529909b5b3c2ac5a03c0b` проверен на том же +RTX 4090 Worker и том же 128-frame source window. Полный граф не урезался: +DDRNet → RF-DETR исполнялись последовательно на GPU; online geometry/distance, +temporal/motion, TGS/costmap и policy-shadow рассчитывались текущим запуском. +Источник шёл 1×, очередь оставалась bounded двумя pending camera frames, +EoMT и другие профили не запускались. Внешняя сеть приложение↔Worker не входила +в измерение; source уже находился на Worker. + +| Run | Результаты / 128 | Drop | Mean | p95 | p99 | Queue wait p95 / p99 | +| --- | --- | --- | --- | --- | --- | --- | +| `preroll-overlap-128-a` | 127 | seq 84, `handoff-overflow` | 79.05 ms | 127.18 ms | 143.22 ms | 44.41 / 60.90 ms | +| `preroll-overlap-128-b` | 127 | seq 38, `handoff-overflow` | 83.01 ms | 125.19 ms | 138.02 ms | 48.17 / 60.80 ms | +| `preroll-overlap-128-c` | 127 | seq 38, `handoff-overflow` | 75.41 ms | 120.84 ms | 135.46 ms | 33.13 / 56.33 ms | + +Во всех трёх отчётах released=128, completed=127, dropped=1, unaccounted=0. +Run C проходит p95 125 ms отдельно, но проваливает p99 и zero-drop; ни один +прогон не проходит совокупный gate. Нельзя выбирать лучший percentile и +скрывать потерянный кадр. Первый ошибочный shell launch с дублированной Python +entrypoint был отклонён argparse до старта runtime/model и исключён из измерений. + +### Проверка исправления и functional parity + +Sequence 0 теперь `available=true`, `surface_state=valid`: pose age +25.267 ms, current point ages 19.571–89.667 ms, skew 64.400 ms. Текущая пара +содержит два increments / 4,787 points. Ещё три increments / 7,207 points +сохраняют исходные timestamps как `history_only`; TGS на первом кадре реально +получил 9,096 прошедших rolling/filter points. Получены 13 observations, +4 tracks и 13 threats; commands/actuation остаются false. + +В B/C fresh current pair есть у 76 из 127 выданных сцен; пропущенный seq 38 +сам был unavailable. В A fresh 75/127, потому что пропущенный seq 84 был fresh. +В полном 128-frame admission остаются 76 current pairs и 52 unavailable. +Причины по всем released кадрам сохранены без retimestamping: 39 `pose-too-old`, +43 `point-increment-unavailable`, по 4 `point-pose-skew` и +`newest-points-too-old`; множества причин пересекаются. Stale publication +наблюдалась у 13–15 выданных сцен, но commands_enabled=0 и actuation_allowed=0 +во всех трёх запусках. + +Сравнение B с прежним `overlap-shared-repeat-128` на 127 общих sequences: +segmentation SHA и RF-DETR proposals совпали 127/127; camera/pose lineage — +127/127; point lineage и availability — 126/127, единственное целевое отличие +на seq 0. Из-за нового первого geometry frame stateful результаты ожидаемо +расходятся: observations равны 121/127, tracks 113/127, threats 97/127, +non-timing TGS/costmap states 124/127. Это влияние исправленного входного +состояния, а не изменение model weights или preprocessing. + +Sampled profile VRAM = 1,931–1,937 MiB. GPU utilization mean по прогонам +25.85–33.69%, max 55–85%; это снова опровергает трактовку «GPU <5%» и не +указывает на исчерпание 24 GiB. Cgroup memory peak не превысил 6,358.07 MiB. +Полная запись не читалась до EOF: camera arrivals=128, pose=131, points=124; +инкрементально прочитано 241 из 4,598 pose rows, 229 из 4,570 point packets и +545,590 из 10,751,258 XYZ rows. Preroll history = 7,207 points. + +### Evidence и состояние после пилота + +Полные reports/scenes/logs и точные команды сохранены локально в +`.runtime/perception-preroll-worker-20260902T0122MSK/` и на Worker в +`D:/NDC_MISSIONCORE/runtime/experiments/perception-preroll-worker-20260902T0122MSK`. +Manifest SHA-256: +`1b233cca8d295e89c633e642e90cf161b0a0c6d7f9411df3443e45221dd107e6`. + +| Артефакт | SHA-256 | +| --- | --- | +| probe-code-fd83138.tar.gz | `00d7fc58f1dd91703446c6ab966722cc642fac4def54e024d32fcab36452b993` | +| A report / scenes | `5eab9cef90b6393698946ca3641e77661950022def5775c30a5f1c654403d3e2` / `91b97b0cc93dc14626bae0f979bcd7e874bf6fbb39d0006fc8c75bb15d0e2f67` | +| B report / scenes | `dc65ef4bdcf45d64ac496c22cfe2af6a4aef4da6e8aa614a4499bfe36bcaaf47` / `da0f7fa187afabb721d0e5f4852b09b37a7c73b054d294a309bae171349f80aa` | +| C report / scenes | `6fbc337c03cfb45febfb75a25cce486c6bfd7b47cebededae28c50552133dee7` / `ece32a799cbb2c8374d1c57aaf34fd041e881884777569513d60835e866a671c` | + +После чистого окна `ndc-mission-core-triton`, legacy perception Worker, +installed LAB agent и M49 agent возвращены в исходное состояние. Triton +healthy/ready=200, оба agent running, canonical Mac 8000=200, Mac 8765 +не слушает. Legacy perception Worker возобновил существовавшийся до пробы +HTTP 404 restart loop: running, restart count 4 на контрольном снимке; пилот +его не использовал и это не объявляется healthy-восстановлением. +`sentinel-ollama` и `sentinel-frigate` остаются exited/restart=no по решению +владельца. Product defaults, registry, frontend/backend path и standalone image +не переключались; deployment не выполнялся. + +**Вердикт:** preroll bug функционально закрыт и full-graph эффект измерен. +Этап 1 остаётся частичным: следующий runtime increment должен устранить +`handoff-overflow` без замедления source clock или неявного расширения +очереди, оформить layered output freshness и повторить zero-drop/p95+p99 gate.