feat(lab): measure RAVNOVES00 R1 quality baseline

2026-07-28 03:42:32 +03:00
parent e35f81ac34
commit c018f2b074
20 changed files with 2401 additions and 11 deletions
@@ -10,6 +10,7 @@ import { E33Result } from "./E33Result";
 import { E34Result } from "./E34Result";
 import { E35Result } from "./E35Result";
 import { E37Result } from "./E37Result";
+import { E38Result } from "./E38Result";
 import { RecordedReplayEvidence } from "./RecordedReplayEvidence";

 export type AdvancedLaboratoryWorkId =
@@ -18,7 +19,8 @@ export type AdvancedLaboratoryWorkId =
  | "e33-worker-shadow"
  | "e34-temporal-layer"
  | "e35-degradation-recovery"
-  | "e37-ravnoves-acceptance";
+  | "e37-ravnoves-acceptance"
+  | "e38-perception-baseline";

 type LaboratoryWorkspaceProps = WorkspaceRendererProps & {
  SpatialView: ComponentType<WorkspaceRendererProps>;
@@ -34,6 +36,7 @@ export function isAdvancedLaboratoryWorkId(
    || value === "e34-temporal-layer"
    || value === "e35-degradation-recovery"
    || value === "e37-ravnoves-acceptance"
+    || value === "e38-perception-baseline"
  );
 }

@@ -78,6 +81,12 @@ export function advancedLaboratoryWorkOptions(
      label: "LAB E37 · RAVNOVES00 acceptance R0",
    });
  }
+  if (results.e38) {
+    options.push({
+      id: "e38-perception-baseline",
+      label: "LAB E38 · perception quality R1",
+    });
+  }
  return options;
 }

@@ -115,6 +124,9 @@ export function AdvancedLaboratoryResult({
  failedSessionId: string | null;
  replayError: string | null;
 }) {
+  if (workId === "e38-perception-baseline" && results.e38) {
+    return <E38Result rigLabel={rigLabel} result={results.e38} />;
+  }
  if (workId === "e37-ravnoves-acceptance" && results.e37) {
    return <E37Result rigLabel={rigLabel} result={results.e37} />;
  }
@@ -0,0 +1,188 @@
+import {
+  LaboratoryEvidence,
+  LaboratoryResultSummary,
+  LaboratorySummary,
+  LaboratoryWorkTemplate,
+} from "../../components/laboratory/LaboratoryPresentation";
+import type {
+  E38DimensionMetric,
+  E38PerceptionBaselineResult,
+} from "../../core/laboratory/advancedResults";
+import { formatNumber } from "../../presentation";
+
+function percent(value: number): string {
+  return `${(value * 100).toLocaleString("ru-RU", {
+    maximumFractionDigits: 1,
+  })}%`;
+}
+
+function worstStratum(metric: E38DimensionMetric): string {
+  const [name, value] = Object.entries(metric.byStratum)
+    .sort((left, right) => left[1].accuracy - right[1].accuracy)[0] ?? [];
+  return name && value
+    ? `${name}: ${percent(value.accuracy)}`
+    : "нет данных";
+}
+
+function DimensionEvidence({
+  label,
+  metric,
+}: {
+  label: string;
+  metric: E38DimensionMetric;
+}) {
+  return (
+    <div>
+      <span>{label}</span>
+      <strong>{percent(metric.accuracy)}</strong>
+      <small>
+        {`${formatNumber(metric.correct, 0)} / ${formatNumber(metric.total, 0)}`}
+        {" · слабее всего: "}
+        {worstStratum(metric)}
+      </small>
+    </div>
+  );
+}
+
+export function E38Result({
+  rigLabel,
+  result,
+}: {
+  rigLabel: string;
+  result: E38PerceptionBaselineResult;
+}) {
+  const metrics = result.metrics;
+  const dimensions = metrics.dimensions;
+  const gateLabel = result.qualityGatePassed
+    ? "R1 gate пройден"
+    : "R1 требует улучшения";
+  return (
+    <LaboratoryWorkTemplate
+      summary={(
+        <LaboratorySummary
+          title="LAB E38 · первый baseline качества R1"
+          description="На неизменяемом validation-наборе E37 отдельно измерены распознавание присутствия, принадлежность геометрии и свежесть состояния. Модель обучалась только на development-разделе; validation использован только для итоговой оценки."
+          status={gateLabel}
+          statusTone={result.qualityGatePassed ? "success" : "warning"}
+          facts={[
+            {
+              label: "Конфигурация",
+              value: `${rigLabel} · ${result.sourceDisplayName}`,
+            },
+            {
+              label: "Обучение",
+              value: `${formatNumber(metrics.developmentItems, 0)} development`,
+            },
+            {
+              label: "Проверка",
+              value: `${formatNumber(metrics.validationItems, 0)} validation`,
+            },
+            {
+              label: "Исполнение",
+              value: `Worker 006 · ${result.workerNode}`,
+            },
+          ]}
+          brief={{
+            question: "Какое качество уже даёт текущий source-scoped сенсорный контур на замороженном holdout и какие узлы реально не дотягивают до 90%?",
+            approach: "Три неглубоких детерминированных CART-модели обучены на 340 development-кейсах по фактическим признакам E29/E30. Замороженные 146 validation-кейсов не участвовали в подборе деревьев и использованы только для оценки.",
+            principalResult: `Freshness достиг ${percent(dimensions.freshness.accuracy)} и прошёл порог. Presence — ${percent(dimensions.presence.accuracy)}, geometry association — ${percent(dimensions.geometryAssociation.accuracy)}; оба узла пока ниже 90%.`,
+            limitation: "Это инженерно размеченный baseline одного RAVNOVES00, а не независимый ground truth или доказательство переноса на другой маршрут, риг и камеру.",
+          }}
+          method={{
+            completeness: "complete",
+            executionClass: "deterministic",
+            pipelineId: result.profileId,
+            components: [
+              {
+                kind: "source",
+                name: "E37 frozen acceptance contract",
+                version: `${formatNumber(metrics.validationItems, 0)} sealed validation items`,
+                role: "неизменяемый denominator и три раздельные reference-метрики",
+                identitySha256: null,
+              },
+              {
+                kind: "algorithm",
+                name: "Development-only shallow CART",
+                version: "dimension-specific deterministic trees",
+                role: "baseline без обучения на validation и без смешивания метрик",
+                identitySha256: null,
+              },
+              {
+                kind: "runtime",
+                name: "Worker 006",
+                version: result.workerNode,
+                role: "изолированное исполнение pinned package без командных полномочий",
+                identitySha256: null,
+              },
+            ],
+          }}
+        />
+      )}
+      evidence={(
+        <LaboratoryEvidence
+          eyebrow="ЗАМОРОЖЕННЫЙ VALIDATION"
+          title="Три независимые метрики и слабые страты"
+          kind="diagnostic-model"
+        >
+          <div className="laboratory-result-metrics">
+            <DimensionEvidence
+              label="Presence"
+              metric={dimensions.presence}
+            />
+            <DimensionEvidence
+              label="Geometry association"
+              metric={dimensions.geometryAssociation}
+            />
+            <DimensionEvidence
+              label="Freshness"
+              metric={dimensions.freshness}
+            />
+            <div>
+              <span>High severity</span>
+              <strong>{formatNumber(metrics.highSeverityFailures, 0)}</strong>
+              <small>
+                {"блокирующие ошибки независимо от среднего процента"}
+              </small>
+            </div>
+          </div>
+        </LaboratoryEvidence>
+      )}
+      result={(
+        <LaboratoryResultSummary
+          title={result.qualityGatePassed
+            ? "Все три метрики достигли source-scoped цели R1"
+            : "Baseline измерен; presence и geometry остаются открыты"}
+          status={gateLabel}
+          statusTone={result.qualityGatePassed ? "success" : "warning"}
+          metrics={[
+            {
+              label: "Presence",
+              value: percent(dimensions.presence.accuracy),
+              hint: `${formatNumber(dimensions.presence.incorrect, 0)} ошибок · цель 90%`,
+            },
+            {
+              label: "Geometry association",
+              value: percent(dimensions.geometryAssociation.accuracy),
+              hint: `${formatNumber(dimensions.geometryAssociation.incorrect, 0)} ошибок · цель 90%`,
+            },
+            {
+              label: "Freshness",
+              value: percent(dimensions.freshness.accuracy),
+              hint: `${formatNumber(dimensions.freshness.incorrect, 0)} ошибок · цель 90%`,
+            },
+            {
+              label: "Учёт / false free",
+              value: `${percent(metrics.accountingFraction)} / ${formatNumber(metrics.falseFreeClaims, 0)}`,
+              hint: `${formatNumber(metrics.terminalOutcomes, 0)} terminal outcomes`,
+            },
+          ]}
+          conclusion={{
+            proved: `На sealed validation текущая логика честно закрывает freshness с ${percent(dimensions.freshness.accuracy)}, сохраняет 100% учёта и не публикует false-free claims.`,
+            notProved: `Presence (${percent(dimensions.presence.accuracy)}) и geometry association (${percent(dimensions.geometryAssociation.accuracy)}) не достигли 90%; зафиксировано ${formatNumber(metrics.highSeverityFailures, 0)} high-severity ошибок. R1 и выпуск не приняты.`,
+            decision: "Сохранить E38 как первый измеренный baseline. Следующую итерацию R1 направить на detector/background decision и различение class-bearing объекта от независимой geometry-only среды, не меняя validation.",
+          }}
+        />
+      )}
+    />
+  );
+}
@@ -70,6 +70,7 @@ const EMPTY_ADVANCED_RESULTS: AdvancedLaboratoryResults = {
  e34: null,
  e35: null,
  e37: null,
+  e38: null,
 };

 function laboratoryWorkOrdinal(value: string): number {