АРЧ АП11 - Оркестрация: дожать агентный прогон по selected-object continuity и сохранить accepted

llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260416182626_gen-mo1t93wq-jy0453e.json

@@ -2,7 +2,7 @@
   "suite_id": "assistant_saved_session_gen-mo1t93wq-jy0453e",
   "suite_version": "0.1.0",
   "schema_version": "assistant_saved_session_suite_v0_1",
-  "generated_at": "2026-04-16T18:26:26.186Z",
+  "generated_at": "2026-04-17T15:22:18.956Z",
   "generation_id": "gen-mo1t93wq-jy0453e",
   "mode": "saved_user_sessions",
   "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
@@ -99,9 +99,6 @@
         {
           "user_message": "остатки на март 2016"
         },
-        {
-          "user_message": "это по общей базе уже нужен вывод не по чепурнову"
-        },
         {
           "user_message": "хвосты покажи по счету 60 на август 2022"
         },

llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260417150806_gen-ag04171508-760111.json

@@ -0,0 +1,49 @@
+{
+  "suite_id": "assistant_saved_session_gen-ag04171508-760111",
+  "suite_version": "0.1.0",
+  "schema_version": "assistant_saved_session_suite_v0_1",
+  "generated_at": "2026-04-17T15:08:06+00:00",
+  "generation_id": "gen-ag04171508-760111",
+  "mode": "saved_user_sessions",
+  "title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
+  "domain": "inventory_answer_shape_and_continuity",
+  "scenario_count": 1,
+  "case_ids": [
+    "SAVED-001"
+  ],
+  "cases": [
+    {
+      "case_id": "SAVED-001",
+      "scenario_tag": "agent_saved_user_sessions",
+      "title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
+      "question_type": "followup",
+      "broadness_level": "medium",
+      "turns": [
+        {
+          "user_message": "какие остатки на складе на март 2021"
+        },
+        {
+          "user_message": "давай по Альтернативе Плюс"
+        },
+        {
+          "user_message": "тогда покажи остатки на март 2021"
+        },
+        {
+          "user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
+        },
+        {
+          "user_message": "а по этой позиции когда была закупка?"
+        },
+        {
+          "user_message": "покажи документы по этой позиции"
+        },
+        {
+          "user_message": "покажи еще раз остатки на эту же дату"
+        },
+        {
+          "user_message": "а что мы уже выяснили по этой позиции?"
+        }
+      ]
+    }
+  ]
+}

llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-XDhN0VgANV.json

@@ -0,0 +1,45 @@
+{
+  "suite_id": "assistant_saved_session_runtime_job-XDhN0VgANV",
+  "suite_version": "0.1.0",
+  "schema_version": "assistant_saved_session_runtime_v0_1",
+  "title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
+  "scenario_count": 1,
+  "case_ids": [
+    "SAVED-001"
+  ],
+  "cases": [
+    {
+      "case_id": "SAVED-001",
+      "scenario_tag": "saved_user_sessions_runtime",
+      "title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
+      "question_type": "followup",
+      "broadness_level": "medium",
+      "turns": [
+        {
+          "user_message": "какие остатки на складе на март 2021"
+        },
+        {
+          "user_message": "давай по Альтернативе Плюс"
+        },
+        {
+          "user_message": "тогда покажи остатки на март 2021"
+        },
+        {
+          "user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
+        },
+        {
+          "user_message": "а по этой позиции когда была закупка?"
+        },
+        {
+          "user_message": "покажи документы по этой позиции"
+        },
+        {
+          "user_message": "покажи еще раз остатки на эту же дату"
+        },
+        {
+          "user_message": "а что мы уже выяснили по этой позиции?"
+        }
+      ]
+    }
+  ]
+}

llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-az4ZDEQptK.json

@@ -0,0 +1,114 @@
+{
+  "suite_id": "assistant_saved_session_runtime_job-az4ZDEQptK",
+  "suite_version": "0.1.0",
+  "schema_version": "assistant_saved_session_runtime_v0_1",
+  "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
+  "scenario_count": 1,
+  "case_ids": [
+    "SAVED-001"
+  ],
+  "cases": [
+    {
+      "case_id": "SAVED-001",
+      "scenario_tag": "saved_user_sessions_runtime",
+      "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
+      "question_type": "followup",
+      "broadness_level": "medium",
+      "turns": [
+        {
+          "user_message": "приветик - че как там дела"
+        },
+        {
+          "user_message": "расскажи что можешь интересного"
+        },
+        {
+          "user_message": "кайф - что там на складе по остаткам?"
+        },
+        {
+          "user_message": "а исторические остатки на другие даты умеешь?"
+        },
+        {
+          "user_message": "давай на июль 2017"
+        },
+        {
+          "user_message": "март 2016"
+        },
+        {
+          "user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?"
+        },
+        {
+          "user_message": "а кому продали?"
+        },
+        {
+          "user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?"
+        },
+        {
+          "user_message": "ндс можешь прикинуть на дату покупки рабочей станции?"
+        },
+        {
+          "user_message": "а какой ндс мы должны сгрузить на март 2020?"
+        },
+        {
+          "user_message": "прикинь какой ндс нам надо заплатить на февраль 2017"
+        },
+        {
+          "user_message": "кто у нас самый доходный клиент за все время"
+        },
+        {
+          "user_message": "кто нам должен денег на май 2017"
+        },
+        {
+          "user_message": "а какой ндс мы должны примерно заплатить за этот период?"
+        },
+        {
+          "user_message": "мы должны комуто денег на сегодня?"
+        },
+        {
+          "user_message": "а нам?"
+        },
+        {
+          "user_message": "какой у нас самый доходный год"
+        },
+        {
+          "user_message": "а за 2017 мы скок заработали?"
+        },
+        {
+          "user_message": "сколько вообще денег мы заработали за все время?"
+        },
+        {
+          "user_message": "ты умеешь считать дельту по договорам?"
+        },
+        {
+          "user_message": "по чепурнову покажи все доки"
+        },
+        {
+          "user_message": "а по свк"
+        },
+        {
+          "user_message": "а сейчас у нас есть что на складе?"
+        },
+        {
+          "user_message": "что нам отгружать чепурнов? какой товар или услугу?"
+        },
+        {
+          "user_message": "какие остатки на складе на сегодня"
+        },
+        {
+          "user_message": "остатки на март 2016"
+        },
+        {
+          "user_message": "это по общей базе уже нужен вывод не по чепурнову"
+        },
+        {
+          "user_message": "хвосты покажи по счету 60 на август 2022"
+        },
+        {
+          "user_message": "Есть ли остатки товара, которые закупались очень давно"
+        },
+        {
+          "user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020"
+        }
+      ]
+    }
+  ]
+}