Post-F: закрепить семантическую целостность MCP-цепочек

2026-04-24 18:35:12 +03:00
parent 830e05fe97
commit 796a9a93f2
24 changed files with 2408 additions and 104 deletions
@@ -0,0 +1,82 @@
+{
+  "suite_id": "assistant_saved_session_gen-ag04231844-8e552a",
+  "suite_version": "0.1.0",
+  "schema_version": "assistant_saved_session_suite_v0_1",
+  "generated_at": "2026-04-23T18:44:25+00:00",
+  "generation_id": "gen-ag04231844-8e552a",
+  "mode": "saved_user_sessions",
+  "title": "AGENT | ARCH: Post-F Semantic Integrity Hardening | Смешанный живой диалог: repeated pivots, орг-срез и СВК",
+  "domain": "address_phase82_human_mixed_integrity_status_dialog",
+  "scenario_count": 1,
+  "case_ids": [
+    "SAVED-001"
+  ],
+  "cases": [
+    {
+      "case_id": "SAVED-001",
+      "scenario_tag": "agent_saved_user_sessions",
+      "title": "AGENT | ARCH: Post-F Semantic Integrity Hardening | Смешанный живой диалог: repeated pivots, орг-срез и СВК",
+      "question_type": "followup",
+      "broadness_level": "medium",
+      "turns": [
+        {
+          "user_message": "Покажи документы по Жуковке 51."
+        },
+        {
+          "user_message": "Хорошо, а теперь платежи по нему тоже покажи."
+        },
+        {
+          "user_message": "А по нему договоры?"
+        },
+        {
+          "user_message": "А по нему документы?"
+        },
+        {
+          "user_message": "А по нему платежи?"
+        },
+        {
+          "user_message": "А за 2021?"
+        },
+        {
+          "user_message": "С Жуковкой закончили. Теперь нужна другая задача: быстрый денежный срез по одной организации. Если для ответа нужна организация, просто уточни ее. Сколько вообще входящих денег было за 2020 год?"
+        },
+        {
+          "user_message": "По ООО Альтернатива Плюс."
+        },
+        {
+          "user_message": "Понял, тогда за все время."
+        },
+        {
+          "user_message": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?"
+        },
+        {
+          "user_message": "А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?"
+        },
+        {
+          "user_message": "И кто больше всего принес денег этой организации в 2020 году?"
+        },
+        {
+          "user_message": "А в 2021 году?"
+        },
+        {
+          "user_message": "Теперь отдельная тема по конкретному контрагенту. Найди в 1С Группу СВК."
+        },
+        {
+          "user_message": "Сколько получили по нему за 2020 год?"
+        },
+        {
+          "user_message": "А теперь сколько заплатили?"
+        },
+        {
+          "user_message": "А какое нетто?"
+        },
+        {
+          "user_message": "А по документам?"
+        },
+        {
+          "user_message": "А по движениям?"
+        }
+      ]
+    }
+  ]
+}
@@ -0,0 +1,97 @@
+{
+  "suite_id": "assistant_saved_session_gen-ag04241406-abe4d8",
+  "suite_version": "0.1.0",
+  "schema_version": "assistant_saved_session_suite_v0_1",
+  "generated_at": "2026-04-24T14:06:30+00:00",
+  "generation_id": "gen-ag04241406-abe4d8",
+  "mode": "saved_user_sessions",
+  "title": "AGENT | Post-F cross-stage semantic integrity canary",
+  "domain": "address_post_f_cross_stage_canary_agent",
+  "scenario_count": 1,
+  "case_ids": [
+    "SAVED-001"
+  ],
+  "cases": [
+    {
+      "case_id": "SAVED-001",
+      "scenario_tag": "agent_saved_user_sessions",
+      "title": "AGENT | Post-F cross-stage semantic integrity canary",
+      "question_type": "followup",
+      "broadness_level": "medium",
+      "turns": [
+        {
+          "user_message": "Мне нужно понять, где в 1С по НДС вообще лежат данные. Какие объекты стоит смотреть по НДС?"
+        },
+        {
+          "user_message": "Хорошо, тогда покажи движения по ООО Альтернатива Плюс."
+        },
+        {
+          "user_message": "За 2020 год."
+        },
+        {
+          "user_message": "А теперь по документам?"
+        },
+        {
+          "user_message": "А теперь за 2021 год?"
+        },
+        {
+          "user_message": "А теперь за все время?"
+        },
+        {
+          "user_message": "С НДС закончили. Новая тема: покажи документы по Жуковке 51."
+        },
+        {
+          "user_message": "Хорошо, а теперь платежи по нему тоже покажи."
+        },
+        {
+          "user_message": "А по нему договоры?"
+        },
+        {
+          "user_message": "А по нему документы?"
+        },
+        {
+          "user_message": "А за 2021?"
+        },
+        {
+          "user_message": "С Жуковкой закончили. Теперь другая задача: быстрый денежный срез по одной организации. Если для ответа нужна организация, просто уточни ее. Сколько вообще входящих денег было за 2020 год?"
+        },
+        {
+          "user_message": "По ООО Альтернатива Плюс."
+        },
+        {
+          "user_message": "Понял, тогда за все время."
+        },
+        {
+          "user_message": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?"
+        },
+        {
+          "user_message": "И кто больше всего принес денег этой организации в 2020 году?"
+        },
+        {
+          "user_message": "А в 2021 году?"
+        },
+        {
+          "user_message": "Теперь отдельная тема по конкретному контрагенту. Найди в 1С Группу СВК."
+        },
+        {
+          "user_message": "Сколько получили по нему за 2020 год?"
+        },
+        {
+          "user_message": "А теперь сколько заплатили?"
+        },
+        {
+          "user_message": "А какое нетто?"
+        },
+        {
+          "user_message": "А по документам?"
+        },
+        {
+          "user_message": "А по движениям?"
+        },
+        {
+          "user_message": "А теперь тот же смысл за 2021 год."
+        }
+      ]
+    }
+  ]
+}
@@ -0,0 +1,78 @@
+{
+  "suite_id": "assistant_saved_session_runtime_job-C4l-4Yfuqm",
+  "suite_version": "0.1.0",
+  "schema_version": "assistant_saved_session_runtime_v0_1",
+  "title": "AGENT | ARCH: Post-F Semantic Integrity Hardening | Смешанный живой диалог: repeated pivots, орг-срез и СВК",
+  "scenario_count": 1,
+  "case_ids": [
+    "SAVED-001"
+  ],
+  "cases": [
+    {
+      "case_id": "SAVED-001",
+      "scenario_tag": "saved_user_sessions_runtime",
+      "title": "AGENT | ARCH: Post-F Semantic Integrity Hardening | Смешанный живой диалог: repeated pivots, орг-срез и СВК",
+      "question_type": "followup",
+      "broadness_level": "medium",
+      "turns": [
+        {
+          "user_message": "Покажи документы по Жуковке 51."
+        },
+        {
+          "user_message": "Хорошо, а теперь платежи по нему тоже покажи."
+        },
+        {
+          "user_message": "А по нему договоры?"
+        },
+        {
+          "user_message": "А по нему документы?"
+        },
+        {
+          "user_message": "А по нему платежи?"
+        },
+        {
+          "user_message": "А за 2021?"
+        },
+        {
+          "user_message": "С Жуковкой закончили. Теперь нужна другая задача: быстрый денежный срез по одной организации. Если для ответа нужна организация, просто уточни ее. Сколько вообще входящих денег было за 2020 год?"
+        },
+        {
+          "user_message": "По ООО Альтернатива Плюс."
+        },
+        {
+          "user_message": "Понял, тогда за все время."
+        },
+        {
+          "user_message": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?"
+        },
+        {
+          "user_message": "А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?"
+        },
+        {
+          "user_message": "И кто больше всего принес денег этой организации в 2020 году?"
+        },
+        {
+          "user_message": "А в 2021 году?"
+        },
+        {
+          "user_message": "Теперь отдельная тема по конкретному контрагенту. Найди в 1С Группу СВК."
+        },
+        {
+          "user_message": "Сколько получили по нему за 2020 год?"
+        },
+        {
+          "user_message": "А теперь сколько заплатили?"
+        },
+        {
+          "user_message": "А какое нетто?"
+        },
+        {
+          "user_message": "А по документам?"
+        },
+        {
+          "user_message": "А по движениям?"
+        }
+      ]
+    }
+  ]
+}
@@ -0,0 +1,123 @@
+{
+  "suite_id": "assistant_saved_session_runtime_job-FvKPQG152c",
+  "suite_version": "0.1.0",
+  "schema_version": "assistant_saved_session_runtime_v0_1",
+  "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
+  "scenario_count": 1,
+  "case_ids": [
+    "SAVED-001"
+  ],
+  "cases": [
+    {
+      "case_id": "SAVED-001",
+      "scenario_tag": "saved_user_sessions_runtime",
+      "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
+      "question_type": "followup",
+      "broadness_level": "medium",
+      "turns": [
+        {
+          "user_message": "приветик - че как там дела"
+        },
+        {
+          "user_message": "расскажи что можешь интересного"
+        },
+        {
+          "user_message": "кайф - что там на складе по остаткам?"
+        },
+        {
+          "user_message": "АЛЬТЕРНАТИВА"
+        },
+        {
+          "user_message": "а исторические остатки на другие даты умеешь?"
+        },
+        {
+          "user_message": "давай на июль 2017"
+        },
+        {
+          "user_message": "март 2016"
+        },
+        {
+          "user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?"
+        },
+        {
+          "user_message": "а кому продали?"
+        },
+        {
+          "user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?"
+        },
+        {
+          "user_message": "ндс можешь прикинуть на дату покупки рабочей станции?"
+        },
+        {
+          "user_message": "а какой ндс мы должны сгрузить на март 2020?"
+        },
+        {
+          "user_message": "прикинь какой ндс нам надо заплатить на февраль 2017"
+        },
+        {
+          "user_message": "кто у нас самый доходный клиент за все время"
+        },
+        {
+          "user_message": "кто нам должен денег на май 2017"
+        },
+        {
+          "user_message": "а какой ндс мы должны примерно заплатить за этот период?"
+        },
+        {
+          "user_message": "мы должны комуто денег на сегодня?"
+        },
+        {
+          "user_message": "а нам?"
+        },
+        {
+          "user_message": "какой у нас самый доходный год"
+        },
+        {
+          "user_message": "а за 2017 мы скок заработали?"
+        },
+        {
+          "user_message": "сколько вообще денег мы заработали за все время?"
+        },
+        {
+          "user_message": "ты умеешь считать дельту по договорам?"
+        },
+        {
+          "user_message": "по чепурнову покажи все доки"
+        },
+        {
+          "user_message": "а по свк"
+        },
+        {
+          "user_message": "а сейчас у нас есть что на складе?"
+        },
+        {
+          "user_message": "что нам отгружал чепурнов? какой товар или услугу?"
+        },
+        {
+          "user_message": "какие остатки на складе на сегодня"
+        },
+        {
+          "user_message": "остатки на март 2016"
+        },
+        {
+          "user_message": "хвосты покажи по счету 60 на август 2022"
+        },
+        {
+          "user_message": "Есть ли остатки товара, которые закупались очень давно"
+        },
+        {
+          "user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020"
+        },
+        {
+          "user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?"
+        },
+        {
+          "user_message": "Как ты оценишь деятельность компании?"
+        },
+        {
+          "user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?"
+        }
+      ]
+    }
+  ]
+}
@@ -0,0 +1,42 @@
+{
+  "suite_id": "assistant_saved_session_runtime_job-IYhHuIIG_n",
+  "suite_version": "0.1.0",
+  "schema_version": "assistant_saved_session_runtime_v0_1",
+  "title": "AGENT | Живой диалог по организации: денежный срез, сравнение и рейтинг",
+  "scenario_count": 1,
+  "case_ids": [
+    "SAVED-001"
+  ],
+  "cases": [
+    {
+      "case_id": "SAVED-001",
+      "scenario_tag": "saved_user_sessions_runtime",
+      "title": "AGENT | Живой диалог по организации: денежный срез, сравнение и рейтинг",
+      "question_type": "followup",
+      "broadness_level": "medium",
+      "turns": [
+        {
+          "user_message": "Хочу быстрый денежный срез по одной организации без привязки к контрагенту. Сколько вообще входящих денег было за 2020 год?"
+        },
+        {
+          "user_message": "По ООО Альтернатива Плюс."
+        },
+        {
+          "user_message": "Понял, тогда за все время."
+        },
+        {
+          "user_message": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?"
+        },
+        {
+          "user_message": "А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?"
+        },
+        {
+          "user_message": "И кто больше всего принес денег этой организации в 2020 году?"
+        },
+        {
+          "user_message": "А в 2021 году?"
+        }
+      ]
+    }
+  ]
+}
@@ -0,0 +1,123 @@
+{
+  "suite_id": "assistant_saved_session_runtime_job-LndQtjGZU3",
+  "suite_version": "0.1.0",
+  "schema_version": "assistant_saved_session_runtime_v0_1",
+  "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
+  "scenario_count": 1,
+  "case_ids": [
+    "SAVED-001"
+  ],
+  "cases": [
+    {
+      "case_id": "SAVED-001",
+      "scenario_tag": "saved_user_sessions_runtime",
+      "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
+      "question_type": "followup",
+      "broadness_level": "medium",
+      "turns": [
+        {
+          "user_message": "приветик - че как там дела"
+        },
+        {
+          "user_message": "расскажи что можешь интересного"
+        },
+        {
+          "user_message": "кайф - что там на складе по остаткам?"
+        },
+        {
+          "user_message": "АЛЬТЕРНАТИВА"
+        },
+        {
+          "user_message": "а исторические остатки на другие даты умеешь?"
+        },
+        {
+          "user_message": "давай на июль 2017"
+        },
+        {
+          "user_message": "март 2016"
+        },
+        {
+          "user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?"
+        },
+        {
+          "user_message": "а кому продали?"
+        },
+        {
+          "user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?"
+        },
+        {
+          "user_message": "ндс можешь прикинуть на дату покупки рабочей станции?"
+        },
+        {
+          "user_message": "а какой ндс мы должны сгрузить на март 2020?"
+        },
+        {
+          "user_message": "прикинь какой ндс нам надо заплатить на февраль 2017"
+        },
+        {
+          "user_message": "кто у нас самый доходный клиент за все время"
+        },
+        {
+          "user_message": "кто нам должен денег на май 2017"
+        },
+        {
+          "user_message": "а какой ндс мы должны примерно заплатить за этот период?"
+        },
+        {
+          "user_message": "мы должны комуто денег на сегодня?"
+        },
+        {
+          "user_message": "а нам?"
+        },
+        {
+          "user_message": "какой у нас самый доходный год"
+        },
+        {
+          "user_message": "а за 2017 мы скок заработали?"
+        },
+        {
+          "user_message": "сколько вообще денег мы заработали за все время?"
+        },
+        {
+          "user_message": "ты умеешь считать дельту по договорам?"
+        },
+        {
+          "user_message": "по чепурнову покажи все доки"
+        },
+        {
+          "user_message": "а по свк"
+        },
+        {
+          "user_message": "а сейчас у нас есть что на складе?"
+        },
+        {
+          "user_message": "что нам отгружал чепурнов? какой товар или услугу?"
+        },
+        {
+          "user_message": "какие остатки на складе на сегодня"
+        },
+        {
+          "user_message": "остатки на март 2016"
+        },
+        {
+          "user_message": "хвосты покажи по счету 60 на август 2022"
+        },
+        {
+          "user_message": "Есть ли остатки товара, которые закупались очень давно"
+        },
+        {
+          "user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020"
+        },
+        {
+          "user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?"
+        },
+        {
+          "user_message": "Как ты оценишь деятельность компании?"
+        },
+        {
+          "user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?"
+        }
+      ]
+    }
+  ]
+}
@@ -0,0 +1,42 @@
+{
+  "suite_id": "assistant_saved_session_runtime_job-X1z7AFW_Nq",
+  "suite_version": "0.1.0",
+  "schema_version": "assistant_saved_session_runtime_v0_1",
+  "title": "AGENT | Живой диалог по СВК: деньги, нетто, документы и движения",
+  "scenario_count": 1,
+  "case_ids": [
+    "SAVED-001"
+  ],
+  "cases": [
+    {
+      "case_id": "SAVED-001",
+      "scenario_tag": "saved_user_sessions_runtime",
+      "title": "AGENT | Живой диалог по СВК: деньги, нетто, документы и движения",
+      "question_type": "followup",
+      "broadness_level": "medium",
+      "turns": [
+        {
+          "user_message": "Хочу проверить одного контрагента. Найди в 1С Группу СВК."
+        },
+        {
+          "user_message": "Посмотри, сколько денег мы получили от него за 2020 год."
+        },
+        {
+          "user_message": "А теперь сколько мы ему заплатили?"
+        },
+        {
+          "user_message": "А какое получилось нетто?"
+        },
+        {
+          "user_message": "А по документам?"
+        },
+        {
+          "user_message": "А по движениям?"
+        },
+        {
+          "user_message": "А теперь за 2021 год?"
+        }
+      ]
+    }
+  ]
+}