From 837e1fe14167dbd48367dfb515a9fa1a432b2a76 Mon Sep 17 00:00:00 2001 From: dctouch Date: Fri, 24 Apr 2026 20:52:05 +0300 Subject: [PATCH] =?UTF-8?q?Post-F:=20=D1=81=D0=BE=D1=85=D1=80=D0=B0=D0=BD?= =?UTF-8?q?=D0=B8=D1=82=D1=8C=20=D1=85=D0=B2=D0=BE=D1=81=D1=82=D1=8B=20?= =?UTF-8?q?=D1=80=D1=83=D1=87=D0=BD=D1=8B=D1=85=20runtime-=D0=BF=D1=80?= =?UTF-8?q?=D0=BE=D0=B3=D0=BE=D0=BD=D0=BE=D0=B2?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ..._saved_session_runtime_job-3KcbHYfj_U.json | 123 ++++++++++++++++++ ..._saved_session_runtime_job-J9c83M4FmV.json | 93 +++++++++++++ ..._saved_session_runtime_job-R_avgxYfBj.json | 93 +++++++++++++ ..._saved_session_runtime_job-YiSIr4WdFS.json | 123 ++++++++++++++++++ 4 files changed, 432 insertions(+) create mode 100644 llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-3KcbHYfj_U.json create mode 100644 llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-J9c83M4FmV.json create mode 100644 llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-R_avgxYfBj.json create mode 100644 llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-YiSIr4WdFS.json diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-3KcbHYfj_U.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-3KcbHYfj_U.json new file mode 100644 index 0000000..eae5ca4 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-3KcbHYfj_U.json @@ -0,0 +1,123 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-3KcbHYfj_U", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "приветик - че как там дела" + }, + { + "user_message": "расскажи что можешь интересного" + }, + { + "user_message": "кайф - что там на складе по остаткам?" + }, + { + "user_message": "АЛЬТЕРНАТИВА" + }, + { + "user_message": "а исторические остатки на другие даты умеешь?" + }, + { + "user_message": "давай на июль 2017" + }, + { + "user_message": "март 2016" + }, + { + "user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?" + }, + { + "user_message": "а кому продали?" + }, + { + "user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?" + }, + { + "user_message": "ндс можешь прикинуть на дату покупки рабочей станции?" + }, + { + "user_message": "а какой ндс мы должны сгрузить на март 2020?" + }, + { + "user_message": "прикинь какой ндс нам надо заплатить на февраль 2017" + }, + { + "user_message": "кто у нас самый доходный клиент за все время" + }, + { + "user_message": "кто нам должен денег на май 2017" + }, + { + "user_message": "а какой ндс мы должны примерно заплатить за этот период?" + }, + { + "user_message": "мы должны комуто денег на сегодня?" + }, + { + "user_message": "а нам?" + }, + { + "user_message": "какой у нас самый доходный год" + }, + { + "user_message": "а за 2017 мы скок заработали?" + }, + { + "user_message": "сколько вообще денег мы заработали за все время?" + }, + { + "user_message": "ты умеешь считать дельту по договорам?" + }, + { + "user_message": "по чепурнову покажи все доки" + }, + { + "user_message": "а по свк" + }, + { + "user_message": "а сейчас у нас есть что на складе?" + }, + { + "user_message": "что нам отгружал чепурнов? какой товар или услугу?" + }, + { + "user_message": "какие остатки на складе на сегодня" + }, + { + "user_message": "остатки на март 2016" + }, + { + "user_message": "хвосты покажи по счету 60 на август 2022" + }, + { + "user_message": "Есть ли остатки товара, которые закупались очень давно" + }, + { + "user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020" + }, + { + "user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?" + }, + { + "user_message": "Как ты оценишь деятельность компании?" + }, + { + "user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?" + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-J9c83M4FmV.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-J9c83M4FmV.json new file mode 100644 index 0000000..9bcd442 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-J9c83M4FmV.json @@ -0,0 +1,93 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-J9c83M4FmV", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "AGENT | Post-F cross-stage semantic integrity canary live7", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "AGENT | Post-F cross-stage semantic integrity canary live7", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "Мне нужно понять, где в 1С по НДС вообще лежат данные. Какие объекты стоит смотреть по НДС?" + }, + { + "user_message": "Хорошо, тогда покажи движения по ООО Альтернатива Плюс." + }, + { + "user_message": "За 2020 год." + }, + { + "user_message": "А теперь по документам?" + }, + { + "user_message": "А теперь за 2021 год?" + }, + { + "user_message": "А теперь за все время?" + }, + { + "user_message": "С НДС закончили. Новая тема: покажи документы по Жуковке 51." + }, + { + "user_message": "Хорошо, а теперь платежи по нему тоже покажи." + }, + { + "user_message": "А по нему договоры?" + }, + { + "user_message": "А по нему документы?" + }, + { + "user_message": "А за 2021?" + }, + { + "user_message": "С Жуковкой закончили. Теперь другая задача: быстрый денежный срез по одной организации. Если для ответа нужна организация, просто уточни ее. Сколько вообще входящих денег было за 2020 год?" + }, + { + "user_message": "По ООО Альтернатива Плюс." + }, + { + "user_message": "Понял, тогда за все время." + }, + { + "user_message": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?" + }, + { + "user_message": "И кто больше всего принес денег этой организации в 2020 году?" + }, + { + "user_message": "А в 2021 году?" + }, + { + "user_message": "Теперь отдельная тема по конкретному контрагенту. Найди в 1С Группу СВК." + }, + { + "user_message": "Сколько получили по нему за 2020 год?" + }, + { + "user_message": "А теперь сколько заплатили?" + }, + { + "user_message": "А какое нетто?" + }, + { + "user_message": "А по документам?" + }, + { + "user_message": "А по движениям?" + }, + { + "user_message": "А теперь тот же смысл за 2021 год." + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-R_avgxYfBj.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-R_avgxYfBj.json new file mode 100644 index 0000000..3a2f68c --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-R_avgxYfBj.json @@ -0,0 +1,93 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-R_avgxYfBj", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "AGENT | Post-F cross-stage semantic integrity canary live7", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "AGENT | Post-F cross-stage semantic integrity canary live7", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "Мне нужно понять, где в 1С по НДС вообще лежат данные. Какие объекты стоит смотреть по НДС?" + }, + { + "user_message": "Хорошо, тогда покажи движения по ООО Альтернатива Плюс." + }, + { + "user_message": "За 2020 год." + }, + { + "user_message": "А теперь по документам?" + }, + { + "user_message": "А теперь за 2021 год?" + }, + { + "user_message": "А теперь за все время?" + }, + { + "user_message": "С НДС закончили. Новая тема: покажи документы по Жуковке 51." + }, + { + "user_message": "Хорошо, а теперь платежи по нему тоже покажи." + }, + { + "user_message": "А по нему договоры?" + }, + { + "user_message": "А по нему документы?" + }, + { + "user_message": "А за 2021?" + }, + { + "user_message": "С Жуковкой закончили. Теперь другая задача: быстрый денежный срез по одной организации. Если для ответа нужна организация, просто уточни ее. Сколько вообще входящих денег было за 2020 год?" + }, + { + "user_message": "По ООО Альтернатива Плюс." + }, + { + "user_message": "Понял, тогда за все время." + }, + { + "user_message": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?" + }, + { + "user_message": "И кто больше всего принес денег этой организации в 2020 году?" + }, + { + "user_message": "А в 2021 году?" + }, + { + "user_message": "Теперь отдельная тема по конкретному контрагенту. Найди в 1С Группу СВК." + }, + { + "user_message": "Сколько получили по нему за 2020 год?" + }, + { + "user_message": "А теперь сколько заплатили?" + }, + { + "user_message": "А какое нетто?" + }, + { + "user_message": "А по документам?" + }, + { + "user_message": "А по движениям?" + }, + { + "user_message": "А теперь тот же смысл за 2021 год." + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-YiSIr4WdFS.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-YiSIr4WdFS.json new file mode 100644 index 0000000..1d6a1b5 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-YiSIr4WdFS.json @@ -0,0 +1,123 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-YiSIr4WdFS", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "приветик - че как там дела" + }, + { + "user_message": "расскажи что можешь интересного" + }, + { + "user_message": "кайф - что там на складе по остаткам?" + }, + { + "user_message": "АЛЬТЕРНАТИВА" + }, + { + "user_message": "а исторические остатки на другие даты умеешь?" + }, + { + "user_message": "давай на июль 2017" + }, + { + "user_message": "март 2016" + }, + { + "user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?" + }, + { + "user_message": "а кому продали?" + }, + { + "user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?" + }, + { + "user_message": "ндс можешь прикинуть на дату покупки рабочей станции?" + }, + { + "user_message": "а какой ндс мы должны сгрузить на март 2020?" + }, + { + "user_message": "прикинь какой ндс нам надо заплатить на февраль 2017" + }, + { + "user_message": "кто у нас самый доходный клиент за все время" + }, + { + "user_message": "кто нам должен денег на май 2017" + }, + { + "user_message": "а какой ндс мы должны примерно заплатить за этот период?" + }, + { + "user_message": "мы должны комуто денег на сегодня?" + }, + { + "user_message": "а нам?" + }, + { + "user_message": "какой у нас самый доходный год" + }, + { + "user_message": "а за 2017 мы скок заработали?" + }, + { + "user_message": "сколько вообще денег мы заработали за все время?" + }, + { + "user_message": "ты умеешь считать дельту по договорам?" + }, + { + "user_message": "по чепурнову покажи все доки" + }, + { + "user_message": "а по свк" + }, + { + "user_message": "а сейчас у нас есть что на складе?" + }, + { + "user_message": "что нам отгружал чепурнов? какой товар или услугу?" + }, + { + "user_message": "какие остатки на складе на сегодня" + }, + { + "user_message": "остатки на март 2016" + }, + { + "user_message": "хвосты покажи по счету 60 на август 2022" + }, + { + "user_message": "Есть ли остатки товара, которые закупались очень давно" + }, + { + "user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020" + }, + { + "user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?" + }, + { + "user_message": "Как ты оценишь деятельность компании?" + }, + { + "user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?" + } + ] + } + ] +} \ No newline at end of file