From cd734f568c6718b10ca624aa49bf7f6848c01c62 Mon Sep 17 00:00:00 2001 From: dctouch Date: Sat, 18 Apr 2026 14:38:55 +0300 Subject: [PATCH] =?UTF-8?q?=D0=90=D0=A0=D0=A7=20=D0=90=D0=9F11=20-=20?= =?UTF-8?q?=D0=90=D1=80=D1=85=D0=B8=D1=82=D0=B5=D0=BA=D1=82=D1=83=D1=80?= =?UTF-8?q?=D0=B0=20=D0=BF=D0=BE=D1=81=D0=BB=D0=B5=20=D1=80=D0=B5=D0=B3?= =?UTF-8?q?=D1=80=D0=B5=D1=81=D1=81=D0=B0:=20=D0=90=D1=80=D1=85=D0=B8?= =?UTF-8?q?=D1=82=D0=B5=D0=BA=D1=82=D1=83=D1=80=D0=B0:=20=D0=BE=D0=B1?= =?UTF-8?q?=D0=BD=D0=BE=D0=B2=D0=B8=D1=82=D1=8C=20=D1=81=D1=82=D0=B0=D1=82?= =?UTF-8?q?=D1=83=D1=81=20pre-multidomain=20readiness=20=D0=B8=20=D0=BF?= =?UTF-8?q?=D1=80=D0=BE=D1=82=D1=8F=D0=BD=D1=83=D1=82=D1=8C=20continuity?= =?UTF-8?q?=20snapshot=20=D0=B2=20transition=20hot=20path?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../data/autorun_generators/history.json | 7 +- ...s_20260416182626_gen-mo1t93wq-jy0453e.json | 7 +- ..._saved_session_runtime_job-iCS9Wr86n1.json | 114 ++++++++++++++++++ 3 files changed, 123 insertions(+), 5 deletions(-) create mode 100644 llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-iCS9Wr86n1.json diff --git a/llm_normalizer/data/autorun_generators/history.json b/llm_normalizer/data/autorun_generators/history.json index 2e0a95d..c71c931 100644 --- a/llm_normalizer/data/autorun_generators/history.json +++ b/llm_normalizer/data/autorun_generators/history.json @@ -389,7 +389,7 @@ "created_at": "2026-04-16T18:26:26.191Z", "mode": "saved_user_sessions", "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", - "count": 30, + "count": 31, "domain": null, "questions": [ "приветик - че как там дела", @@ -416,12 +416,13 @@ "по чепурнову покажи все доки", "а по свк", "а сейчас у нас есть что на складе?", - "что нам отгружать чепурнов? какой товар или услугу?", + "что нам отгружал чепурнов? какой товар или услугу?", "какие остатки на складе на сегодня", "остатки на март 2016", "хвосты покажи по счету 60 на август 2022", "Есть ли остатки товара, которые закупались очень давно", - "Какие конкретно номенклатуры формируют остаток по складу на май 2020" + "Какие конкретно номенклатуры формируют остаток по складу на май 2020", + "а по Альтернативе Плюс сколько лет активности в базе 1С?" ], "generated_by": "manual_reviewer", "saved_case_set_file": "assistant_autogen_saved_user_sessions_20260416182626_gen-mo1t93wq-jy0453e.json", diff --git a/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260416182626_gen-mo1t93wq-jy0453e.json b/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260416182626_gen-mo1t93wq-jy0453e.json index 03df783..8eee285 100644 --- a/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260416182626_gen-mo1t93wq-jy0453e.json +++ b/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260416182626_gen-mo1t93wq-jy0453e.json @@ -2,7 +2,7 @@ "suite_id": "assistant_saved_session_gen-mo1t93wq-jy0453e", "suite_version": "0.1.0", "schema_version": "assistant_saved_session_suite_v0_1", - "generated_at": "2026-04-17T15:22:18.956Z", + "generated_at": "2026-04-18T11:29:49.384Z", "generation_id": "gen-mo1t93wq-jy0453e", "mode": "saved_user_sessions", "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", @@ -91,7 +91,7 @@ "user_message": "а сейчас у нас есть что на складе?" }, { - "user_message": "что нам отгружать чепурнов? какой товар или услугу?" + "user_message": "что нам отгружал чепурнов? какой товар или услугу?" }, { "user_message": "какие остатки на складе на сегодня" @@ -107,6 +107,9 @@ }, { "user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020" + }, + { + "user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?" } ] } diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-iCS9Wr86n1.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-iCS9Wr86n1.json new file mode 100644 index 0000000..c9474f9 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-iCS9Wr86n1.json @@ -0,0 +1,114 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-iCS9Wr86n1", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "приветик - че как там дела" + }, + { + "user_message": "расскажи что можешь интересного" + }, + { + "user_message": "кайф - что там на складе по остаткам?" + }, + { + "user_message": "а исторические остатки на другие даты умеешь?" + }, + { + "user_message": "давай на июль 2017" + }, + { + "user_message": "март 2016" + }, + { + "user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?" + }, + { + "user_message": "а кому продали?" + }, + { + "user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?" + }, + { + "user_message": "ндс можешь прикинуть на дату покупки рабочей станции?" + }, + { + "user_message": "а какой ндс мы должны сгрузить на март 2020?" + }, + { + "user_message": "прикинь какой ндс нам надо заплатить на февраль 2017" + }, + { + "user_message": "кто у нас самый доходный клиент за все время" + }, + { + "user_message": "кто нам должен денег на май 2017" + }, + { + "user_message": "а какой ндс мы должны примерно заплатить за этот период?" + }, + { + "user_message": "мы должны комуто денег на сегодня?" + }, + { + "user_message": "а нам?" + }, + { + "user_message": "какой у нас самый доходный год" + }, + { + "user_message": "а за 2017 мы скок заработали?" + }, + { + "user_message": "сколько вообще денег мы заработали за все время?" + }, + { + "user_message": "ты умеешь считать дельту по договорам?" + }, + { + "user_message": "по чепурнову покажи все доки" + }, + { + "user_message": "а по свк" + }, + { + "user_message": "а сейчас у нас есть что на складе?" + }, + { + "user_message": "что нам отгружал чепурнов? какой товар или услугу?" + }, + { + "user_message": "какие остатки на складе на сегодня" + }, + { + "user_message": "остатки на март 2016" + }, + { + "user_message": "хвосты покажи по счету 60 на август 2022" + }, + { + "user_message": "Есть ли остатки товара, которые закупались очень давно" + }, + { + "user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020" + }, + { + "user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?" + } + ] + } + ] +} \ No newline at end of file