diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-6VqrVpQAkS.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-6VqrVpQAkS.json new file mode 100644 index 0000000..1eb9242 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-6VqrVpQAkS.json @@ -0,0 +1,60 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-6VqrVpQAkS", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "Ручная сессия 17.04.2026, 10:04:19 ТЕМП", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "Ручная сессия 17.04.2026, 10:04:19 ТЕМП", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "покажи все документы по чепурнову" + }, + { + "user_message": "что нам отгружал чепурнов, какой товар или услугу?" + }, + { + "user_message": "какие остатки на складе на сегодня?" + }, + { + "user_message": "хвосты по счету 60 на август 2022" + }, + { + "user_message": "какие остатки на складе на март 2021" + }, + { + "user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?" + }, + { + "user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": покажи документы по этой позиции" + }, + { + "user_message": "покажи еще раз остатки на эту же дату" + }, + { + "user_message": "какие остатки на складе на март 2016" + }, + { + "user_message": "на июль 2019" + }, + { + "user_message": "на сентябрь" + }, + { + "user_message": "а на март" + }, + { + "user_message": "это по общей базе" + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-QXteexbg20.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-QXteexbg20.json new file mode 100644 index 0000000..eea6f3b --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-QXteexbg20.json @@ -0,0 +1,42 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-QXteexbg20", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "AGENT | Phase 94 debt due-date aging reviewed route", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "AGENT | Phase 94 debt due-date aging reviewed route", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "по ООО Альтернатива Плюс на конец 2020 можно точно понять, какая дебиторка просрочена?" + }, + { + "user_message": "то есть просрочку доказать нельзя, коротко почему?" + }, + { + "user_message": "а чистая прибыль и маржа за 2020 по этой же компании какие?" + }, + { + "user_message": "НДС за 2020 по ООО Альтернатива Плюс какой?" + }, + { + "user_message": "а кто принес больше всего денег за 2020?" + }, + { + "user_message": "по ООО Альтернатива Плюс на конец 2020 можно точно подтвердить резерв под неликвиды на складе?" + }, + { + "user_message": "а зависимость от одного поставщика за 2020 можно точно оценить?" + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-SO4c-O3pzW.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-SO4c-O3pzW.json new file mode 100644 index 0000000..51556b2 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-SO4c-O3pzW.json @@ -0,0 +1,42 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-SO4c-O3pzW", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "AGENT | Phase 94 debt due-date aging reviewed route", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "AGENT | Phase 94 debt due-date aging reviewed route", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "по ООО Альтернатива Плюс на конец 2020 можно точно понять, какая дебиторка просрочена?" + }, + { + "user_message": "то есть просрочку доказать нельзя, коротко почему?" + }, + { + "user_message": "а чистая прибыль и маржа за 2020 по этой же компании какие?" + }, + { + "user_message": "НДС за 2020 по ООО Альтернатива Плюс какой?" + }, + { + "user_message": "а кто принес больше всего денег за 2020?" + }, + { + "user_message": "по ООО Альтернатива Плюс на конец 2020 можно точно подтвердить резерв под неликвиды на складе?" + }, + { + "user_message": "а зависимость от одного поставщика за 2020 можно точно оценить?" + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-V_Y32VNT57.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-V_Y32VNT57.json new file mode 100644 index 0000000..b9360c2 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-V_Y32VNT57.json @@ -0,0 +1,36 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-V_Y32VNT57", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "AGENT | Phase 91 route-candidate-driven enablement loop canary", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "AGENT | Phase 91 route-candidate-driven enablement loop canary", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "какой контрагент принес больше всего денег за 2020 год?" + }, + { + "user_message": "ООО Альтернатива Плюс" + }, + { + "user_message": "а теперь сколько лет мы работаем с Группа СВК?" + }, + { + "user_message": "покажи движения по НДС за 2020 по ООО Альтернатива Плюс" + }, + { + "user_message": "можно ли по этим данным точно подтвердить резерв под неликвиды на складе?" + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-btkPcpCJY2.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-btkPcpCJY2.json new file mode 100644 index 0000000..37f03da --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-btkPcpCJY2.json @@ -0,0 +1,123 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-btkPcpCJY2", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "приветик - че как там дела" + }, + { + "user_message": "расскажи что можешь интересного" + }, + { + "user_message": "кайф - что там на складе по остаткам?" + }, + { + "user_message": "АЛЬТЕРНАТИВА" + }, + { + "user_message": "а исторические остатки на другие даты умеешь?" + }, + { + "user_message": "давай на июль 2017" + }, + { + "user_message": "март 2016" + }, + { + "user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?" + }, + { + "user_message": "а кому продали?" + }, + { + "user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?" + }, + { + "user_message": "ндс можешь прикинуть на дату покупки рабочей станции?" + }, + { + "user_message": "а какой ндс мы должны сгрузить на март 2020?" + }, + { + "user_message": "прикинь какой ндс нам надо заплатить на февраль 2017" + }, + { + "user_message": "кто у нас самый доходный клиент за все время" + }, + { + "user_message": "кто нам должен денег на май 2017" + }, + { + "user_message": "а какой ндс мы должны примерно заплатить за этот период?" + }, + { + "user_message": "мы должны комуто денег на сегодня?" + }, + { + "user_message": "а нам?" + }, + { + "user_message": "какой у нас самый доходный год" + }, + { + "user_message": "а за 2017 мы скок заработали?" + }, + { + "user_message": "сколько вообще денег мы заработали за все время?" + }, + { + "user_message": "ты умеешь считать дельту по договорам?" + }, + { + "user_message": "по чепурнову покажи все доки" + }, + { + "user_message": "а по свк" + }, + { + "user_message": "а сейчас у нас есть что на складе?" + }, + { + "user_message": "что нам отгружал чепурнов? какой товар или услугу?" + }, + { + "user_message": "какие остатки на складе на сегодня" + }, + { + "user_message": "остатки на март 2016" + }, + { + "user_message": "хвосты покажи по счету 60 на август 2022" + }, + { + "user_message": "Есть ли остатки товара, которые закупались очень давно" + }, + { + "user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020" + }, + { + "user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?" + }, + { + "user_message": "Как ты оценишь деятельность компании?" + }, + { + "user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?" + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-t45wZYrHMu.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-t45wZYrHMu.json new file mode 100644 index 0000000..f64d481 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-t45wZYrHMu.json @@ -0,0 +1,93 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-t45wZYrHMu", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "AGENT | Post-F cross-stage semantic integrity canary", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "AGENT | Post-F cross-stage semantic integrity canary", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "Мне нужно понять, где в 1С по НДС вообще лежат данные. Какие объекты стоит смотреть по НДС?" + }, + { + "user_message": "Хорошо, тогда покажи движения по ООО Альтернатива Плюс." + }, + { + "user_message": "За 2020 год." + }, + { + "user_message": "А теперь по документам?" + }, + { + "user_message": "А теперь за 2021 год?" + }, + { + "user_message": "А теперь за все время?" + }, + { + "user_message": "С НДС закончили. Новая тема: покажи документы по Жуковке 51." + }, + { + "user_message": "Хорошо, а теперь платежи по нему тоже покажи." + }, + { + "user_message": "А по нему договоры?" + }, + { + "user_message": "А по нему документы?" + }, + { + "user_message": "А за 2021?" + }, + { + "user_message": "С Жуковкой закончили. Теперь другая задача: быстрый денежный срез по одной организации. Если для ответа нужна организация, просто уточни ее. Сколько вообще входящих денег было за 2020 год?" + }, + { + "user_message": "По ООО Альтернатива Плюс." + }, + { + "user_message": "Понял, тогда за все время." + }, + { + "user_message": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?" + }, + { + "user_message": "И кто больше всего принес денег этой организации в 2020 году?" + }, + { + "user_message": "А в 2021 году?" + }, + { + "user_message": "Теперь отдельная тема по конкретному контрагенту. Найди в 1С Группу СВК." + }, + { + "user_message": "Сколько получили по нему за 2020 год?" + }, + { + "user_message": "А теперь сколько заплатили?" + }, + { + "user_message": "А какое нетто?" + }, + { + "user_message": "А по документам?" + }, + { + "user_message": "А по движениям?" + }, + { + "user_message": "А теперь тот же смысл за 2021 год." + } + ] + } + ] +} \ No newline at end of file