diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-4NlmTnn7eO.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-4NlmTnn7eO.json new file mode 100644 index 0000000..b7c8910 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-4NlmTnn7eO.json @@ -0,0 +1,123 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-4NlmTnn7eO", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "приветик - че как там дела" + }, + { + "user_message": "расскажи что можешь интересного" + }, + { + "user_message": "кайф - что там на складе по остаткам?" + }, + { + "user_message": "АЛЬТЕРНАТИВА" + }, + { + "user_message": "а исторические остатки на другие даты умеешь?" + }, + { + "user_message": "давай на июль 2017" + }, + { + "user_message": "март 2016" + }, + { + "user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?" + }, + { + "user_message": "а кому продали?" + }, + { + "user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?" + }, + { + "user_message": "ндс можешь прикинуть на дату покупки рабочей станции?" + }, + { + "user_message": "а какой ндс мы должны сгрузить на март 2020?" + }, + { + "user_message": "прикинь какой ндс нам надо заплатить на февраль 2017" + }, + { + "user_message": "кто у нас самый доходный клиент за все время" + }, + { + "user_message": "кто нам должен денег на май 2017" + }, + { + "user_message": "а какой ндс мы должны примерно заплатить за этот период?" + }, + { + "user_message": "мы должны комуто денег на сегодня?" + }, + { + "user_message": "а нам?" + }, + { + "user_message": "какой у нас самый доходный год" + }, + { + "user_message": "а за 2017 мы скок заработали?" + }, + { + "user_message": "сколько вообще денег мы заработали за все время?" + }, + { + "user_message": "ты умеешь считать дельту по договорам?" + }, + { + "user_message": "по чепурнову покажи все доки" + }, + { + "user_message": "а по свк" + }, + { + "user_message": "а сейчас у нас есть что на складе?" + }, + { + "user_message": "что нам отгружал чепурнов? какой товар или услугу?" + }, + { + "user_message": "какие остатки на складе на сегодня" + }, + { + "user_message": "остатки на март 2016" + }, + { + "user_message": "хвосты покажи по счету 60 на август 2022" + }, + { + "user_message": "Есть ли остатки товара, которые закупались очень давно" + }, + { + "user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020" + }, + { + "user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?" + }, + { + "user_message": "Как ты оценишь деятельность компании?" + }, + { + "user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?" + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-M4glHLyIIO.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-M4glHLyIIO.json new file mode 100644 index 0000000..c4a0045 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-M4glHLyIIO.json @@ -0,0 +1,39 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-M4glHLyIIO", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "AGENT | Phase20 continuity/ranking/self-scope accepted replay 2026-05-12", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "AGENT | Phase20 continuity/ranking/self-scope accepted replay 2026-05-12", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "кто у нас самый доходный клиент за все время?" + }, + { + "user_message": "какой у нас самый доходный год?" + }, + { + "user_message": "кто нам должен денег на май 2017?" + }, + { + "user_message": "а какой ндс мы должны примерно заплатить за этот период?" + }, + { + "user_message": "мы должны комуто денег на сегодня?" + }, + { + "user_message": "а нам?" + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-TGn-GBFXKq.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-TGn-GBFXKq.json new file mode 100644 index 0000000..f5b5f45 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-TGn-GBFXKq.json @@ -0,0 +1,39 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-TGn-GBFXKq", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "AGENT | Phase20 continuity/ranking/self-scope accepted replay 2026-05-12", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "AGENT | Phase20 continuity/ranking/self-scope accepted replay 2026-05-12", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "кто у нас самый доходный клиент за все время?" + }, + { + "user_message": "какой у нас самый доходный год?" + }, + { + "user_message": "кто нам должен денег на май 2017?" + }, + { + "user_message": "а какой ндс мы должны примерно заплатить за этот период?" + }, + { + "user_message": "мы должны комуто денег на сегодня?" + }, + { + "user_message": "а нам?" + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-W_KRnH2fU0.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-W_KRnH2fU0.json new file mode 100644 index 0000000..2c9fef4 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-W_KRnH2fU0.json @@ -0,0 +1,39 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-W_KRnH2fU0", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "AGENT | Phase20 continuity/ranking/self-scope accepted replay 2026-05-12", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "AGENT | Phase20 continuity/ranking/self-scope accepted replay 2026-05-12", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "кто у нас самый доходный клиент за все время?" + }, + { + "user_message": "какой у нас самый доходный год?" + }, + { + "user_message": "кто нам должен денег на май 2017?" + }, + { + "user_message": "а какой ндс мы должны примерно заплатить за этот период?" + }, + { + "user_message": "мы должны комуто денег на сегодня?" + }, + { + "user_message": "а нам?" + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-ZBRtByPFRc.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-ZBRtByPFRc.json new file mode 100644 index 0000000..f9f595d --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-ZBRtByPFRc.json @@ -0,0 +1,123 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-ZBRtByPFRc", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "приветик - че как там дела" + }, + { + "user_message": "расскажи что можешь интересного" + }, + { + "user_message": "кайф - что там на складе по остаткам?" + }, + { + "user_message": "АЛЬТЕРНАТИВА" + }, + { + "user_message": "а исторические остатки на другие даты умеешь?" + }, + { + "user_message": "давай на июль 2017" + }, + { + "user_message": "март 2016" + }, + { + "user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?" + }, + { + "user_message": "а кому продали?" + }, + { + "user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?" + }, + { + "user_message": "ндс можешь прикинуть на дату покупки рабочей станции?" + }, + { + "user_message": "а какой ндс мы должны сгрузить на март 2020?" + }, + { + "user_message": "прикинь какой ндс нам надо заплатить на февраль 2017" + }, + { + "user_message": "кто у нас самый доходный клиент за все время" + }, + { + "user_message": "кто нам должен денег на май 2017" + }, + { + "user_message": "а какой ндс мы должны примерно заплатить за этот период?" + }, + { + "user_message": "мы должны комуто денег на сегодня?" + }, + { + "user_message": "а нам?" + }, + { + "user_message": "какой у нас самый доходный год" + }, + { + "user_message": "а за 2017 мы скок заработали?" + }, + { + "user_message": "сколько вообще денег мы заработали за все время?" + }, + { + "user_message": "ты умеешь считать дельту по договорам?" + }, + { + "user_message": "по чепурнову покажи все доки" + }, + { + "user_message": "а по свк" + }, + { + "user_message": "а сейчас у нас есть что на складе?" + }, + { + "user_message": "что нам отгружал чепурнов? какой товар или услугу?" + }, + { + "user_message": "какие остатки на складе на сегодня" + }, + { + "user_message": "остатки на март 2016" + }, + { + "user_message": "хвосты покажи по счету 60 на август 2022" + }, + { + "user_message": "Есть ли остатки товара, которые закупались очень давно" + }, + { + "user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020" + }, + { + "user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?" + }, + { + "user_message": "Как ты оценишь деятельность компании?" + }, + { + "user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?" + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-qkRlcG-NA9.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-qkRlcG-NA9.json new file mode 100644 index 0000000..0a1f3c0 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-qkRlcG-NA9.json @@ -0,0 +1,42 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-qkRlcG-NA9", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "AGENT | Phase 95 vendor/procurement quality reviewed route", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "AGENT | Phase 95 vendor/procurement quality reviewed route", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "по ООО Альтернатива Плюс за 2020 есть ли риск, что мы зависим от одного поставщика?" + }, + { + "user_message": "а банк из этого ответа считать обычным поставщиком?" + }, + { + "user_message": "по этой же компании на конец 2020 можно точно понять, какая дебиторка просрочена?" + }, + { + "user_message": "а чистая прибыль и маржа за 2020 какие?" + }, + { + "user_message": "НДС за 2020 по ООО Альтернатива Плюс какой?" + }, + { + "user_message": "а кто принес больше всего денег за 2020?" + }, + { + "user_message": "по ООО Альтернатива Плюс на конец 2020 можно точно подтвердить резерв под неликвиды на складе?" + } + ] + } + ] +} \ No newline at end of file