SILVER/NODEDC_1C
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

АРЧ АП11 - Архитектура после ге :

Browse Source
This commit is contained in:
dctouch
2026-04-17 23:49:21 +03:00
parent 8f9364e7c9
commit a5ea9adf53
72 changed files with 7353 additions and 4027 deletions
Download Patch File Download Diff File Expand all files Collapse all files
llm_normalizer/data/autorun_annotations/annotations.json
+27
View File
@@ -889,5 +889,32 @@
"question_text": "Покажи контрагентов, чьи заказы на отгрузку еще не оплачены, но сальдо уже отрицательное - это явный признак того, что нужно вмешаться.",
"answer_text": "Сейчас этот тип вопроса вне поддерживаемого контура адресного режима.\nКоротко: этот сценарий пока не поддержан в текущем адресном контуре.\nЧто можно сделать дальше: могу проверить близкие сценарии: документы/платежи по контрагенту, договоры или остаток по счету."
}
},
{
"annotation_id": "ann-mo39hhmv-l57x4zz",
"run_id": "assistant-stage1-mddpEDjfFS",
"case_id": "SAVED-001",
"session_id": "assistant-stage1-mddpEDjfFS-SAVED-001",
"message_index": 17,
"rating": 3,
"comment": "кейс был отработан - сейчас не работает",
"manual_case_decision": "needs_dialog_policy_fix",
"annotation_author": "manual_reviewer",
"resolved": false,
"resolved_at": null,
"resolved_by": null,
"created_at": "2026-04-17T18:48:37.254Z",
"updated_at": "2026-04-17T18:48:37.254Z",
"context": {
"message_id": "msg-Qg69owOb5S",
"trace_id": "address-J5BLsXfr3e",
"reply_type": "partial_coverage",
"eval_target": "assistant_stage1",
"prompt_version": "address_query_runtime_v1",
"domain": null,
"query_class": null,
"question_text": "а по Альтернативе Плюс сколько лет активности в базе 1С?",
"answer_text": "На данный момент не удается точно определить, сколько лет Альтернатива Плюс активна в базе 1С — данные по истории деятельности контрагента в текущем сценарии недоступны.\n\nПроверено: документы, платежи и договоры по ООО «Альтернатива Плюс» за последние периоды. Результатов, подтверждающих начало активности, не обнаружено.\n\nМогу уточнить остаток по счёту или проверить наличие договоров/платежей за конкретные годы — сообщите, какой период вас интересует."
}
}
]
llm_normalizer/data/autorun_generators/history.json
-55
View File
@@ -104,61 +104,6 @@
"latest_acceptance": null
}
},
{
"generation_id": "gen-ag04171208-438c43",
"created_at": "2026-04-17T12:08:33+00:00",
"mode": "saved_user_sessions",
"title": "AGENT | AssistantService boundary and transition delegation replay over mixed contextual chains",
"count": 11,
"domain": "address_phase5_assistantservice_boundary_transition_mix",
"questions": [
"привет, как дела?",
"по какой компании мы сейчас работаем?",
"какие остатки на складе на март 2021",
"По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?",
"По выбранному объекту \"Столешница 600*3050*26 альмандин\": покажи документы по этой позиции",
"покажи еще раз остатки на эту же дату",
"а какой возраст у Альтернативы Плюс?",
"что ты умеешь?",
"а ты помнишь, что мы по этой позиции уже выяснили?",
"кто нам должен на март 2020",
"остатки по складу на эту же дату"
],
"generated_by": "codex_agent",
"saved_case_set_file": "assistant_autogen_saved_user_sessions_20260417120833_gen-ag04171208-438c43.json",
"context": {
"llm_provider": null,
"model": null,
"assistant_prompt_version": null,
"decomposition_prompt_version": null,
"prompt_fingerprint": null,
"autogen_personality_id": null,
"autogen_personality_prompt": null,
"source_session_id": null,
"saved_session_file": "assistant_saved_session_20260417120833_gen-ag04171208-438c43.json",
"saved_case_set_kind": "agent_semantic_scenario",
"agent_run": true,
"agent_focus": "assistantService boundary+transition delegation",
"architecture_phase": "turnaround_11",
"source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\address_truth_harness_phase5_assistantservice_boundary_transition_mix.json",
"scenario_id": "address_truth_harness_phase5_assistantservice_boundary_transition_mix",
"semantic_tags": [
"inventory_root",
"meta_capability",
"meta_memory",
"meta_scope",
"meta_smalltalk",
"organization_fact_boundary",
"same_date_pivot",
"same_date_restore",
"selected_object",
"selected_object_documents",
"selected_object_supplier",
"settlements_receivables"
],
"latest_acceptance": null
}
},
{
"generation_id": "gen-ag04170941-87680e",
"created_at": "2026-04-17T09:41:32+00:00",
llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260417120833_gen-ag04171208-438c43.json
-173
View File
@@ -1,173 +0,0 @@
{
"saved_at": "2026-04-17T12:08:33+00:00",
"generation_id": "gen-ag04171208-438c43",
"mode": "saved_user_sessions",
"title": "AGENT | AssistantService boundary and transition delegation replay over mixed contextual chains",
"agent_run": true,
"questions": [
"привет, как дела?",
"по какой компании мы сейчас работаем?",
"какие остатки на складе на март 2021",
"По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?",
"По выбранному объекту \"Столешница 600*3050*26 альмандин\": покажи документы по этой позиции",
"покажи еще раз остатки на эту же дату",
"а какой возраст у Альтернативы Плюс?",
"что ты умеешь?",
"а ты помнишь, что мы по этой позиции уже выяснили?",
"кто нам должен на март 2020",
"остатки по складу на эту же дату"
],
"metadata": {
"assistant_prompt_version": null,
"decomposition_prompt_version": null,
"prompt_fingerprint": null,
"agent_focus": "assistantService boundary+transition delegation",
"architecture_phase": "turnaround_11",
"source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\address_truth_harness_phase5_assistantservice_boundary_transition_mix.json",
"scenario_id": "address_truth_harness_phase5_assistantservice_boundary_transition_mix",
"semantic_tags": [
"inventory_root",
"meta_capability",
"meta_memory",
"meta_scope",
"meta_smalltalk",
"organization_fact_boundary",
"same_date_pivot",
"same_date_restore",
"selected_object",
"selected_object_documents",
"selected_object_supplier",
"settlements_receivables"
]
},
"source_session_id": null,
"session": {
"session_id": null,
"mode": "agent_semantic_run",
"items": [
{
"message_id": "agent-user-001",
"role": "user",
"text": "привет, как дела?",
"created_at": "2026-04-17T12:08:33+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-002",
"role": "user",
"text": "по какой компании мы сейчас работаем?",
"created_at": "2026-04-17T12:08:33+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-003",
"role": "user",
"text": "какие остатки на складе на март 2021",
"created_at": "2026-04-17T12:08:33+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-004",
"role": "user",
"text": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?",
"created_at": "2026-04-17T12:08:33+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-005",
"role": "user",
"text": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": покажи документы по этой позиции",
"created_at": "2026-04-17T12:08:33+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-006",
"role": "user",
"text": "покажи еще раз остатки на эту же дату",
"created_at": "2026-04-17T12:08:33+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-007",
"role": "user",
"text": "а какой возраст у Альтернативы Плюс?",
"created_at": "2026-04-17T12:08:33+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-008",
"role": "user",
"text": "что ты умеешь?",
"created_at": "2026-04-17T12:08:33+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-009",
"role": "user",
"text": "а ты помнишь, что мы по этой позиции уже выяснили?",
"created_at": "2026-04-17T12:08:33+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-010",
"role": "user",
"text": "кто нам должен на март 2020",
"created_at": "2026-04-17T12:08:33+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-011",
"role": "user",
"text": "остатки по складу на эту же дату",
"created_at": "2026-04-17T12:08:33+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
}
],
"agent_run": true,
"metadata": {
"assistant_prompt_version": null,
"decomposition_prompt_version": null,
"prompt_fingerprint": null,
"agent_focus": "assistantService boundary+transition delegation",
"architecture_phase": "turnaround_11",
"source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\address_truth_harness_phase5_assistantservice_boundary_transition_mix.json",
"scenario_id": "address_truth_harness_phase5_assistantservice_boundary_transition_mix",
"semantic_tags": [
"inventory_root",
"meta_capability",
"meta_memory",
"meta_scope",
"meta_smalltalk",
"organization_fact_boundary",
"same_date_pivot",
"same_date_restore",
"selected_object",
"selected_object_documents",
"selected_object_supplier",
"settlements_receivables"
]
}
}
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-9q-mFr32_l.json
+45
View File
@@ -0,0 +1,45 @@
{
"suite_id": "assistant_saved_session_runtime_job-9q-mFr32_l",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "какие остатки на складе на март 2021"
},
{
"user_message": "давай по Альтернативе Плюс"
},
{
"user_message": "тогда покажи остатки на март 2021"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
},
{
"user_message": "а по этой позиции когда была закупка?"
},
{
"user_message": "покажи документы по этой позиции"
},
{
"user_message": "покажи еще раз остатки на эту же дату"
},
{
"user_message": "а что мы уже выяснили по этой позиции?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-AeqlSvQhbj.json
+45
View File
@@ -0,0 +1,45 @@
{
"suite_id": "assistant_saved_session_runtime_job-AeqlSvQhbj",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "какие остатки на складе на март 2021"
},
{
"user_message": "давай по Альтернативе Плюс"
},
{
"user_message": "тогда покажи остатки на март 2021"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
},
{
"user_message": "а по этой позиции когда была закупка?"
},
{
"user_message": "покажи документы по этой позиции"
},
{
"user_message": "покажи еще раз остатки на эту же дату"
},
{
"user_message": "а что мы уже выяснили по этой позиции?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-OQF8AjY_Dj.json
+45
View File
@@ -0,0 +1,45 @@
{
"suite_id": "assistant_saved_session_runtime_job-OQF8AjY_Dj",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "какие остатки на складе на март 2021"
},
{
"user_message": "давай по Альтернативе Плюс"
},
{
"user_message": "тогда покажи остатки на март 2021"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
},
{
"user_message": "а по этой позиции когда была закупка?"
},
{
"user_message": "покажи документы по этой позиции"
},
{
"user_message": "покажи еще раз остатки на эту же дату"
},
{
"user_message": "а что мы уже выяснили по этой позиции?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-T_gjp0aldl.json
+63
View File
@@ -0,0 +1,63 @@
{
"suite_id": "assistant_saved_session_runtime_job-T_gjp0aldl",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT | Phase 7 mixed replay for documents, selected-object continuity, meta context, and cross-domain pivots",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT | Phase 7 mixed replay for documents, selected-object continuity, meta context, and cross-domain pivots",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "привет, как дела?"
},
{
"user_message": "по какой компании мы сейчас работаем?"
},
{
"user_message": "покажи все документы по чепурнову"
},
{
"user_message": "что нам отгружал чепурнов, какой товар или услугу?"
},
{
"user_message": "какие остатки на складе на март 2021"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
},
{
"user_message": "что ты умеешь?"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": покажи документы по этой позиции"
},
{
"user_message": "а ты помнишь, что мы по этой позиции уже выяснили?"
},
{
"user_message": "покажи еще раз остатки на эту же дату"
},
{
"user_message": "кто нам должен на март 2020"
},
{
"user_message": "остатки по складу на эту же дату"
},
{
"user_message": "а исторические остатки тоже можешь?"
},
{
"user_message": "хвосты покажи по счету 60 на август 2022"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-U2sK02tw52.json
+45
View File
@@ -0,0 +1,45 @@
{
"suite_id": "assistant_saved_session_runtime_job-U2sK02tw52",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "какие остатки на складе на март 2021"
},
{
"user_message": "давай по Альтернативе Плюс"
},
{
"user_message": "тогда покажи остатки на март 2021"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
},
{
"user_message": "а по этой позиции когда была закупка?"
},
{
"user_message": "покажи документы по этой позиции"
},
{
"user_message": "покажи еще раз остатки на эту же дату"
},
{
"user_message": "а что мы уже выяснили по этой позиции?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-UAA_a19eKd.json
+63
View File
@@ -0,0 +1,63 @@
{
"suite_id": "assistant_saved_session_runtime_job-UAA_a19eKd",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT | Phase 7 mixed replay for documents, selected-object continuity, meta context, and cross-domain pivots",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT | Phase 7 mixed replay for documents, selected-object continuity, meta context, and cross-domain pivots",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "привет, как дела?"
},
{
"user_message": "по какой компании мы сейчас работаем?"
},
{
"user_message": "покажи все документы по чепурнову"
},
{
"user_message": "что нам отгружал чепурнов, какой товар или услугу?"
},
{
"user_message": "какие остатки на складе на март 2021"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
},
{
"user_message": "что ты умеешь?"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": покажи документы по этой позиции"
},
{
"user_message": "а ты помнишь, что мы по этой позиции уже выяснили?"
},
{
"user_message": "покажи еще раз остатки на эту же дату"
},
{
"user_message": "кто нам должен на март 2020"
},
{
"user_message": "остатки по складу на эту же дату"
},
{
"user_message": "а исторические остатки тоже можешь?"
},
{
"user_message": "хвосты покажи по счету 60 на август 2022"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-ciAaI60jFN.json
+63
View File
@@ -0,0 +1,63 @@
{
"suite_id": "assistant_saved_session_runtime_job-ciAaI60jFN",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT | Phase 7 mixed replay for documents, selected-object continuity, meta context, and cross-domain pivots",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT | Phase 7 mixed replay for documents, selected-object continuity, meta context, and cross-domain pivots",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "привет, как дела?"
},
{
"user_message": "по какой компании мы сейчас работаем?"
},
{
"user_message": "покажи все документы по чепурнову"
},
{
"user_message": "что нам отгружал чепурнов, какой товар или услугу?"
},
{
"user_message": "какие остатки на складе на март 2021"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
},
{
"user_message": "что ты умеешь?"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": покажи документы по этой позиции"
},
{
"user_message": "а ты помнишь, что мы по этой позиции уже выяснили?"
},
{
"user_message": "покажи еще раз остатки на эту же дату"
},
{
"user_message": "кто нам должен на март 2020"
},
{
"user_message": "остатки по складу на эту же дату"
},
{
"user_message": "а исторические остатки тоже можешь?"
},
{
"user_message": "хвосты покажи по счету 60 на август 2022"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260417120833_gen-ag04171208-438c43.json → llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-ejhSFoBbRu.json
+13 -11
View File
@@ -1,12 +1,8 @@
{
"suite_id": "assistant_saved_session_gen-ag04171208-438c43",
"suite_id": "assistant_saved_session_runtime_job-ejhSFoBbRu",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_suite_v0_1",
"generated_at": "2026-04-17T12:08:33+00:00",
"generation_id": "gen-ag04171208-438c43",
"mode": "saved_user_sessions",
"title": "AGENT | AssistantService boundary and transition delegation replay over mixed contextual chains",
"domain": "address_phase5_assistantservice_boundary_transition_mix",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT replay for company selection continuity and organization activity age",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
@@ -14,8 +10,8 @@
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "agent_saved_user_sessions",
"title": "AGENT | AssistantService boundary and transition delegation replay over mixed contextual chains",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT replay for company selection continuity and organization activity age",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
@@ -28,6 +24,12 @@
{
"user_message": "какие остатки на складе на март 2021"
},
{
"user_message": "давай по Альтернативе Плюс"
},
{
"user_message": "тогда покажи остатки на март 2021"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
},
@@ -38,7 +40,7 @@
"user_message": "покажи еще раз остатки на эту же дату"
},
{
"user_message": "а какой возраст у Альтернативы Плюс?"
"user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?"
},
{
"user_message": "что ты умеешь?"
@@ -55,4 +57,4 @@
]
}
]
}
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-pPnB2zHtwo.json
+60
View File
@@ -0,0 +1,60 @@
{
"suite_id": "assistant_saved_session_runtime_job-pPnB2zHtwo",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT replay for company selection continuity and organization activity age",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT replay for company selection continuity and organization activity age",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "привет, как дела?"
},
{
"user_message": "по какой компании мы сейчас работаем?"
},
{
"user_message": "какие остатки на складе на март 2021"
},
{
"user_message": "давай по Альтернативе Плюс"
},
{
"user_message": "тогда покажи остатки на март 2021"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": покажи документы по этой позиции"
},
{
"user_message": "покажи еще раз остатки на эту же дату"
},
{
"user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?"
},
{
"user_message": "что ты умеешь?"
},
{
"user_message": "а ты помнишь, что мы по этой позиции уже выяснили?"
},
{
"user_message": "кто нам должен на март 2020"
},
{
"user_message": "остатки по складу на эту же дату"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-sGN4Z9zVS_.json
+60
View File
@@ -0,0 +1,60 @@
{
"suite_id": "assistant_saved_session_runtime_job-sGN4Z9zVS_",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT replay for company selection continuity and organization activity age",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT replay for company selection continuity and organization activity age",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "привет, как дела?"
},
{
"user_message": "по какой компании мы сейчас работаем?"
},
{
"user_message": "какие остатки на складе на март 2021"
},
{
"user_message": "давай по Альтернативе Плюс"
},
{
"user_message": "тогда покажи остатки на март 2021"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": покажи документы по этой позиции"
},
{
"user_message": "покажи еще раз остатки на эту же дату"
},
{
"user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?"
},
{
"user_message": "что ты умеешь?"
},
{
"user_message": "а ты помнишь, что мы по этой позиции уже выяснили?"
},
{
"user_message": "кто нам должен на март 2020"
},
{
"user_message": "остатки по складу на эту же дату"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-tJRWJ4xOQ-.json
+45
View File
@@ -0,0 +1,45 @@
{
"suite_id": "assistant_saved_session_runtime_job-tJRWJ4xOQ-",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT replay for inventory clarification continuity and answer-shape cleanliness",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "какие остатки на складе на март 2021"
},
{
"user_message": "давай по Альтернативе Плюс"
},
{
"user_message": "тогда покажи остатки на март 2021"
},
{
"user_message": "По выбранному объекту \"Столешница 600*3050*26 альмандин\": кто нам это поставил?"
},
{
"user_message": "а по этой позиции когда была закупка?"
},
{
"user_message": "покажи документы по этой позиции"
},
{
"user_message": "покажи еще раз остатки на эту же дату"
},
{
"user_message": "а что мы уже выяснили по этой позиции?"
}
]
}
]
}