SILVER/NODEDC_1C
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

Сохранить phase83 semantic specs и autorun canary

Browse Source
This commit is contained in:
dctouch
2026-05-01 22:39:02 +03:00
parent 551f9c5673
commit 491bb430dc
12 changed files with 810 additions and 52 deletions
Download Patch File Download Diff File Expand all files Collapse all files
llm_normalizer/data/autorun_generators/history.json
+87
View File
@@ -1,4 +1,91 @@
[
{
"generation_id": "gen-ag05011759-6f85fc",
"created_at": "2026-05-01T17:59:04+00:00",
"mode": "saved_user_sessions",
"title": "AGENT | Planner Autonomy phase83: мозг маршрутов, pivots и legacy continuity",
"count": 20,
"domain": "planner_autonomy_consolidation",
"questions": [
"привет, ты на связи?",
"найди в 1С контрагента СВК",
"сколько получили по нему за 2020 год",
"а теперь сколько заплатили?",
"а какое нетто?",
"а по документам?",
"а по движениям?",
"Хочу быстрый денежный срез по одной организации без привязки к контрагенту. Сколько вообще входящих денег было за 2020 год?",
"По ООО Альтернатива Плюс.",
"Понял, тогда за все время.",
"Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?",
"А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?",
"И кто больше всего принес денег этой организации в 2020 году?",
"А в 2021 году?",
"а по Альтернативе Плюс сколько лет активности в базе 1С?",
"Как ты оценишь деятельность компании?",
"какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?",
"какие справочники 1С есть по контрагентам?",
"давай дальше",
"а чем капибара отличается от утки?"
],
"generated_by": "codex_agent",
"saved_case_set_file": "assistant_autogen_saved_user_sessions_20260501175904_gen-ag05011759-6f85fc.json",
"context": {
"llm_provider": null,
"model": null,
"assistant_prompt_version": null,
"decomposition_prompt_version": null,
"prompt_fingerprint": null,
"autogen_personality_id": null,
"autogen_personality_prompt": null,
"source_session_id": null,
"saved_session_file": "assistant_saved_session_20260501175904_gen-ag05011759-6f85fc.json",
"saved_case_set_kind": "agent_semantic_scenario",
"agent_run": true,
"agent_focus": "phase83 accepted planner-brain alignment, pivots, catalog drilldown, off-domain guard",
"architecture_phase": "turnaround_11_planner_autonomy_consolidation",
"source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\address_truth_harness_phase83_planner_brain_alignment_mix.json",
"scenario_id": "address_truth_harness_phase83_planner_brain_alignment_mix",
"semantic_tags": [
"alias_grounding",
"all_time_followup",
"broad_business_evaluation",
"broad_eval_bridge_preserved",
"catalog_drilldown",
"catalog_metadata_surface",
"company_activity_lifecycle",
"counterparty_catalog_scope",
"counterparty_net_cash_flow",
"date_carryover",
"document_evidence",
"document_pivot",
"entity_resolution",
"followup_anchor",
"followup_reuse",
"grounded_context_seed",
"grounded_summary",
"human_answer",
"human_dialog",
"incoming_value_flow",
"mcp_discovery_gate_sanity",
"meta_smalltalk",
"movement_evidence",
"net_value_flow",
"neutral_followup",
"off_domain_living_chat",
"open_scope_total",
"organization_clarification",
"organization_scope",
"payout_switch",
"planner_catalog_alignment",
"stale_replay_forbidden",
"value_flow_comparison",
"value_flow_pivot",
"value_flow_ranking",
"year_switch"
]
}
},
{
"generation_id": "gen-ag04241710-bdb248",
"created_at": "2026-04-24T17:10:31+00:00",
llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260501175904_gen-ag05011759-6f85fc.json
+311
View File
@@ -0,0 +1,311 @@
{
"saved_at": "2026-05-01T17:59:04+00:00",
"generation_id": "gen-ag05011759-6f85fc",
"mode": "saved_user_sessions",
"title": "AGENT | Planner Autonomy phase83: мозг маршрутов, pivots и legacy continuity",
"agent_run": true,
"questions": [
"привет, ты на связи?",
"найди в 1С контрагента СВК",
"сколько получили по нему за 2020 год",
"а теперь сколько заплатили?",
"а какое нетто?",
"а по документам?",
"а по движениям?",
"Хочу быстрый денежный срез по одной организации без привязки к контрагенту. Сколько вообще входящих денег было за 2020 год?",
"По ООО Альтернатива Плюс.",
"Понял, тогда за все время.",
"Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?",
"А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?",
"И кто больше всего принес денег этой организации в 2020 году?",
"А в 2021 году?",
"а по Альтернативе Плюс сколько лет активности в базе 1С?",
"Как ты оценишь деятельность компании?",
"какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?",
"какие справочники 1С есть по контрагентам?",
"давай дальше",
"а чем капибара отличается от утки?"
],
"metadata": {
"assistant_prompt_version": null,
"decomposition_prompt_version": null,
"prompt_fingerprint": null,
"agent_focus": "phase83 accepted planner-brain alignment, pivots, catalog drilldown, off-domain guard",
"architecture_phase": "turnaround_11_planner_autonomy_consolidation",
"source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\address_truth_harness_phase83_planner_brain_alignment_mix.json",
"scenario_id": "address_truth_harness_phase83_planner_brain_alignment_mix",
"semantic_tags": [
"alias_grounding",
"all_time_followup",
"broad_business_evaluation",
"broad_eval_bridge_preserved",
"catalog_drilldown",
"catalog_metadata_surface",
"company_activity_lifecycle",
"counterparty_catalog_scope",
"counterparty_net_cash_flow",
"date_carryover",
"document_evidence",
"document_pivot",
"entity_resolution",
"followup_anchor",
"followup_reuse",
"grounded_context_seed",
"grounded_summary",
"human_answer",
"human_dialog",
"incoming_value_flow",
"mcp_discovery_gate_sanity",
"meta_smalltalk",
"movement_evidence",
"net_value_flow",
"neutral_followup",
"off_domain_living_chat",
"open_scope_total",
"organization_clarification",
"organization_scope",
"payout_switch",
"planner_catalog_alignment",
"stale_replay_forbidden",
"value_flow_comparison",
"value_flow_pivot",
"value_flow_ranking",
"year_switch"
]
},
"source_session_id": null,
"session": {
"session_id": null,
"mode": "agent_semantic_run",
"items": [
{
"message_id": "agent-user-001",
"role": "user",
"text": "привет, ты на связи?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-002",
"role": "user",
"text": "найди в 1С контрагента СВК",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-003",
"role": "user",
"text": "сколько получили по нему за 2020 год",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-004",
"role": "user",
"text": "а теперь сколько заплатили?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-005",
"role": "user",
"text": "а какое нетто?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-006",
"role": "user",
"text": "а по документам?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-007",
"role": "user",
"text": "а по движениям?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-008",
"role": "user",
"text": "Хочу быстрый денежный срез по одной организации без привязки к контрагенту. Сколько вообще входящих денег было за 2020 год?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-009",
"role": "user",
"text": "По ООО Альтернатива Плюс.",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-010",
"role": "user",
"text": "Понял, тогда за все время.",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-011",
"role": "user",
"text": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-012",
"role": "user",
"text": "А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-013",
"role": "user",
"text": "И кто больше всего принес денег этой организации в 2020 году?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-014",
"role": "user",
"text": "А в 2021 году?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-015",
"role": "user",
"text": "а по Альтернативе Плюс сколько лет активности в базе 1С?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-016",
"role": "user",
"text": "Как ты оценишь деятельность компании?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-017",
"role": "user",
"text": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-018",
"role": "user",
"text": "какие справочники 1С есть по контрагентам?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-019",
"role": "user",
"text": "давай дальше",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
},
{
"message_id": "agent-user-020",
"role": "user",
"text": "а чем капибара отличается от утки?",
"created_at": "2026-05-01T17:59:04+00:00",
"reply_type": null,
"trace_id": null,
"debug": null
}
],
"agent_run": true,
"metadata": {
"assistant_prompt_version": null,
"decomposition_prompt_version": null,
"prompt_fingerprint": null,
"agent_focus": "phase83 accepted planner-brain alignment, pivots, catalog drilldown, off-domain guard",
"architecture_phase": "turnaround_11_planner_autonomy_consolidation",
"source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\address_truth_harness_phase83_planner_brain_alignment_mix.json",
"scenario_id": "address_truth_harness_phase83_planner_brain_alignment_mix",
"semantic_tags": [
"alias_grounding",
"all_time_followup",
"broad_business_evaluation",
"broad_eval_bridge_preserved",
"catalog_drilldown",
"catalog_metadata_surface",
"company_activity_lifecycle",
"counterparty_catalog_scope",
"counterparty_net_cash_flow",
"date_carryover",
"document_evidence",
"document_pivot",
"entity_resolution",
"followup_anchor",
"followup_reuse",
"grounded_context_seed",
"grounded_summary",
"human_answer",
"human_dialog",
"incoming_value_flow",
"mcp_discovery_gate_sanity",
"meta_smalltalk",
"movement_evidence",
"net_value_flow",
"neutral_followup",
"off_domain_living_chat",
"open_scope_total",
"organization_clarification",
"organization_scope",
"payout_switch",
"planner_catalog_alignment",
"stale_replay_forbidden",
"value_flow_comparison",
"value_flow_pivot",
"value_flow_ranking",
"year_switch"
]
}
}
}
llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260501175904_gen-ag05011759-6f85fc.json
+85
View File
@@ -0,0 +1,85 @@
{
"suite_id": "assistant_saved_session_gen-ag05011759-6f85fc",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_suite_v0_1",
"generated_at": "2026-05-01T17:59:04+00:00",
"generation_id": "gen-ag05011759-6f85fc",
"mode": "saved_user_sessions",
"title": "AGENT | Planner Autonomy phase83: мозг маршрутов, pivots и legacy continuity",
"domain": "planner_autonomy_consolidation",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "agent_saved_user_sessions",
"title": "AGENT | Planner Autonomy phase83: мозг маршрутов, pivots и legacy continuity",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "привет, ты на связи?"
},
{
"user_message": "найди в 1С контрагента СВК"
},
{
"user_message": "сколько получили по нему за 2020 год"
},
{
"user_message": "а теперь сколько заплатили?"
},
{
"user_message": "а какое нетто?"
},
{
"user_message": "а по документам?"
},
{
"user_message": "а по движениям?"
},
{
"user_message": "Хочу быстрый денежный срез по одной организации без привязки к контрагенту. Сколько вообще входящих денег было за 2020 год?"
},
{
"user_message": "По ООО Альтернатива Плюс."
},
{
"user_message": "Понял, тогда за все время."
},
{
"user_message": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?"
},
{
"user_message": "А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?"
},
{
"user_message": "И кто больше всего принес денег этой организации в 2020 году?"
},
{
"user_message": "А в 2021 году?"
},
{
"user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?"
},
{
"user_message": "Как ты оценишь деятельность компании?"
},
{
"user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?"
},
{
"user_message": "какие справочники 1С есть по контрагентам?"
},
{
"user_message": "давай дальше"
},
{
"user_message": "а чем капибара отличается от утки?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-5iAk1zyaUF.json
+81
View File
@@ -0,0 +1,81 @@
{
"suite_id": "assistant_saved_session_runtime_job-5iAk1zyaUF",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT | Planner Autonomy phase83: мозг маршрутов, pivots и legacy continuity",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT | Planner Autonomy phase83: мозг маршрутов, pivots и legacy continuity",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "привет, ты на связи?"
},
{
"user_message": "найди в 1С контрагента СВК"
},
{
"user_message": "сколько получили по нему за 2020 год"
},
{
"user_message": "а теперь сколько заплатили?"
},
{
"user_message": "а какое нетто?"
},
{
"user_message": "а по документам?"
},
{
"user_message": "а по движениям?"
},
{
"user_message": "Хочу быстрый денежный срез по одной организации без привязки к контрагенту. Сколько вообще входящих денег было за 2020 год?"
},
{
"user_message": "По ООО Альтернатива Плюс."
},
{
"user_message": "Понял, тогда за все время."
},
{
"user_message": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?"
},
{
"user_message": "А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?"
},
{
"user_message": "И кто больше всего принес денег этой организации в 2020 году?"
},
{
"user_message": "А в 2021 году?"
},
{
"user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?"
},
{
"user_message": "Как ты оценишь деятельность компании?"
},
{
"user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?"
},
{
"user_message": "какие справочники 1С есть по контрагентам?"
},
{
"user_message": "давай дальше"
},
{
"user_message": "а чем капибара отличается от утки?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-Y3eOWK45BN.json
+123
View File
@@ -0,0 +1,123 @@
{
"suite_id": "assistant_saved_session_runtime_job-Y3eOWK45BN",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "приветик - че как там дела"
},
{
"user_message": "расскажи что можешь интересного"
},
{
"user_message": "кайф - что там на складе по остаткам?"
},
{
"user_message": "АЛЬТЕРНАТИВА"
},
{
"user_message": "а исторические остатки на другие даты умеешь?"
},
{
"user_message": "давай на июль 2017"
},
{
"user_message": "март 2016"
},
{
"user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?"
},
{
"user_message": "а кому продали?"
},
{
"user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?"
},
{
"user_message": "ндс можешь прикинуть на дату покупки рабочей станции?"
},
{
"user_message": "а какой ндс мы должны сгрузить на март 2020?"
},
{
"user_message": "прикинь какой ндс нам надо заплатить на февраль 2017"
},
{
"user_message": "кто у нас самый доходный клиент за все время"
},
{
"user_message": "кто нам должен денег на май 2017"
},
{
"user_message": "а какой ндс мы должны примерно заплатить за этот период?"
},
{
"user_message": "мы должны комуто денег на сегодня?"
},
{
"user_message": "а нам?"
},
{
"user_message": "какой у нас самый доходный год"
},
{
"user_message": "а за 2017 мы скок заработали?"
},
{
"user_message": "сколько вообще денег мы заработали за все время?"
},
{
"user_message": "ты умеешь считать дельту по договорам?"
},
{
"user_message": "по чепурнову покажи все доки"
},
{
"user_message": "а по свк"
},
{
"user_message": "а сейчас у нас есть что на складе?"
},
{
"user_message": "что нам отгружал чепурнов? какой товар или услугу?"
},
{
"user_message": "какие остатки на складе на сегодня"
},
{
"user_message": "остатки на март 2016"
},
{
"user_message": "хвосты покажи по счету 60 на август 2022"
},
{
"user_message": "Есть ли остатки товара, которые закупались очень давно"
},
{
"user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020"
},
{
"user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?"
},
{
"user_message": "Как ты оценишь деятельность компании?"
},
{
"user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?"
}
]
}
]
}