diff --git a/docs/orchestration/address_truth_harness_phase19_mcp_discovery_response_gate.json b/docs/orchestration/address_truth_harness_phase19_mcp_discovery_response_gate.json index 0e22fa9..3eed4cc 100644 --- a/docs/orchestration/address_truth_harness_phase19_mcp_discovery_response_gate.json +++ b/docs/orchestration/address_truth_harness_phase19_mcp_discovery_response_gate.json @@ -57,6 +57,9 @@ "step_id": "step_03_counterparty_lifecycle_uses_guarded_discovery", "title": "Unsupported-but-understood counterparty lifecycle question uses guarded discovery answer", "question": "сколько лет мы работаем с Группа СВК?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "lifecycle", + "expected_catalog_selected_matches_top": true, "required_answer_patterns_all": [ "(?i)свк", "(?i)1с|активност|подтвержд", @@ -87,6 +90,9 @@ "step_id": "step_04_counterparty_value_flow_uses_guarded_discovery", "title": "Unsupported-but-understood counterparty value-flow question uses guarded discovery answer", "question": "какой денежный поток был у Группа СВК за 2020 год?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow", + "expected_catalog_selected_matches_top": true, "required_answer_patterns_all": [ "(?i)свк", "(?i)1с|найден|строк|подтвержд", @@ -118,6 +124,9 @@ "step_id": "step_05_counterparty_supplier_payout_uses_guarded_discovery", "title": "Unsupported-but-understood counterparty payout question uses guarded supplier discovery answer", "question": "сколько мы заплатили Группа СВК за 2020 год?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow", + "expected_catalog_selected_matches_top": true, "required_answer_patterns_all": [ "(?i)свк", "(?i)1с|найден|строк|подтвержд", @@ -150,6 +159,9 @@ "step_id": "step_06_counterparty_bidirectional_net_flow_uses_guarded_discovery", "title": "Unsupported-but-understood counterparty net cash-flow question composes incoming and outgoing discovery", "question": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "required_answer_patterns_all": [ "(?i)свк", "(?i)1с|найден|строк|проверен", @@ -182,6 +194,9 @@ "step_id": "step_07_counterparty_bidirectional_monthly_net_flow_uses_guarded_discovery", "title": "Unsupported-but-understood counterparty monthly net cash-flow question keeps monthly structure from discovery", "question": "какое помесячное нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили по месяцам?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "required_answer_patterns_all": [ "(?i)свк", "(?i)1с|найден|строк|проверен", diff --git a/docs/orchestration/address_truth_harness_phase21_net_followup_after_broad_eval.json b/docs/orchestration/address_truth_harness_phase21_net_followup_after_broad_eval.json index 9fbb0cf..975b0bf 100644 --- a/docs/orchestration/address_truth_harness_phase21_net_followup_after_broad_eval.json +++ b/docs/orchestration/address_truth_harness_phase21_net_followup_after_broad_eval.json @@ -10,6 +10,9 @@ "step_id": "step_01_company_activity_lifecycle", "title": "Activity lifecycle answer seeds broad counterparty context", "question": "а по Альтернативе Плюс сколько лет активности в базе 1С?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "lifecycle", + "expected_catalog_selected_matches_top": true, "allowed_reply_types": [ "partial_coverage", "factual", @@ -44,6 +47,9 @@ "step_id": "step_03_net_flow_after_broad_eval", "title": "Net-flow follow-up overrides stale lifecycle carryover and answers with inflow outflow and net", "question": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "allowed_reply_types": [ "partial_coverage", "factual_with_explanation" diff --git a/docs/orchestration/address_truth_harness_phase22_broad_business_evaluation_bridge.json b/docs/orchestration/address_truth_harness_phase22_broad_business_evaluation_bridge.json index a148cf7..94542c2 100644 --- a/docs/orchestration/address_truth_harness_phase22_broad_business_evaluation_bridge.json +++ b/docs/orchestration/address_truth_harness_phase22_broad_business_evaluation_bridge.json @@ -10,6 +10,9 @@ "step_id": "step_01_company_activity_lifecycle", "title": "Lifecycle answer seeds grounded organization context", "question": "а по Альтернативе Плюс сколько лет активности в базе 1С?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "lifecycle", + "expected_catalog_selected_matches_top": true, "allowed_reply_types": [ "partial_coverage", "factual", @@ -51,6 +54,9 @@ "step_id": "step_03_net_flow_after_broad_eval", "title": "Exact net-flow follow-up still answers after the broad bridge", "question": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "allowed_reply_types": [ "partial_coverage", "factual_with_explanation" diff --git a/docs/orchestration/address_truth_harness_phase83_planner_brain_alignment_mix.json b/docs/orchestration/address_truth_harness_phase83_planner_brain_alignment_mix.json index 94d78cf..f56b8e9 100644 --- a/docs/orchestration/address_truth_harness_phase83_planner_brain_alignment_mix.json +++ b/docs/orchestration/address_truth_harness_phase83_planner_brain_alignment_mix.json @@ -438,6 +438,9 @@ "step_id": "step_01_company_activity_lifecycle", "title": "Lifecycle answer seeds grounded organization context", "question": "а по Альтернативе Плюс сколько лет активности в базе 1С?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "lifecycle", + "expected_catalog_selected_matches_top": true, "allowed_reply_types": [ "partial_coverage", "factual", @@ -452,7 +455,8 @@ "criticality": "warning", "semantic_tags": [ "company_activity_lifecycle", - "grounded_context_seed" + "grounded_context_seed", + "planner_catalog_alignment" ], "notes": "[mixed_pack_slot=slot_15_broad_eval_context source=address_truth_harness_phase22_broad_business_evaluation_bridge:step_01_company_activity_lifecycle]" }, @@ -481,6 +485,9 @@ "step_id": "step_03_net_flow_after_broad_eval", "title": "Exact net-flow follow-up still answers after the broad bridge", "question": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "allowed_reply_types": [ "partial_coverage", "factual_with_explanation" @@ -501,7 +508,8 @@ "criticality": "critical", "semantic_tags": [ "counterparty_net_cash_flow", - "broad_eval_bridge_preserved" + "broad_eval_bridge_preserved", + "planner_catalog_alignment" ], "notes": "[mixed_pack_slot=slot_17_broad_eval_return_to_net source=address_truth_harness_phase22_broad_business_evaluation_bridge:step_03_net_flow_after_broad_eval]" }, diff --git a/docs/orchestration/agent_semantic_source_catalog.json b/docs/orchestration/agent_semantic_source_catalog.json index a988857..41ab97c 100644 --- a/docs/orchestration/agent_semantic_source_catalog.json +++ b/docs/orchestration/agent_semantic_source_catalog.json @@ -1,6 +1,6 @@ { "schema_version": "agent_semantic_source_catalog_v1", - "generated_at": "2026-05-01T13:43:18+00:00", + "generated_at": "2026-05-01T15:59:20+00:00", "summary": { "truth_harness_steps_total": 520, "saved_session_questions_total": 229, @@ -206,7 +206,7 @@ "period_narrowing": 1, "period_scope": 9, "pivot_seed": 8, - "planner_catalog_alignment": 26, + "planner_catalog_alignment": 35, "polarity_flip": 1, "post_f": 9, "post_f_integrity_hardening": 6, @@ -502,7 +502,7 @@ "period_narrowing": 1, "period_scope": 9, "pivot_seed": 8, - "planner_catalog_alignment": 26, + "planner_catalog_alignment": 35, "polarity_flip": 1, "post_f": 9, "post_f_integrity_hardening": 6, @@ -5099,18 +5099,22 @@ "question": "сколько лет мы работаем с Группа СВК?", "criticality": "critical", "expected_intents": [], - "expected_catalog_alignment_status": null, - "expected_catalog_chain_top_match": null, - "expected_catalog_selected_matches_top": null, + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "lifecycle", + "expected_catalog_selected_matches_top": true, "semantic_tags": [ "mcp_discovery_response_gate", "counterparty_lifecycle", - "unsupported_current_turn_meaning_boundary" + "unsupported_current_turn_meaning_boundary", + "planner_catalog_alignment" ], "step_payload": { "step_id": "step_03_counterparty_lifecycle_uses_guarded_discovery", "title": "Unsupported-but-understood counterparty lifecycle question uses guarded discovery answer", "question": "сколько лет мы работаем с Группа СВК?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "lifecycle", + "expected_catalog_selected_matches_top": true, "required_answer_patterns_all": [ "(?i)свк", "(?i)1с|активност|подтвержд", @@ -5151,18 +5155,22 @@ "question": "какой денежный поток был у Группа СВК за 2020 год?", "criticality": "critical", "expected_intents": [], - "expected_catalog_alignment_status": null, - "expected_catalog_chain_top_match": null, - "expected_catalog_selected_matches_top": null, + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow", + "expected_catalog_selected_matches_top": true, "semantic_tags": [ "mcp_discovery_value_flow", "counterparty_turnover", - "unsupported_current_turn_meaning_boundary" + "unsupported_current_turn_meaning_boundary", + "planner_catalog_alignment" ], "step_payload": { "step_id": "step_04_counterparty_value_flow_uses_guarded_discovery", "title": "Unsupported-but-understood counterparty value-flow question uses guarded discovery answer", "question": "какой денежный поток был у Группа СВК за 2020 год?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow", + "expected_catalog_selected_matches_top": true, "required_answer_patterns_all": [ "(?i)свк", "(?i)1с|найден|строк|подтвержд", @@ -5204,18 +5212,22 @@ "question": "сколько мы заплатили Группа СВК за 2020 год?", "criticality": "critical", "expected_intents": [], - "expected_catalog_alignment_status": null, - "expected_catalog_chain_top_match": null, - "expected_catalog_selected_matches_top": null, + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow", + "expected_catalog_selected_matches_top": true, "semantic_tags": [ "mcp_discovery_supplier_payout", "counterparty_outgoing_payments", - "unsupported_current_turn_meaning_boundary" + "unsupported_current_turn_meaning_boundary", + "planner_catalog_alignment" ], "step_payload": { "step_id": "step_05_counterparty_supplier_payout_uses_guarded_discovery", "title": "Unsupported-but-understood counterparty payout question uses guarded supplier discovery answer", "question": "сколько мы заплатили Группа СВК за 2020 год?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow", + "expected_catalog_selected_matches_top": true, "required_answer_patterns_all": [ "(?i)свк", "(?i)1с|найден|строк|подтвержд", @@ -5258,18 +5270,22 @@ "question": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", "criticality": "critical", "expected_intents": [], - "expected_catalog_alignment_status": null, - "expected_catalog_chain_top_match": null, - "expected_catalog_selected_matches_top": null, + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "semantic_tags": [ "mcp_discovery_bidirectional_value_flow", "counterparty_net_cash_flow", - "unsupported_current_turn_meaning_boundary" + "unsupported_current_turn_meaning_boundary", + "planner_catalog_alignment" ], "step_payload": { "step_id": "step_06_counterparty_bidirectional_net_flow_uses_guarded_discovery", "title": "Unsupported-but-understood counterparty net cash-flow question composes incoming and outgoing discovery", "question": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "required_answer_patterns_all": [ "(?i)свк", "(?i)1с|найден|строк|проверен", @@ -5312,19 +5328,23 @@ "question": "какое помесячное нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили по месяцам?", "criticality": "critical", "expected_intents": [], - "expected_catalog_alignment_status": null, - "expected_catalog_chain_top_match": null, - "expected_catalog_selected_matches_top": null, + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "semantic_tags": [ "mcp_discovery_bidirectional_value_flow", "counterparty_monthly_net_cash_flow", "multi_axis_aggregation", - "unsupported_current_turn_meaning_boundary" + "unsupported_current_turn_meaning_boundary", + "planner_catalog_alignment" ], "step_payload": { "step_id": "step_07_counterparty_bidirectional_monthly_net_flow_uses_guarded_discovery", "title": "Unsupported-but-understood counterparty monthly net cash-flow question keeps monthly structure from discovery", "question": "какое помесячное нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили по месяцам?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "required_answer_patterns_all": [ "(?i)свк", "(?i)1с|найден|строк|проверен", @@ -5668,17 +5688,21 @@ "question": "а по Альтернативе Плюс сколько лет активности в базе 1С?", "criticality": "critical", "expected_intents": [], - "expected_catalog_alignment_status": null, - "expected_catalog_chain_top_match": null, - "expected_catalog_selected_matches_top": null, + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "lifecycle", + "expected_catalog_selected_matches_top": true, "semantic_tags": [ "company_activity_lifecycle", - "context_seed" + "context_seed", + "planner_catalog_alignment" ], "step_payload": { "step_id": "step_01_company_activity_lifecycle", "title": "Activity lifecycle answer seeds broad counterparty context", "question": "а по Альтернативе Плюс сколько лет активности в базе 1С?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "lifecycle", + "expected_catalog_selected_matches_top": true, "allowed_reply_types": [ "partial_coverage", "factual", @@ -5743,17 +5767,21 @@ "question": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", "criticality": "critical", "expected_intents": [], - "expected_catalog_alignment_status": null, - "expected_catalog_chain_top_match": null, - "expected_catalog_selected_matches_top": null, + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "semantic_tags": [ "counterparty_net_cash_flow", - "stale_lifecycle_override" + "stale_lifecycle_override", + "planner_catalog_alignment" ], "step_payload": { "step_id": "step_03_net_flow_after_broad_eval", "title": "Net-flow follow-up overrides stale lifecycle carryover and answers with inflow outflow and net", "question": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "allowed_reply_types": [ "partial_coverage", "factual_with_explanation" @@ -5791,17 +5819,21 @@ "question": "а по Альтернативе Плюс сколько лет активности в базе 1С?", "criticality": "critical", "expected_intents": [], - "expected_catalog_alignment_status": null, - "expected_catalog_chain_top_match": null, - "expected_catalog_selected_matches_top": null, + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "lifecycle", + "expected_catalog_selected_matches_top": true, "semantic_tags": [ "company_activity_lifecycle", - "grounded_context_seed" + "grounded_context_seed", + "planner_catalog_alignment" ], "step_payload": { "step_id": "step_01_company_activity_lifecycle", "title": "Lifecycle answer seeds grounded organization context", "question": "а по Альтернативе Плюс сколько лет активности в базе 1С?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "lifecycle", + "expected_catalog_selected_matches_top": true, "allowed_reply_types": [ "partial_coverage", "factual", @@ -5874,17 +5906,21 @@ "question": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", "criticality": "critical", "expected_intents": [], - "expected_catalog_alignment_status": null, - "expected_catalog_chain_top_match": null, - "expected_catalog_selected_matches_top": null, + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "semantic_tags": [ "counterparty_net_cash_flow", - "broad_eval_bridge_preserved" + "broad_eval_bridge_preserved", + "planner_catalog_alignment" ], "step_payload": { "step_id": "step_03_net_flow_after_broad_eval", "title": "Exact net-flow follow-up still answers after the broad bridge", "question": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", + "expected_catalog_alignment_status": "selected_matches_top", + "expected_catalog_chain_top_match": "value_flow_comparison", + "expected_catalog_selected_matches_top": true, "allowed_reply_types": [ "partial_coverage", "factual_with_explanation" diff --git a/docs/orchestration/agent_semantic_source_catalog.md b/docs/orchestration/agent_semantic_source_catalog.md index cef3f82..7e8bc65 100644 --- a/docs/orchestration/agent_semantic_source_catalog.md +++ b/docs/orchestration/agent_semantic_source_catalog.md @@ -205,7 +205,7 @@ - `period_narrowing`: `1` - `period_scope`: `9` - `pivot_seed`: `8` -- `planner_catalog_alignment`: `26` +- `planner_catalog_alignment`: `35` - `polarity_flip`: `1` - `post_f`: `9` - `post_f_integrity_hardening`: `6` @@ -395,11 +395,11 @@ - `address_truth_harness_phase18_semantic_dialog_authority:step_07_unsupported_current_meaning_boundary` | tags: off_domain_living_chat, stale_replay_forbidden | question: а чем капибара отличается от утки? - `address_truth_harness_phase19_mcp_discovery_response_gate:step_01_human_smalltalk_sanity` | tags: human_answer, mcp_discovery_gate_sanity, meta_smalltalk | question: привет, ты на связи? - `address_truth_harness_phase19_mcp_discovery_response_gate:step_02_supported_counterparty_documents_stays_exact` | tags: counterparty_documents, supported_route_not_hijacked_by_mcp_discovery | question: покажи документы по свк за 2020 -- `address_truth_harness_phase19_mcp_discovery_response_gate:step_03_counterparty_lifecycle_uses_guarded_discovery` | tags: mcp_discovery_response_gate, counterparty_lifecycle, unsupported_current_turn_meaning_boundary | question: сколько лет мы работаем с Группа СВК? -- `address_truth_harness_phase19_mcp_discovery_response_gate:step_04_counterparty_value_flow_uses_guarded_discovery` | tags: mcp_discovery_value_flow, counterparty_turnover, unsupported_current_turn_meaning_boundary | question: какой денежный поток был у Группа СВК за 2020 год? -- `address_truth_harness_phase19_mcp_discovery_response_gate:step_05_counterparty_supplier_payout_uses_guarded_discovery` | tags: mcp_discovery_supplier_payout, counterparty_outgoing_payments, unsupported_current_turn_meaning_boundary | question: сколько мы заплатили Группа СВК за 2020 год? -- `address_truth_harness_phase19_mcp_discovery_response_gate:step_06_counterparty_bidirectional_net_flow_uses_guarded_discovery` | tags: mcp_discovery_bidirectional_value_flow, counterparty_net_cash_flow, unsupported_current_turn_meaning_boundary | question: какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили? -- `address_truth_harness_phase19_mcp_discovery_response_gate:step_07_counterparty_bidirectional_monthly_net_flow_uses_guarded_discovery` | tags: mcp_discovery_bidirectional_value_flow, counterparty_monthly_net_cash_flow, multi_axis_aggregation, unsupported_current_turn_meaning_boundary | question: какое помесячное нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили по месяцам? +- `address_truth_harness_phase19_mcp_discovery_response_gate:step_03_counterparty_lifecycle_uses_guarded_discovery` | tags: mcp_discovery_response_gate, counterparty_lifecycle, unsupported_current_turn_meaning_boundary, planner_catalog_alignment | catalog_alignment: status=selected_matches_top, top=lifecycle, selected_matches_top=True | question: сколько лет мы работаем с Группа СВК? +- `address_truth_harness_phase19_mcp_discovery_response_gate:step_04_counterparty_value_flow_uses_guarded_discovery` | tags: mcp_discovery_value_flow, counterparty_turnover, unsupported_current_turn_meaning_boundary, planner_catalog_alignment | catalog_alignment: status=selected_matches_top, top=value_flow, selected_matches_top=True | question: какой денежный поток был у Группа СВК за 2020 год? +- `address_truth_harness_phase19_mcp_discovery_response_gate:step_05_counterparty_supplier_payout_uses_guarded_discovery` | tags: mcp_discovery_supplier_payout, counterparty_outgoing_payments, unsupported_current_turn_meaning_boundary, planner_catalog_alignment | catalog_alignment: status=selected_matches_top, top=value_flow, selected_matches_top=True | question: сколько мы заплатили Группа СВК за 2020 год? +- `address_truth_harness_phase19_mcp_discovery_response_gate:step_06_counterparty_bidirectional_net_flow_uses_guarded_discovery` | tags: mcp_discovery_bidirectional_value_flow, counterparty_net_cash_flow, unsupported_current_turn_meaning_boundary, planner_catalog_alignment | catalog_alignment: status=selected_matches_top, top=value_flow_comparison, selected_matches_top=True | question: какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили? +- `address_truth_harness_phase19_mcp_discovery_response_gate:step_07_counterparty_bidirectional_monthly_net_flow_uses_guarded_discovery` | tags: mcp_discovery_bidirectional_value_flow, counterparty_monthly_net_cash_flow, multi_axis_aggregation, unsupported_current_turn_meaning_boundary, planner_catalog_alignment | catalog_alignment: status=selected_matches_top, top=value_flow_comparison, selected_matches_top=True | question: какое помесячное нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили по месяцам? - `address_truth_harness_phase19_mcp_discovery_response_gate:step_08_off_domain_living_chat_not_hijacked` | tags: off_domain_living_chat, stale_replay_forbidden | question: а чем капибара отличается от утки? - `address_truth_harness_phase20_continuity_stabilization:step_01_top_client_all_time` | tags: value_flow_ranking, temporal_tail_not_entity | question: кто у нас самый доходный клиент за все время? - `address_truth_harness_phase20_continuity_stabilization:step_02_top_year_all_time` | tags: value_flow_ranking, year_tail_not_entity | question: какой у нас самый доходный год? @@ -407,12 +407,12 @@ - `address_truth_harness_phase20_continuity_stabilization:step_04_vat_for_same_period` | tags: vat_followup, period_carryover, vat | question: а какой ндс мы должны примерно заплатить за этот период? - `address_truth_harness_phase20_continuity_stabilization:step_05_payables_today` | tags: payables_snapshot, exact_not_overwritten | question: мы должны комуто денег на сегодня? - `address_truth_harness_phase20_continuity_stabilization:step_06_receivables_pronoun_followup` | tags: pronoun_followup, garbage_anchor_forbidden | question: а нам? -- `address_truth_harness_phase21_net_followup_after_broad_eval:step_01_company_activity_lifecycle` | tags: company_activity_lifecycle, context_seed | question: а по Альтернативе Плюс сколько лет активности в базе 1С? +- `address_truth_harness_phase21_net_followup_after_broad_eval:step_01_company_activity_lifecycle` | tags: company_activity_lifecycle, context_seed, planner_catalog_alignment | catalog_alignment: status=selected_matches_top, top=lifecycle, selected_matches_top=True | question: а по Альтернативе Плюс сколько лет активности в базе 1С? - `address_truth_harness_phase21_net_followup_after_broad_eval:step_02_broad_company_evaluation` | tags: broad_evaluation_bridge | question: Как ты оценишь деятельность компании? -- `address_truth_harness_phase21_net_followup_after_broad_eval:step_03_net_flow_after_broad_eval` | tags: counterparty_net_cash_flow, stale_lifecycle_override | question: какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили? -- `address_truth_harness_phase22_broad_business_evaluation_bridge:step_01_company_activity_lifecycle` | tags: company_activity_lifecycle, grounded_context_seed | question: а по Альтернативе Плюс сколько лет активности в базе 1С? +- `address_truth_harness_phase21_net_followup_after_broad_eval:step_03_net_flow_after_broad_eval` | tags: counterparty_net_cash_flow, stale_lifecycle_override, planner_catalog_alignment | catalog_alignment: status=selected_matches_top, top=value_flow_comparison, selected_matches_top=True | question: какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили? +- `address_truth_harness_phase22_broad_business_evaluation_bridge:step_01_company_activity_lifecycle` | tags: company_activity_lifecycle, grounded_context_seed, planner_catalog_alignment | catalog_alignment: status=selected_matches_top, top=lifecycle, selected_matches_top=True | question: а по Альтернативе Плюс сколько лет активности в базе 1С? - `address_truth_harness_phase22_broad_business_evaluation_bridge:step_02_broad_business_evaluation` | tags: broad_business_evaluation, grounded_summary | question: Как ты оценишь деятельность компании? -- `address_truth_harness_phase22_broad_business_evaluation_bridge:step_03_net_flow_after_broad_eval` | tags: counterparty_net_cash_flow, broad_eval_bridge_preserved | question: какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили? +- `address_truth_harness_phase22_broad_business_evaluation_bridge:step_03_net_flow_after_broad_eval` | tags: counterparty_net_cash_flow, broad_eval_bridge_preserved, planner_catalog_alignment | catalog_alignment: status=selected_matches_top, top=value_flow_comparison, selected_matches_top=True | question: какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили? - `address_truth_harness_phase23_broad_eval_short_followup:step_01_net_flow_2020` | tags: counterparty_net_cash_flow, grounded_discovery_seed | question: какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили? - `address_truth_harness_phase23_broad_eval_short_followup:step_02_broad_business_evaluation` | tags: broad_business_evaluation, context_reframe | question: Как ты оценишь деятельность компании? - `address_truth_harness_phase23_broad_eval_short_followup:step_03_short_year_switch_after_broad_eval` | tags: broad_eval_followup_continuity, year_switch_after_reframe | question: а теперь за 2021? diff --git a/llm_normalizer/data/autorun_generators/history.json b/llm_normalizer/data/autorun_generators/history.json index c0850ea..bfbb886 100644 --- a/llm_normalizer/data/autorun_generators/history.json +++ b/llm_normalizer/data/autorun_generators/history.json @@ -1,4 +1,91 @@ [ + { + "generation_id": "gen-ag05011759-6f85fc", + "created_at": "2026-05-01T17:59:04+00:00", + "mode": "saved_user_sessions", + "title": "AGENT | Planner Autonomy phase83: мозг маршрутов, pivots и legacy continuity", + "count": 20, + "domain": "planner_autonomy_consolidation", + "questions": [ + "привет, ты на связи?", + "найди в 1С контрагента СВК", + "сколько получили по нему за 2020 год", + "а теперь сколько заплатили?", + "а какое нетто?", + "а по документам?", + "а по движениям?", + "Хочу быстрый денежный срез по одной организации без привязки к контрагенту. Сколько вообще входящих денег было за 2020 год?", + "По ООО Альтернатива Плюс.", + "Понял, тогда за все время.", + "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?", + "А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?", + "И кто больше всего принес денег этой организации в 2020 году?", + "А в 2021 году?", + "а по Альтернативе Плюс сколько лет активности в базе 1С?", + "Как ты оценишь деятельность компании?", + "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", + "какие справочники 1С есть по контрагентам?", + "давай дальше", + "а чем капибара отличается от утки?" + ], + "generated_by": "codex_agent", + "saved_case_set_file": "assistant_autogen_saved_user_sessions_20260501175904_gen-ag05011759-6f85fc.json", + "context": { + "llm_provider": null, + "model": null, + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "autogen_personality_id": null, + "autogen_personality_prompt": null, + "source_session_id": null, + "saved_session_file": "assistant_saved_session_20260501175904_gen-ag05011759-6f85fc.json", + "saved_case_set_kind": "agent_semantic_scenario", + "agent_run": true, + "agent_focus": "phase83 accepted planner-brain alignment, pivots, catalog drilldown, off-domain guard", + "architecture_phase": "turnaround_11_planner_autonomy_consolidation", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\address_truth_harness_phase83_planner_brain_alignment_mix.json", + "scenario_id": "address_truth_harness_phase83_planner_brain_alignment_mix", + "semantic_tags": [ + "alias_grounding", + "all_time_followup", + "broad_business_evaluation", + "broad_eval_bridge_preserved", + "catalog_drilldown", + "catalog_metadata_surface", + "company_activity_lifecycle", + "counterparty_catalog_scope", + "counterparty_net_cash_flow", + "date_carryover", + "document_evidence", + "document_pivot", + "entity_resolution", + "followup_anchor", + "followup_reuse", + "grounded_context_seed", + "grounded_summary", + "human_answer", + "human_dialog", + "incoming_value_flow", + "mcp_discovery_gate_sanity", + "meta_smalltalk", + "movement_evidence", + "net_value_flow", + "neutral_followup", + "off_domain_living_chat", + "open_scope_total", + "organization_clarification", + "organization_scope", + "payout_switch", + "planner_catalog_alignment", + "stale_replay_forbidden", + "value_flow_comparison", + "value_flow_pivot", + "value_flow_ranking", + "year_switch" + ] + } + }, { "generation_id": "gen-ag04241710-bdb248", "created_at": "2026-04-24T17:10:31+00:00", diff --git a/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260501175904_gen-ag05011759-6f85fc.json b/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260501175904_gen-ag05011759-6f85fc.json new file mode 100644 index 0000000..cfd4107 --- /dev/null +++ b/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260501175904_gen-ag05011759-6f85fc.json @@ -0,0 +1,311 @@ +{ + "saved_at": "2026-05-01T17:59:04+00:00", + "generation_id": "gen-ag05011759-6f85fc", + "mode": "saved_user_sessions", + "title": "AGENT | Planner Autonomy phase83: мозг маршрутов, pivots и legacy continuity", + "agent_run": true, + "questions": [ + "привет, ты на связи?", + "найди в 1С контрагента СВК", + "сколько получили по нему за 2020 год", + "а теперь сколько заплатили?", + "а какое нетто?", + "а по документам?", + "а по движениям?", + "Хочу быстрый денежный срез по одной организации без привязки к контрагенту. Сколько вообще входящих денег было за 2020 год?", + "По ООО Альтернатива Плюс.", + "Понял, тогда за все время.", + "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?", + "А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?", + "И кто больше всего принес денег этой организации в 2020 году?", + "А в 2021 году?", + "а по Альтернативе Плюс сколько лет активности в базе 1С?", + "Как ты оценишь деятельность компании?", + "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", + "какие справочники 1С есть по контрагентам?", + "давай дальше", + "а чем капибара отличается от утки?" + ], + "metadata": { + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "agent_focus": "phase83 accepted planner-brain alignment, pivots, catalog drilldown, off-domain guard", + "architecture_phase": "turnaround_11_planner_autonomy_consolidation", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\address_truth_harness_phase83_planner_brain_alignment_mix.json", + "scenario_id": "address_truth_harness_phase83_planner_brain_alignment_mix", + "semantic_tags": [ + "alias_grounding", + "all_time_followup", + "broad_business_evaluation", + "broad_eval_bridge_preserved", + "catalog_drilldown", + "catalog_metadata_surface", + "company_activity_lifecycle", + "counterparty_catalog_scope", + "counterparty_net_cash_flow", + "date_carryover", + "document_evidence", + "document_pivot", + "entity_resolution", + "followup_anchor", + "followup_reuse", + "grounded_context_seed", + "grounded_summary", + "human_answer", + "human_dialog", + "incoming_value_flow", + "mcp_discovery_gate_sanity", + "meta_smalltalk", + "movement_evidence", + "net_value_flow", + "neutral_followup", + "off_domain_living_chat", + "open_scope_total", + "organization_clarification", + "organization_scope", + "payout_switch", + "planner_catalog_alignment", + "stale_replay_forbidden", + "value_flow_comparison", + "value_flow_pivot", + "value_flow_ranking", + "year_switch" + ] + }, + "source_session_id": null, + "session": { + "session_id": null, + "mode": "agent_semantic_run", + "items": [ + { + "message_id": "agent-user-001", + "role": "user", + "text": "привет, ты на связи?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-002", + "role": "user", + "text": "найди в 1С контрагента СВК", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-003", + "role": "user", + "text": "сколько получили по нему за 2020 год", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-004", + "role": "user", + "text": "а теперь сколько заплатили?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-005", + "role": "user", + "text": "а какое нетто?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-006", + "role": "user", + "text": "а по документам?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-007", + "role": "user", + "text": "а по движениям?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-008", + "role": "user", + "text": "Хочу быстрый денежный срез по одной организации без привязки к контрагенту. Сколько вообще входящих денег было за 2020 год?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-009", + "role": "user", + "text": "По ООО Альтернатива Плюс.", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-010", + "role": "user", + "text": "Понял, тогда за все время.", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-011", + "role": "user", + "text": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-012", + "role": "user", + "text": "А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-013", + "role": "user", + "text": "И кто больше всего принес денег этой организации в 2020 году?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-014", + "role": "user", + "text": "А в 2021 году?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-015", + "role": "user", + "text": "а по Альтернативе Плюс сколько лет активности в базе 1С?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-016", + "role": "user", + "text": "Как ты оценишь деятельность компании?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-017", + "role": "user", + "text": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-018", + "role": "user", + "text": "какие справочники 1С есть по контрагентам?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-019", + "role": "user", + "text": "давай дальше", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-020", + "role": "user", + "text": "а чем капибара отличается от утки?", + "created_at": "2026-05-01T17:59:04+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + } + ], + "agent_run": true, + "metadata": { + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "agent_focus": "phase83 accepted planner-brain alignment, pivots, catalog drilldown, off-domain guard", + "architecture_phase": "turnaround_11_planner_autonomy_consolidation", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\address_truth_harness_phase83_planner_brain_alignment_mix.json", + "scenario_id": "address_truth_harness_phase83_planner_brain_alignment_mix", + "semantic_tags": [ + "alias_grounding", + "all_time_followup", + "broad_business_evaluation", + "broad_eval_bridge_preserved", + "catalog_drilldown", + "catalog_metadata_surface", + "company_activity_lifecycle", + "counterparty_catalog_scope", + "counterparty_net_cash_flow", + "date_carryover", + "document_evidence", + "document_pivot", + "entity_resolution", + "followup_anchor", + "followup_reuse", + "grounded_context_seed", + "grounded_summary", + "human_answer", + "human_dialog", + "incoming_value_flow", + "mcp_discovery_gate_sanity", + "meta_smalltalk", + "movement_evidence", + "net_value_flow", + "neutral_followup", + "off_domain_living_chat", + "open_scope_total", + "organization_clarification", + "organization_scope", + "payout_switch", + "planner_catalog_alignment", + "stale_replay_forbidden", + "value_flow_comparison", + "value_flow_pivot", + "value_flow_ranking", + "year_switch" + ] + } + } +} diff --git a/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260501175904_gen-ag05011759-6f85fc.json b/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260501175904_gen-ag05011759-6f85fc.json new file mode 100644 index 0000000..5e791d9 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260501175904_gen-ag05011759-6f85fc.json @@ -0,0 +1,85 @@ +{ + "suite_id": "assistant_saved_session_gen-ag05011759-6f85fc", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_suite_v0_1", + "generated_at": "2026-05-01T17:59:04+00:00", + "generation_id": "gen-ag05011759-6f85fc", + "mode": "saved_user_sessions", + "title": "AGENT | Planner Autonomy phase83: мозг маршрутов, pivots и legacy continuity", + "domain": "planner_autonomy_consolidation", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "agent_saved_user_sessions", + "title": "AGENT | Planner Autonomy phase83: мозг маршрутов, pivots и legacy continuity", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "привет, ты на связи?" + }, + { + "user_message": "найди в 1С контрагента СВК" + }, + { + "user_message": "сколько получили по нему за 2020 год" + }, + { + "user_message": "а теперь сколько заплатили?" + }, + { + "user_message": "а какое нетто?" + }, + { + "user_message": "а по документам?" + }, + { + "user_message": "а по движениям?" + }, + { + "user_message": "Хочу быстрый денежный срез по одной организации без привязки к контрагенту. Сколько вообще входящих денег было за 2020 год?" + }, + { + "user_message": "По ООО Альтернатива Плюс." + }, + { + "user_message": "Понял, тогда за все время." + }, + { + "user_message": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?" + }, + { + "user_message": "А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?" + }, + { + "user_message": "И кто больше всего принес денег этой организации в 2020 году?" + }, + { + "user_message": "А в 2021 году?" + }, + { + "user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?" + }, + { + "user_message": "Как ты оценишь деятельность компании?" + }, + { + "user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?" + }, + { + "user_message": "какие справочники 1С есть по контрагентам?" + }, + { + "user_message": "давай дальше" + }, + { + "user_message": "а чем капибара отличается от утки?" + } + ] + } + ] +} diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-5iAk1zyaUF.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-5iAk1zyaUF.json new file mode 100644 index 0000000..093e918 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-5iAk1zyaUF.json @@ -0,0 +1,81 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-5iAk1zyaUF", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "AGENT | Planner Autonomy phase83: мозг маршрутов, pivots и legacy continuity", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "AGENT | Planner Autonomy phase83: мозг маршрутов, pivots и legacy continuity", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "привет, ты на связи?" + }, + { + "user_message": "найди в 1С контрагента СВК" + }, + { + "user_message": "сколько получили по нему за 2020 год" + }, + { + "user_message": "а теперь сколько заплатили?" + }, + { + "user_message": "а какое нетто?" + }, + { + "user_message": "а по документам?" + }, + { + "user_message": "а по движениям?" + }, + { + "user_message": "Хочу быстрый денежный срез по одной организации без привязки к контрагенту. Сколько вообще входящих денег было за 2020 год?" + }, + { + "user_message": "По ООО Альтернатива Плюс." + }, + { + "user_message": "Понял, тогда за все время." + }, + { + "user_message": "Хорошо. А что по ООО Альтернатива Плюс больше в 2020 году: входящие или исходящие деньги?" + }, + { + "user_message": "А что по ООО Альтернатива Плюс больше уже за 2021 год: входящие или исходящие деньги?" + }, + { + "user_message": "И кто больше всего принес денег этой организации в 2020 году?" + }, + { + "user_message": "А в 2021 году?" + }, + { + "user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?" + }, + { + "user_message": "Как ты оценишь деятельность компании?" + }, + { + "user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?" + }, + { + "user_message": "какие справочники 1С есть по контрагентам?" + }, + { + "user_message": "давай дальше" + }, + { + "user_message": "а чем капибара отличается от утки?" + } + ] + } + ] +} \ No newline at end of file diff --git a/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-Y3eOWK45BN.json b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-Y3eOWK45BN.json new file mode 100644 index 0000000..0e0fb96 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-Y3eOWK45BN.json @@ -0,0 +1,123 @@ +{ + "suite_id": "assistant_saved_session_runtime_job-Y3eOWK45BN", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_runtime_v0_1", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "saved_user_sessions_runtime", + "title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "приветик - че как там дела" + }, + { + "user_message": "расскажи что можешь интересного" + }, + { + "user_message": "кайф - что там на складе по остаткам?" + }, + { + "user_message": "АЛЬТЕРНАТИВА" + }, + { + "user_message": "а исторические остатки на другие даты умеешь?" + }, + { + "user_message": "давай на июль 2017" + }, + { + "user_message": "март 2016" + }, + { + "user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?" + }, + { + "user_message": "а кому продали?" + }, + { + "user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?" + }, + { + "user_message": "ндс можешь прикинуть на дату покупки рабочей станции?" + }, + { + "user_message": "а какой ндс мы должны сгрузить на март 2020?" + }, + { + "user_message": "прикинь какой ндс нам надо заплатить на февраль 2017" + }, + { + "user_message": "кто у нас самый доходный клиент за все время" + }, + { + "user_message": "кто нам должен денег на май 2017" + }, + { + "user_message": "а какой ндс мы должны примерно заплатить за этот период?" + }, + { + "user_message": "мы должны комуто денег на сегодня?" + }, + { + "user_message": "а нам?" + }, + { + "user_message": "какой у нас самый доходный год" + }, + { + "user_message": "а за 2017 мы скок заработали?" + }, + { + "user_message": "сколько вообще денег мы заработали за все время?" + }, + { + "user_message": "ты умеешь считать дельту по договорам?" + }, + { + "user_message": "по чепурнову покажи все доки" + }, + { + "user_message": "а по свк" + }, + { + "user_message": "а сейчас у нас есть что на складе?" + }, + { + "user_message": "что нам отгружал чепурнов? какой товар или услугу?" + }, + { + "user_message": "какие остатки на складе на сегодня" + }, + { + "user_message": "остатки на март 2016" + }, + { + "user_message": "хвосты покажи по счету 60 на август 2022" + }, + { + "user_message": "Есть ли остатки товара, которые закупались очень давно" + }, + { + "user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020" + }, + { + "user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?" + }, + { + "user_message": "Как ты оценишь деятельность компании?" + }, + { + "user_message": "какое нетто по деньгам с Группа СВК за 2020 год: сколько получили и сколько заплатили?" + } + ] + } + ] +} \ No newline at end of file diff --git a/scripts/test_agent_semantic_pack_builder.py b/scripts/test_agent_semantic_pack_builder.py index 1c6bc78..7e564af 100644 --- a/scripts/test_agent_semantic_pack_builder.py +++ b/scripts/test_agent_semantic_pack_builder.py @@ -66,7 +66,7 @@ class AgentSemanticPackBuilderTests(unittest.TestCase): catalog_checked_steps = [ step for step in spec["steps"] if step.get("expected_catalog_chain_top_match") ] - self.assertEqual(len(catalog_checked_steps), 13) + self.assertEqual(len(catalog_checked_steps), 15) if __name__ == "__main__":