diff --git a/llm_normalizer/data/autorun_generators/history.json b/llm_normalizer/data/autorun_generators/history.json index 8ae55d0..807c6bf 100644 --- a/llm_normalizer/data/autorun_generators/history.json +++ b/llm_normalizer/data/autorun_generators/history.json @@ -1,4 +1,75 @@ [ + { + "generation_id": "gen-ag06031054-1bd955", + "created_at": "2026-06-03T10:54:28+00:00", + "mode": "saved_user_sessions", + "title": "AGENT | Phase105 mixed schema primitive closure live8", + "count": 13, + "domain": "address_phase105_mixed_schema_primitive_closure", + "questions": [ + "кайф - что там на складе по остаткам?", + "АЛЬТЕРНАТИВА", + "а исторические остатки на другие даты умеешь?", + "давай на июнь 2017", + "Теперь дай взрослый обзор за 2020 по компании: входящие, исходящие, нетто, топы, но банк в топах отдельно объясни как финансовый поток, если по назначению он не обычный клиент или поставщик.", + "А отдельно по СБЕРБАНКУ: он для нас клиент, поставщик или финансовый поток? Дай коротко по подтвержденным строкам.", + "А теперь по поставщику Группа СВК за 2020: сколько мы ему заплатили и какой общий денежный смысл?", + "А теперь по Группа СВК за 2020: сколько денег получили, сколько заплатили и какое нетто?", + "кому мы должны на конец 2020?", + "а нам кто должен на конец 2020?", + "сколько НДС надо заплатить в налоговую за декабрь 2019?", + "скока денег альтернатива заработала за 20 год?", + "а это чистая прибыль?" + ], + "generated_by": "codex_agent", + "saved_case_set_file": "assistant_autogen_saved_user_sessions_20260603105428_gen-ag06031054-1bd955.json", + "context": { + "llm_provider": null, + "model": null, + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "autogen_personality_id": null, + "autogen_personality_prompt": null, + "source_session_id": null, + "saved_session_file": "assistant_saved_session_20260603105428_gen-ag06031054-1bd955.json", + "saved_case_set_kind": "agent_semantic_scenario", + "agent_run": true, + "agent_focus": "cross-contour canary after inventory and truth-harness hardening", + "architecture_phase": "assistant-stage1 mixed MCP schema primitive closure", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\address_truth_harness_phase105_mixed_schema_primitive_closure.json", + "scenario_id": "address_truth_harness_phase105_mixed_schema_primitive_closure", + "semantic_tags": [ + "bank_like_counterparty", + "business_overview", + "business_overview_followup", + "counterparty_net_cash_flow", + "date_followup", + "debt_polarity", + "earnings_wording", + "financial_role_purpose", + "generic_role_tail_anchor_hygiene", + "historical_inventory", + "inventory_capability_meta", + "inventory_root", + "organization_scope", + "payables", + "profit_boundary", + "receivables", + "redundant_scope_selection", + "resolved_organization_scope", + "stale_scope_guard", + "supplier_prefix_canary", + "tax_period", + "value_flow", + "vat_continuity", + "warehouse_not_required" + ], + "validation_status": "accepted_live_replay", + "validated_run_dir": "artifacts\\domain_runs\\phase105_mixed_schema_primitive_closure_20260603_live8", + "saved_after_validated_replay": true + } + }, { "generation_id": "gen-ag06031037-e4c3f0", "created_at": "2026-06-03T10:37:12+00:00", diff --git a/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260603105428_gen-ag06031054-1bd955.json b/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260603105428_gen-ag06031054-1bd955.json new file mode 100644 index 0000000..9b90088 --- /dev/null +++ b/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260603105428_gen-ag06031054-1bd955.json @@ -0,0 +1,283 @@ +{ + "saved_at": "2026-06-03T10:54:28+00:00", + "generation_id": "gen-ag06031054-1bd955", + "mode": "saved_user_sessions", + "title": "AGENT | Phase105 mixed schema primitive closure live8", + "agent_run": true, + "questions": [ + "кайф - что там на складе по остаткам?", + "АЛЬТЕРНАТИВА", + "а исторические остатки на другие даты умеешь?", + "давай на июнь 2017", + "Теперь дай взрослый обзор за 2020 по компании: входящие, исходящие, нетто, топы, но банк в топах отдельно объясни как финансовый поток, если по назначению он не обычный клиент или поставщик.", + "А отдельно по СБЕРБАНКУ: он для нас клиент, поставщик или финансовый поток? Дай коротко по подтвержденным строкам.", + "А теперь по поставщику Группа СВК за 2020: сколько мы ему заплатили и какой общий денежный смысл?", + "А теперь по Группа СВК за 2020: сколько денег получили, сколько заплатили и какое нетто?", + "кому мы должны на конец 2020?", + "а нам кто должен на конец 2020?", + "сколько НДС надо заплатить в налоговую за декабрь 2019?", + "скока денег альтернатива заработала за 20 год?", + "а это чистая прибыль?" + ], + "metadata": { + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "agent_focus": "cross-contour canary after inventory and truth-harness hardening", + "architecture_phase": "assistant-stage1 mixed MCP schema primitive closure", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\address_truth_harness_phase105_mixed_schema_primitive_closure.json", + "scenario_id": "address_truth_harness_phase105_mixed_schema_primitive_closure", + "semantic_tags": [ + "bank_like_counterparty", + "business_overview", + "business_overview_followup", + "counterparty_net_cash_flow", + "date_followup", + "debt_polarity", + "earnings_wording", + "financial_role_purpose", + "generic_role_tail_anchor_hygiene", + "historical_inventory", + "inventory_capability_meta", + "inventory_root", + "organization_scope", + "payables", + "profit_boundary", + "receivables", + "redundant_scope_selection", + "resolved_organization_scope", + "stale_scope_guard", + "supplier_prefix_canary", + "tax_period", + "value_flow", + "vat_continuity", + "warehouse_not_required" + ], + "validation_status": "accepted_live_replay", + "validated_run_dir": "artifacts\\domain_runs\\phase105_mixed_schema_primitive_closure_20260603_live8", + "saved_after_validated_replay": true, + "save_gate": { + "schema_version": "agent_semantic_save_gate_v1", + "validation_status": "accepted_live_replay", + "validated_run_dir": "artifacts\\domain_runs\\phase105_mixed_schema_primitive_closure_20260603_live8", + "final_status": "accepted", + "review_overall_status": "pass", + "business_overall_status": "pass", + "steps_total": 13, + "steps_passed": 13, + "steps_failed": 0, + "steps_with_business_failures": 0, + "steps_with_business_warnings": 0, + "acceptance_gate_passed": true, + "effective_runtime": { + "manifest_path": "artifacts\\domain_runs\\phase105_mixed_schema_primitive_closure_20260603_live8\\effective_runtime.json", + "runner": "domain_truth_harness.run-live", + "git_sha": "66d5f6827016452e25da3f4becae0ee841382046", + "backend_url": "http://127.0.0.1:8787", + "mcp_proxy_url": "http://127.0.0.1:6003", + "llm_provider": "local", + "llm_model": "unsloth/qwen3-30b-a3b-instruct-2507", + "temperature": 0.8, + "max_output_tokens": 900, + "prompt_version": "normalizer_v2_0_2", + "prompt_source": "file", + "prompt_hash": "f36e36a5e491cd24511b380e0c0059cb01aea5e2af738fb9f01671cd291735c1", + "prompt_registry_status": "pass" + }, + "saved_after_validated_replay": true + } + }, + "source_session_id": null, + "session": { + "session_id": null, + "mode": "agent_semantic_run", + "items": [ + { + "message_id": "agent-user-001", + "role": "user", + "text": "кайф - что там на складе по остаткам?", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-002", + "role": "user", + "text": "АЛЬТЕРНАТИВА", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-003", + "role": "user", + "text": "а исторические остатки на другие даты умеешь?", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-004", + "role": "user", + "text": "давай на июнь 2017", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-005", + "role": "user", + "text": "Теперь дай взрослый обзор за 2020 по компании: входящие, исходящие, нетто, топы, но банк в топах отдельно объясни как финансовый поток, если по назначению он не обычный клиент или поставщик.", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-006", + "role": "user", + "text": "А отдельно по СБЕРБАНКУ: он для нас клиент, поставщик или финансовый поток? Дай коротко по подтвержденным строкам.", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-007", + "role": "user", + "text": "А теперь по поставщику Группа СВК за 2020: сколько мы ему заплатили и какой общий денежный смысл?", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-008", + "role": "user", + "text": "А теперь по Группа СВК за 2020: сколько денег получили, сколько заплатили и какое нетто?", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-009", + "role": "user", + "text": "кому мы должны на конец 2020?", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-010", + "role": "user", + "text": "а нам кто должен на конец 2020?", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-011", + "role": "user", + "text": "сколько НДС надо заплатить в налоговую за декабрь 2019?", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-012", + "role": "user", + "text": "скока денег альтернатива заработала за 20 год?", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-013", + "role": "user", + "text": "а это чистая прибыль?", + "created_at": "2026-06-03T10:54:28+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + } + ], + "agent_run": true, + "metadata": { + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "agent_focus": "cross-contour canary after inventory and truth-harness hardening", + "architecture_phase": "assistant-stage1 mixed MCP schema primitive closure", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\address_truth_harness_phase105_mixed_schema_primitive_closure.json", + "scenario_id": "address_truth_harness_phase105_mixed_schema_primitive_closure", + "semantic_tags": [ + "bank_like_counterparty", + "business_overview", + "business_overview_followup", + "counterparty_net_cash_flow", + "date_followup", + "debt_polarity", + "earnings_wording", + "financial_role_purpose", + "generic_role_tail_anchor_hygiene", + "historical_inventory", + "inventory_capability_meta", + "inventory_root", + "organization_scope", + "payables", + "profit_boundary", + "receivables", + "redundant_scope_selection", + "resolved_organization_scope", + "stale_scope_guard", + "supplier_prefix_canary", + "tax_period", + "value_flow", + "vat_continuity", + "warehouse_not_required" + ], + "validation_status": "accepted_live_replay", + "validated_run_dir": "artifacts\\domain_runs\\phase105_mixed_schema_primitive_closure_20260603_live8", + "saved_after_validated_replay": true, + "save_gate": { + "schema_version": "agent_semantic_save_gate_v1", + "validation_status": "accepted_live_replay", + "validated_run_dir": "artifacts\\domain_runs\\phase105_mixed_schema_primitive_closure_20260603_live8", + "final_status": "accepted", + "review_overall_status": "pass", + "business_overall_status": "pass", + "steps_total": 13, + "steps_passed": 13, + "steps_failed": 0, + "steps_with_business_failures": 0, + "steps_with_business_warnings": 0, + "acceptance_gate_passed": true, + "effective_runtime": { + "manifest_path": "artifacts\\domain_runs\\phase105_mixed_schema_primitive_closure_20260603_live8\\effective_runtime.json", + "runner": "domain_truth_harness.run-live", + "git_sha": "66d5f6827016452e25da3f4becae0ee841382046", + "backend_url": "http://127.0.0.1:8787", + "mcp_proxy_url": "http://127.0.0.1:6003", + "llm_provider": "local", + "llm_model": "unsloth/qwen3-30b-a3b-instruct-2507", + "temperature": 0.8, + "max_output_tokens": 900, + "prompt_version": "normalizer_v2_0_2", + "prompt_source": "file", + "prompt_hash": "f36e36a5e491cd24511b380e0c0059cb01aea5e2af738fb9f01671cd291735c1", + "prompt_registry_status": "pass" + }, + "saved_after_validated_replay": true + } + } + } +} diff --git a/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260603105428_gen-ag06031054-1bd955.json b/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260603105428_gen-ag06031054-1bd955.json new file mode 100644 index 0000000..78b058b --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260603105428_gen-ag06031054-1bd955.json @@ -0,0 +1,64 @@ +{ + "suite_id": "assistant_saved_session_gen-ag06031054-1bd955", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_suite_v0_1", + "generated_at": "2026-06-03T10:54:28+00:00", + "generation_id": "gen-ag06031054-1bd955", + "mode": "saved_user_sessions", + "title": "AGENT | Phase105 mixed schema primitive closure live8", + "domain": "address_phase105_mixed_schema_primitive_closure", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "agent_saved_user_sessions", + "title": "AGENT | Phase105 mixed schema primitive closure live8", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "кайф - что там на складе по остаткам?" + }, + { + "user_message": "АЛЬТЕРНАТИВА" + }, + { + "user_message": "а исторические остатки на другие даты умеешь?" + }, + { + "user_message": "давай на июнь 2017" + }, + { + "user_message": "Теперь дай взрослый обзор за 2020 по компании: входящие, исходящие, нетто, топы, но банк в топах отдельно объясни как финансовый поток, если по назначению он не обычный клиент или поставщик." + }, + { + "user_message": "А отдельно по СБЕРБАНКУ: он для нас клиент, поставщик или финансовый поток? Дай коротко по подтвержденным строкам." + }, + { + "user_message": "А теперь по поставщику Группа СВК за 2020: сколько мы ему заплатили и какой общий денежный смысл?" + }, + { + "user_message": "А теперь по Группа СВК за 2020: сколько денег получили, сколько заплатили и какое нетто?" + }, + { + "user_message": "кому мы должны на конец 2020?" + }, + { + "user_message": "а нам кто должен на конец 2020?" + }, + { + "user_message": "сколько НДС надо заплатить в налоговую за декабрь 2019?" + }, + { + "user_message": "скока денег альтернатива заработала за 20 год?" + }, + { + "user_message": "а это чистая прибыль?" + } + ] + } + ] +}