diff --git a/llm_normalizer/data/autorun_generators/history.json b/llm_normalizer/data/autorun_generators/history.json index e027e54..cb183d7 100644 --- a/llm_normalizer/data/autorun_generators/history.json +++ b/llm_normalizer/data/autorun_generators/history.json @@ -1,4 +1,67 @@ [ + { + "generation_id": "gen-ag06020614-947fd1", + "created_at": "2026-06-02T06:14:41+00:00", + "mode": "saved_user_sessions", + "title": "AGENT | GUI Y9 inventory selected-object regression proof", + "count": 10, + "domain": "inventory_selected_object_reliability", + "questions": [ + "Какие остатки на складе у ООО \"Альтернатива Плюс\"?", + "остатки на март 2016", + "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?", + "а кому продали?", + "у тебя написано кто контрагент: рабочая станция - это ошибка?", + "ндс можешь прикинуть на дату покупки рабочей станции?", + "если у нее несколько закупок, посчитай по первой подтвержденной покупке", + "а теперь по последней подтвержденной покупке", + "Есть ли у ООО \"Альтернатива Плюс\" остатки товара, которые закупались очень давно", + "какие остатки по товарам на эту дату относятся к старым закупкам?" + ], + "generated_by": "codex_agent", + "saved_case_set_file": "assistant_autogen_saved_user_sessions_20260602061441_gen-ag06020614-947fd1.json", + "context": { + "llm_provider": null, + "model": null, + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "autogen_personality_id": null, + "autogen_personality_prompt": null, + "source_session_id": null, + "saved_session_file": "assistant_saved_session_20260602061441_gen-ag06020614-947fd1.json", + "saved_case_set_kind": "agent_semantic_scenario", + "agent_run": true, + "agent_focus": "Focused replay for assistant-stage1-Y9qmtnz66r: inventory snapshot, selected item provenance, sale trace, field-truth meta question, VAT carryover from ambiguous purchase dates, and old-stock aging.", + "architecture_phase": "turnaround_11", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\assistant_stage1_y9_inventory_selected_object_regression_20260525.json", + "scenario_id": null, + "semantic_tags": [ + "aging", + "answer_inspection", + "date_carryover", + "field_truth", + "first_purchase", + "followup_date_carryover", + "historical_snapshot", + "inventory", + "item_vs_counterparty", + "last_purchase", + "organization_scope", + "pronoun_followup", + "purchase_date_carryover", + "purchase_provenance", + "sale_trace", + "selected_object", + "supplier_provenance", + "temporal_honesty", + "vat" + ], + "validation_status": "accepted_domain_pack_loop", + "validated_run_dir": "artifacts\\domain_runs\\assistant_stage1_y9_inventory_selected_object_20260602_p5", + "saved_after_validated_replay": true + } + }, { "generation_id": "gen-ag06020454-07ff44", "created_at": "2026-06-02T04:54:21+00:00", diff --git a/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260602061441_gen-ag06020614-947fd1.json b/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260602061441_gen-ag06020614-947fd1.json new file mode 100644 index 0000000..5964a31 --- /dev/null +++ b/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260602061441_gen-ag06020614-947fd1.json @@ -0,0 +1,249 @@ +{ + "saved_at": "2026-06-02T06:14:41+00:00", + "generation_id": "gen-ag06020614-947fd1", + "mode": "saved_user_sessions", + "title": "AGENT | GUI Y9 inventory selected-object regression proof", + "agent_run": true, + "questions": [ + "Какие остатки на складе у ООО \"Альтернатива Плюс\"?", + "остатки на март 2016", + "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?", + "а кому продали?", + "у тебя написано кто контрагент: рабочая станция - это ошибка?", + "ндс можешь прикинуть на дату покупки рабочей станции?", + "если у нее несколько закупок, посчитай по первой подтвержденной покупке", + "а теперь по последней подтвержденной покупке", + "Есть ли у ООО \"Альтернатива Плюс\" остатки товара, которые закупались очень давно", + "какие остатки по товарам на эту дату относятся к старым закупкам?" + ], + "metadata": { + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "agent_focus": "Focused replay for assistant-stage1-Y9qmtnz66r: inventory snapshot, selected item provenance, sale trace, field-truth meta question, VAT carryover from ambiguous purchase dates, and old-stock aging.", + "architecture_phase": "turnaround_11", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\assistant_stage1_y9_inventory_selected_object_regression_20260525.json", + "scenario_id": null, + "semantic_tags": [ + "aging", + "answer_inspection", + "date_carryover", + "field_truth", + "first_purchase", + "followup_date_carryover", + "historical_snapshot", + "inventory", + "item_vs_counterparty", + "last_purchase", + "organization_scope", + "pronoun_followup", + "purchase_date_carryover", + "purchase_provenance", + "sale_trace", + "selected_object", + "supplier_provenance", + "temporal_honesty", + "vat" + ], + "validation_status": "accepted_domain_pack_loop", + "validated_run_dir": "artifacts\\domain_runs\\assistant_stage1_y9_inventory_selected_object_20260602_p5", + "saved_after_validated_replay": true, + "save_gate": { + "schema_version": "agent_semantic_save_gate_v1", + "validation_status": "accepted_domain_pack_loop", + "validated_run_dir": "artifacts\\domain_runs\\assistant_stage1_y9_inventory_selected_object_20260602_p5", + "final_status": "accepted", + "loop_id": "assistant_stage1_y9_inventory_selected_object_20260602_p5", + "target_score": 80, + "iterations_ran": 1, + "quality_score": 86, + "repair_target_count": 0, + "repair_target_severity_counts": { + "P0": 0, + "P1": 0, + "P2": 0 + }, + "accepted_gate": true, + "effective_runtime": { + "manifest_path": "artifacts\\domain_runs\\assistant_stage1_y9_inventory_selected_object_20260602_p5\\effective_runtime.json", + "runner": "domain_case_loop.run-pack-loop", + "git_sha": "5245a8aeea66ca2214b4bc3c18a70e27894df34c", + "backend_url": "http://127.0.0.1:8787", + "mcp_proxy_url": "http://127.0.0.1:6003", + "llm_provider": "local", + "llm_model": "unsloth/qwen3-30b-a3b-instruct-2507", + "temperature": 0.8, + "max_output_tokens": 900, + "prompt_version": "normalizer_v2_0_2", + "prompt_source": "file", + "prompt_hash": "f36e36a5e491cd24511b380e0c0059cb01aea5e2af738fb9f01671cd291735c1", + "prompt_registry_status": "pass" + }, + "saved_after_validated_replay": true + } + }, + "source_session_id": null, + "session": { + "session_id": null, + "mode": "agent_semantic_run", + "items": [ + { + "message_id": "agent-user-001", + "role": "user", + "text": "Какие остатки на складе у ООО \"Альтернатива Плюс\"?", + "created_at": "2026-06-02T06:14:41+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-002", + "role": "user", + "text": "остатки на март 2016", + "created_at": "2026-06-02T06:14:41+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-003", + "role": "user", + "text": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?", + "created_at": "2026-06-02T06:14:41+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-004", + "role": "user", + "text": "а кому продали?", + "created_at": "2026-06-02T06:14:41+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-005", + "role": "user", + "text": "у тебя написано кто контрагент: рабочая станция - это ошибка?", + "created_at": "2026-06-02T06:14:41+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-006", + "role": "user", + "text": "ндс можешь прикинуть на дату покупки рабочей станции?", + "created_at": "2026-06-02T06:14:41+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-007", + "role": "user", + "text": "если у нее несколько закупок, посчитай по первой подтвержденной покупке", + "created_at": "2026-06-02T06:14:41+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-008", + "role": "user", + "text": "а теперь по последней подтвержденной покупке", + "created_at": "2026-06-02T06:14:41+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-009", + "role": "user", + "text": "Есть ли у ООО \"Альтернатива Плюс\" остатки товара, которые закупались очень давно", + "created_at": "2026-06-02T06:14:41+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-010", + "role": "user", + "text": "какие остатки по товарам на эту дату относятся к старым закупкам?", + "created_at": "2026-06-02T06:14:41+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + } + ], + "agent_run": true, + "metadata": { + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "agent_focus": "Focused replay for assistant-stage1-Y9qmtnz66r: inventory snapshot, selected item provenance, sale trace, field-truth meta question, VAT carryover from ambiguous purchase dates, and old-stock aging.", + "architecture_phase": "turnaround_11", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\assistant_stage1_y9_inventory_selected_object_regression_20260525.json", + "scenario_id": null, + "semantic_tags": [ + "aging", + "answer_inspection", + "date_carryover", + "field_truth", + "first_purchase", + "followup_date_carryover", + "historical_snapshot", + "inventory", + "item_vs_counterparty", + "last_purchase", + "organization_scope", + "pronoun_followup", + "purchase_date_carryover", + "purchase_provenance", + "sale_trace", + "selected_object", + "supplier_provenance", + "temporal_honesty", + "vat" + ], + "validation_status": "accepted_domain_pack_loop", + "validated_run_dir": "artifacts\\domain_runs\\assistant_stage1_y9_inventory_selected_object_20260602_p5", + "saved_after_validated_replay": true, + "save_gate": { + "schema_version": "agent_semantic_save_gate_v1", + "validation_status": "accepted_domain_pack_loop", + "validated_run_dir": "artifacts\\domain_runs\\assistant_stage1_y9_inventory_selected_object_20260602_p5", + "final_status": "accepted", + "loop_id": "assistant_stage1_y9_inventory_selected_object_20260602_p5", + "target_score": 80, + "iterations_ran": 1, + "quality_score": 86, + "repair_target_count": 0, + "repair_target_severity_counts": { + "P0": 0, + "P1": 0, + "P2": 0 + }, + "accepted_gate": true, + "effective_runtime": { + "manifest_path": "artifacts\\domain_runs\\assistant_stage1_y9_inventory_selected_object_20260602_p5\\effective_runtime.json", + "runner": "domain_case_loop.run-pack-loop", + "git_sha": "5245a8aeea66ca2214b4bc3c18a70e27894df34c", + "backend_url": "http://127.0.0.1:8787", + "mcp_proxy_url": "http://127.0.0.1:6003", + "llm_provider": "local", + "llm_model": "unsloth/qwen3-30b-a3b-instruct-2507", + "temperature": 0.8, + "max_output_tokens": 900, + "prompt_version": "normalizer_v2_0_2", + "prompt_source": "file", + "prompt_hash": "f36e36a5e491cd24511b380e0c0059cb01aea5e2af738fb9f01671cd291735c1", + "prompt_registry_status": "pass" + }, + "saved_after_validated_replay": true + } + } + } +} diff --git a/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260602061441_gen-ag06020614-947fd1.json b/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260602061441_gen-ag06020614-947fd1.json new file mode 100644 index 0000000..103d5fd --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260602061441_gen-ag06020614-947fd1.json @@ -0,0 +1,55 @@ +{ + "suite_id": "assistant_saved_session_gen-ag06020614-947fd1", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_suite_v0_1", + "generated_at": "2026-06-02T06:14:41+00:00", + "generation_id": "gen-ag06020614-947fd1", + "mode": "saved_user_sessions", + "title": "AGENT | GUI Y9 inventory selected-object regression proof", + "domain": "inventory_selected_object_reliability", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "agent_saved_user_sessions", + "title": "AGENT | GUI Y9 inventory selected-object regression proof", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "Какие остатки на складе у ООО \"Альтернатива Плюс\"?" + }, + { + "user_message": "остатки на март 2016" + }, + { + "user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?" + }, + { + "user_message": "а кому продали?" + }, + { + "user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?" + }, + { + "user_message": "ндс можешь прикинуть на дату покупки рабочей станции?" + }, + { + "user_message": "если у нее несколько закупок, посчитай по первой подтвержденной покупке" + }, + { + "user_message": "а теперь по последней подтвержденной покупке" + }, + { + "user_message": "Есть ли у ООО \"Альтернатива Плюс\" остатки товара, которые закупались очень давно" + }, + { + "user_message": "какие остатки по товарам на эту дату относятся к старым закупкам?" + } + ] + } + ] +}