From d1ac4fc4174e337a2865566b7552a44e60e578c3 Mon Sep 17 00:00:00 2001 From: dctouch Date: Tue, 2 Jun 2026 00:24:00 +0300 Subject: [PATCH] =?UTF-8?q?=D0=A1=D0=BE=D1=85=D1=80=D0=B0=D0=BD=D0=B8?= =?UTF-8?q?=D1=82=D1=8C=20AGENT=20margin=20profitability=20pack?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../data/autorun_generators/history.json | 55 +++++ ..._20260601211739_gen-ag06012117-dc9b60.json | 223 ++++++++++++++++++ ..._20260601211739_gen-ag06012117-dc9b60.json | 52 ++++ 3 files changed, 330 insertions(+) create mode 100644 llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260601211739_gen-ag06012117-dc9b60.json create mode 100644 llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260601211739_gen-ag06012117-dc9b60.json diff --git a/llm_normalizer/data/autorun_generators/history.json b/llm_normalizer/data/autorun_generators/history.json index 61bd3b4..20b4beb 100644 --- a/llm_normalizer/data/autorun_generators/history.json +++ b/llm_normalizer/data/autorun_generators/history.json @@ -1,4 +1,59 @@ [ + { + "generation_id": "gen-ag06012117-dc9b60", + "created_at": "2026-06-01T21:17:39+00:00", + "mode": "saved_user_sessions", + "title": "AGENT | margin profitability wrong-domain traps", + "count": 9, + "domain": "margin_profitability", + "questions": [ + "Какая номенклатура была самой маржинальной за 2020 год?", + "Покажи топ товаров по марже за 2020 год.", + "А из чего ты это посчитал и чего не хватает для точной маржи?", + "А по этой позиции кто поставщик?", + "Когда ее купили?", + "Каким документом это подтверждено?", + "Можно быстро понять маржинальность товаров за 2020 год по оплатам и банку?", + "Посчитай маржинальность товарной номенклатуры за 2020 год, не ОС и не амортизацию.", + "По этой позиции покажи закупочный документ." + ], + "generated_by": "codex_agent", + "saved_case_set_file": "assistant_autogen_saved_user_sessions_20260601211739_gen-ag06012117-dc9b60.json", + "context": { + "llm_provider": null, + "model": null, + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "autogen_personality_id": null, + "autogen_personality_prompt": null, + "source_session_id": null, + "saved_session_file": "assistant_saved_session_20260601211739_gen-ag06012117-dc9b60.json", + "saved_case_set_kind": "agent_semantic_scenario", + "agent_run": true, + "agent_focus": "Минимальный reliability pack для проверки, что вопросы про маржинальность номенклатуры не утекают в ОС, амортизацию, банк, оплаты или взаиморасчеты.", + "architecture_phase": "turnaround_11", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\agent_margin_profitability_reliability_20260524.json", + "scenario_id": null, + "semantic_tags": [ + "evidence", + "fixed_asset_false_source", + "fixed_asset_trap_followup", + "inventory", + "margin_profitability", + "payment_false_source", + "purchase_date_followup", + "purchase_document_followup", + "scope_guard", + "selected_object", + "supplier_followup", + "wrong_domain_trap" + ], + "validation_status": "accepted_domain_case_loop_pack", + "validated_run_dir": "artifacts\\domain_runs\\agent_margin_profitability_reliability_20260601_p10_pack", + "saved_after_validated_replay": true + } + }, { "generation_id": "gen-ag06011942-2ed936", "created_at": "2026-06-01T19:42:13+00:00", diff --git a/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260601211739_gen-ag06012117-dc9b60.json b/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260601211739_gen-ag06012117-dc9b60.json new file mode 100644 index 0000000..40a76b9 --- /dev/null +++ b/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260601211739_gen-ag06012117-dc9b60.json @@ -0,0 +1,223 @@ +{ + "saved_at": "2026-06-01T21:17:39+00:00", + "generation_id": "gen-ag06012117-dc9b60", + "mode": "saved_user_sessions", + "title": "AGENT | margin profitability wrong-domain traps", + "agent_run": true, + "questions": [ + "Какая номенклатура была самой маржинальной за 2020 год?", + "Покажи топ товаров по марже за 2020 год.", + "А из чего ты это посчитал и чего не хватает для точной маржи?", + "А по этой позиции кто поставщик?", + "Когда ее купили?", + "Каким документом это подтверждено?", + "Можно быстро понять маржинальность товаров за 2020 год по оплатам и банку?", + "Посчитай маржинальность товарной номенклатуры за 2020 год, не ОС и не амортизацию.", + "По этой позиции покажи закупочный документ." + ], + "metadata": { + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "agent_focus": "Минимальный reliability pack для проверки, что вопросы про маржинальность номенклатуры не утекают в ОС, амортизацию, банк, оплаты или взаиморасчеты.", + "architecture_phase": "turnaround_11", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\agent_margin_profitability_reliability_20260524.json", + "scenario_id": null, + "semantic_tags": [ + "evidence", + "fixed_asset_false_source", + "fixed_asset_trap_followup", + "inventory", + "margin_profitability", + "payment_false_source", + "purchase_date_followup", + "purchase_document_followup", + "scope_guard", + "selected_object", + "supplier_followup", + "wrong_domain_trap" + ], + "validation_status": "accepted_domain_case_loop_pack", + "validated_run_dir": "artifacts\\domain_runs\\agent_margin_profitability_reliability_20260601_p10_pack", + "saved_after_validated_replay": true, + "save_gate": { + "schema_version": "agent_semantic_save_gate_v1", + "validation_status": "accepted_domain_case_loop_pack", + "validated_run_dir": "artifacts\\domain_runs\\agent_margin_profitability_reliability_20260601_p10_pack", + "final_status": "accepted", + "acceptance_status": "accepted", + "execution_status": "exact", + "pack_id": "agent_margin_profitability_reliability_20260601_p10_pack", + "scenario_count": 3, + "repair_target_count": 0, + "repair_target_severity_counts": { + "P0": 0, + "P1": 0, + "P2": 0 + }, + "effective_runtime": { + "manifest_path": "artifacts\\domain_runs\\agent_margin_profitability_reliability_20260601_p10_pack\\effective_runtime.json", + "runner": "domain_case_loop.run-pack", + "git_sha": "88c92e316abf4c457df2165ed5ab18c6fd1b0edf", + "backend_url": "http://127.0.0.1:8787", + "mcp_proxy_url": "http://127.0.0.1:6003", + "llm_provider": "local", + "llm_model": "unsloth/qwen3-30b-a3b-instruct-2507", + "temperature": 0.8, + "max_output_tokens": 900, + "prompt_version": "normalizer_v2_0_2", + "prompt_source": "file", + "prompt_hash": "f36e36a5e491cd24511b380e0c0059cb01aea5e2af738fb9f01671cd291735c1", + "prompt_registry_status": "pass" + }, + "saved_after_validated_replay": true + } + }, + "source_session_id": null, + "session": { + "session_id": null, + "mode": "agent_semantic_run", + "items": [ + { + "message_id": "agent-user-001", + "role": "user", + "text": "Какая номенклатура была самой маржинальной за 2020 год?", + "created_at": "2026-06-01T21:17:39+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-002", + "role": "user", + "text": "Покажи топ товаров по марже за 2020 год.", + "created_at": "2026-06-01T21:17:39+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-003", + "role": "user", + "text": "А из чего ты это посчитал и чего не хватает для точной маржи?", + "created_at": "2026-06-01T21:17:39+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-004", + "role": "user", + "text": "А по этой позиции кто поставщик?", + "created_at": "2026-06-01T21:17:39+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-005", + "role": "user", + "text": "Когда ее купили?", + "created_at": "2026-06-01T21:17:39+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-006", + "role": "user", + "text": "Каким документом это подтверждено?", + "created_at": "2026-06-01T21:17:39+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-007", + "role": "user", + "text": "Можно быстро понять маржинальность товаров за 2020 год по оплатам и банку?", + "created_at": "2026-06-01T21:17:39+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-008", + "role": "user", + "text": "Посчитай маржинальность товарной номенклатуры за 2020 год, не ОС и не амортизацию.", + "created_at": "2026-06-01T21:17:39+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-009", + "role": "user", + "text": "По этой позиции покажи закупочный документ.", + "created_at": "2026-06-01T21:17:39+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + } + ], + "agent_run": true, + "metadata": { + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "agent_focus": "Минимальный reliability pack для проверки, что вопросы про маржинальность номенклатуры не утекают в ОС, амортизацию, банк, оплаты или взаиморасчеты.", + "architecture_phase": "turnaround_11", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\agent_margin_profitability_reliability_20260524.json", + "scenario_id": null, + "semantic_tags": [ + "evidence", + "fixed_asset_false_source", + "fixed_asset_trap_followup", + "inventory", + "margin_profitability", + "payment_false_source", + "purchase_date_followup", + "purchase_document_followup", + "scope_guard", + "selected_object", + "supplier_followup", + "wrong_domain_trap" + ], + "validation_status": "accepted_domain_case_loop_pack", + "validated_run_dir": "artifacts\\domain_runs\\agent_margin_profitability_reliability_20260601_p10_pack", + "saved_after_validated_replay": true, + "save_gate": { + "schema_version": "agent_semantic_save_gate_v1", + "validation_status": "accepted_domain_case_loop_pack", + "validated_run_dir": "artifacts\\domain_runs\\agent_margin_profitability_reliability_20260601_p10_pack", + "final_status": "accepted", + "acceptance_status": "accepted", + "execution_status": "exact", + "pack_id": "agent_margin_profitability_reliability_20260601_p10_pack", + "scenario_count": 3, + "repair_target_count": 0, + "repair_target_severity_counts": { + "P0": 0, + "P1": 0, + "P2": 0 + }, + "effective_runtime": { + "manifest_path": "artifacts\\domain_runs\\agent_margin_profitability_reliability_20260601_p10_pack\\effective_runtime.json", + "runner": "domain_case_loop.run-pack", + "git_sha": "88c92e316abf4c457df2165ed5ab18c6fd1b0edf", + "backend_url": "http://127.0.0.1:8787", + "mcp_proxy_url": "http://127.0.0.1:6003", + "llm_provider": "local", + "llm_model": "unsloth/qwen3-30b-a3b-instruct-2507", + "temperature": 0.8, + "max_output_tokens": 900, + "prompt_version": "normalizer_v2_0_2", + "prompt_source": "file", + "prompt_hash": "f36e36a5e491cd24511b380e0c0059cb01aea5e2af738fb9f01671cd291735c1", + "prompt_registry_status": "pass" + }, + "saved_after_validated_replay": true + } + } + } +} diff --git a/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260601211739_gen-ag06012117-dc9b60.json b/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260601211739_gen-ag06012117-dc9b60.json new file mode 100644 index 0000000..fe62d49 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260601211739_gen-ag06012117-dc9b60.json @@ -0,0 +1,52 @@ +{ + "suite_id": "assistant_saved_session_gen-ag06012117-dc9b60", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_suite_v0_1", + "generated_at": "2026-06-01T21:17:39+00:00", + "generation_id": "gen-ag06012117-dc9b60", + "mode": "saved_user_sessions", + "title": "AGENT | margin profitability wrong-domain traps", + "domain": "margin_profitability", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "agent_saved_user_sessions", + "title": "AGENT | margin profitability wrong-domain traps", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "Какая номенклатура была самой маржинальной за 2020 год?" + }, + { + "user_message": "Покажи топ товаров по марже за 2020 год." + }, + { + "user_message": "А из чего ты это посчитал и чего не хватает для точной маржи?" + }, + { + "user_message": "А по этой позиции кто поставщик?" + }, + { + "user_message": "Когда ее купили?" + }, + { + "user_message": "Каким документом это подтверждено?" + }, + { + "user_message": "Можно быстро понять маржинальность товаров за 2020 год по оплатам и банку?" + }, + { + "user_message": "Посчитай маржинальность товарной номенклатуры за 2020 год, не ОС и не амортизацию." + }, + { + "user_message": "По этой позиции покажи закупочный документ." + } + ] + } + ] +}