diff --git a/llm_normalizer/data/autorun_generators/history.json b/llm_normalizer/data/autorun_generators/history.json index 2d49ef3..61bd3b4 100644 --- a/llm_normalizer/data/autorun_generators/history.json +++ b/llm_normalizer/data/autorun_generators/history.json @@ -1,4 +1,63 @@ [ + { + "generation_id": "gen-ag06011942-2ed936", + "created_at": "2026-06-01T19:42:13+00:00", + "mode": "saved_user_sessions", + "title": "AGENT | Business overview + SVK boundary reliability", + "count": 13, + "domain": "agent_business_overview_counterparty_reliability", + "questions": [ + "Дай взрослый бизнес-обзор ООО Альтернатива Плюс за 2020 год по данным 1С: обороты, входящие и исходящие деньги, нетто, НДС, долги, склад, клиенты, поставщики и что пока нельзя утверждать.", + "Раскрой деньги подробнее: сколько получили, сколько заплатили, какой чистый денежный поток, кто главный клиент и главный поставщик в 2020.", + "Что с НДС за 2020 год по ООО Альтернатива Плюс: какая позиция видна, на чем она основана и чего не хватает для налогового вывода?", + "Теперь за все доступное время дай обзор компании в целом, но не тащи НДС за 2020 как подтвержденную общую налоговую позицию.", + "Отдельно по контрагенту Группа СВК, без опоры на прошлый диалог: сколько денег прошло, что входящее, что исходящее и есть ли документы или движения, на которых это основано?", + "Покажи документы по этой цепочке и не смешивай Группа СВК с организацией ООО Альтернатива Плюс.", + "Собери короткий итог: что мы подтвердили по компании, что отдельно по Группа СВК, какие выводы можно делать и какие нельзя.", + "По-человечески посмотри ООО Альтернатива Плюс за 2020: что по бизнесу видно в 1С по деньгам, НДС, долгам, складу, клиентам/поставщикам и где пока нельзя делать вывод?", + "А по деньгам в этом же году кто больше всего занес и кому больше всего ушло? Банк не называй обычным клиентом без оговорки.", + "Возьми как выбранного контрагента Группа СВК: сколько по нему входящих денег, исходящих денег и расчетное нетто, на чем это основано?", + "Теперь по нему покажи документы и не переключайся на организацию.", + "И коротко сравни: что у нас подтверждено по компании, что отдельно по выбранному контрагенту, и какие выводы нельзя делать?", + "ООО Альтернатива Плюс" + ], + "generated_by": "Codex", + "saved_case_set_file": "assistant_autogen_saved_user_sessions_20260601194213_gen-ag06011942-2ed936.json", + "context": { + "llm_provider": null, + "model": null, + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "autogen_personality_id": null, + "autogen_personality_prompt": null, + "source_session_id": null, + "saved_session_file": "assistant_saved_session_20260601194213_gen-ag06011942-2ed936.json", + "saved_case_set_kind": "agent_semantic_scenario", + "agent_run": true, + "agent_focus": "business overview counterparty boundary continuity", + "architecture_phase": "assistant stage1 business overview", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\agent_business_overview_counterparty_reliability_20260524.json", + "scenario_id": null, + "semantic_tags": [ + "business_overview", + "colloquial", + "counterparty", + "debt", + "documents", + "inventory", + "money", + "organization_clarification", + "pronoun_followup", + "scope_guard", + "selected_object", + "vat" + ], + "validation_status": "accepted_domain_pack_loop", + "validated_run_dir": "artifacts\\domain_runs\\agent_business_overview_counterparty_reliability_20260601_p5", + "saved_after_validated_replay": true + } + }, { "generation_id": "gen-ag06011827-b80e22", "created_at": "2026-06-01T18:27:36+00:00", diff --git a/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260601194213_gen-ag06011942-2ed936.json b/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260601194213_gen-ag06011942-2ed936.json new file mode 100644 index 0000000..6a3fad7 --- /dev/null +++ b/llm_normalizer/data/autorun_generators/saved_sessions/assistant_saved_session_20260601194213_gen-ag06011942-2ed936.json @@ -0,0 +1,265 @@ +{ + "saved_at": "2026-06-01T19:42:13+00:00", + "generation_id": "gen-ag06011942-2ed936", + "mode": "saved_user_sessions", + "title": "AGENT | Business overview + SVK boundary reliability", + "agent_run": true, + "questions": [ + "Дай взрослый бизнес-обзор ООО Альтернатива Плюс за 2020 год по данным 1С: обороты, входящие и исходящие деньги, нетто, НДС, долги, склад, клиенты, поставщики и что пока нельзя утверждать.", + "Раскрой деньги подробнее: сколько получили, сколько заплатили, какой чистый денежный поток, кто главный клиент и главный поставщик в 2020.", + "Что с НДС за 2020 год по ООО Альтернатива Плюс: какая позиция видна, на чем она основана и чего не хватает для налогового вывода?", + "Теперь за все доступное время дай обзор компании в целом, но не тащи НДС за 2020 как подтвержденную общую налоговую позицию.", + "Отдельно по контрагенту Группа СВК, без опоры на прошлый диалог: сколько денег прошло, что входящее, что исходящее и есть ли документы или движения, на которых это основано?", + "Покажи документы по этой цепочке и не смешивай Группа СВК с организацией ООО Альтернатива Плюс.", + "Собери короткий итог: что мы подтвердили по компании, что отдельно по Группа СВК, какие выводы можно делать и какие нельзя.", + "По-человечески посмотри ООО Альтернатива Плюс за 2020: что по бизнесу видно в 1С по деньгам, НДС, долгам, складу, клиентам/поставщикам и где пока нельзя делать вывод?", + "А по деньгам в этом же году кто больше всего занес и кому больше всего ушло? Банк не называй обычным клиентом без оговорки.", + "Возьми как выбранного контрагента Группа СВК: сколько по нему входящих денег, исходящих денег и расчетное нетто, на чем это основано?", + "Теперь по нему покажи документы и не переключайся на организацию.", + "И коротко сравни: что у нас подтверждено по компании, что отдельно по выбранному контрагенту, и какие выводы нельзя делать?", + "ООО Альтернатива Плюс" + ], + "metadata": { + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "agent_focus": "business overview counterparty boundary continuity", + "architecture_phase": "assistant stage1 business overview", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\agent_business_overview_counterparty_reliability_20260524.json", + "scenario_id": null, + "semantic_tags": [ + "business_overview", + "colloquial", + "counterparty", + "debt", + "documents", + "inventory", + "money", + "organization_clarification", + "pronoun_followup", + "scope_guard", + "selected_object", + "vat" + ], + "validation_status": "accepted_domain_pack_loop", + "validated_run_dir": "artifacts\\domain_runs\\agent_business_overview_counterparty_reliability_20260601_p5", + "saved_after_validated_replay": true, + "save_gate": { + "schema_version": "agent_semantic_save_gate_v1", + "validation_status": "accepted_domain_pack_loop", + "validated_run_dir": "artifacts\\domain_runs\\agent_business_overview_counterparty_reliability_20260601_p5", + "final_status": "accepted", + "loop_id": "agent_business_overview_counterparty_reliability_20260601_p5", + "target_score": 90, + "iterations_ran": 1, + "quality_score": 91, + "repair_target_count": 0, + "repair_target_severity_counts": { + "P0": 0, + "P1": 0, + "P2": 0 + }, + "accepted_gate": true, + "effective_runtime": { + "manifest_path": "artifacts\\domain_runs\\agent_business_overview_counterparty_reliability_20260601_p5\\effective_runtime.json", + "runner": "domain_case_loop.run-pack-loop", + "git_sha": "ede15c6080426934c01d5b68b00b7b8b521558fc", + "backend_url": "http://127.0.0.1:8787", + "mcp_proxy_url": "http://127.0.0.1:6003", + "llm_provider": "local", + "llm_model": "unsloth/qwen3-30b-a3b-instruct-2507", + "temperature": 0.8, + "max_output_tokens": 900, + "prompt_version": "normalizer_v2_0_2", + "prompt_source": "file", + "prompt_hash": "f36e36a5e491cd24511b380e0c0059cb01aea5e2af738fb9f01671cd291735c1", + "prompt_registry_status": "pass" + }, + "saved_after_validated_replay": true + } + }, + "source_session_id": null, + "session": { + "session_id": null, + "mode": "agent_semantic_run", + "items": [ + { + "message_id": "agent-user-001", + "role": "user", + "text": "Дай взрослый бизнес-обзор ООО Альтернатива Плюс за 2020 год по данным 1С: обороты, входящие и исходящие деньги, нетто, НДС, долги, склад, клиенты, поставщики и что пока нельзя утверждать.", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-002", + "role": "user", + "text": "Раскрой деньги подробнее: сколько получили, сколько заплатили, какой чистый денежный поток, кто главный клиент и главный поставщик в 2020.", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-003", + "role": "user", + "text": "Что с НДС за 2020 год по ООО Альтернатива Плюс: какая позиция видна, на чем она основана и чего не хватает для налогового вывода?", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-004", + "role": "user", + "text": "Теперь за все доступное время дай обзор компании в целом, но не тащи НДС за 2020 как подтвержденную общую налоговую позицию.", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-005", + "role": "user", + "text": "Отдельно по контрагенту Группа СВК, без опоры на прошлый диалог: сколько денег прошло, что входящее, что исходящее и есть ли документы или движения, на которых это основано?", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-006", + "role": "user", + "text": "Покажи документы по этой цепочке и не смешивай Группа СВК с организацией ООО Альтернатива Плюс.", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-007", + "role": "user", + "text": "Собери короткий итог: что мы подтвердили по компании, что отдельно по Группа СВК, какие выводы можно делать и какие нельзя.", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-008", + "role": "user", + "text": "По-человечески посмотри ООО Альтернатива Плюс за 2020: что по бизнесу видно в 1С по деньгам, НДС, долгам, складу, клиентам/поставщикам и где пока нельзя делать вывод?", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-009", + "role": "user", + "text": "А по деньгам в этом же году кто больше всего занес и кому больше всего ушло? Банк не называй обычным клиентом без оговорки.", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-010", + "role": "user", + "text": "Возьми как выбранного контрагента Группа СВК: сколько по нему входящих денег, исходящих денег и расчетное нетто, на чем это основано?", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-011", + "role": "user", + "text": "Теперь по нему покажи документы и не переключайся на организацию.", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-012", + "role": "user", + "text": "И коротко сравни: что у нас подтверждено по компании, что отдельно по выбранному контрагенту, и какие выводы нельзя делать?", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + }, + { + "message_id": "agent-user-013", + "role": "user", + "text": "ООО Альтернатива Плюс", + "created_at": "2026-06-01T19:42:13+00:00", + "reply_type": null, + "trace_id": null, + "debug": null + } + ], + "agent_run": true, + "metadata": { + "assistant_prompt_version": null, + "decomposition_prompt_version": null, + "prompt_fingerprint": null, + "agent_focus": "business overview counterparty boundary continuity", + "architecture_phase": "assistant stage1 business overview", + "source_spec_file": "X:\\1C\\NDC_1C\\docs\\orchestration\\agent_business_overview_counterparty_reliability_20260524.json", + "scenario_id": null, + "semantic_tags": [ + "business_overview", + "colloquial", + "counterparty", + "debt", + "documents", + "inventory", + "money", + "organization_clarification", + "pronoun_followup", + "scope_guard", + "selected_object", + "vat" + ], + "validation_status": "accepted_domain_pack_loop", + "validated_run_dir": "artifacts\\domain_runs\\agent_business_overview_counterparty_reliability_20260601_p5", + "saved_after_validated_replay": true, + "save_gate": { + "schema_version": "agent_semantic_save_gate_v1", + "validation_status": "accepted_domain_pack_loop", + "validated_run_dir": "artifacts\\domain_runs\\agent_business_overview_counterparty_reliability_20260601_p5", + "final_status": "accepted", + "loop_id": "agent_business_overview_counterparty_reliability_20260601_p5", + "target_score": 90, + "iterations_ran": 1, + "quality_score": 91, + "repair_target_count": 0, + "repair_target_severity_counts": { + "P0": 0, + "P1": 0, + "P2": 0 + }, + "accepted_gate": true, + "effective_runtime": { + "manifest_path": "artifacts\\domain_runs\\agent_business_overview_counterparty_reliability_20260601_p5\\effective_runtime.json", + "runner": "domain_case_loop.run-pack-loop", + "git_sha": "ede15c6080426934c01d5b68b00b7b8b521558fc", + "backend_url": "http://127.0.0.1:8787", + "mcp_proxy_url": "http://127.0.0.1:6003", + "llm_provider": "local", + "llm_model": "unsloth/qwen3-30b-a3b-instruct-2507", + "temperature": 0.8, + "max_output_tokens": 900, + "prompt_version": "normalizer_v2_0_2", + "prompt_source": "file", + "prompt_hash": "f36e36a5e491cd24511b380e0c0059cb01aea5e2af738fb9f01671cd291735c1", + "prompt_registry_status": "pass" + }, + "saved_after_validated_replay": true + } + } + } +} diff --git a/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260601194213_gen-ag06011942-2ed936.json b/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260601194213_gen-ag06011942-2ed936.json new file mode 100644 index 0000000..e7bdc97 --- /dev/null +++ b/llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260601194213_gen-ag06011942-2ed936.json @@ -0,0 +1,64 @@ +{ + "suite_id": "assistant_saved_session_gen-ag06011942-2ed936", + "suite_version": "0.1.0", + "schema_version": "assistant_saved_session_suite_v0_1", + "generated_at": "2026-06-01T19:42:13+00:00", + "generation_id": "gen-ag06011942-2ed936", + "mode": "saved_user_sessions", + "title": "AGENT | Business overview + SVK boundary reliability", + "domain": "agent_business_overview_counterparty_reliability", + "scenario_count": 1, + "case_ids": [ + "SAVED-001" + ], + "cases": [ + { + "case_id": "SAVED-001", + "scenario_tag": "agent_saved_user_sessions", + "title": "AGENT | Business overview + SVK boundary reliability", + "question_type": "followup", + "broadness_level": "medium", + "turns": [ + { + "user_message": "Дай взрослый бизнес-обзор ООО Альтернатива Плюс за 2020 год по данным 1С: обороты, входящие и исходящие деньги, нетто, НДС, долги, склад, клиенты, поставщики и что пока нельзя утверждать." + }, + { + "user_message": "Раскрой деньги подробнее: сколько получили, сколько заплатили, какой чистый денежный поток, кто главный клиент и главный поставщик в 2020." + }, + { + "user_message": "Что с НДС за 2020 год по ООО Альтернатива Плюс: какая позиция видна, на чем она основана и чего не хватает для налогового вывода?" + }, + { + "user_message": "Теперь за все доступное время дай обзор компании в целом, но не тащи НДС за 2020 как подтвержденную общую налоговую позицию." + }, + { + "user_message": "Отдельно по контрагенту Группа СВК, без опоры на прошлый диалог: сколько денег прошло, что входящее, что исходящее и есть ли документы или движения, на которых это основано?" + }, + { + "user_message": "Покажи документы по этой цепочке и не смешивай Группа СВК с организацией ООО Альтернатива Плюс." + }, + { + "user_message": "Собери короткий итог: что мы подтвердили по компании, что отдельно по Группа СВК, какие выводы можно делать и какие нельзя." + }, + { + "user_message": "По-человечески посмотри ООО Альтернатива Плюс за 2020: что по бизнесу видно в 1С по деньгам, НДС, долгам, складу, клиентам/поставщикам и где пока нельзя делать вывод?" + }, + { + "user_message": "А по деньгам в этом же году кто больше всего занес и кому больше всего ушло? Банк не называй обычным клиентом без оговорки." + }, + { + "user_message": "Возьми как выбранного контрагента Группа СВК: сколько по нему входящих денег, исходящих денег и расчетное нетто, на чем это основано?" + }, + { + "user_message": "Теперь по нему покажи документы и не переключайся на организацию." + }, + { + "user_message": "И коротко сравни: что у нас подтверждено по компании, что отдельно по выбранному контрагенту, и какие выводы нельзя делать?" + }, + { + "user_message": "ООО Альтернатива Плюс" + } + ] + } + ] +}