АДРЕСНЫЙ РЕЖИМ -Step-4: Batch-2 lifecycle закрыт gate 36/36, nightly 102/102 + 25/25 PASS

This commit is contained in:
2026-04-08 13:39:40 +03:00
parent 1f9bb886ee
commit 71762af575
41 changed files with 50617 additions and 53 deletions
@@ -0,0 +1,33 @@
# 2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_Baseline
Generated at: 2026-04-08T12:50:53
Questions file: X:\1C\NDC_1C\docs\ADDRESS\question_sets\domain_general_batch2_lifecycle_acceptance_2026-04-08_phaseA.json
Backend URL: http://127.0.0.1:8787/api/assistant/message
LLM: local / qwen2.5-14b-instruct-1m @ http://127.0.0.1:1234
Strict policy: route
## Totals
- questions_total: 36
- ok_200_count: 36
- semantic_pass_count: 25
- semantic_pass_rate: 0.6944
- route_pass_count: 25
- route_pass_rate: 0.6944
- strict_pass_count: 25
- strict_pass_rate: 0.6944
- factual_count: 26
- partial_coverage_count: 7
- clarification_required_count: 3
- http_error_count: 0
- llm_decomposition_attempted_count: 36
- llm_decomposition_applied_count: 23
- llm_fallback_count: 0
- llm_fallback_rate: 0.0
- tool_gate_blocked_count: 0
- tool_gate_blocked_rate: 0.0
- avg_elapsed_ms: 7234.1
## Files
- run_summary.json
- full_live_results.json
- failures_only.json
File diff suppressed because one or more lines are too long
@@ -0,0 +1,40 @@
# Response Audit: 2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_Baseline
| id | strict | route_health | reply_type | intent | limited_reason | question | assistant_first_line |
|---|---|---|---|---|---|---|---|
| B2_C001 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами в 2020 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C002 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами за все время? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C003 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики появились у нас впервые в 2020 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C004 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики были активны в 2020 году, но дальше перестали встречаться? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C005 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие контрагенты работали с нами только один раз за все время? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C006 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие контрагенты работают с нами дольше всего по периоду активности? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C007 | False | likely_blocked_route | partial_coverage | bank_operations_by_counterparty | empty_match | Раздели поставщиков на регулярных и эпизодических по частоте операций. | В live-данных по текущему фильтру записи не найдены. |
| B2_C008 | False | blocked_missing_anchor | partial_coverage | bank_operations_by_counterparty | missing_anchor | Какие поставщики давно не использовались в операционной активности? | Для точного адресного поиска не хватает обязательного якоря. |
| B2_C009 | True | ok_or_factual | factual | contract_usage_overview | None | Какие договоры давно не использовались (stale contracts)? | Профиль договорной базы собран (catalog + usage aggregate). |
| B2_C010 | True | ok_or_factual | factual | contract_usage_and_value | None | Покажи контрагентов с несколькими договорами и укажи, какие договоры у них активны. | Собран профиль договоров по обороту/бюджету (bank-doc contract aggregate). |
| B2_C011 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами в 2021 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C012 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики впервые появились у нас в 2021 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N001 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | какие клиенты были активны в 20м | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N002 | False | likely_blocked_route | partial_coverage | list_documents_by_counterparty | empty_match | выведи всех заков за все время | В live-данных по текущему фильтру записи не найдены. |
| B2_N003 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | кто к нам пришел впервые в 2020 | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N004 | False | blocked_missing_anchor | partial_coverage | bank_operations_by_counterparty | missing_anchor | кто был активен в 2020 и потом отвалился | Для точного адресного поиска не хватает обязательного якоря. |
| B2_N005 | False | blocked_unsupported | partial_coverage | unknown | unsupported | кто с нами был ровно один раз и пропал | Этот запрос не подходит под address_query V1. |
| B2_N006 | False | blocked_unsupported | partial_coverage | unknown | unsupported | самые старые по сотрудничеству кто | Этот запрос не подходит под address_query V1. |
| B2_N007 | False | ok_or_factual | factual | counterparty_population_and_roles | None | разбей поставщиков на регуляр и разовые | Профиль контрагентов собран (catalog + bank-doc activity aggregate). |
| B2_N008 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | какие поставщики давно мертвые | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N009 | True | ok_or_factual | factual | contract_usage_overview | None | какие договоры уже протухли и не двигаются | Профиль договорной базы собран (catalog + usage aggregate). |
| B2_N010 | True | ok_or_factual | factual | contract_usage_and_value | None | у кого несколько договоров и какие из них рабочие | Собран профиль договоров по обороту/бюджету (bank-doc contract aggregate). |
| B2_N011 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | новые клиенты за 21й год | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N012 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | клиенты которые исчезли после 21 года | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F001 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами в 2020 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F002 | False | blocked_clarification | clarification_required | None | None | А кто из них новые? | Коротко: Наиболее вероятный механизм проблемы подтвержден частично и требует первичной проверки. Что сломано: |
| B2_F003 | False | blocked_clarification | clarification_required | None | None | А кто потом исчез? | Коротко: Наиболее вероятный механизм проблемы подтвержден частично и требует первичной проверки. Что сломано: |
| B2_F004 | False | blocked_clarification | clarification_required | None | None | И кто был только один раз? | Коротко: Наиболее вероятный механизм проблемы подтвержден частично и требует первичной проверки. Что сломано: |
| B2_F005 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Раздели поставщиков на регулярных и эпизодических. | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F006 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Теперь покажи тех, кто давно не использовался. | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F007 | True | ok_or_factual | factual | contract_usage_overview | None | Какие договоры давно не использовались? | Профиль договорной базы собран (catalog + usage aggregate). |
| B2_F008 | True | ok_or_factual | factual | contract_usage_and_value | None | Теперь покажи контрагентов с несколькими договорами. | Собран профиль договоров по обороту/бюджету (bank-doc contract aggregate). |
| B2_F009 | True | ok_or_factual | factual | contract_usage_and_value | None | И у них какие договоры сейчас активны? | Собран профиль договоров по обороту/бюджету (bank-doc contract aggregate). |
| B2_F010 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами в 2020 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F011 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Теперь за 2021. | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F012 | False | blocked_unsupported | partial_coverage | unknown | unsupported | А кто новые в этом году? | Этот запрос не подходит под address_query V1. |
@@ -0,0 +1,152 @@
{
"run_id": "2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_Baseline",
"generated_at": "2026-04-08T12:50:53",
"source_questions_file": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\question_sets\\domain_general_batch2_lifecycle_acceptance_2026-04-08_phaseA.json",
"backend_url": "http://127.0.0.1:8787/api/assistant/message",
"llm_provider": "local",
"llm_model": "qwen2.5-14b-instruct-1m",
"llm_base_url": "http://127.0.0.1:1234",
"strict_policy": "route",
"totals": {
"questions_total": 36,
"ok_200_count": 36,
"semantic_pass_count": 25,
"semantic_pass_rate": 0.6944,
"route_pass_count": 25,
"route_pass_rate": 0.6944,
"strict_pass_count": 25,
"strict_pass_rate": 0.6944,
"factual_count": 26,
"partial_coverage_count": 7,
"clarification_required_count": 3,
"http_error_count": 0,
"llm_decomposition_attempted_count": 36,
"llm_decomposition_applied_count": 23,
"llm_fallback_count": 0,
"llm_fallback_rate": 0.0,
"tool_gate_blocked_count": 0,
"tool_gate_blocked_rate": 0.0,
"avg_elapsed_ms": 7234.1
},
"distributions": {
"reply_type": {
"factual": 26,
"partial_coverage": 7,
"clarification_required": 3
},
"actual_intent": {
"counterparty_activity_lifecycle": 18,
"bank_operations_by_counterparty": 3,
"contract_usage_overview": 3,
"contract_usage_and_value": 4,
"list_documents_by_counterparty": 1,
"unknown": 3,
"counterparty_population_and_roles": 1,
"None": 3
},
"actual_mode": {
"address_query": 33,
"None": 3
},
"mcp_call_status": {
"matched_non_empty": 26,
"materialized_but_not_anchor_matched": 2,
"skipped": 5,
"None": 3
},
"limited_reason_category": {
"empty_match": 2,
"missing_anchor": 2,
"unsupported": 3
},
"route_health": {
"ok_or_factual": 26,
"likely_blocked_route": 2,
"blocked_missing_anchor": 2,
"blocked_unsupported": 3,
"blocked_clarification": 3
},
"tool_gate_decision": {
"run_address_lane": 36
},
"tool_gate_reason": {
"address_mode_classifier_detected": 32,
"llm_canonical_candidate_detected": 4
}
},
"address_llm_predecompose_metrics": {
"overall": {
"llm_attempted": 36,
"llm_applied": 23,
"fallback_used": 0,
"fallback_rate": 0.0,
"tool_gate_blocked": 0,
"gate_block_rate": 0.0
},
"by_intent": {
"counterparty_activity_lifecycle": {
"total": 18,
"llm_attempted": 18,
"llm_applied": 15,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"bank_operations_by_counterparty": {
"total": 3,
"llm_attempted": 3,
"llm_applied": 1,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"contract_usage_overview": {
"total": 3,
"llm_attempted": 3,
"llm_applied": 0,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"contract_usage_and_value": {
"total": 4,
"llm_attempted": 4,
"llm_applied": 4,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"list_documents_by_counterparty": {
"total": 1,
"llm_attempted": 1,
"llm_applied": 1,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"unknown": {
"total": 6,
"llm_attempted": 6,
"llm_applied": 2,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"counterparty_population_and_roles": {
"total": 1,
"llm_attempted": 1,
"llm_applied": 0,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
}
}
}
}
@@ -0,0 +1,33 @@
# 2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_PostFix1
Generated at: 2026-04-08T13:06:15
Questions file: X:\1C\NDC_1C\docs\ADDRESS\question_sets\domain_general_batch2_lifecycle_acceptance_2026-04-08_phaseA.json
Backend URL: http://127.0.0.1:8787/api/assistant/message
LLM: local / qwen2.5-14b-instruct-1m @ http://127.0.0.1:1234
Strict policy: route
## Totals
- questions_total: 36
- ok_200_count: 36
- semantic_pass_count: 34
- semantic_pass_rate: 0.9444
- route_pass_count: 34
- route_pass_rate: 0.9444
- strict_pass_count: 34
- strict_pass_rate: 0.9444
- factual_count: 34
- partial_coverage_count: 0
- clarification_required_count: 2
- http_error_count: 0
- llm_decomposition_attempted_count: 36
- llm_decomposition_applied_count: 24
- llm_fallback_count: 0
- llm_fallback_rate: 0.0
- tool_gate_blocked_count: 0
- tool_gate_blocked_rate: 0.0
- avg_elapsed_ms: 6538
## Files
- run_summary.json
- full_live_results.json
- failures_only.json
@@ -0,0 +1,864 @@
[
{
"index": 14,
"id": "B2_N002",
"question": "выведи всех заков за все время",
"session": null,
"session_id": "asst-2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_PostFix1-b2_n002",
"status_code": 200,
"ok": true,
"elapsed_ms": 15233,
"reply_type": "clarification_required",
"trace_id": "y3KLFxBtTvRHhn",
"assistant_reply": "Коротко: Проблема подтверждается частично; для уверенного вывода нужны уточнения. Что сломано:\n- Есть признаки проблемы, но без уточнений по периоду и объекту вывод ненадежен. Почему это похоже на проблему:\n- Сигнал проблемы есть, но механизм подтвержден не полностью. На чем это основано:\n- Опора частичная: часть требований покрыта не полностью.\n- Отдельно не подтверждено или покрыто частично: R1. Что проверить первым:\n- Уточните период проверки, чтобы подтвердить проблему без лишнего шума.\n- Проверьте связку документов и проводок по проблемному участку в указанном периоде.\n- Уточните период проверки (например, июль 2020). Ограничения:\n- Ни одно требование не получило подтвержденного покрытия.\n- Нет explainable-сигналов why_included в результатах выборки.\n- required anchors claim-bound grounding.\n- evidence.\n- Targeted evidence acquisition claim target path.",
"assistant_reply_first_line": "Коротко: Проблема подтверждается частично; для уверенного вывода нужны уточнения. Что сломано:",
"expected_intent": "counterparty_activity_lifecycle",
"actual_intent": null,
"intent_match": false,
"expected_mode": "address_query",
"actual_mode": null,
"mode_match": false,
"expected_reply_type": null,
"reply_match": true,
"semantic_pass": false,
"route_pass": false,
"route_health": "blocked_clarification",
"strict_policy": "route",
"strict_pass": false,
"selected_recipe": null,
"missing_required_filters": null,
"match_failure_stage": null,
"match_failure_reason": null,
"rows_fetched": null,
"rows_matched": null,
"mcp_call_status": null,
"limited_reason_category": null,
"llm_decomposition_attempted": true,
"llm_decomposition_applied": null,
"llm_decomposition_reason": null,
"llm_canonical_candidate_detected": null,
"fallback_rule_hit": null,
"tool_gate_decision": "run_address_lane",
"tool_gate_reason": "llm_canonical_candidate_detected",
"predecompose_contract_intent": null,
"predecompose_contract_aggregation_profile": null,
"predecompose_contract_period_scope": null,
"debug_payload": {
"trace_id": "y3KLFxBtTvRHhn",
"prompt_version": "address_query_runtime_v1",
"schema_version": "v1",
"fallback_type": "clarification",
"route_summary": null,
"fragments": [],
"requirements_extracted": [
{
"requirement_id": "R1",
"source_fragment_id": null,
"requirement_text": "выведи всех заков за все время",
"subject_tokens": [],
"status": "clarification_needed",
"route": null
}
],
"coverage_report": {
"requirements_total": 1,
"requirements_covered": 0,
"requirements_uncovered": [],
"requirements_partially_covered": [],
"clarification_needed_for": [
"R1"
],
"out_of_scope_requirements": []
},
"routes": [],
"retrieval_status": [],
"retrieval_results": [],
"answer_grounding_check": {
"status": "no_grounded_answer",
"route_subject_match": true,
"missing_requirements": [
"R1"
],
"reasons": [
"Ни одно требование не получило подтвержденного покрытия.",
"Нет explainable-сигналов why_included в результатах выборки.",
"Недостаточно покрытия required anchors для claim-bound grounding.",
"Недостаточно допустимого evidence для обоснованного ответа.",
"Targeted evidence acquisition не дал допустимых попаданий по claim target path."
],
"why_included_summary": [],
"selection_reason_summary": []
},
"dropped_intent_segments": [],
"question_type_class": "unknown",
"company_anchors": {
"contract_numbers": [],
"document_numbers": [],
"dates": [],
"amounts": [],
"accounts": [],
"periods": [],
"document_types": [],
"all": []
},
"business_scope_raw": [],
"business_scope_resolved": [
"company_specific_accounting"
],
"company_grounding_applied": true,
"scope_resolution_reason": [
"settlement_claim_company_scope_recovery"
],
"company_scope_resolution_reason": [
"settlement_claim_company_scope_recovery"
],
"raw_time_anchor": null,
"raw_time_scope": null,
"resolved_time_anchor": null,
"resolved_primary_period": null,
"effective_primary_period": null,
"temporal_guard_input": null,
"temporal_alignment_status": "conflicting",
"temporal_resolution_source": "normalized_time_scope:missing",
"temporal_guard_basis": "none",
"temporal_guard_applied": false,
"temporal_guard_outcome": "passed",
"temporal_guard": {
"raw_time_anchor": null,
"raw_time_scope": null,
"resolved_time_anchor": null,
"resolved_primary_period": null,
"effective_primary_period": null,
"temporal_guard_input": null,
"temporal_alignment_status": "conflicting",
"temporal_resolution_source": "normalized_time_scope:missing",
"temporal_guard_basis": "none",
"temporal_guard_applied": false,
"temporal_guard_outcome": "passed",
"primary_period_window": null,
"allowed_context_window": null,
"controlled_temporal_expansion_enabled": false,
"context_expansion_reasons_allowed": [
"prehistory",
"carryover",
"post_period_closure",
"long_running_contract_context"
],
"normalized_anchor_drift_detected": false,
"reason_codes": [
"missing_resolved_primary_period"
]
},
"raw_numeric_tokens": [],
"classified_numeric_tokens": [],
"rejected_as_non_accounts": [],
"resolved_account_anchors": [],
"domain_polarity_guard": {
"applied": false,
"polarity": "not_applicable",
"outcome": "not_applicable",
"supplier_score": 0,
"customer_score": 0,
"account_scope": [],
"raw_numeric_tokens": [],
"classified_numeric_tokens": [],
"rejected_as_non_accounts": [],
"resolved_account_anchors": [],
"rejected_problem_units": 0,
"rejected_evidence": 0,
"critical_contradiction": false,
"reason_codes": []
},
"claim_anchor_audit": {
"claim_type": "prove_settlement_closure_state",
"settlement_role": "unknown",
"settlement_role_resolution_reason": [
"settlement_role_resolved_unknown"
],
"polarity_resolution_status": "unknown",
"required_anchors": [
"period",
"account_scope",
"counterparty_scope_or_contract",
"closure_signal"
],
"resolved_anchors": {
"period": [],
"account_scope": [],
"amounts": [],
"contract": [],
"document_numbers": [],
"document_types": [],
"counterparty_scope": [],
"advance_signal": [],
"closure_signal": [],
"vat_signal": [],
"chain_signal": [],
"close_signal": [],
"cost_scope": [],
"rbp_signal": [],
"writeoff_signal": [],
"fixed_asset_signal": [],
"amortization_signal": [],
"expected_fa_set": [],
"actual_fa_set": []
},
"missing_anchors": [
"period",
"account_scope",
"counterparty_scope_or_contract",
"closure_signal"
],
"claim_anchor_resolution_rate": 0,
"primary_period": null,
"allowed_context_window": null,
"context_expansion_reasons_allowed": [
"prehistory",
"carryover",
"post_period_closure",
"long_running_contract_context"
],
"reason_codes": [
"claim_missing_required_anchors",
"claim_anchor_resolution_low",
"unresolved_supplier_customer_polarity"
]
},
"settlement_role": "unknown",
"settlement_role_resolution_reason": [
"settlement_role_resolved_unknown"
],
"polarity_resolution_status": "unknown",
"targeted_evidence_acquisition": {
"claim_type": "prove_settlement_closure_state",
"required_checks": [
"payment_document_found",
"contract_matched",
"settlement_object_matched",
"closing_document_found",
"register_closure_entry_found",
"posting_link_found"
],
"check_status": {
"payment_document_found": "not_found",
"contract_matched": "not_found",
"settlement_object_matched": "not_found",
"closing_document_found": "not_found",
"register_closure_entry_found": "not_found",
"posting_link_found": "not_found"
},
"targeted_item_hits": 0,
"targeted_evidence_hits": 0,
"targeted_evidence_hit_rate": 0,
"targeted_evidence_source_refs": [],
"reason_codes": [
"targeted_evidence_not_found",
"targeted_evidence_hit_rate_low"
]
},
"evidence_admissibility_gate": {
"candidate_evidence_total": 0,
"admissible_evidence_count": 0,
"rejected_evidence_count": 0,
"rejected_item_count": 0,
"reject_breakdown": {
"wrong_period": 0,
"wrong_domain": 0,
"wrong_account_scope": 0,
"weak_source_mapping": 0,
"zero_live_match": 0,
"future_dated_or_out_of_window": 0
},
"category_breakdown": {
"hard_evidence": 0,
"supporting_signal": 0,
"inadmissible_noise": 0
},
"reason_codes": [
"no_admissible_evidence_for_grounded_answer"
]
},
"eligibility_time_basis": "none",
"grounded_answer_eligibility_guard": {
"eligible": false,
"temporal_passed": true,
"eligibility_time_basis": "none",
"business_scope_passed": true,
"polarity_passed": true,
"claim_anchors_passed": false,
"claim_anchor_resolution_rate": 0,
"missing_required_anchors": 4,
"admissible_evidence_count": 0,
"critical_contradiction": false,
"outcome": "limited_or_insufficient_evidence",
"grounding_mode": "limited_or_insufficient_evidence",
"reason_codes": [
"claim_anchor_coverage_insufficient",
"admissible_evidence_count_zero",
"targeted_evidence_hit_rate_zero"
]
},
"problem_centric_answer_applied": false,
"problem_units_used_count": 0,
"problem_answer_mode": "stage1_policy_v11",
"address_llm_predecompose_attempted": true,
"address_llm_predecompose_applied": false,
"address_llm_predecompose_reason": "normalized_fragment_rejected_intent_drop",
"address_llm_predecompose_provider": "local",
"address_fallback_rule_hit": null,
"address_tool_gate_decision": "run_address_lane",
"address_tool_gate_reason": "llm_canonical_candidate_detected",
"address_llm_predecompose_contract": {
"schema_version": "address_llm_predecompose_contract_v1",
"source_message": "выведи всех заков за все время",
"canonical_message": "выведи всех заков за все время",
"mode": "unsupported",
"mode_confidence": "low",
"query_shape": "UNKNOWN",
"query_shape_confidence": "low",
"intent": "counterparty_activity_lifecycle",
"intent_confidence": "high",
"entities": {
"account": null,
"counterparty": null,
"contract": null,
"document_type": null,
"document_ref": null,
"organization": null
},
"period": {
"scope": "all_time",
"period_from": null,
"period_to": "2026-04-08",
"as_of_date": null,
"has_explicit_period": true
},
"aggregation_profile": "management_profile"
},
"answer_structure_v11": {
"schema_version": "answer_structure_v1_1",
"answer_summary": "Нужны уточнения: без сужения фокуса надежный вывод невозможен.",
"direct_answer": "Есть признаки проблемы, но без уточнений по периоду и объекту вывод ненадежен.",
"mechanism_block": {
"status": "unresolved",
"mechanism_notes": [],
"limitation_reason_codes": []
},
"evidence_block": {
"evidence_ids": [],
"source_refs": [],
"mechanism_notes": [],
"coverage_note": "coverage_partial_or_limited"
},
"uncertainty_block": {
"open_uncertainties": [
"R1",
"missing_anchor:period",
"missing_anchor:account",
"missing_anchor:document_or_object",
"missing_anchor:counterparty"
],
"limitations": [
"Ни одно требование не получило подтвержденного покрытия.",
"Нет explainable-сигналов why_included в результатах выборки.",
"Недостаточно покрытия required anchors для claim-bound grounding.",
"Недостаточно допустимого evidence для обоснованного ответа.",
"Targeted evidence acquisition не дал допустимых попаданий по claim target path."
]
},
"next_step_block": {
"recommended_actions": [
"Дайте недостающие якоря (период/счет/объект), иначе сильный factual вывод невозможен."
],
"clarification_questions": [
"Уточните период проверки (например, июль 2020).",
"Уточните счет или группу счетов (например, 19, 60, 62).",
"Укажите документ/GUID/конкретный объект для трассировки.",
"Укажите контрагента или группу контрагентов.",
"Закройте уточнения для требований: R1."
]
}
},
"investigation_state_snapshot": {
"schema_version": "investigation_state_v1",
"session_id": "asst-2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_PostFix1-b2_n002",
"status": "active",
"turn_index": 1,
"updated_at": "2026-04-08T10:03:52.888Z",
"question_id": "msg-b1JYcK4ipB",
"question_scope_id": "s:выведи всех заков за все время",
"scope_origin": "underspecified",
"focus": {
"domain": null,
"period": null,
"primary_accounts": [],
"active_query_subject": "выведи всех заков за все время"
},
"narrowing_status": "unknown",
"evidence_refs": [],
"open_uncertainties": [
"clarify:R1"
],
"last_answer_mode": "clarification_required",
"followup_context": {
"previous_question_id": null,
"last_user_message": "выведи всех заков за все время",
"referenced_requirement_ids": [
"R1"
],
"active_domain": null,
"active_requirement_ids": [
"R1"
],
"uncovered_requirement_ids": [
"R1"
],
"last_problem_unit_id": null,
"settlement_next_actions": [],
"evidence_summary": [],
"question_scope_id": "s:выведи всех заков за все время",
"scope_origin": "underspecified"
},
"query_mode_hint": "investigation_candidate"
},
"normalized": null
},
"error_code": null,
"error_message": null
},
{
"index": 16,
"id": "B2_N004",
"question": "кто был активен в 2020 и потом отвалился",
"session": null,
"session_id": "asst-2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_PostFix1-b2_n004",
"status_code": 200,
"ok": true,
"elapsed_ms": 17655,
"reply_type": "clarification_required",
"trace_id": "ysDSi5BxQlzQy7",
"assistant_reply": "Коротко: Наиболее вероятный механизм проблемы подтвержден частично и требует первичной проверки. Что сломано:\n- Есть признаки проблемы, но без уточнений по периоду и объекту вывод ненадежен. Почему это похоже на проблему:\n- Сигнал проблемы есть, но механизм подтвержден не полностью. На чем это основано:\n- Опора частичная: часть требований покрыта не полностью.\n- Отдельно не подтверждено или покрыто частично: R1. Что проверить первым:\n- Проверьте связку документов и проводок по проблемному участку в указанном периоде. Ограничения:\n- Якоря из вопроса без прямого подтверждения: 2020, period:2020.\n- Ни одно требование не получило подтвержденного покрытия.\n- Нет explainable-сигналов why_included в результатах выборки.\n- required anchors claim-bound grounding.\n- evidence.\n- Targeted evidence acquisition claim target path.",
"assistant_reply_first_line": "Коротко: Наиболее вероятный механизм проблемы подтвержден частично и требует первичной проверки. Что сломано:",
"expected_intent": "counterparty_activity_lifecycle",
"actual_intent": null,
"intent_match": false,
"expected_mode": "address_query",
"actual_mode": null,
"mode_match": false,
"expected_reply_type": null,
"reply_match": true,
"semantic_pass": false,
"route_pass": false,
"route_health": "blocked_clarification",
"strict_policy": "route",
"strict_pass": false,
"selected_recipe": null,
"missing_required_filters": null,
"match_failure_stage": null,
"match_failure_reason": null,
"rows_fetched": null,
"rows_matched": null,
"mcp_call_status": null,
"limited_reason_category": null,
"llm_decomposition_attempted": true,
"llm_decomposition_applied": null,
"llm_decomposition_reason": null,
"llm_canonical_candidate_detected": null,
"fallback_rule_hit": null,
"tool_gate_decision": "run_address_lane",
"tool_gate_reason": "llm_canonical_candidate_detected",
"predecompose_contract_intent": null,
"predecompose_contract_aggregation_profile": null,
"predecompose_contract_period_scope": null,
"debug_payload": {
"trace_id": "ysDSi5BxQlzQy7",
"prompt_version": "address_query_runtime_v1",
"schema_version": "v1",
"fallback_type": "clarification",
"route_summary": null,
"fragments": [],
"requirements_extracted": [
{
"requirement_id": "R1",
"source_fragment_id": null,
"requirement_text": "кто был активен в 2020 и потом отвалился",
"subject_tokens": [],
"status": "clarification_needed",
"route": null
}
],
"coverage_report": {
"requirements_total": 1,
"requirements_covered": 0,
"requirements_uncovered": [],
"requirements_partially_covered": [],
"clarification_needed_for": [
"R1"
],
"out_of_scope_requirements": []
},
"routes": [],
"retrieval_status": [],
"retrieval_results": [],
"answer_grounding_check": {
"status": "no_grounded_answer",
"route_subject_match": true,
"missing_requirements": [
"R1"
],
"reasons": [
"Ни одно требование не получило подтвержденного покрытия.",
"Нет explainable-сигналов why_included в результатах выборки.",
"Недостаточно покрытия required anchors для claim-bound grounding.",
"Недостаточно допустимого evidence для обоснованного ответа.",
"Targeted evidence acquisition не дал допустимых попаданий по claim target path."
],
"why_included_summary": [],
"selection_reason_summary": []
},
"dropped_intent_segments": [],
"question_type_class": "why_breaks",
"company_anchors": {
"contract_numbers": [],
"document_numbers": [],
"dates": [],
"amounts": [],
"accounts": [],
"periods": [
"2020"
],
"document_types": [],
"all": [
"period:2020"
]
},
"business_scope_raw": [],
"business_scope_resolved": [
"company_specific_accounting"
],
"company_grounding_applied": true,
"scope_resolution_reason": [
"settlement_claim_company_scope_recovery"
],
"company_scope_resolution_reason": [
"settlement_claim_company_scope_recovery"
],
"raw_time_anchor": null,
"raw_time_scope": null,
"resolved_time_anchor": null,
"resolved_primary_period": null,
"effective_primary_period": null,
"temporal_guard_input": null,
"temporal_alignment_status": "conflicting",
"temporal_resolution_source": "normalized_time_scope:missing",
"temporal_guard_basis": "none",
"temporal_guard_applied": false,
"temporal_guard_outcome": "passed",
"temporal_guard": {
"raw_time_anchor": null,
"raw_time_scope": null,
"resolved_time_anchor": null,
"resolved_primary_period": null,
"effective_primary_period": null,
"temporal_guard_input": null,
"temporal_alignment_status": "conflicting",
"temporal_resolution_source": "normalized_time_scope:missing",
"temporal_guard_basis": "none",
"temporal_guard_applied": false,
"temporal_guard_outcome": "passed",
"primary_period_window": null,
"allowed_context_window": null,
"controlled_temporal_expansion_enabled": false,
"context_expansion_reasons_allowed": [
"prehistory",
"carryover",
"post_period_closure",
"long_running_contract_context"
],
"normalized_anchor_drift_detected": false,
"reason_codes": [
"missing_resolved_primary_period"
]
},
"raw_numeric_tokens": [
"2020"
],
"classified_numeric_tokens": [],
"rejected_as_non_accounts": [],
"resolved_account_anchors": [],
"domain_polarity_guard": {
"applied": false,
"polarity": "not_applicable",
"outcome": "not_applicable",
"supplier_score": 0,
"customer_score": 0,
"account_scope": [],
"raw_numeric_tokens": [
"2020"
],
"classified_numeric_tokens": [],
"rejected_as_non_accounts": [],
"resolved_account_anchors": [],
"rejected_problem_units": 0,
"rejected_evidence": 0,
"critical_contradiction": false,
"reason_codes": []
},
"claim_anchor_audit": {
"claim_type": "prove_settlement_closure_state",
"settlement_role": "unknown",
"settlement_role_resolution_reason": [
"settlement_role_resolved_unknown"
],
"polarity_resolution_status": "unknown",
"required_anchors": [
"period",
"account_scope",
"counterparty_scope_or_contract",
"closure_signal"
],
"resolved_anchors": {
"period": [
"2020"
],
"account_scope": [],
"amounts": [],
"contract": [],
"document_numbers": [],
"document_types": [],
"counterparty_scope": [],
"advance_signal": [],
"closure_signal": [],
"vat_signal": [],
"chain_signal": [],
"close_signal": [],
"cost_scope": [],
"rbp_signal": [],
"writeoff_signal": [],
"fixed_asset_signal": [],
"amortization_signal": [],
"expected_fa_set": [],
"actual_fa_set": []
},
"missing_anchors": [
"account_scope",
"counterparty_scope_or_contract",
"closure_signal"
],
"claim_anchor_resolution_rate": 0.25,
"primary_period": null,
"allowed_context_window": null,
"context_expansion_reasons_allowed": [
"prehistory",
"carryover",
"post_period_closure",
"long_running_contract_context"
],
"reason_codes": [
"claim_missing_required_anchors",
"claim_anchor_resolution_low",
"unresolved_supplier_customer_polarity"
]
},
"settlement_role": "unknown",
"settlement_role_resolution_reason": [
"settlement_role_resolved_unknown"
],
"polarity_resolution_status": "unknown",
"targeted_evidence_acquisition": {
"claim_type": "prove_settlement_closure_state",
"required_checks": [
"payment_document_found",
"contract_matched",
"settlement_object_matched",
"closing_document_found",
"register_closure_entry_found",
"posting_link_found"
],
"check_status": {
"payment_document_found": "not_found",
"contract_matched": "not_found",
"settlement_object_matched": "not_found",
"closing_document_found": "not_found",
"register_closure_entry_found": "not_found",
"posting_link_found": "not_found"
},
"targeted_item_hits": 0,
"targeted_evidence_hits": 0,
"targeted_evidence_hit_rate": 0,
"targeted_evidence_source_refs": [],
"reason_codes": [
"targeted_evidence_not_found",
"targeted_evidence_hit_rate_low"
]
},
"evidence_admissibility_gate": {
"candidate_evidence_total": 0,
"admissible_evidence_count": 0,
"rejected_evidence_count": 0,
"rejected_item_count": 0,
"reject_breakdown": {
"wrong_period": 0,
"wrong_domain": 0,
"wrong_account_scope": 0,
"weak_source_mapping": 0,
"zero_live_match": 0,
"future_dated_or_out_of_window": 0
},
"category_breakdown": {
"hard_evidence": 0,
"supporting_signal": 0,
"inadmissible_noise": 0
},
"reason_codes": [
"no_admissible_evidence_for_grounded_answer"
]
},
"eligibility_time_basis": "none",
"grounded_answer_eligibility_guard": {
"eligible": false,
"temporal_passed": true,
"eligibility_time_basis": "none",
"business_scope_passed": true,
"polarity_passed": true,
"claim_anchors_passed": false,
"claim_anchor_resolution_rate": 0.25,
"missing_required_anchors": 3,
"admissible_evidence_count": 0,
"critical_contradiction": false,
"outcome": "limited_or_insufficient_evidence",
"grounding_mode": "limited_or_insufficient_evidence",
"reason_codes": [
"claim_anchor_coverage_insufficient",
"admissible_evidence_count_zero",
"targeted_evidence_hit_rate_zero"
]
},
"problem_centric_answer_applied": false,
"problem_units_used_count": 0,
"problem_answer_mode": "stage1_policy_v11",
"address_llm_predecompose_attempted": true,
"address_llm_predecompose_applied": false,
"address_llm_predecompose_reason": "normalized_fragment_rejected_intent_conflict",
"address_llm_predecompose_provider": "local",
"address_fallback_rule_hit": null,
"address_tool_gate_decision": "run_address_lane",
"address_tool_gate_reason": "llm_canonical_candidate_detected",
"address_llm_predecompose_contract": {
"schema_version": "address_llm_predecompose_contract_v1",
"source_message": "кто был активен в 2020 и потом отвалился",
"canonical_message": "кто был активен в 2020 и потом отвалился",
"mode": "unsupported",
"mode_confidence": "low",
"query_shape": "COMPOUND_FACTUAL_QUERY",
"query_shape_confidence": "medium",
"intent": "counterparty_activity_lifecycle",
"intent_confidence": "high",
"entities": {
"account": null,
"counterparty": null,
"contract": null,
"document_type": null,
"document_ref": null,
"organization": null
},
"period": {
"scope": "year",
"period_from": "2020-01-01",
"period_to": "2020-12-31",
"as_of_date": null,
"has_explicit_period": true
},
"aggregation_profile": "management_profile"
},
"answer_structure_v11": {
"schema_version": "answer_structure_v1_1",
"answer_summary": "Нужны уточнения: без сужения фокуса надежный вывод невозможен.",
"direct_answer": "Есть признаки проблемы, но без уточнений по периоду и объекту вывод ненадежен.",
"mechanism_block": {
"status": "unresolved",
"mechanism_notes": [],
"limitation_reason_codes": []
},
"evidence_block": {
"evidence_ids": [],
"source_refs": [],
"mechanism_notes": [],
"coverage_note": "coverage_partial_or_limited"
},
"uncertainty_block": {
"open_uncertainties": [
"R1",
"missing_anchor:account",
"missing_anchor:document_or_object",
"missing_anchor:counterparty"
],
"limitations": [
"Ни одно требование не получило подтвержденного покрытия.",
"Нет explainable-сигналов why_included в результатах выборки.",
"Недостаточно покрытия required anchors для claim-bound grounding.",
"Недостаточно допустимого evidence для обоснованного ответа.",
"Targeted evidence acquisition не дал допустимых попаданий по claim target path.",
"Часть якорей запроса пока не подтверждена в опоре: 2020, period:2020."
]
},
"next_step_block": {
"recommended_actions": [
"Дайте недостающие якоря (период/счет/объект), иначе сильный factual вывод невозможен."
],
"clarification_questions": [
"Уточните счет или группу счетов (например, 19, 60, 62).",
"Укажите документ/GUID/конкретный объект для трассировки.",
"Укажите контрагента или группу контрагентов.",
"Закройте уточнения для требований: R1."
]
}
},
"investigation_state_snapshot": {
"schema_version": "investigation_state_v1",
"session_id": "asst-2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_PostFix1-b2_n004",
"status": "active",
"turn_index": 1,
"updated_at": "2026-04-08T10:04:16.662Z",
"question_id": "msg-S5jM_9Rutv",
"question_scope_id": "p:2020|s:кто был активен в 2020 и потом отвалился",
"scope_origin": "explicit_from_message",
"focus": {
"domain": null,
"period": "2020",
"primary_accounts": [],
"active_query_subject": "кто был активен в 2020 и потом отвалился"
},
"narrowing_status": "unknown",
"evidence_refs": [],
"open_uncertainties": [
"clarify:R1"
],
"last_answer_mode": "clarification_required",
"followup_context": {
"previous_question_id": null,
"last_user_message": "кто был активен в 2020 и потом отвалился",
"referenced_requirement_ids": [
"R1"
],
"active_domain": null,
"active_requirement_ids": [
"R1"
],
"uncovered_requirement_ids": [
"R1"
],
"last_problem_unit_id": null,
"settlement_next_actions": [],
"evidence_summary": [],
"question_scope_id": "p:2020|s:кто был активен в 2020 и потом отвалился",
"scope_origin": "explicit_from_message"
},
"query_mode_hint": "investigation_candidate"
},
"normalized": null
},
"error_code": null,
"error_message": null
}
]
File diff suppressed because one or more lines are too long
@@ -0,0 +1,40 @@
# Response Audit: 2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_PostFix1
| id | strict | route_health | reply_type | intent | limited_reason | question | assistant_first_line |
|---|---|---|---|---|---|---|---|
| B2_C001 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами в 2020 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C002 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами за все время? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C003 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики появились у нас впервые в 2020 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C004 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики были активны в 2020 году, но дальше перестали встречаться? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C005 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие контрагенты работали с нами только один раз за все время? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C006 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие контрагенты работают с нами дольше всего по периоду активности? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C007 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Раздели поставщиков на регулярных и эпизодических по частоте операций. | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C008 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие поставщики давно не использовались в операционной активности? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C009 | True | ok_or_factual | factual | contract_usage_overview | None | Какие договоры давно не использовались (stale contracts)? | Профиль договорной базы собран (catalog + usage aggregate). |
| B2_C010 | True | ok_or_factual | factual | contract_usage_and_value | None | Покажи контрагентов с несколькими договорами и укажи, какие договоры у них активны. | Собран профиль договоров по обороту/бюджету (bank-doc contract aggregate). |
| B2_C011 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами в 2021 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C012 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики впервые появились у нас в 2021 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N001 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | какие клиенты были активны в 20м | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N002 | False | blocked_clarification | clarification_required | None | None | выведи всех заков за все время | Коротко: Проблема подтверждается частично; для уверенного вывода нужны уточнения. Что сломано: |
| B2_N003 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | кто к нам пришел впервые в 2020 | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N004 | False | blocked_clarification | clarification_required | None | None | кто был активен в 2020 и потом отвалился | Коротко: Наиболее вероятный механизм проблемы подтвержден частично и требует первичной проверки. Что сломано: |
| B2_N005 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | кто с нами был ровно один раз и пропал | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N006 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | самые старые по сотрудничеству кто | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N007 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | разбей поставщиков на регуляр и разовые | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N008 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | какие поставщики давно мертвые | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N009 | True | ok_or_factual | factual | contract_usage_overview | None | какие договоры уже протухли и не двигаются | Профиль договорной базы собран (catalog + usage aggregate). |
| B2_N010 | True | ok_or_factual | factual | contract_usage_and_value | None | у кого несколько договоров и какие из них рабочие | Собран профиль договоров по обороту/бюджету (bank-doc contract aggregate). |
| B2_N011 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | новые клиенты за 21й год | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N012 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | клиенты которые исчезли после 21 года | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F001 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами в 2020 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F002 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | А кто из них новые? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F003 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | А кто потом исчез? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F004 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | И кто был только один раз? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F005 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Раздели поставщиков на регулярных и эпизодических. | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F006 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Теперь покажи тех, кто давно не использовался. | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F007 | True | ok_or_factual | factual | contract_usage_overview | None | Какие договоры давно не использовались? | Профиль договорной базы собран (catalog + usage aggregate). |
| B2_F008 | True | ok_or_factual | factual | contract_usage_and_value | None | Теперь покажи контрагентов с несколькими договорами. | Собран профиль договоров по обороту/бюджету (bank-doc contract aggregate). |
| B2_F009 | True | ok_or_factual | factual | contract_usage_and_value | None | И у них какие договоры сейчас активны? | Собран профиль договоров по обороту/бюджету (bank-doc contract aggregate). |
| B2_F010 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами в 2020 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F011 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Теперь за 2021. | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F012 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | А кто новые в этом году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
@@ -0,0 +1,111 @@
{
"run_id": "2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_PostFix1",
"generated_at": "2026-04-08T13:06:15",
"source_questions_file": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\question_sets\\domain_general_batch2_lifecycle_acceptance_2026-04-08_phaseA.json",
"backend_url": "http://127.0.0.1:8787/api/assistant/message",
"llm_provider": "local",
"llm_model": "qwen2.5-14b-instruct-1m",
"llm_base_url": "http://127.0.0.1:1234",
"strict_policy": "route",
"totals": {
"questions_total": 36,
"ok_200_count": 36,
"semantic_pass_count": 34,
"semantic_pass_rate": 0.9444,
"route_pass_count": 34,
"route_pass_rate": 0.9444,
"strict_pass_count": 34,
"strict_pass_rate": 0.9444,
"factual_count": 34,
"partial_coverage_count": 0,
"clarification_required_count": 2,
"http_error_count": 0,
"llm_decomposition_attempted_count": 36,
"llm_decomposition_applied_count": 24,
"llm_fallback_count": 0,
"llm_fallback_rate": 0.0,
"tool_gate_blocked_count": 0,
"tool_gate_blocked_rate": 0.0,
"avg_elapsed_ms": 6538
},
"distributions": {
"reply_type": {
"factual": 34,
"clarification_required": 2
},
"actual_intent": {
"counterparty_activity_lifecycle": 27,
"contract_usage_overview": 3,
"contract_usage_and_value": 4,
"None": 2
},
"actual_mode": {
"address_query": 34,
"None": 2
},
"mcp_call_status": {
"matched_non_empty": 34,
"None": 2
},
"limited_reason_category": {},
"route_health": {
"ok_or_factual": 34,
"blocked_clarification": 2
},
"tool_gate_decision": {
"run_address_lane": 36
},
"tool_gate_reason": {
"address_mode_classifier_detected": 29,
"llm_canonical_candidate_detected": 7
}
},
"address_llm_predecompose_metrics": {
"overall": {
"llm_attempted": 36,
"llm_applied": 24,
"fallback_used": 0,
"fallback_rate": 0.0,
"tool_gate_blocked": 0,
"gate_block_rate": 0.0
},
"by_intent": {
"counterparty_activity_lifecycle": {
"total": 27,
"llm_attempted": 27,
"llm_applied": 20,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"contract_usage_overview": {
"total": 3,
"llm_attempted": 3,
"llm_applied": 0,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"contract_usage_and_value": {
"total": 4,
"llm_attempted": 4,
"llm_applied": 4,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"unknown": {
"total": 2,
"llm_attempted": 2,
"llm_applied": 0,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
}
}
}
}
@@ -0,0 +1,33 @@
# 2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_PostFix2
Generated at: 2026-04-08T13:18:24
Questions file: X:\1C\NDC_1C\docs\ADDRESS\question_sets\domain_general_batch2_lifecycle_acceptance_2026-04-08_phaseA.json
Backend URL: http://127.0.0.1:8787/api/assistant/message
LLM: local / qwen2.5-14b-instruct-1m @ http://127.0.0.1:1234
Strict policy: route
## Totals
- questions_total: 36
- ok_200_count: 36
- semantic_pass_count: 36
- semantic_pass_rate: 1.0
- route_pass_count: 36
- route_pass_rate: 1.0
- strict_pass_count: 36
- strict_pass_rate: 1.0
- factual_count: 36
- partial_coverage_count: 0
- clarification_required_count: 0
- http_error_count: 0
- llm_decomposition_attempted_count: 36
- llm_decomposition_applied_count: 24
- llm_fallback_count: 0
- llm_fallback_rate: 0.0
- tool_gate_blocked_count: 0
- tool_gate_blocked_rate: 0.0
- avg_elapsed_ms: 5924.0
## Files
- run_summary.json
- full_live_results.json
- failures_only.json
File diff suppressed because one or more lines are too long
@@ -0,0 +1,40 @@
# Response Audit: 2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_PostFix2
| id | strict | route_health | reply_type | intent | limited_reason | question | assistant_first_line |
|---|---|---|---|---|---|---|---|
| B2_C001 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами в 2020 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C002 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами за все время? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C003 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики появились у нас впервые в 2020 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C004 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики были активны в 2020 году, но дальше перестали встречаться? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C005 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие контрагенты работали с нами только один раз за все время? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C006 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие контрагенты работают с нами дольше всего по периоду активности? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C007 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Раздели поставщиков на регулярных и эпизодических по частоте операций. | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C008 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие поставщики давно не использовались в операционной активности? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C009 | True | ok_or_factual | factual | contract_usage_overview | None | Какие договоры давно не использовались (stale contracts)? | Профиль договорной базы собран (catalog + usage aggregate). |
| B2_C010 | True | ok_or_factual | factual | contract_usage_and_value | None | Покажи контрагентов с несколькими договорами и укажи, какие договоры у них активны. | Собран профиль договоров по обороту/бюджету (bank-doc contract aggregate). |
| B2_C011 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами в 2021 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_C012 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики впервые появились у нас в 2021 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N001 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | какие клиенты были активны в 20м | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N002 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | выведи всех заков за все время | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N003 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | кто к нам пришел впервые в 2020 | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N004 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | кто был активен в 2020 и потом отвалился | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N005 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | кто с нами был ровно один раз и пропал | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N006 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | самые старые по сотрудничеству кто | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N007 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | разбей поставщиков на регуляр и разовые | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N008 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | какие поставщики давно мертвые | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N009 | True | ok_or_factual | factual | contract_usage_overview | None | какие договоры уже протухли и не двигаются | Профиль договорной базы собран (catalog + usage aggregate). |
| B2_N010 | True | ok_or_factual | factual | contract_usage_and_value | None | у кого несколько договоров и какие из них рабочие | Собран профиль договоров по обороту/бюджету (bank-doc contract aggregate). |
| B2_N011 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | новые клиенты за 21й год | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_N012 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | клиенты которые исчезли после 21 года | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F001 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами в 2020 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F002 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | А кто из них новые? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F003 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | А кто потом исчез? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F004 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | И кто был только один раз? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F005 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Раздели поставщиков на регулярных и эпизодических. | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F006 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Теперь покажи тех, кто давно не использовался. | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F007 | True | ok_or_factual | factual | contract_usage_overview | None | Какие договоры давно не использовались? | Профиль договорной базы собран (catalog + usage aggregate). |
| B2_F008 | True | ok_or_factual | factual | contract_usage_and_value | None | Теперь покажи контрагентов с несколькими договорами. | Собран профиль договоров по обороту/бюджету (bank-doc contract aggregate). |
| B2_F009 | True | ok_or_factual | factual | contract_usage_and_value | None | И у них какие договоры сейчас активны? | Собран профиль договоров по обороту/бюджету (bank-doc contract aggregate). |
| B2_F010 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Какие заказчики работали с нами в 2020 году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F011 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | Теперь за 2021. | Собран профиль активности заказчиков (bank-doc activity aggregate). |
| B2_F012 | True | ok_or_factual | factual | counterparty_activity_lifecycle | None | А кто новые в этом году? | Собран профиль активности заказчиков (bank-doc activity aggregate). |
@@ -0,0 +1,97 @@
{
"run_id": "2026-04-08_Address_Batch2_Lifecycle_FullGate_PhaseC_PostFix2",
"generated_at": "2026-04-08T13:18:24",
"source_questions_file": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\question_sets\\domain_general_batch2_lifecycle_acceptance_2026-04-08_phaseA.json",
"backend_url": "http://127.0.0.1:8787/api/assistant/message",
"llm_provider": "local",
"llm_model": "qwen2.5-14b-instruct-1m",
"llm_base_url": "http://127.0.0.1:1234",
"strict_policy": "route",
"totals": {
"questions_total": 36,
"ok_200_count": 36,
"semantic_pass_count": 36,
"semantic_pass_rate": 1.0,
"route_pass_count": 36,
"route_pass_rate": 1.0,
"strict_pass_count": 36,
"strict_pass_rate": 1.0,
"factual_count": 36,
"partial_coverage_count": 0,
"clarification_required_count": 0,
"http_error_count": 0,
"llm_decomposition_attempted_count": 36,
"llm_decomposition_applied_count": 24,
"llm_fallback_count": 0,
"llm_fallback_rate": 0.0,
"tool_gate_blocked_count": 0,
"tool_gate_blocked_rate": 0.0,
"avg_elapsed_ms": 5924.0
},
"distributions": {
"reply_type": {
"factual": 36
},
"actual_intent": {
"counterparty_activity_lifecycle": 29,
"contract_usage_overview": 3,
"contract_usage_and_value": 4
},
"actual_mode": {
"address_query": 36
},
"mcp_call_status": {
"matched_non_empty": 36
},
"limited_reason_category": {},
"route_health": {
"ok_or_factual": 36
},
"tool_gate_decision": {
"run_address_lane": 36
},
"tool_gate_reason": {
"address_mode_classifier_detected": 29,
"llm_canonical_candidate_detected": 7
}
},
"address_llm_predecompose_metrics": {
"overall": {
"llm_attempted": 36,
"llm_applied": 24,
"fallback_used": 0,
"fallback_rate": 0.0,
"tool_gate_blocked": 0,
"gate_block_rate": 0.0
},
"by_intent": {
"counterparty_activity_lifecycle": {
"total": 29,
"llm_attempted": 29,
"llm_applied": 20,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"contract_usage_overview": {
"total": 3,
"llm_attempted": 3,
"llm_applied": 0,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"contract_usage_and_value": {
"total": 4,
"llm_attempted": 4,
"llm_applied": 4,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
}
}
}
}
@@ -0,0 +1,33 @@
# 2026-04-08_Address_Nightly_followup_25_13-29-46
Generated at: 2026-04-08T13:32:20
Questions file: X:\1C\NDC_1C\docs\ADDRESS\question_sets\address_followup_context_chains_2026-04-02.json
Backend URL: http://127.0.0.1:8787/api/assistant/message
LLM: local / qwen2.5-14b-instruct-1m @ http://127.0.0.1:1234
Strict policy: route
## Totals
- questions_total: 25
- ok_200_count: 25
- semantic_pass_count: 25
- semantic_pass_rate: 1.0
- route_pass_count: 25
- route_pass_rate: 1.0
- strict_pass_count: 25
- strict_pass_rate: 1.0
- factual_count: 23
- partial_coverage_count: 2
- clarification_required_count: 0
- http_error_count: 0
- llm_decomposition_attempted_count: 25
- llm_decomposition_applied_count: 21
- llm_fallback_count: 0
- llm_fallback_rate: 0.0
- tool_gate_blocked_count: 0
- tool_gate_blocked_rate: 0.0
- avg_elapsed_ms: 6133.8
## Files
- run_summary.json
- full_live_results.json
- failures_only.json
@@ -0,0 +1,29 @@
# Response Audit: 2026-04-08_Address_Nightly_followup_25_13-29-46
| id | strict | route_health | reply_type | intent | limited_reason | question | assistant_first_line |
|---|---|---|---|---|---|---|---|
| F001 | True | ok_or_factual | factual | list_documents_by_counterparty | None | Покажи документы по СВК за 2020 | Собран список документов по контрагенту (live address lane). |
| F002 | True | ok_or_factual | factual | list_documents_by_counterparty | None | а теперь только за май 2020 | По окну 2020-05-01..2020-05-31 строк не найдено; показаны ближайшие доступные данные 2020-07-27..2021-11-10. |
| F003 | True | ok_or_factual | factual | account_balance_snapshot | None | а по счету 60.01 на ту же дату | Адресный срез по счету собран (по движениям live MCP). |
| F004 | True | ok_or_factual | factual | account_balance_snapshot | None | а на ту же дату по 62.01 | Адресный срез по счету собран (по движениям live MCP). |
| F005 | True | ok_or_factual | factual | documents_forming_balance | None | раскрой остаток по 62.01 документами на ту же дату | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| F006 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | Покажи банковские операции по СВК за 2020 | Собран список банковских операций по контрагенту (live address lane). |
| F007 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | а теперь только ноябрь 2020 | Собран список банковских операций по контрагенту (live address lane). |
| F008 | True | ok_or_factual | factual | list_documents_by_counterparty | None | а теперь документы по нему | Собран список документов по контрагенту (live address lane). |
| F009 | True | ok_or_factual | factual | account_balance_snapshot | None | и остаток по 51 на ту же дату | Адресный срез по счету собран (по движениям live MCP). |
| F010 | True | ok_or_factual | factual | account_balance_snapshot | None | а теперь только май 2020 | Адресный срез по счету собран (по движениям live MCP). |
| F011 | True | partial_non_blocking | partial_coverage | account_balance_snapshot | empty_match | Покажи сальдо по счету 60 на 2020-12-31 | В live-данных по текущему фильтру записи не найдены. |
| F012 | True | ok_or_factual | factual | account_balance_snapshot | None | а теперь только май 2020 | Адресный срез по счету собран (по движениям live MCP). |
| F013 | True | ok_or_factual | factual | account_balance_snapshot | None | а на ту же дату по 62 | Адресный срез по счету собран (по движениям live MCP). |
| F014 | True | ok_or_factual | factual | documents_forming_balance | None | раскрой 62 документами на ту же дату | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| F015 | True | partial_non_blocking | partial_coverage | account_balance_snapshot | empty_match | вернись на 2020-12-31 по 60 | В live-данных по текущему фильтру записи не найдены. |
| F016 | True | ok_or_factual | factual | list_documents_by_contract | None | Покажи документы по договору 19/15 за 2020 | Период сохранен. Глубина live-выборки автоматически расширена до 1000 строк. |
| F017 | True | ok_or_factual | factual | bank_operations_by_contract | None | а теперь банковские операции | Период сохранен. Глубина live-выборки автоматически расширена до 1000 строк. |
| F018 | True | ok_or_factual | factual | bank_operations_by_contract | None | а теперь только за 2020 | Период сохранен. Глубина live-выборки автоматически расширена до 1000 строк. |
| F019 | True | ok_or_factual | factual | open_items_by_counterparty_or_contract | None | есть ли открытые позиции по договору 19/15 на 2020-12-31 | Собраны открытые позиции по указанному фильтру (контрагент/договор). |
| F020 | True | ok_or_factual | factual | list_documents_by_contract | None | покажи документы по этому же договору | Собран список документов по договору (live address lane). |
| F021 | True | ok_or_factual | factual | bank_operations_by_contract | None | Покажи банковские операции по договору 19/15 | Собран список банковских операций по договору (live address lane). |
| F022 | True | ok_or_factual | factual | open_items_by_counterparty_or_contract | None | а теперь открытые позиции по нему | Период сохранен. Глубина live-выборки автоматически расширена до 1000 строк. |
| F023 | True | ok_or_factual | factual | open_items_by_counterparty_or_contract | None | а теперь на 2020-12-31 | Собраны открытые позиции по указанному фильтру (контрагент/договор). |
| F024 | True | ok_or_factual | factual | account_balance_snapshot | None | а по счету 51 на ту же дату | Адресный срез по счету собран (по движениям live MCP). |
| F025 | True | ok_or_factual | factual | list_documents_by_contract | None | а документы по этому же договору за тот же период | Собран список документов по договору (live address lane). |
@@ -0,0 +1,142 @@
{
"run_id": "2026-04-08_Address_Nightly_followup_25_13-29-46",
"generated_at": "2026-04-08T13:32:20",
"source_questions_file": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\question_sets\\address_followup_context_chains_2026-04-02.json",
"backend_url": "http://127.0.0.1:8787/api/assistant/message",
"llm_provider": "local",
"llm_model": "qwen2.5-14b-instruct-1m",
"llm_base_url": "http://127.0.0.1:1234",
"strict_policy": "route",
"totals": {
"questions_total": 25,
"ok_200_count": 25,
"semantic_pass_count": 25,
"semantic_pass_rate": 1.0,
"route_pass_count": 25,
"route_pass_rate": 1.0,
"strict_pass_count": 25,
"strict_pass_rate": 1.0,
"factual_count": 23,
"partial_coverage_count": 2,
"clarification_required_count": 0,
"http_error_count": 0,
"llm_decomposition_attempted_count": 25,
"llm_decomposition_applied_count": 21,
"llm_fallback_count": 0,
"llm_fallback_rate": 0.0,
"tool_gate_blocked_count": 0,
"tool_gate_blocked_rate": 0.0,
"avg_elapsed_ms": 6133.8
},
"distributions": {
"reply_type": {
"factual": 23,
"partial_coverage": 2
},
"actual_intent": {
"list_documents_by_counterparty": 3,
"account_balance_snapshot": 9,
"documents_forming_balance": 2,
"bank_operations_by_counterparty": 2,
"list_documents_by_contract": 3,
"bank_operations_by_contract": 3,
"open_items_by_counterparty_or_contract": 3
},
"actual_mode": {
"address_query": 25
},
"mcp_call_status": {
"matched_non_empty": 23,
"no_raw_rows": 2
},
"limited_reason_category": {
"empty_match": 2
},
"route_health": {
"ok_or_factual": 23,
"partial_non_blocking": 2
},
"tool_gate_decision": {
"run_address_lane": 25
},
"tool_gate_reason": {
"address_mode_classifier_detected": 16,
"llm_canonical_candidate_detected": 9
}
},
"address_llm_predecompose_metrics": {
"overall": {
"llm_attempted": 25,
"llm_applied": 21,
"fallback_used": 0,
"fallback_rate": 0.0,
"tool_gate_blocked": 0,
"gate_block_rate": 0.0
},
"by_intent": {
"list_documents_by_counterparty": {
"total": 3,
"llm_attempted": 3,
"llm_applied": 3,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"account_balance_snapshot": {
"total": 9,
"llm_attempted": 9,
"llm_applied": 7,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"documents_forming_balance": {
"total": 2,
"llm_attempted": 2,
"llm_applied": 2,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"bank_operations_by_counterparty": {
"total": 2,
"llm_attempted": 2,
"llm_applied": 1,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"list_documents_by_contract": {
"total": 3,
"llm_attempted": 3,
"llm_applied": 3,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"bank_operations_by_contract": {
"total": 3,
"llm_attempted": 3,
"llm_applied": 2,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"open_items_by_counterparty_or_contract": {
"total": 3,
"llm_attempted": 3,
"llm_applied": 3,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
}
}
}
}
@@ -0,0 +1,67 @@
{
"generated_at": "2026-04-08T13:32:20",
"overall_pass": true,
"baseline": {
"summary_path": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-02_Address_Followup_Context_Chains_2026-04-02_19-15-Run5\\run_summary.json",
"run_id": "2026-04-02_Address_Followup_Context_Chains_2026-04-02_19-15-Run5",
"questions_total": 25,
"strict_pass_rate": 1.0,
"route_pass_rate": 1.0,
"execution_error_count": 0,
"false_factual_rate": 0.0,
"notes": [
"execution_error_count derived as http_error_count + limited_reason_category.execution_error",
"false_factual_rate derived from false_factual_count/questions_total"
]
},
"candidate": {
"summary_path": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24\\2026-04-08_Address_Nightly_followup_25_13-29-46\\run_summary.json",
"run_id": "2026-04-08_Address_Nightly_followup_25_13-29-46",
"questions_total": 25,
"strict_pass_rate": 1.0,
"route_pass_rate": 1.0,
"execution_error_count": 0,
"false_factual_rate": 0.0,
"notes": [
"execution_error_count derived as http_error_count + limited_reason_category.execution_error",
"false_factual_rate derived from false_factual_count/questions_total"
]
},
"checks": [
{
"metric": "strict_pass_rate",
"passed": true,
"baseline": 1.0,
"candidate": 1.0,
"rule": "candidate >= baseline"
},
{
"metric": "route_pass_rate",
"passed": true,
"baseline": 1.0,
"candidate": 1.0,
"rule": "candidate >= baseline"
},
{
"metric": "execution_error_count",
"passed": true,
"baseline": 0,
"candidate": 0,
"rule": "candidate <= baseline"
},
{
"metric": "false_factual_rate",
"passed": true,
"baseline": 0.0,
"candidate": 0.0,
"rule": "candidate <= baseline"
},
{
"metric": "questions_total_match",
"passed": true,
"baseline": 25,
"candidate": 25,
"rule": "candidate == baseline"
}
]
}
@@ -0,0 +1,23 @@
{
"generated_at": "2026-04-08T13:32:20",
"total": 1,
"passed": 1,
"failed": 0,
"results": [
{
"run_dir": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24\\2026-04-08_Address_Nightly_followup_25_13-29-46",
"valid": true,
"errors": [],
"warnings": [],
"metrics": {
"run_id": "2026-04-08_Address_Nightly_followup_25_13-29-46",
"questions_total": 25,
"route_pass_rate": 1.0,
"strict_pass_rate": 1.0,
"http_error_count": 0,
"rows_count": 25,
"failures_count": 0
}
}
]
}
@@ -0,0 +1,33 @@
# 2026-04-08_Address_Nightly_stress_102_13-19-24
Generated at: 2026-04-08T13:29:46
Questions file: X:\1C\NDC_1C\docs\ADDRESS\question_sets\address_slang_stress_full_2026-04-02.json
Backend URL: http://127.0.0.1:8787/api/assistant/message
LLM: local / qwen2.5-14b-instruct-1m @ http://127.0.0.1:1234
Strict policy: route
## Totals
- questions_total: 102
- ok_200_count: 102
- semantic_pass_count: 102
- semantic_pass_rate: 1.0
- route_pass_count: 102
- route_pass_rate: 1.0
- strict_pass_count: 102
- strict_pass_rate: 1.0
- factual_count: 97
- partial_coverage_count: 5
- clarification_required_count: 0
- http_error_count: 0
- llm_decomposition_attempted_count: 102
- llm_decomposition_applied_count: 74
- llm_fallback_count: 0
- llm_fallback_rate: 0.0
- tool_gate_blocked_count: 0
- tool_gate_blocked_rate: 0.0
- avg_elapsed_ms: 6099.6
## Files
- run_summary.json
- full_live_results.json
- failures_only.json
@@ -0,0 +1,106 @@
# Response Audit: 2026-04-08_Address_Nightly_stress_102_13-19-24
| id | strict | route_health | reply_type | intent | limited_reason | question | assistant_first_line |
|---|---|---|---|---|---|---|---|
| S001 | True | ok_or_factual | factual | list_documents_by_counterparty | None | свк доки за 2020 покаж пж | Собран список документов по контрагенту (live address lane). |
| S002 | True | ok_or_factual | factual | list_documents_by_counterparty | None | покеж все доки по свк за 20 год | Собран список документов по контрагенту (live address lane). |
| S003 | True | ok_or_factual | factual | list_documents_by_counterparty | None | дай список документов по свк за 2020 | Собран список документов по контрагенту (live address lane). |
| S004 | True | ok_or_factual | factual | list_documents_by_counterparty | None | какие у свк есть доки за 2020? | Собран список документов по контрагенту (live address lane). |
| S005 | True | ok_or_factual | factual | list_documents_by_counterparty | None | че по свк по докам за 2020 год | Собран список документов по контрагенту (live address lane). |
| S006 | True | ok_or_factual | factual | list_documents_by_counterparty | None | ёпт покажи доки по свк за 2020 | Собран список документов по контрагенту (live address lane). |
| S007 | True | ok_or_factual | factual | list_documents_by_counterparty | None | бля, доки свк 2020 вывали | Собран список документов по контрагенту (live address lane). |
| S008 | True | ok_or_factual | factual | list_documents_by_counterparty | None | svk docs for 2020 please | Собран список документов по контрагенту (live address lane). |
| S009 | True | ok_or_factual | factual | list_documents_by_counterparty | None | docs by counterparty svk year 2020 | Собран список документов по контрагенту (live address lane). |
| S010 | True | ok_or_factual | factual | list_documents_by_counterparty | None | по контрагенту свк покаж документы за 2020 | Собран список документов по контрагенту (live address lane). |
| S011 | True | ok_or_factual | factual | list_documents_by_counterparty | None | плс доки по свк 2020 | Собран список документов по контрагенту (live address lane). |
| S012 | True | ok_or_factual | factual | list_documents_by_counterparty | None | свк док за 2020 гони | Собран список документов по контрагенту (live address lane). |
| S013 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | по свк банковские операции за 2020 покаж | Собран список банковских операций по контрагенту (live address lane). |
| S014 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | свк выписка банка 2020 | Собран список банковских операций по контрагенту (live address lane). |
| S015 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | платежи по свк за 2020 выведи | Собран список банковских операций по контрагенту (live address lane). |
| S016 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | оплаты по свк за 2020 | Собран список банковских операций по контрагенту (live address lane). |
| S017 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | свк банк опер за 2020 | Собран список банковских операций по контрагенту (live address lane). |
| S018 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | че у свк по банку за 2020 | Собран список банковских операций по контрагенту (live address lane). |
| S019 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | свк списания/поступления за 2020 | Собран список банковских операций по контрагенту (live address lane). |
| S020 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | bank ops by svk for 2020 | Собран список банковских операций по контрагенту (live address lane). |
| S021 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | transactions by counterparty svk 2020 | Собран список банковских операций по контрагенту (live address lane). |
| S022 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | бля, по свк банковские платежки 2020 | Собран список банковских операций по контрагенту (live address lane). |
| S023 | True | ok_or_factual | factual | account_balance_snapshot | None | сальдо по счету 60.01 на дату 2020-07-31 | Адресный срез по счету собран (по движениям live MCP). |
| S024 | True | ok_or_factual | factual | account_balance_snapshot | None | остаток по счету 60.01 на 2020.05 | Адресный срез по счету собран (по движениям live MCP). |
| S025 | True | ok_or_factual | factual | account_balance_snapshot | None | покажи остаток по 60.01 за май 2020 | Адресный срез по счету собран (по движениям live MCP). |
| S026 | True | ok_or_factual | factual | account_balance_snapshot | None | счет 60 остаток на май 2020 | Адресный срез по счету собран (по движениям live MCP). |
| S027 | True | ok_or_factual | factual | account_balance_snapshot | None | баланс account 60.01 as of 2020-07-31 | Адресный срез по счету собран (по движениям live MCP). |
| S028 | True | ok_or_factual | factual | account_balance_snapshot | None | 60.01 saldo на 31.07.2020 | Адресный срез по счету собран (по движениям live MCP). |
| S029 | True | ok_or_factual | factual | account_balance_snapshot | None | сколько на счете 60 на конец 2020-05 | Адресный срез по счету собран (по движениям live MCP). |
| S030 | True | ok_or_factual | factual | account_balance_snapshot | None | дай остаток 60.02 на 2020-12-31 | Адресный срез по счету собран (по движениям live MCP). |
| S031 | True | partial_non_blocking | partial_coverage | account_balance_snapshot | empty_match | епт, сальдо по счету 62.01 на 2020-12-31 | В live-данных по текущему фильтру записи не найдены. |
| S032 | True | ok_or_factual | factual | account_balance_snapshot | None | плс остаток по счету 51 на 2020-06-30 | Адресный срез по счету собран (по движениям live MCP). |
| S033 | True | ok_or_factual | factual | account_balance_snapshot | None | как там по счету 60.01 на 2020.07? | Адресный срез по счету собран (по движениям live MCP). |
| S034 | True | ok_or_factual | factual | account_balance_snapshot | None | сальдо 60 на 2020 | Адресный срез по счету собран (по движениям live MCP). |
| S035 | True | ok_or_factual | factual | documents_forming_balance | None | какие документы формируют остаток по счету 60.01 на 2020-07-31 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| S036 | True | ok_or_factual | factual | documents_forming_balance | None | из чего состоит остаток по счету 60 на 2020.05 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| S037 | True | ok_or_factual | factual | documents_forming_balance | None | раскрой остаток 60.01 по документам на конец июля 2020 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| S038 | True | ok_or_factual | factual | documents_forming_balance | None | доки под остатком 60.01 на 2020-07-31 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| S039 | True | ok_or_factual | factual | documents_forming_balance | None | documents forming balance for account 60.01 as of 2020-07-31 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| S040 | True | ok_or_factual | factual | documents_forming_balance | None | бля, какие доки формируют остаток 60.01 на 2020-05-31 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| S041 | True | partial_non_blocking | partial_coverage | documents_forming_balance | empty_match | по счету 62.01 раскрой остаток документами на 2020-12-31 | В live-данных по текущему фильтру записи не найдены. |
| S042 | True | ok_or_factual | factual | documents_forming_balance | None | из чего остаток по счету 51 на 2020-06-30 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| S043 | True | ok_or_factual | factual | list_documents_by_contract | None | покажи документы по договору 19/15 за 2020 | Период сохранен. Глубина live-выборки автоматически расширена до 1000 строк. |
| S044 | True | ok_or_factual | factual | list_documents_by_contract | None | доки по дог. 19/15 за 2020 | Период сохранен. Глубина live-выборки автоматически расширена до 1000 строк. |
| S045 | True | ok_or_factual | factual | list_documents_by_contract | None | какие документы по контракту 19/15 | Собран список документов по договору (live address lane). |
| S046 | True | ok_or_factual | factual | list_documents_by_contract | None | docs by contract 19/15 year 2020 | Период сохранен. Глубина live-выборки автоматически расширена до 1000 строк. |
| S047 | True | ok_or_factual | factual | list_documents_by_contract | None | бля, покажи по договору 19/15 доки | Собран список документов по договору (live address lane). |
| S048 | True | ok_or_factual | factual | list_documents_by_contract | None | договор 19/15 документы | Собран список документов по договору (live address lane). |
| S049 | True | ok_or_factual | factual | list_documents_by_contract | None | плс документы договор №19/15 | Собран список документов по договору (live address lane). |
| S050 | True | ok_or_factual | factual | list_documents_by_contract | None | покеж документы по 19/15 | Собран список документов по договору (live address lane). |
| S051 | True | ok_or_factual | factual | bank_operations_by_contract | None | банковские операции по договору 19/15 | Собран список банковских операций по договору (live address lane). |
| S052 | True | ok_or_factual | factual | bank_operations_by_contract | None | платежи по договору 19/15 | Собран список банковских операций по договору (live address lane). |
| S053 | True | ok_or_factual | factual | bank_operations_by_contract | None | выписка по договору 19/15 | Собран список банковских операций по договору (live address lane). |
| S054 | True | ok_or_factual | factual | bank_operations_by_contract | None | bank ops by contract 19/15 | Собран список банковских операций по договору (live address lane). |
| S055 | True | ok_or_factual | factual | bank_operations_by_contract | None | ёпт, покажи банк операции по дог 19/15 | Собран список банковских операций по договору (live address lane). |
| S056 | True | ok_or_factual | factual | bank_operations_by_contract | None | по контракту 19/15 платежки | Собран список банковских операций по договору (live address lane). |
| S057 | True | ok_or_factual | factual | account_balance_snapshot | None | покажи сальдо по счету 60 за 2020 | Адресный срез по счету собран (по движениям live MCP). |
| S058 | True | ok_or_factual | factual | account_balance_snapshot | None | а теперь только май 2020 | Адресный срез по счету собран (по движениям live MCP). |
| S059 | True | ok_or_factual | factual | account_balance_snapshot | None | ок, теперь 2020.05 | Адресный срез по счету собран (по движениям live MCP). |
| S060 | True | ok_or_factual | factual | account_balance_snapshot | None | теперь на 2020-07-31 | Адресный срез по счету собран (по движениям live MCP). |
| X001 | True | ok_or_factual | factual | list_documents_by_counterparty | None | свк доки кинь за 2020 | Собран список документов по контрагенту (live address lane). |
| X002 | True | ok_or_factual | factual | list_documents_by_counterparty | None | по свк все документы за 20й год | Собран список документов по контрагенту (live address lane). |
| X003 | True | ok_or_factual | factual | list_documents_by_counterparty | None | пж вывали доки контрагент свк 2020 | Собран список документов по контрагенту (live address lane). |
| X004 | True | ok_or_factual | factual | list_documents_by_counterparty | None | svk poka docy za 2020 | Собран список документов по контрагенту (live address lane). |
| X005 | True | ok_or_factual | factual | list_documents_by_counterparty | None | какие доки по компании свк за 2020 | Собран список документов по контрагенту (live address lane). |
| X006 | True | ok_or_factual | factual | list_documents_by_counterparty | None | бля покаж свк документы 2020 | Собран список документов по контрагенту (live address lane). |
| X007 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | свк банк операции за 2020 | Собран список банковских операций по контрагенту (live address lane). |
| X008 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | по свк выписку банка за 2020 выведи | Собран список банковских операций по контрагенту (live address lane). |
| X009 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | свк платежки за 2020 | Собран список банковских операций по контрагенту (live address lane). |
| X010 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | bank ops svk 2020 | Собран список банковских операций по контрагенту (live address lane). |
| X011 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | транзакции по свк за 2020 | Собран список банковских операций по контрагенту (live address lane). |
| X012 | True | ok_or_factual | factual | bank_operations_by_counterparty | None | ёпт по свк че по банку 2020 | Собран список банковских операций по контрагенту (live address lane). |
| X013 | True | ok_or_factual | factual | account_balance_snapshot | None | остаток по 60.01 на 2020-07-31 | Адресный срез по счету собран (по движениям live MCP). |
| X014 | True | ok_or_factual | factual | account_balance_snapshot | None | сальдо 60.01 на 31.07.2020 | Адресный срез по счету собран (по движениям live MCP). |
| X015 | True | ok_or_factual | factual | account_balance_snapshot | None | что на счете 60 на 2020.05 | Адресный срез по счету собран (по движениям live MCP). |
| X016 | True | ok_or_factual | factual | account_balance_snapshot | None | дай остаток 62.01 на 2020 май | Адресный срез по счету собран (по движениям live MCP). |
| X017 | True | partial_non_blocking | partial_coverage | account_balance_snapshot | empty_match | saldo account 60 as of 2020-12-31 | В live-данных по текущему фильтру записи не найдены. |
| X018 | True | ok_or_factual | factual | account_balance_snapshot | None | плиз остаток по счету 51 на 2020-06-30 | Адресный срез по счету собран (по движениям live MCP). |
| X019 | True | partial_non_blocking | partial_coverage | account_balance_snapshot | empty_match | скока по 60.02 на конец 2020-12 | В live-данных по текущему фильтру записи не найдены. |
| X020 | True | ok_or_factual | factual | account_balance_snapshot | None | бля сальдо 60.01 на 2020-05-31 | Адресный срез по счету собран (по движениям live MCP). |
| X021 | True | ok_or_factual | factual | documents_forming_balance | None | раскрой остаток 60.01 по документам на конец июля 2020 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| X022 | True | ok_or_factual | factual | documents_forming_balance | None | доки под остатком 60.01 на 2020-07-31 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| X023 | True | ok_or_factual | factual | documents_forming_balance | None | из чего остаток 60.01 на 2020-07-31 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| X024 | True | ok_or_factual | factual | documents_forming_balance | None | какие документы формируют остаток по 60.01 на 2020-07-31 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| X025 | True | ok_or_factual | factual | documents_forming_balance | None | docs forming balance 60.01 as of 2020-07-31 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| X026 | True | partial_non_blocking | partial_coverage | documents_forming_balance | empty_match | раскидай остаток 62.01 по докам на 2020-12-31 | В live-данных по текущему фильтру записи не найдены. |
| X027 | True | ok_or_factual | factual | documents_forming_balance | None | по счету 51 раскрой остаток документами на 2020-06-30 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| X028 | True | ok_or_factual | factual | documents_forming_balance | None | бля из чего состоит остаток по 60.01 на 2020-05-31 | Собран drilldown документов, формирующих остаток по счету на указанную дату. |
| X029 | True | ok_or_factual | factual | list_documents_by_contract | None | доки по договору 19/15 за 2020 | Период сохранен. Глубина live-выборки автоматически расширена до 1000 строк. |
| X030 | True | ok_or_factual | factual | list_documents_by_contract | None | покажи документы контракт 19/15 | Собран список документов по договору (live address lane). |
| X031 | True | ok_or_factual | factual | list_documents_by_contract | None | docs by contract 19/15 2020 | Период сохранен. Глубина live-выборки автоматически расширена до 1000 строк. |
| X032 | True | ok_or_factual | factual | list_documents_by_contract | None | по дог 19/15 какие документы | Собран список документов по договору (live address lane). |
| X033 | True | ok_or_factual | factual | list_documents_by_contract | None | договор 19/15 выведи доки | Собран список документов по договору (live address lane). |
| X034 | True | ok_or_factual | factual | list_documents_by_contract | None | нах покажи документы по 19/15 | Собран список документов по договору (live address lane). |
| X035 | True | ok_or_factual | factual | bank_operations_by_contract | None | банк операции по договору 19/15 | Собран список банковских операций по договору (live address lane). |
| X036 | True | ok_or_factual | factual | bank_operations_by_contract | None | платежки по дог 19/15 | Собран список банковских операций по договору (live address lane). |
| X037 | True | ok_or_factual | factual | bank_operations_by_contract | None | выписка по контракту 19/15 | Собран список банковских операций по договору (live address lane). |
| X038 | True | ok_or_factual | factual | bank_operations_by_contract | None | bank ops by contract 19/15 | Собран список банковских операций по договору (live address lane). |
| X039 | True | ok_or_factual | factual | bank_operations_by_contract | None | покажи банк опер по дог 19/15 пж | Собран список банковских операций по договору (live address lane). |
| X040 | True | ok_or_factual | factual | bank_operations_by_contract | None | епт транзакции договор 19/15 | Собран список банковских операций по договору (live address lane). |
| X041 | True | ok_or_factual | factual | account_balance_snapshot | None | покажи сальдо по счету 60 за 2020 | Адресный срез по счету собран (по движениям live MCP). |
| X042 | True | ok_or_factual | factual | account_balance_snapshot | None | а теперь только май 2020 | Адресный срез по счету собран (по движениям live MCP). |
@@ -0,0 +1,132 @@
{
"run_id": "2026-04-08_Address_Nightly_stress_102_13-19-24",
"generated_at": "2026-04-08T13:29:46",
"source_questions_file": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\question_sets\\address_slang_stress_full_2026-04-02.json",
"backend_url": "http://127.0.0.1:8787/api/assistant/message",
"llm_provider": "local",
"llm_model": "qwen2.5-14b-instruct-1m",
"llm_base_url": "http://127.0.0.1:1234",
"strict_policy": "route",
"totals": {
"questions_total": 102,
"ok_200_count": 102,
"semantic_pass_count": 102,
"semantic_pass_rate": 1.0,
"route_pass_count": 102,
"route_pass_rate": 1.0,
"strict_pass_count": 102,
"strict_pass_rate": 1.0,
"factual_count": 97,
"partial_coverage_count": 5,
"clarification_required_count": 0,
"http_error_count": 0,
"llm_decomposition_attempted_count": 102,
"llm_decomposition_applied_count": 74,
"llm_fallback_count": 0,
"llm_fallback_rate": 0.0,
"tool_gate_blocked_count": 0,
"tool_gate_blocked_rate": 0.0,
"avg_elapsed_ms": 6099.6
},
"distributions": {
"reply_type": {
"factual": 97,
"partial_coverage": 5
},
"actual_intent": {
"list_documents_by_counterparty": 18,
"bank_operations_by_counterparty": 16,
"account_balance_snapshot": 26,
"documents_forming_balance": 16,
"list_documents_by_contract": 14,
"bank_operations_by_contract": 12
},
"actual_mode": {
"address_query": 102
},
"mcp_call_status": {
"matched_non_empty": 97,
"no_raw_rows": 5
},
"limited_reason_category": {
"empty_match": 5
},
"route_health": {
"ok_or_factual": 97,
"partial_non_blocking": 5
},
"tool_gate_decision": {
"run_address_lane": 102
},
"tool_gate_reason": {
"address_mode_classifier_detected": 98,
"llm_canonical_candidate_detected": 4
}
},
"address_llm_predecompose_metrics": {
"overall": {
"llm_attempted": 102,
"llm_applied": 74,
"fallback_used": 0,
"fallback_rate": 0.0,
"tool_gate_blocked": 0,
"gate_block_rate": 0.0
},
"by_intent": {
"list_documents_by_counterparty": {
"total": 18,
"llm_attempted": 18,
"llm_applied": 11,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"bank_operations_by_counterparty": {
"total": 16,
"llm_attempted": 16,
"llm_applied": 9,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"account_balance_snapshot": {
"total": 26,
"llm_attempted": 26,
"llm_applied": 25,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"documents_forming_balance": {
"total": 16,
"llm_attempted": 16,
"llm_applied": 11,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"list_documents_by_contract": {
"total": 14,
"llm_attempted": 14,
"llm_applied": 10,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
},
"bank_operations_by_contract": {
"total": 12,
"llm_attempted": 12,
"llm_applied": 8,
"fallback_used": 0,
"tool_gate_blocked": 0,
"fallback_rate": 0.0,
"gate_block_rate": 0.0
}
}
}
}
@@ -0,0 +1,67 @@
{
"generated_at": "2026-04-08T13:29:46",
"overall_pass": true,
"baseline": {
"summary_path": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-02_Address_Slang_Live_Stress_2026-04-02_12-57-27\\run_summary.json",
"run_id": "2026-04-02_Address_Slang_Live_Stress_2026-04-02_12-57-27",
"questions_total": 102,
"strict_pass_rate": 1.0,
"route_pass_rate": 1.0,
"execution_error_count": 0,
"false_factual_rate": 0.0,
"notes": [
"execution_error_count derived as http_error_count + limited_reason_category.execution_error",
"false_factual_rate derived from false_factual_count/questions_total"
]
},
"candidate": {
"summary_path": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24\\2026-04-08_Address_Nightly_stress_102_13-19-24\\run_summary.json",
"run_id": "2026-04-08_Address_Nightly_stress_102_13-19-24",
"questions_total": 102,
"strict_pass_rate": 1.0,
"route_pass_rate": 1.0,
"execution_error_count": 0,
"false_factual_rate": 0.0,
"notes": [
"execution_error_count derived as http_error_count + limited_reason_category.execution_error",
"false_factual_rate derived from false_factual_count/questions_total"
]
},
"checks": [
{
"metric": "strict_pass_rate",
"passed": true,
"baseline": 1.0,
"candidate": 1.0,
"rule": "candidate >= baseline"
},
{
"metric": "route_pass_rate",
"passed": true,
"baseline": 1.0,
"candidate": 1.0,
"rule": "candidate >= baseline"
},
{
"metric": "execution_error_count",
"passed": true,
"baseline": 0,
"candidate": 0,
"rule": "candidate <= baseline"
},
{
"metric": "false_factual_rate",
"passed": true,
"baseline": 0.0,
"candidate": 0.0,
"rule": "candidate <= baseline"
},
{
"metric": "questions_total_match",
"passed": true,
"baseline": 102,
"candidate": 102,
"rule": "candidate == baseline"
}
]
}
@@ -0,0 +1,23 @@
{
"generated_at": "2026-04-08T13:29:46",
"total": 1,
"passed": 1,
"failed": 0,
"results": [
{
"run_dir": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24\\2026-04-08_Address_Nightly_stress_102_13-19-24",
"valid": true,
"errors": [],
"warnings": [],
"metrics": {
"run_id": "2026-04-08_Address_Nightly_stress_102_13-19-24",
"questions_total": 102,
"route_pass_rate": 1.0,
"strict_pass_rate": 1.0,
"http_error_count": 0,
"rows_count": 102,
"failures_count": 0
}
}
]
}
@@ -0,0 +1,22 @@
# 2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24
Generated at: 2026-04-08T13:32:20
Dry run: False
Strict policy: route
Overall: PASS
## Packs
### stress_102
- run_id: 2026-04-08_Address_Nightly_stress_102_13-19-24
- runner_ok: True
- validator_ok: True
- comparator_ok: True
- run_dir: X:\1C\NDC_1C\docs\ADDRESS\runs\2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24\2026-04-08_Address_Nightly_stress_102_13-19-24
### followup_25
- run_id: 2026-04-08_Address_Nightly_followup_25_13-29-46
- runner_ok: True
- validator_ok: True
- comparator_ok: True
- run_dir: X:\1C\NDC_1C\docs\ADDRESS\runs\2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24\2026-04-08_Address_Nightly_followup_25_13-29-46
@@ -0,0 +1,35 @@
{
"nightly_run_id": "2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24",
"generated_at": "2026-04-08T13:32:20",
"dry_run": false,
"overall_ok": true,
"strict_policy": "route",
"packs": [
{
"pack": "stress_102",
"run_id": "2026-04-08_Address_Nightly_stress_102_13-19-24",
"questions_file": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\question_sets\\address_slang_stress_full_2026-04-02.json",
"baseline_summary": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-02_Address_Slang_Live_Stress_2026-04-02_12-57-27\\run_summary.json",
"run_dir": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24\\2026-04-08_Address_Nightly_stress_102_13-19-24",
"runner_ok": true,
"validator_ok": true,
"comparator_ok": true,
"errors": [],
"validator_report": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24\\2026-04-08_Address_Nightly_stress_102_13-19-24_validator_report.json",
"comparator_report": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24\\2026-04-08_Address_Nightly_stress_102_13-19-24_comparator_report.json"
},
{
"pack": "followup_25",
"run_id": "2026-04-08_Address_Nightly_followup_25_13-29-46",
"questions_file": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\question_sets\\address_followup_context_chains_2026-04-02.json",
"baseline_summary": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-02_Address_Followup_Context_Chains_2026-04-02_19-15-Run5\\run_summary.json",
"run_dir": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24\\2026-04-08_Address_Nightly_followup_25_13-29-46",
"runner_ok": true,
"validator_ok": true,
"comparator_ok": true,
"errors": [],
"validator_report": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24\\2026-04-08_Address_Nightly_followup_25_13-29-46_validator_report.json",
"comparator_report": "X:\\1C\\NDC_1C\\docs\\ADDRESS\\runs\\2026-04-08_Address_Nightly_Regression_2026-04-08_13-19-24\\2026-04-08_Address_Nightly_followup_25_13-29-46_comparator_report.json"
}
]
}