SILVER/NODEDC_1C
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

ARCH: добавить двусторонний MCP discovery для нетто-потока

Browse Source
This commit is contained in:
dctouch
2026-04-20 19:11:22 +03:00
parent 52da709671
commit 99a568241d
39 changed files with 7979 additions and 67 deletions
Download Patch File Download Diff File Expand all files Collapse all files
llm_normalizer/data/eval_cases/assistant_autogen_qwen_seed_20260420054242_gen-mo6rqcw8-kuswg6b.json
+254
View File
@@ -0,0 +1,254 @@
{
"suite_id": "assistant_autogen_gen-mo6rqcw8-kuswg6b",
"suite_version": "0.1.0",
"schema_version": "assistant_autogen_suite_v0_1",
"generated_at": "2026-04-20T05:42:42.633Z",
"generation_id": "gen-mo6rqcw8-kuswg6b",
"mode": "qwen_seed",
"domain": null,
"scenario_count": 15,
"case_ids": [
"AUTO-001",
"AUTO-002",
"AUTO-003",
"AUTO-004",
"AUTO-005",
"AUTO-006",
"AUTO-007",
"AUTO-008",
"AUTO-009",
"AUTO-010",
"AUTO-011",
"AUTO-012",
"AUTO-013",
"AUTO-014",
"AUTO-015"
],
"cases": [
{
"case_id": "AUTO-001",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким контрагентам у нас висит сальдо, которое уже больше месяца не менялось и выглядит как застывший долг?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-002",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас поставщики, которые давно отгружали, но оплаты так и нет — можно ли их считать просроченными или это просто задержка в документах?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-003",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Покажи всех клиентов, по которым есть отгрузки, но денег с них не поступало уже больше 60 дней — какие из них вообще активны?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-004",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким контрагентам у нас есть оплаты, но нет закрытия счетов, и это выглядит как архивный кэш?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-005",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Кто из заказчиков давно не платил, но при этом по ним висят открытые договора — можно ли считать их активными или уже нужно смотреть на отключение?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-006",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас авансы, которые уже прошли 3 месяца после получения, но не закрыты ни документами, ни сверками?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-007",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Покажи все контрагенты, по которым в 1С указано «договор активен», а оплаты и отгрузки — ноль за последние полгода"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-008",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким поставщикам у нас есть счета-фактуры, но документы об оплате не приходили?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-009",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "А может быть, они вообще висят?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-010",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Какие клиенты уже давно получали товары, но по ним нет актов сверки и счёт-фактур — возможно, это ошибка или просто пропущенные действия?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-011",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас есть документы по отгрузке, но оплаты не видно — может, деньги пришли, но не привязались?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-012",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Покажи всех контрагентов с незакрытыми договорами и остатками в долгах свыше 100 тыс. — кто из них реально проблемный?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-013",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Какие поставщики у нас на текущий момент имеют несогласованные остатки, и где это может повлиять на отчётность?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-014",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас зависшие взаиморасчёты, когда документы есть, но оплаты нет — можно ли считать это технической ошибкой или уже ручная проверка нужна?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
},
{
"case_id": "AUTO-015",
"scenario_tag": "qwen_seed_general",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким контрагентам в 1С отображается активность, но при этом у них ноль поставок и оплат за год?"
}
],
"expected_hints": {
"expected_reply_type": null,
"expected_degraded_to": null
}
}
]
}
llm_normalizer/data/eval_cases/assistant_autogen_runtime_job-EYyK1lOCNB.json
+190
View File
@@ -0,0 +1,190 @@
{
"suite_id": "assistant_autogen_runtime_job-EYyK1lOCNB",
"suite_version": "0.1.0",
"schema_version": "assistant_autogen_runtime_v0_1",
"scenario_count": 15,
"case_ids": [
"AUTO-001",
"AUTO-002",
"AUTO-003",
"AUTO-004",
"AUTO-005",
"AUTO-006",
"AUTO-007",
"AUTO-008",
"AUTO-009",
"AUTO-010",
"AUTO-011",
"AUTO-012",
"AUTO-013",
"AUTO-014",
"AUTO-015"
],
"cases": [
{
"case_id": "AUTO-001",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким контрагентам у нас висит сальдо, которое уже больше месяца не менялось и выглядит как застывший долг?"
}
]
},
{
"case_id": "AUTO-002",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас поставщики, которые давно отгружали, но оплаты так и нет — можно ли их считать просроченными или это просто задержка в документах?"
}
]
},
{
"case_id": "AUTO-003",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Покажи всех клиентов, по которым есть отгрузки, но денег с них не поступало уже больше 60 дней — какие из них вообще активны?"
}
]
},
{
"case_id": "AUTO-004",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким контрагентам у нас есть оплаты, но нет закрытия счетов, и это выглядит как архивный кэш?"
}
]
},
{
"case_id": "AUTO-005",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Кто из заказчиков давно не платил, но при этом по ним висят открытые договора — можно ли считать их активными или уже нужно смотреть на отключение?"
}
]
},
{
"case_id": "AUTO-006",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас авансы, которые уже прошли 3 месяца после получения, но не закрыты ни документами, ни сверками?"
}
]
},
{
"case_id": "AUTO-007",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Покажи все контрагенты, по которым в 1С указано «договор активен», а оплаты и отгрузки — ноль за последние полгода"
}
]
},
{
"case_id": "AUTO-008",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким поставщикам у нас есть счета-фактуры, но документы об оплате не приходили?"
}
]
},
{
"case_id": "AUTO-009",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "А может быть, они вообще висят?"
}
]
},
{
"case_id": "AUTO-010",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Какие клиенты уже давно получали товары, но по ним нет актов сверки и счёт-фактур — возможно, это ошибка или просто пропущенные действия?"
}
]
},
{
"case_id": "AUTO-011",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас есть документы по отгрузке, но оплаты не видно — может, деньги пришли, но не привязались?"
}
]
},
{
"case_id": "AUTO-012",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Покажи всех контрагентов с незакрытыми договорами и остатками в долгах свыше 100 тыс. — кто из них реально проблемный?"
}
]
},
{
"case_id": "AUTO-013",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Какие поставщики у нас на текущий момент имеют несогласованные остатки, и где это может повлиять на отчётность?"
}
]
},
{
"case_id": "AUTO-014",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас зависшие взаиморасчёты, когда документы есть, но оплаты нет — можно ли считать это технической ошибкой или уже ручная проверка нужна?"
}
]
},
{
"case_id": "AUTO-015",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким контрагентам в 1С отображается активность, но при этом у них ноль поставок и оплат за год?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_autogen_runtime_job-l0db74IDVl.json
+190
View File
@@ -0,0 +1,190 @@
{
"suite_id": "assistant_autogen_runtime_job-l0db74IDVl",
"suite_version": "0.1.0",
"schema_version": "assistant_autogen_runtime_v0_1",
"scenario_count": 15,
"case_ids": [
"AUTO-001",
"AUTO-002",
"AUTO-003",
"AUTO-004",
"AUTO-005",
"AUTO-006",
"AUTO-007",
"AUTO-008",
"AUTO-009",
"AUTO-010",
"AUTO-011",
"AUTO-012",
"AUTO-013",
"AUTO-014",
"AUTO-015"
],
"cases": [
{
"case_id": "AUTO-001",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким контрагентам у нас висит сальдо, которое уже больше месяца не менялось и выглядит как застывший долг?"
}
]
},
{
"case_id": "AUTO-002",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас поставщики, которые давно отгружали, но оплаты так и нет — можно ли их считать просроченными или это просто задержка в документах?"
}
]
},
{
"case_id": "AUTO-003",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Покажи всех клиентов, по которым есть отгрузки, но денег с них не поступало уже больше 60 дней — какие из них вообще активны?"
}
]
},
{
"case_id": "AUTO-004",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким контрагентам у нас есть оплаты, но нет закрытия счетов, и это выглядит как архивный кэш?"
}
]
},
{
"case_id": "AUTO-005",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Кто из заказчиков давно не платил, но при этом по ним висят открытые договора — можно ли считать их активными или уже нужно смотреть на отключение?"
}
]
},
{
"case_id": "AUTO-006",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас авансы, которые уже прошли 3 месяца после получения, но не закрыты ни документами, ни сверками?"
}
]
},
{
"case_id": "AUTO-007",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Покажи все контрагенты, по которым в 1С указано «договор активен», а оплаты и отгрузки — ноль за последние полгода"
}
]
},
{
"case_id": "AUTO-008",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким поставщикам у нас есть счета-фактуры, но документы об оплате не приходили?"
}
]
},
{
"case_id": "AUTO-009",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "А может быть, они вообще висят?"
}
]
},
{
"case_id": "AUTO-010",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Какие клиенты уже давно получали товары, но по ним нет актов сверки и счёт-фактур — возможно, это ошибка или просто пропущенные действия?"
}
]
},
{
"case_id": "AUTO-011",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас есть документы по отгрузке, но оплаты не видно — может, деньги пришли, но не привязались?"
}
]
},
{
"case_id": "AUTO-012",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Покажи всех контрагентов с незакрытыми договорами и остатками в долгах свыше 100 тыс. — кто из них реально проблемный?"
}
]
},
{
"case_id": "AUTO-013",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Какие поставщики у нас на текущий момент имеют несогласованные остатки, и где это может повлиять на отчётность?"
}
]
},
{
"case_id": "AUTO-014",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас зависшие взаиморасчёты, когда документы есть, но оплаты нет — можно ли считать это технической ошибкой или уже ручная проверка нужна?"
}
]
},
{
"case_id": "AUTO-015",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким контрагентам в 1С отображается активность, но при этом у них ноль поставок и оплат за год?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_autogen_runtime_job-vLP4TFSoym.json
+190
View File
@@ -0,0 +1,190 @@
{
"suite_id": "assistant_autogen_runtime_job-vLP4TFSoym",
"suite_version": "0.1.0",
"schema_version": "assistant_autogen_runtime_v0_1",
"scenario_count": 15,
"case_ids": [
"AUTO-001",
"AUTO-002",
"AUTO-003",
"AUTO-004",
"AUTO-005",
"AUTO-006",
"AUTO-007",
"AUTO-008",
"AUTO-009",
"AUTO-010",
"AUTO-011",
"AUTO-012",
"AUTO-013",
"AUTO-014",
"AUTO-015"
],
"cases": [
{
"case_id": "AUTO-001",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким контрагентам у нас висит сальдо, которое уже больше месяца не менялось и выглядит как застывший долг?"
}
]
},
{
"case_id": "AUTO-002",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас поставщики, которые давно отгружали, но оплаты так и нет — можно ли их считать просроченными или это просто задержка в документах?"
}
]
},
{
"case_id": "AUTO-003",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Покажи всех клиентов, по которым есть отгрузки, но денег с них не поступало уже больше 60 дней — какие из них вообще активны?"
}
]
},
{
"case_id": "AUTO-004",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким контрагентам у нас есть оплаты, но нет закрытия счетов, и это выглядит как архивный кэш?"
}
]
},
{
"case_id": "AUTO-005",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Кто из заказчиков давно не платил, но при этом по ним висят открытые договора — можно ли считать их активными или уже нужно смотреть на отключение?"
}
]
},
{
"case_id": "AUTO-006",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас авансы, которые уже прошли 3 месяца после получения, но не закрыты ни документами, ни сверками?"
}
]
},
{
"case_id": "AUTO-007",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Покажи все контрагенты, по которым в 1С указано «договор активен», а оплаты и отгрузки — ноль за последние полгода"
}
]
},
{
"case_id": "AUTO-008",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким поставщикам у нас есть счета-фактуры, но документы об оплате не приходили?"
}
]
},
{
"case_id": "AUTO-009",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "А может быть, они вообще висят?"
}
]
},
{
"case_id": "AUTO-010",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Какие клиенты уже давно получали товары, но по ним нет актов сверки и счёт-фактур — возможно, это ошибка или просто пропущенные действия?"
}
]
},
{
"case_id": "AUTO-011",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас есть документы по отгрузке, но оплаты не видно — может, деньги пришли, но не привязались?"
}
]
},
{
"case_id": "AUTO-012",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Покажи всех контрагентов с незакрытыми договорами и остатками в долгах свыше 100 тыс. — кто из них реально проблемный?"
}
]
},
{
"case_id": "AUTO-013",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Какие поставщики у нас на текущий момент имеют несогласованные остатки, и где это может повлиять на отчётность?"
}
]
},
{
"case_id": "AUTO-014",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "Где у нас зависшие взаиморасчёты, когда документы есть, но оплаты нет — можно ли считать это технической ошибкой или уже ручная проверка нужна?"
}
]
},
{
"case_id": "AUTO-015",
"scenario_tag": "autogen_runtime",
"question_type": "direct",
"broadness_level": "medium",
"turns": [
{
"user_message": "По каким контрагентам в 1С отображается активность, но при этом у них ноль поставок и оплат за год?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_autogen_saved_user_sessions_20260419164457_gen-mo5zy5vo-z9klj34.json
+51
View File
@@ -0,0 +1,51 @@
{
"suite_id": "assistant_saved_session_gen-mo5zy5vo-z9klj34",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_suite_v0_1",
"generated_at": "2026-04-19T16:44:57.540Z",
"generation_id": "gen-mo5zy5vo-z9klj34",
"mode": "saved_user_sessions",
"title": "Ручная сессия 19.04.2026, 18:58:20",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions",
"title": "Ручная сессия 19.04.2026, 18:58:20",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "привет как дела"
},
{
"user_message": "кто намс должен денег на сегодня"
},
{
"user_message": "что ты можешь"
},
{
"user_message": "кто нам должен денег на сегодня"
},
{
"user_message": "а мы кому"
},
{
"user_message": "какиек остатки на складе на сегодня"
},
{
"user_message": "альтернатива"
},
{
"user_message": "покажи документы по чепурнову"
},
{
"user_message": "какой оборот был свк"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-2uOHnkz2a2.json
+42
View File
@@ -0,0 +1,42 @@
{
"suite_id": "assistant_saved_session_runtime_job-2uOHnkz2a2",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT | Phase 18 semantic dialog authority replay",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT | Phase 18 semantic dialog authority replay",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "приветик - че как там дела"
},
{
"user_message": "расскажи что можешь интересного"
},
{
"user_message": "по какой компании мы сейчас работаем?"
},
{
"user_message": "Альтернатива Плюс"
},
{
"user_message": "по чепурнову покажи все доки"
},
{
"user_message": "какой оборот был свк"
},
{
"user_message": "а чем капибара отличается от утки?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-KK_Wm-w0cW.json
+120
View File
@@ -0,0 +1,120 @@
{
"suite_id": "assistant_saved_session_runtime_job-KK_Wm-w0cW",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "приветик - че как там дела"
},
{
"user_message": "расскажи что можешь интересного"
},
{
"user_message": "кайф - что там на складе по остаткам?"
},
{
"user_message": "АЛЬТЕРНАТИВА"
},
{
"user_message": "а исторические остатки на другие даты умеешь?"
},
{
"user_message": "давай на июль 2017"
},
{
"user_message": "март 2016"
},
{
"user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?"
},
{
"user_message": "а кому продали?"
},
{
"user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?"
},
{
"user_message": "ндс можешь прикинуть на дату покупки рабочей станции?"
},
{
"user_message": "а какой ндс мы должны сгрузить на март 2020?"
},
{
"user_message": "прикинь какой ндс нам надо заплатить на февраль 2017"
},
{
"user_message": "кто у нас самый доходный клиент за все время"
},
{
"user_message": "кто нам должен денег на май 2017"
},
{
"user_message": "а какой ндс мы должны примерно заплатить за этот период?"
},
{
"user_message": "мы должны комуто денег на сегодня?"
},
{
"user_message": "а нам?"
},
{
"user_message": "какой у нас самый доходный год"
},
{
"user_message": "а за 2017 мы скок заработали?"
},
{
"user_message": "сколько вообще денег мы заработали за все время?"
},
{
"user_message": "ты умеешь считать дельту по договорам?"
},
{
"user_message": "по чепурнову покажи все доки"
},
{
"user_message": "а по свк"
},
{
"user_message": "а сейчас у нас есть что на складе?"
},
{
"user_message": "что нам отгружал чепурнов? какой товар или услугу?"
},
{
"user_message": "какие остатки на складе на сегодня"
},
{
"user_message": "остатки на март 2016"
},
{
"user_message": "хвосты покажи по счету 60 на август 2022"
},
{
"user_message": "Есть ли остатки товара, которые закупались очень давно"
},
{
"user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020"
},
{
"user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?"
},
{
"user_message": "Как ты оценишь деятельность компании?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-U2K9_kawA3.json
+120
View File
@@ -0,0 +1,120 @@
{
"suite_id": "assistant_saved_session_runtime_job-U2K9_kawA3",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "приветик - че как там дела"
},
{
"user_message": "расскажи что можешь интересного"
},
{
"user_message": "кайф - что там на складе по остаткам?"
},
{
"user_message": "АЛЬТЕРНАТИВА"
},
{
"user_message": "а исторические остатки на другие даты умеешь?"
},
{
"user_message": "давай на июль 2017"
},
{
"user_message": "март 2016"
},
{
"user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?"
},
{
"user_message": "а кому продали?"
},
{
"user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?"
},
{
"user_message": "ндс можешь прикинуть на дату покупки рабочей станции?"
},
{
"user_message": "а какой ндс мы должны сгрузить на март 2020?"
},
{
"user_message": "прикинь какой ндс нам надо заплатить на февраль 2017"
},
{
"user_message": "кто у нас самый доходный клиент за все время"
},
{
"user_message": "кто нам должен денег на май 2017"
},
{
"user_message": "а какой ндс мы должны примерно заплатить за этот период?"
},
{
"user_message": "мы должны комуто денег на сегодня?"
},
{
"user_message": "а нам?"
},
{
"user_message": "какой у нас самый доходный год"
},
{
"user_message": "а за 2017 мы скок заработали?"
},
{
"user_message": "сколько вообще денег мы заработали за все время?"
},
{
"user_message": "ты умеешь считать дельту по договорам?"
},
{
"user_message": "по чепурнову покажи все доки"
},
{
"user_message": "а по свк"
},
{
"user_message": "а сейчас у нас есть что на складе?"
},
{
"user_message": "что нам отгружал чепурнов? какой товар или услугу?"
},
{
"user_message": "какие остатки на складе на сегодня"
},
{
"user_message": "остатки на март 2016"
},
{
"user_message": "хвосты покажи по счету 60 на август 2022"
},
{
"user_message": "Есть ли остатки товара, которые закупались очень давно"
},
{
"user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020"
},
{
"user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?"
},
{
"user_message": "Как ты оценишь деятельность компании?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-UerO64gB9r.json
+48
View File
@@ -0,0 +1,48 @@
{
"suite_id": "assistant_saved_session_runtime_job-UerO64gB9r",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "Ручная сессия 19.04.2026, 18:58:20",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "Ручная сессия 19.04.2026, 18:58:20",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "привет как дела"
},
{
"user_message": "кто намс должен денег на сегодня"
},
{
"user_message": "что ты можешь"
},
{
"user_message": "кто нам должен денег на сегодня"
},
{
"user_message": "а мы кому"
},
{
"user_message": "какиек остатки на складе на сегодня"
},
{
"user_message": "альтернатива"
},
{
"user_message": "покажи документы по чепурнову"
},
{
"user_message": "какой оборот был свк"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-Z2Yw7g_j-N.json
+120
View File
@@ -0,0 +1,120 @@
{
"suite_id": "assistant_saved_session_runtime_job-Z2Yw7g_j-N",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "приветик - че как там дела"
},
{
"user_message": "расскажи что можешь интересного"
},
{
"user_message": "кайф - что там на складе по остаткам?"
},
{
"user_message": "АЛЬТЕРНАТИВА"
},
{
"user_message": "а исторические остатки на другие даты умеешь?"
},
{
"user_message": "давай на июль 2017"
},
{
"user_message": "март 2016"
},
{
"user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?"
},
{
"user_message": "а кому продали?"
},
{
"user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?"
},
{
"user_message": "ндс можешь прикинуть на дату покупки рабочей станции?"
},
{
"user_message": "а какой ндс мы должны сгрузить на март 2020?"
},
{
"user_message": "прикинь какой ндс нам надо заплатить на февраль 2017"
},
{
"user_message": "кто у нас самый доходный клиент за все время"
},
{
"user_message": "кто нам должен денег на май 2017"
},
{
"user_message": "а какой ндс мы должны примерно заплатить за этот период?"
},
{
"user_message": "мы должны комуто денег на сегодня?"
},
{
"user_message": "а нам?"
},
{
"user_message": "какой у нас самый доходный год"
},
{
"user_message": "а за 2017 мы скок заработали?"
},
{
"user_message": "сколько вообще денег мы заработали за все время?"
},
{
"user_message": "ты умеешь считать дельту по договорам?"
},
{
"user_message": "по чепурнову покажи все доки"
},
{
"user_message": "а по свк"
},
{
"user_message": "а сейчас у нас есть что на складе?"
},
{
"user_message": "что нам отгружал чепурнов? какой товар или услугу?"
},
{
"user_message": "какие остатки на складе на сегодня"
},
{
"user_message": "остатки на март 2016"
},
{
"user_message": "хвосты покажи по счету 60 на август 2022"
},
{
"user_message": "Есть ли остатки товара, которые закупались очень давно"
},
{
"user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020"
},
{
"user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?"
},
{
"user_message": "Как ты оценишь деятельность компании?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-_OYN2F_Y52.json
+42
View File
@@ -0,0 +1,42 @@
{
"suite_id": "assistant_saved_session_runtime_job-_OYN2F_Y52",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "AGENT | Phase 18 semantic dialog authority replay",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "AGENT | Phase 18 semantic dialog authority replay",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "приветик - че как там дела"
},
{
"user_message": "расскажи что можешь интересного"
},
{
"user_message": "по какой компании мы сейчас работаем?"
},
{
"user_message": "Альтернатива Плюс"
},
{
"user_message": "по чепурнову покажи все доки"
},
{
"user_message": "какой оборот был свк"
},
{
"user_message": "а чем капибара отличается от утки?"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-pP3lffpL3V.json
+48
View File
@@ -0,0 +1,48 @@
{
"suite_id": "assistant_saved_session_runtime_job-pP3lffpL3V",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "Ручная сессия 19.04.2026, 18:58:20",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "Ручная сессия 19.04.2026, 18:58:20",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "привет как дела"
},
{
"user_message": "кто намс должен денег на сегодня"
},
{
"user_message": "что ты можешь"
},
{
"user_message": "кто нам должен денег на сегодня"
},
{
"user_message": "а мы кому"
},
{
"user_message": "какиек остатки на складе на сегодня"
},
{
"user_message": "альтернатива"
},
{
"user_message": "покажи документы по чепурнову"
},
{
"user_message": "какой оборот был свк"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-q4K6EkY6xR.json
+48
View File
@@ -0,0 +1,48 @@
{
"suite_id": "assistant_saved_session_runtime_job-q4K6EkY6xR",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "Ручная сессия 19.04.2026, 18:58:20",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "Ручная сессия 19.04.2026, 18:58:20",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "привет как дела"
},
{
"user_message": "кто намс должен денег на сегодня"
},
{
"user_message": "что ты можешь"
},
{
"user_message": "кто нам должен денег на сегодня"
},
{
"user_message": "а мы кому"
},
{
"user_message": "какиек остатки на складе на сегодня"
},
{
"user_message": "альтернатива"
},
{
"user_message": "покажи документы по чепурнову"
},
{
"user_message": "какой оборот был свк"
}
]
}
]
}
llm_normalizer/data/eval_cases/assistant_saved_session_runtime_job-vkFyPa1gBh.json
+120
View File
@@ -0,0 +1,120 @@
{
"suite_id": "assistant_saved_session_runtime_job-vkFyPa1gBh",
"suite_version": "0.1.0",
"schema_version": "assistant_saved_session_runtime_v0_1",
"title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
"scenario_count": 1,
"case_ids": [
"SAVED-001"
],
"cases": [
{
"case_id": "SAVED-001",
"scenario_tag": "saved_user_sessions_runtime",
"title": "БОЛЬШОЙ ОБЩИЙ Ручная сессия 16.04.2026, 21:26:06",
"question_type": "followup",
"broadness_level": "medium",
"turns": [
{
"user_message": "приветик - че как там дела"
},
{
"user_message": "расскажи что можешь интересного"
},
{
"user_message": "кайф - что там на складе по остаткам?"
},
{
"user_message": "АЛЬТЕРНАТИВА"
},
{
"user_message": "а исторические остатки на другие даты умеешь?"
},
{
"user_message": "давай на июль 2017"
},
{
"user_message": "март 2016"
},
{
"user_message": "По выбранному объекту \"Рабочая станция универсального специалиста (индивидуальное изготовление)\": где взяли это?"
},
{
"user_message": "а кому продали?"
},
{
"user_message": "у тебя написано кто контрагент: рабочая станция - это ошибка?"
},
{
"user_message": "ндс можешь прикинуть на дату покупки рабочей станции?"
},
{
"user_message": "а какой ндс мы должны сгрузить на март 2020?"
},
{
"user_message": "прикинь какой ндс нам надо заплатить на февраль 2017"
},
{
"user_message": "кто у нас самый доходный клиент за все время"
},
{
"user_message": "кто нам должен денег на май 2017"
},
{
"user_message": "а какой ндс мы должны примерно заплатить за этот период?"
},
{
"user_message": "мы должны комуто денег на сегодня?"
},
{
"user_message": "а нам?"
},
{
"user_message": "какой у нас самый доходный год"
},
{
"user_message": "а за 2017 мы скок заработали?"
},
{
"user_message": "сколько вообще денег мы заработали за все время?"
},
{
"user_message": "ты умеешь считать дельту по договорам?"
},
{
"user_message": "по чепурнову покажи все доки"
},
{
"user_message": "а по свк"
},
{
"user_message": "а сейчас у нас есть что на складе?"
},
{
"user_message": "что нам отгружал чепурнов? какой товар или услугу?"
},
{
"user_message": "какие остатки на складе на сегодня"
},
{
"user_message": "остатки на март 2016"
},
{
"user_message": "хвосты покажи по счету 60 на август 2022"
},
{
"user_message": "Есть ли остатки товара, которые закупались очень давно"
},
{
"user_message": "Какие конкретно номенклатуры формируют остаток по складу на май 2020"
},
{
"user_message": "а по Альтернативе Плюс сколько лет активности в базе 1С?"
},
{
"user_message": "Как ты оценишь деятельность компании?"
}
]
}
]
}