164 lines
16 KiB
JSON
164 lines
16 KiB
JSON
[
|
||
{
|
||
"annotation_id": "ann-mnrol1zq-6eiif5d",
|
||
"run_id": "assistant-stage1-5513CzxPo1",
|
||
"case_id": "AUTO-001",
|
||
"session_id": "assistant-stage1-5513CzxPo1-AUTO-001",
|
||
"message_index": 1,
|
||
"rating": 1,
|
||
"comment": "Тут брак не только в формулировке ответа, а в самой логике попадания в запрос:\n\nвопрос про поставщиков с хвостами на конец месяца;\nещё и про признак систематической проблемы, а не разовую задержку;\nв ответе показан один документ списания с расчётного счёта по одному контрагенту;\nне объяснено, почему этот документ вообще релевантен запросу;\nне раскрыто, как он связан с хвостами, концом месяца и системностью;\nнет декомпозиции запроса и нет явного ответа на его основную часть.\n\nТо есть система фактически подменила задачу: вместо поиска паттерна по поставщикам выдала одиночную находку без обоснования.\n\n\n\nОтвет не попал в суть запроса: вопрос был о поставщиках с системными хвостами на конец месяца, а показан одиночный документ списания без объяснения его связи с хвостами, периодом и систематичностью. Нужны декомпозиция запроса, явное обоснование выбора документа и комментарий о степени покрытия контекста.",
|
||
"manual_case_decision": "needs_dialog_policy_fix",
|
||
"annotation_author": "manual_reviewer",
|
||
"resolved": false,
|
||
"resolved_at": null,
|
||
"resolved_by": null,
|
||
"created_at": "2026-04-09T16:18:03.734Z",
|
||
"updated_at": "2026-04-09T16:18:03.734Z",
|
||
"context": {
|
||
"message_id": "msg-hHz2ydMJOa",
|
||
"trace_id": "address-z5C0-D-mMH",
|
||
"reply_type": "factual",
|
||
"eval_target": "assistant_stage1",
|
||
"prompt_version": "address_query_runtime_v1",
|
||
"domain": null,
|
||
"query_class": null,
|
||
"question_text": "Кто из поставщиков имеет хвосты с документами на конец месяца, которые уже больше похожи на систематическую проблему, а не на обычную задержку?",
|
||
"answer_text": "Найдено документов по контрагенту: 1.\n1. 2020-11-16T16:08:51Z | Списание с расчетного счета 00000000262 от 16.11.2020 16:08:51 | 0 / 0 | 8700 | аналитика: ВИЗАНТИЯ; Счет № 3363 от 16.11.2020 г."
|
||
}
|
||
},
|
||
{
|
||
"annotation_id": "ann-mnrsn1s4-g1t5tks",
|
||
"run_id": "assistant-stage1-rDM8XCbg7q",
|
||
"case_id": "AUTO-001",
|
||
"session_id": "assistant-stage1-rDM8XCbg7q-AUTO-001",
|
||
"message_index": 1,
|
||
"rating": 3,
|
||
"comment": "Так, ну этот вопрос явно вне контура, тут ответ очень технический. Ну как бы юзеру вообще не надо знать ничего про адрес Query, это какая-то техническая хуета, ее нахуй не нужно вываливать. Вот. И просить переформулировать тоже не надо, потому что когда мы просим что-то переформулировать, это значит, мы что-то не поняли. Тут явно вопрос вне контура. Вот. Ну то есть мы как бы точно не будем разлиновку делать под этот запрос.",
|
||
"manual_case_decision": "out_of_scope_but_answer_softly",
|
||
"annotation_author": "manual_reviewer",
|
||
"resolved": false,
|
||
"resolved_at": null,
|
||
"resolved_by": null,
|
||
"created_at": "2026-04-09T18:11:35.236Z",
|
||
"updated_at": "2026-04-09T18:11:35.236Z",
|
||
"context": {
|
||
"message_id": "msg-JqLbA9uuLs",
|
||
"trace_id": "address-vyNV6r-l6T",
|
||
"reply_type": "partial_coverage",
|
||
"eval_target": "assistant_stage1",
|
||
"prompt_version": "address_query_runtime_v1",
|
||
"domain": null,
|
||
"query_class": null,
|
||
"question_text": "Какие поставщики у нас уже пару месяцев сдают акты без приходок. Может, их надо проконтролировать отдельно чтоб не засорять бухгалтерию дальше?",
|
||
"answer_text": "Этот запрос не подходит под address_query V1.\nПричина: intent пока не поддержан в address V1.\nЧто нужно уточнить: переформулируйте вопрос как адресный lookup по счету/контрагенту/договору."
|
||
}
|
||
},
|
||
{
|
||
"annotation_id": "ann-mnrsrgxc-tstn1f1",
|
||
"run_id": "assistant-stage1-rDM8XCbg7q",
|
||
"case_id": "AUTO-002",
|
||
"session_id": "assistant-stage1-rDM8XCbg7q-AUTO-002",
|
||
"message_index": 1,
|
||
"rating": 3,
|
||
"comment": "Так, ну смотри, короче, ответ очень опять очень технический, не хватает обязательного якоря. Тут как бы мы не должны ни про какие там якоря там обязательно говорить, что есть обязательный якорь. Ну как бы это знаешь, такая очень абстрактная история. Так, дальше ответ. Причина контрагент по указанному имени Алясу не найден. Да только кто-то вообще не уточняет ни про каких конкретных. Он как раз и требует тебе найти какого-то контрагента. Он не знает. Он вот тут вопрос как раз про поиски. Вот, и точно- точно неправильная просьба. Тут надо смотреть на диапазоны, наверное, между заключением договора и там какими-то оплатами. Вот, и предполагать, что это оно как раз. То, что очень длинные окна, там они могут на годы там быть, например, я не знаю. Ну, короче, сыро очень ответчик. Очень сыро ответил и вообще не по теме.",
|
||
"manual_case_decision": "covered_but_bad_answer",
|
||
"annotation_author": "manual_reviewer",
|
||
"resolved": false,
|
||
"resolved_at": null,
|
||
"resolved_by": null,
|
||
"created_at": "2026-04-09T18:15:01.488Z",
|
||
"updated_at": "2026-04-09T18:15:01.488Z",
|
||
"context": {
|
||
"message_id": "msg-ONDlFjoxbU",
|
||
"trace_id": "address-paNbrPvWpC",
|
||
"reply_type": "partial_coverage",
|
||
"eval_target": "assistant_stage1",
|
||
"prompt_version": "address_query_runtime_v1",
|
||
"domain": null,
|
||
"query_class": null,
|
||
"question_text": "Где у нас висят покупатели со слишком длинным периодом между отправкой товара и его оплатой, и это уже вызывает тревогу?",
|
||
"answer_text": "Для точного адресного поиска не хватает обязательного якоря.\nПричина: контрагент по указанному имени/алиасу не найден в materialized live-строках.\nЧто нужно уточнить: уточните точное имя контрагента или добавьте ИНН."
|
||
}
|
||
},
|
||
{
|
||
"annotation_id": "ann-mnrstmmx-dqr0qoq",
|
||
"run_id": "assistant-stage1-rDM8XCbg7q",
|
||
"case_id": "AUTO-003",
|
||
"session_id": "assistant-stage1-rDM8XCbg7q-AUTO-003",
|
||
"message_index": 1,
|
||
"rating": 1,
|
||
"comment": "Так мы вообще не должны вводить вот эту техническую историю про что сломано. Вот, я, если честно, скорее всего, надо просто ответить, что вопрос вне контекста.",
|
||
"manual_case_decision": "out_of_scope_but_answer_softly",
|
||
"annotation_author": "manual_reviewer",
|
||
"resolved": false,
|
||
"resolved_at": null,
|
||
"resolved_by": null,
|
||
"created_at": "2026-04-09T18:16:42.200Z",
|
||
"updated_at": "2026-04-09T18:16:42.200Z",
|
||
"context": {
|
||
"message_id": "msg-ajecodZjyK",
|
||
"trace_id": "CQZp9tGQTTowij",
|
||
"reply_type": "clarification_required",
|
||
"eval_target": "assistant_stage1",
|
||
"prompt_version": "address_query_runtime_v1",
|
||
"domain": null,
|
||
"query_class": null,
|
||
"question_text": "Покажи контрагентов, по которым сальдо скорее всего не совпадет с их актом сверки. Может, стоит поторопиться и запросить сверку?",
|
||
"answer_text": "Коротко: Наиболее вероятный механизм проблемы подтвержден частично и требует первичной проверки. Что сломано:\n- Есть признаки проблемы, но без уточнений по периоду и объекту вывод ненадежен. Почему это похоже на проблему:\n- Сигнал проблемы есть, но механизм подтвержден не полностью. На чем это основано:\n- Опора частичная: часть требований покрыта не полностью.\n- Отдельно не подтверждено или покрыто частично: R1. Что проверить первым:\n- Уточните период проверки, чтобы подтвердить проблему без лишнего шума.\n- Проверьте связку документов и проводок по проблемному участку в указанном периоде.\n- Уточните период проверки (например, июль 2020).\n- Уточните счет или группу счетов (например, 19, 60, 62). Ограничения:\n- Ни одно требование не получило подтвержденного покрытия.\n- Нет explainable-сигналов why_included в результатах выборки.\n- Недостаточно покрытия required anchors для claim-bound grounding.\n- Недостаточно допустимого evidence для обоснованного ответа.\n- Targeted evidence acquisition не дал допустимых попаданий по claim target path."
|
||
}
|
||
},
|
||
{
|
||
"annotation_id": "ann-mnrsvcxx-o0igav4",
|
||
"run_id": "assistant-stage1-rDM8XCbg7q",
|
||
"case_id": "AUTO-004",
|
||
"session_id": "assistant-stage1-rDM8XCbg7q-AUTO-004",
|
||
"message_index": 1,
|
||
"rating": 1,
|
||
"comment": "Тут опять очевидно очень прямой и конкретный запрос, и мы его должны вроде, по идее, как отработать. Он у нас уже вроде должен отрабатываться. Если нет, то значит надо его... Так, надо расширить маршрутизацию. То есть глобально надо найти, короче, документы на какой-то период определенный, если мы говорим про срез. Надо найти документы, которые не закрыты. Вот и всё. Как бы это очевидно. Ну, как бы не закрытые доки просто ищем и выводим. Вот. Если таких нету, то, значит, отвечаем, что такая проблема отсутствует.",
|
||
"manual_case_decision": "needs_routing_extension",
|
||
"annotation_author": "manual_reviewer",
|
||
"resolved": false,
|
||
"resolved_at": null,
|
||
"resolved_by": null,
|
||
"created_at": "2026-04-09T18:18:02.949Z",
|
||
"updated_at": "2026-04-09T18:18:02.949Z",
|
||
"context": {
|
||
"message_id": "msg-fIfli9GAKl",
|
||
"trace_id": "address-0wCj3SAhfK",
|
||
"reply_type": "partial_coverage",
|
||
"eval_target": "assistant_stage1",
|
||
"prompt_version": "address_query_runtime_v1",
|
||
"domain": null,
|
||
"query_class": null,
|
||
"question_text": "Где у нас есть платежи, но нет документов для закрытия взаиморасчетов? Это уже требует ручной проверки.",
|
||
"answer_text": "Для точного адресного поиска не хватает обязательного якоря.\nПричина: контрагент по указанному имени/алиасу не найден в materialized live-строках.\nЧто нужно уточнить: уточните точное имя контрагента или добавьте ИНН."
|
||
}
|
||
},
|
||
{
|
||
"annotation_id": "ann-mnrsx62p-sp9mrfy",
|
||
"run_id": "assistant-stage1-rDM8XCbg7q",
|
||
"case_id": "AUTO-005",
|
||
"session_id": "assistant-stage1-rDM8XCbg7q-AUTO-005",
|
||
"message_index": 1,
|
||
"rating": 1,
|
||
"comment": "Опять точно такая же проблема. Ну как бы очень технический ответ про якоря и про обязательства. Это уже обсуждали. И никакие уточнения, а почему модель просто какие-то уточнения, это противоречит вообще-то изначальному запросу. Запрос максимально простой. Надо найти документы, которые не оплачены. То есть договора мертвые, без оплат. Вот и всё. У нас точно такие есть, и их точно довольно-таки легко маршрутизировать, если они у нас не маршрутизируются.",
|
||
"manual_case_decision": "needs_routing_extension",
|
||
"annotation_author": "manual_reviewer",
|
||
"resolved": false,
|
||
"resolved_at": null,
|
||
"resolved_by": null,
|
||
"created_at": "2026-04-09T18:19:27.359Z",
|
||
"updated_at": "2026-04-09T20:06:33.494Z",
|
||
"context": {
|
||
"message_id": "msg-uVQqIiArS7",
|
||
"trace_id": "address-2NS8zxTvo5",
|
||
"reply_type": "partial_coverage",
|
||
"eval_target": "assistant_stage1",
|
||
"prompt_version": "address_query_runtime_v1",
|
||
"domain": null,
|
||
"query_class": null,
|
||
"question_text": "По каким контрагентам документы есть, а оплат нет. Может, стоит взять на карандаш такие ситуации чтоб не тянуть дальше?",
|
||
"answer_text": "Для точного адресного поиска не хватает обязательного якоря.\nПричина: контрагент по указанному имени/алиасу не найден в materialized live-строках.\nЧто нужно уточнить: уточните точное имя контрагента или добавьте ИНН."
|
||
}
|
||
}
|
||
] |