NODEDC_1C/llm_normalizer/docs/runs

Run Folders

Эта папка используется для хранения артефактов каждой отдельной волны.

Обязательный формат имени run-папки

• docs/runs/YYYY-MM-DD_Stage_<NN>_Wave_<NN>_<short_topic>/

Правило порядка строгое:

• после даты всегда идет Stage;
• после Stage всегда идет Wave;
• затем краткая тема волны.

Пример:

• docs/runs/2026-03-26_Stage_04_Wave_01_Kickoff/

Обязательная структура внутри run-папки

• README.md — что проверяли и зачем;
• run_summary.json — команды, результаты, ключевые ссылки;
• artifacts/ — отчеты прогонов (test/eval/acceptance/regression);
• prompt_dialogs/ — диалоги user/system/assistant и runtime-контекст.
• чат.txt — контрольный прогон по 3 вопросам (основной пакет);
• чат_2q.txt — короткий smoke-прогон по 2 вопросам.

Обязательная структура prompt_dialogs

• prompt_dialogs/index.json
• prompt_dialogs/<suite>/<case_id>.json
• prompt_dialogs/<suite>/<case_id>.md

Минимум по каждому кейсу:

• вопрос пользователя;
• ответ системы (assistant reply);
• технический контекст, доступный для анализа (debug/runtime/decomposition/grounding, если есть).

Контрольные прогоны по вопросам

Для новых волн фиксируем два текстовых лога в run-папке:

• чат.txt — полный прогон по 3 контрольным вопросам;
• чат_2q.txt — короткий прогон по 2 вопросам для быстрого rerun-подтверждения.

Оба файла ведутся в одном стиле:

• блоки user / assistant;
• reply_type, trace_id;
• при необходимости отдельный debug-блок.

Важное правило по волнам

Артефакты разных волн нельзя смешивать в одной папке. Каждая волна должна иметь собственную run-папку и собственный набор prompt_dialogs.

Архивация

npm run artifacts:bundle

npm run artifacts:bundle:clean

npm run artifacts:bundle:clean -- --label stage4_wave1