66 lines
2.6 KiB
Markdown
66 lines
2.6 KiB
Markdown
# Run Folders
|
||
|
||
Эта папка используется для хранения артефактов каждой отдельной волны.
|
||
|
||
## Обязательный формат имени run-папки
|
||
|
||
- `docs/runs/YYYY-MM-DD_Stage_<NN>_Wave_<NN>_<short_topic>/`
|
||
|
||
Правило порядка строгое:
|
||
- после даты всегда идет `Stage`;
|
||
- после `Stage` всегда идет `Wave`;
|
||
- затем краткая тема волны.
|
||
|
||
Пример:
|
||
- `docs/runs/2026-03-26_Stage_04_Wave_01_Kickoff/`
|
||
|
||
## Обязательная структура внутри run-папки
|
||
|
||
- `README.md` — что проверяли и зачем;
|
||
- `run_summary.json` — команды, результаты, ключевые ссылки;
|
||
- `artifacts/` — отчеты прогонов (test/eval/acceptance/regression);
|
||
- `prompt_dialogs/` — диалоги user/system/assistant и runtime-контекст.
|
||
- `чат.txt` — контрольный прогон по 3 вопросам (основной пакет);
|
||
- `чат_2q.txt` — короткий smoke-прогон по 2 вопросам.
|
||
|
||
## Обязательная структура `prompt_dialogs`
|
||
|
||
- `prompt_dialogs/index.json`
|
||
- `prompt_dialogs/<suite>/<case_id>.json`
|
||
- `prompt_dialogs/<suite>/<case_id>.md`
|
||
|
||
Минимум по каждому кейсу:
|
||
- вопрос пользователя;
|
||
- ответ системы (assistant reply);
|
||
- технический контекст, доступный для анализа (debug/runtime/decomposition/grounding, если есть).
|
||
|
||
## Контрольные прогоны по вопросам
|
||
|
||
Для новых волн фиксируем два текстовых лога в run-папке:
|
||
- `чат.txt` — полный прогон по 3 контрольным вопросам;
|
||
- `чат_2q.txt` — короткий прогон по 2 вопросам для быстрого rerun-подтверждения.
|
||
|
||
Оба файла ведутся в одном стиле:
|
||
- блоки `user` / `assistant`;
|
||
- `reply_type`, `trace_id`;
|
||
- при необходимости отдельный debug-блок.
|
||
|
||
## Важное правило по волнам
|
||
|
||
Артефакты разных волн нельзя смешивать в одной папке.
|
||
Каждая волна должна иметь собственную run-папку и собственный набор `prompt_dialogs`.
|
||
|
||
## Архивация
|
||
|
||
```bash
|
||
npm run artifacts:bundle
|
||
```
|
||
|
||
```bash
|
||
npm run artifacts:bundle:clean
|
||
```
|
||
|
||
```bash
|
||
npm run artifacts:bundle:clean -- --label stage4_wave1
|
||
```
|