Initial commit

plan/current/experiment_plan_detailed.md

@@ -0,0 +1,802 @@
+# Детализированный план эксперимента E01
+
+## 1. Назначение документа
+
+Этот документ является рабочим планом первого экспериментального проекта по итогам обзорной статьи о текстурных признаках. Его задача — перевести обзорные выводы статьи в последовательность конкретных программных шагов, артефактов и проверяемых гипотез.
+
+План специально разделен на две части:
+
+- часть A — то, что можно и нужно делать на доступном локальном наборе данных;
+- часть B — то, что сохраняется в общем исследовательском замысле, но требует дополнительных данных или дополнительной экспертной разметки.
+
+## 2. Связь с исходным планом статьи
+
+Исходный общий план сохранен в [plan/source_article_plan/experiment_plan.md](../../plan/source_article_plan/experiment_plan.md). После анализа реального корпуса данных и структуры разметки уточняется следующая матрица соответствия.
+
+| Направление исходного плана | Статус на текущих данных | Что именно можно делать сейчас | Что переносится на будущее |
+|---|---|---|---|
+| Интерпретируемый morpho-texture baseline | Полностью применимо | `blast / non-blast`, сравнение `bbox` и `mask`, patient-level оценка, интерпретация признаков | `lymphoblast / myeloblast` |
+| Гибридная модель для малого объема данных и доменного сдвига | Частично применимо | внутреннее сравнение признаковых и легких deep-моделей, low-data режимы внутри одного корпуса | полноценный cross-dataset transfer и внешняя валидация |
+| Интерпретируемые deep и transformer-подобные модели | Частично применимо | ограниченные object-level deep baselines на текущем корпусе | подтипизация бластов, MIL с case-level метками, сильная интерпретация по экспертным ROI |
+| Анализаторно-ориентированная slide-level схема | Частично применимо | image-level агрегирование как приближение к задаче анализатора | истинный slide-level и case-level workflow |
+
+## 3. Главная научная цель текущего этапа
+
+На текущем корпусе нужно строго проверить следующую гипотезу:
+
+Компактный и интерпретируемый набор морфометрических, цветовых и текстурных признаков, извлеченных из объектов detection-разметки и сегментационных масок, способен обеспечить устойчивое различение `blast / non-blast` на данных разных пациентов и дать практически полезный уровень image-level агрегирования для задач автоматического анализатора.
+
+## 4. Ограничения текущих данных
+
+Перед реализацией кода нужно принять следующие ограничения как часть постановки, а не как технические мелочи:
+
+1. В разметке отсутствует разделение `lymphoblast` и `myeloblast`; следовательно, текущий эксперимент не может служить доказательством для подтипизации бластов.
+2. Основной надежный уровень оценки — пациент, а не объект и не изображение.
+3. В разметке присутствуют классы качества и артефактов (`Bad cells`, `artifacts`, `gumpricht shadows`), которые нельзя механически смешивать с морфологически корректными клетками без отдельного протокола.
+4. Маски покрывают почти весь корпус, но не полностью; нужна двухветочная логика `mask-aware` и `bbox-only fallback`.
+5. Часть label-файлов содержит class id в формате `float`, следовательно, парсер должен явно использовать преобразование `int(float(raw_class_id))`.
+6. В сыром каталоге присутствует специальная директория `part-1`, не соответствующая формату patient id; до уточнения ее происхождения она должна быть исключена из основного patient-level протокола и рассматриваться только как возможный вспомогательный корпус.
+
+## 5. Рабочая схема проекта
+
+Рекомендуется реализовать эксперимент не как один скрипт, а как последовательность самостоятельных этапов с фиксированными артефактами:
+
+1. Индексация и аудит данных.
+2. Формирование канонических разбиений по пациентам.
+3. Извлечение объектов и ROI.
+4. Вычисление признаков.
+5. Обучение признаковых моделей.
+6. Ограниченные deep baselines.
+7. Image-level агрегирование.
+8. Подготовка таблиц, графиков и воспроизводимых отчетов.
+
+## 6. Часть A. Эксперименты, которые можно сделать на текущих данных
+
+### A0. Подготовка проектного контракта данных
+
+#### Цель
+
+Зафиксировать единый источник истины по пациентам, изображениям, объектам, маскам и классам.
+
+#### Входы
+
+- `data`
+- `data_masks`
+
+Для первой фазы основным корпусом считаются только `122` каталогов, которые имеют формат patient id. Директория `part-1` должна индексироваться отдельно и не должна автоматически попадать в основное разбиение.
+
+#### Что нужно реализовать
+
+1. Парсер patient-каталогов.
+2. Парсер `predefined_classes.txt`.
+3. Парсер detection-разметки с нормализацией `int(float(class_id))`.
+4. Парсер масок `*_class_<id>_obj_<index>.png`.
+5. Проверку, что `obj_<index>` совпадает с порядком строк в label-файле.
+
+#### Выходные артефакты
+
+- `outputs/dataset_index/patient_inventory.csv`
+- `outputs/dataset_index/image_index.parquet`
+- `outputs/dataset_index/object_index.parquet`
+- `outputs/dataset_index/class_mapping.json`
+- `outputs/dataset_index/mask_coverage_report.csv`
+- `outputs/reports/data_audit_runtime.md`
+
+#### Требования к `object_index`
+
+Каждая строка должна содержать как минимум:
+
+- `patient_id`
+- `image_id`
+- `image_path`
+- `label_path`
+- `mask_path` или `null`
+- `object_id_within_image`
+- `class_id`
+- `class_name`
+- `x_center_norm`
+- `y_center_norm`
+- `width_norm`
+- `height_norm`
+- `has_mask`
+- `is_blast`
+- `is_quality_or_artifact`
+
+#### Критерий завершения этапа
+
+Артефакт `object_index.parquet` воспроизводимо пересобирается и полностью описывает весь текущий корпус.
+
+#### Проверяемые результаты этапа
+
+- построен единый индекс пациентов, изображений и объектов для основного patient-level корпуса;
+- для каждого объекта однозначно определены `class_id`, `class_name`, координаты bbox, признак `is_blast` и наличие маски;
+- построен отчет о покрытии масками и обо всех найденных несоответствиях между `data` и `data_masks`;
+- зафиксирована отдельная запись о специальном каталоге `part-1`, который не смешивается с основным patient-level корпусом.
+
+#### Как оценить качество результата
+
+- число пациентских каталогов, изображений, label-файлов и объектов совпадает с зафиксированными значениями из [docs/data_audit.md](../../docs/data_audit.md);
+- доля объектов без `class_name`, bbox-координат или `patient_id` равна `0`;
+- все пути `image_path`, `label_path`, `mask_path` валидны на файловой системе;
+- нет дубликатов по ключу `patient_id + image_id + object_id_within_image`;
+- отчет `mask_coverage_report.csv` позволяет отдельно проверить случаи без масок, пустые label-файлы и исключенный каталог `part-1`.
+
+#### Предлагаемые модули кода
+
+- `src/dataset/build_index.py`
+- `src/dataset/parse_detection_labels.py`
+- `src/dataset/parse_masks.py`
+- `src/dataset/class_mapping.py`
+- `tests/test_dataset_index.py`
+
+### A1. Формирование аналитических подмножеств
+
+#### Цель
+
+Развести разные исследовательские режимы, чтобы не смешивать клинически осмысленную задачу распознавания клеток и задачу устойчивости к плохому качеству и артефактам.
+
+#### Подмножества, которые нужно сформировать
+
+1. `full_realistic_set`
+   Используются все объекты, включая `Bad cells`, `artifacts` и `gumpricht shadows`.
+
+2. `clean_cell_set`
+   Исключаются только `Bad cells` и `artifacts`.
+   Объем по текущей оценке для основного patient-level корпуса: `78 517` объектов.
+
+3. `strict_morphology_set`
+   Исключаются `Bad cells`, `artifacts` и `gumpricht shadows`.
+   Объем по текущей оценке для основного patient-level корпуса: `74 917` объектов.
+
+4. `mask_ready_set`
+   Объекты, у которых есть валидная маска.
+
+#### Почему это важно
+
+- `full_realistic_set` нужен для анализаторно-ориентированной постановки.
+- `clean_cell_set` нужен для более честной оценки распознавания клеток.
+- `strict_morphology_set` нужен для сравнения текстурных и морфометрических признаков без сильного влияния шумовых классов.
+
+#### Выходные артефакты
+
+- `outputs/dataset_index/subset_full_realistic.parquet`
+- `outputs/dataset_index/subset_clean_cell.parquet`
+- `outputs/dataset_index/subset_strict_morphology.parquet`
+- `outputs/dataset_index/subset_mask_ready.parquet`
+
+#### Критерий завершения этапа
+
+Для каждого подмножества автоматически строится таблица распределения классов по пациентам и объектам.
+
+#### Проверяемые результаты этапа
+
+- сформированы четыре формальные версии корпуса с прозрачными правилами включения и исключения объектов;
+- для каждого подмножества рассчитаны размеры, class distribution и patient coverage;
+- зафиксировано, какие именно классы и в каком объеме исключаются при переходе от `full_realistic_set` к `clean_cell_set` и `strict_morphology_set`.
+
+#### Как оценить качество результата
+
+- в `clean_cell_set` отсутствуют классы `Bad cells` и `artifacts`;
+- в `strict_morphology_set` дополнительно отсутствует класс `gumpricht shadows`;
+- число объектов в подмножествах строго совпадает с фильтрационными правилами;
+- построенная таблица распределения позволяет проверить, что ни одно подмножество не потеряло пациентов или изображения неожиданным образом;
+- для `mask_ready_set` отдельно оценивается доля покрытия масками и список исключенных объектов.
+
+### A2. Построение patient-level разбиений
+
+#### Цель
+
+Исключить утечку информации между выборками и подготовить единый протокол оценки для всех моделей.
+
+#### Основные правила
+
+1. Один пациент может входить только в один из наборов `train`, `validation`, `test`.
+2. Все модели должны использовать одни и те же финальные разбиения.
+3. Внутренняя настройка гиперпараметров должна происходить только внутри train-части.
+4. В базовом протоколе участвуют только `122` patient-идентифицированных каталога; `part-1` в это разбиение не входит.
+
+#### Рекомендуемый протокол
+
+1. Финальный внешний hold-out по пациентам:
+   - `70%` пациентов — train;
+   - `15%` пациентов — validation;
+   - `15%` пациентов — test.
+
+2. Внутри train:
+   - `StratifiedGroupKFold` или собственная стратификация по доле `blast` у пациента;
+   - минимум `5` повторов для признаковых моделей.
+
+#### Дополнительные таблицы для стратификации
+
+Нужно посчитать для каждого пациента:
+
+- число объектов;
+- число `blast`;
+- долю `blast`;
+- число изображений;
+- число изображений с `blast`;
+- долю объектов без масок.
+
+#### Выходные артефакты
+
+- `outputs/splits/patient_summary.csv`
+- `outputs/splits/split_v1.json`
+- `outputs/splits/split_v1_train_patients.txt`
+- `outputs/splits/split_v1_val_patients.txt`
+- `outputs/splits/split_v1_test_patients.txt`
+- `outputs/tables/class_distribution_by_split.csv`
+
+#### Критерий завершения этапа
+
+Разбиение стабильно, воспроизводимо и используется далее без ручных корректировок.
+
+#### Проверяемые результаты этапа
+
+- сформирован единый `split_v1`, используемый всеми последующими моделями;
+- для каждого пациента определена принадлежность к `train`, `validation` или `test`;
+- рассчитана таблица стратификации по числу объектов, числу `blast`, доле `blast` и числу изображений;
+- сохранены текстовые списки пациентов и JSON-описание разбиения.
+
+#### Как оценить качество результата
+
+- пересечение множеств пациентов между `train`, `validation` и `test` равно `0`;
+- распределение класса `blast` и размера выборки между частями разбиения не содержит грубых перекосов;
+- при повторной сборке с тем же `random_state` получается идентичный `split_v1`;
+- `part-1` отсутствует во всех split-файлах;
+- таблица `class_distribution_by_split.csv` позволяет отдельно проверить баланс по объектам и по пациентам.
+
+#### Предлагаемые модули кода
+
+- `src/dataset/build_patient_summary.py`
+- `src/dataset/make_group_splits.py`
+- `tests/test_group_split_no_leakage.py`
+
+### A3. Извлечение object-level кропов и областей интереса
+
+#### Цель
+
+Подготовить единое представление объекта для разных семейств признаков и моделей.
+
+#### Нужно реализовать три режима ROI
+
+1. `bbox_crop`
+   Прямоугольный кроп по YOLO-рамке.
+
+2. `mask_crop`
+   Кроп по bounding box объекта, внутри которого пиксели вне маски зануляются или заменяются фоном.
+
+3. `mask_tight_crop`
+   Плотный кроп по минимальному прямоугольнику маски.
+
+#### Дополнительные решения
+
+1. Зафиксировать размер выходного изображения для deep baselines, например `224x224`.
+2. Для признаковых моделей хранить и исходный масштаб, и нормализованную версию.
+3. Сохранять метаданные о масштабировании и паддинге.
+
+#### Выходные артефакты
+
+- `outputs/crops/bbox/<subset>/<patient_id>/<image_id>__obj_<id>.png`
+- `outputs/crops/mask/<subset>/<patient_id>/<image_id>__obj_<id>.png`
+- `outputs/crops/mask_tight/<subset>/<patient_id>/<image_id>__obj_<id>.png`
+- `outputs/crops/roi_manifest.parquet`
+
+#### Контроль качества
+
+Нужно автоматически проверять:
+
+- что число экспортированных объектов совпадает с ожидаемым числом строк индекса;
+- что геометрия кропа не выходит за пределы исходного изображения;
+- что объект с маской действительно имеет ненулевую площадь маски.
+
+#### Проверяемые результаты этапа
+
+- экспортированы три согласованные версии ROI: `bbox_crop`, `mask_crop`, `mask_tight_crop`;
+- построен единый `roi_manifest.parquet`, связывающий исходный объект, пути к кропам, размеры ROI и режим подготовки;
+- сформирован отчет о неэкспортированных или проблемных ROI.
+
+#### Как оценить качество результата
+
+- число `bbox_crop` совпадает с числом объектов выбранного подмножества;
+- число `mask_crop` и `mask_tight_crop` совпадает с числом объектов, у которых есть валидная маска;
+- доля кропов с выходом за границы, нулевой площадью маски или битыми изображениями равна `0`;
+- по визуальной выборке можно проверить, что bbox- и mask-кропы действительно содержат нужный объект, а не соседние клетки;
+- `roi_manifest.parquet` позволяет автоматически сравнивать количество исходных объектов и количество реально экспортированных ROI.
+
+#### Предлагаемые модули кода
+
+- `src/preprocessing/extract_bbox_crops.py`
+- `src/preprocessing/extract_mask_crops.py`
+- `src/preprocessing/image_io.py`
+- `tests/test_crop_extraction.py`
+
+### A4. Базовая объектная постановка `blast / non-blast`
+
+#### Цель
+
+Получить строгий и воспроизводимый baseline, который напрямую отвечает на главный вопрос статьи: полезны ли текстурные признаки в условиях реальных данных и patient-level оценки.
+
+#### Основная целевая переменная
+
+- `target_binary = 1`, если `class_id == 7`;
+- `target_binary = 0` для остальных объектов выбранного подмножества.
+
+#### Какие версии задачи нужно решить
+
+1. `Task A4.1`
+   `blast / non-blast` на `clean_cell_set`.
+
+2. `Task A4.2`
+   `blast / non-blast` на `strict_morphology_set`.
+
+3. `Task A4.3`
+   `blast / everything_else` на `full_realistic_set`.
+
+Последняя постановка особенно важна для автоматического анализатора, потому что она показывает устойчивость модели к артефактам и классам плохого качества.
+
+#### Артефакты
+
+- `outputs/dataset_index/task_a41_clean_binary.parquet`
+- `outputs/dataset_index/task_a42_strict_binary.parquet`
+- `outputs/dataset_index/task_a43_full_realistic_binary.parquet`
+- `outputs/tables/task_prevalence_summary.csv`
+- `outputs/reports/task_definition_report.md`
+
+#### Проверяемые результаты этапа
+
+- подготовлены три бинарные постановки с явно определенной целевой переменной;
+- для каждой постановки рассчитаны числа `blast`, `non-blast`, доля положительного класса и список hard-negative классов;
+- зафиксировано, какие именно задачи используются для дальнейшего сравнения моделей.
+
+#### Как оценить качество результата
+
+- во всех трех файлах задача `blast / non-blast` формируется строго по правилу `class_id == 7`;
+- `task_prevalence_summary.csv` позволяет проверить дисбаланс классов и сложность каждой постановки;
+- во всех постановках сохраняется patient-level совместимость со `split_v1`;
+- по отчету `task_definition_report.md` можно проверить, какие классы формируют трудные отрицательные примеры и насколько различаются режимы `clean`, `strict` и `full_realistic`.
+
+### A5. Вычисление признаков
+
+#### Семейства признаков, которые нужно реализовать
+
+1. Морфометрические признаки:
+   - площадь bbox;
+   - площадь маски;
+   - периметр маски;
+   - круглотность;
+   - эксцентриситет;
+   - отношение площади маски к площади bbox;
+   - характеристики контура.
+
+2. Цветовые признаки:
+   - средние и стандартные отклонения по каналам RGB;
+   - признаки в HSV и Lab;
+   - цветовые квантили;
+   - показатели цветовой неоднородности.
+
+3. Текстурные признаки:
+   - GLCM и признаки Харалика;
+   - LBP;
+   - статистики градиента;
+   - признаки Лапласиана;
+   - фрактальные или мульти-масштабные показатели;
+   - вейвлет-признаки;
+   - спектральные признаки Фурье при необходимости.
+
+#### Режимы расчета признаков
+
+1. по `bbox_crop`;
+2. по `mask_crop`;
+3. комбинированно `bbox + mask features`.
+
+#### Выходные артефакты
+
+- `outputs/features/features_bbox.parquet`
+- `outputs/features/features_mask.parquet`
+- `outputs/features/features_combined.parquet`
+- `outputs/features/feature_dictionary.md`
+- `outputs/tables/feature_missingness.csv`
+- `outputs/reports/feature_extraction_qc.md`
+
+#### Проверяемые результаты этапа
+
+- для каждого объекта вычислены формальные морфометрические, цветовые и текстурные признаки;
+- построены три согласованные матрицы признаков: `bbox`, `mask`, `combined`;
+- сформирован словарь признаков с их определениями и зоной вычисления;
+- построен отчет о пропусках, константных признаках и аномальных значениях.
+
+#### Как оценить качество результата
+
+- число строк в матрицах признаков совпадает с числом объектов соответствующего режима;
+- доля пропусков по каждому признаку рассчитана и явно зафиксирована;
+- константные и вырожденные признаки отделены от рабочих признаков;
+- можно проверить диапазоны значений, число признаков каждого семейства и различия между `bbox`, `mask` и `combined`;
+- `feature_extraction_qc.md` должен позволять быстро увидеть, какие признаки нужно удалить или стандартизовать до обучения моделей.
+
+#### Предлагаемые модули кода
+
+- `src/features/extract_morphology.py`
+- `src/features/extract_color.py`
+- `src/features/extract_texture_glcm.py`
+- `src/features/extract_texture_lbp.py`
+- `src/features/extract_texture_wavelet.py`
+- `src/features/feature_registry.py`
+- `tests/test_feature_shapes.py`
+
+### A6. Признаковые baseline-модели
+
+#### Цель
+
+Сравнить информативность разных наборов признаков до подключения сложных нейросетевых архитектур.
+
+#### Последовательность моделей
+
+1. Logistic Regression
+2. Linear SVM
+3. RBF SVM
+4. Random Forest
+5. XGBoost или LightGBM
+
+#### Для каждой модели нужно сравнить
+
+1. только морфометрию;
+2. только цвет;
+3. только текстуру;
+4. морфометрия + цвет;
+5. морфометрия + текстура;
+6. цвет + текстура;
+7. полный набор признаков.
+
+#### Метрики
+
+Основные:
+
+- PR-AUC;
+- ROC-AUC;
+- balanced accuracy;
+- macro-F1;
+- recall для класса `blast`;
+- specificity;
+- Matthews correlation coefficient.
+
+Дополнительные:
+
+- calibration error;
+- Brier score;
+- доверительные интервалы по повторам разбиения.
+
+#### Артефакты
+
+- `outputs/tables/object_level_metrics_baselines.csv`
+- `outputs/tables/feature_group_ablation.csv`
+- `outputs/predictions/object_level_baseline_predictions.parquet`
+- `outputs/figures/pr_curves_baselines.png`
+- `outputs/figures/roc_curves_baselines.png`
+- `outputs/tables/baseline_model_leaderboard.csv`
+- `outputs/figures/confusion_matrix_best_baseline.png`
+
+#### Проверяемые результаты этапа
+
+- обучены все запланированные признаковые baseline-модели на одинаковом `split_v1`;
+- получена таблица метрик по каждой модели и каждому режиму признаков;
+- построен лидерборд лучших моделей и лучший baseline для дальнейших абляций;
+- сохранены object-level вероятности и классовые предсказания для последующего image-level агрегирования.
+
+#### Как оценить качество результата
+
+- в `object_level_metrics_baselines.csv` присутствуют все основные метрики и доверительные интервалы;
+- `baseline_model_leaderboard.csv` позволяет проверить, какая комбинация `модель + режим признаков + subset` действительно лучшая;
+- по confusion matrix и PR/ROC-кривым можно проверить не только среднее качество, но и характер ошибок;
+- отдельно оценивается recall класса `blast`, так как именно он является клинически критичным.
+
+### A7. Отбор признаков и интерпретация
+
+#### Цель
+
+Показать не только качество, но и морфологический смысл решения.
+
+#### Что нужно проверить
+
+1. Устойчивость ranking признаков между разными фолдами.
+2. Согласованность ranking между моделями.
+3. Какие именно признаки стабильно усиливают разделение `blast / non-blast`.
+
+#### Рекомендуемые методы
+
+- permutation importance;
+- SHAP для деревьев и бустинга;
+- регуляризованные линейные модели;
+- повторяемый отбор признаков с подсчетом частоты выбора.
+
+#### Артефакты
+
+- `outputs/tables/top_features_stability.csv`
+- `outputs/figures/shap_summary_top_model.png`
+- `outputs/figures/feature_importance_stability.png`
+- `reports/feature_interpretation_notes.md`
+
+#### Проверяемые результаты этапа
+
+- получен устойчивый ranking наиболее информативных признаков;
+- зафиксирована повторяемость top-признаков между фолдами и между моделями;
+- для лучшей модели построены интерпретационные диаграммы и текстовые пояснения.
+
+#### Как оценить качество результата
+
+- `top_features_stability.csv` позволяет проверить частоту появления признака в top-N списках разных запусков;
+- по SHAP и permutation importance можно сравнить, совпадает ли ранжирование между разными методами интерпретации;
+- в `feature_interpretation_notes.md` должно быть указано, какие признаки имеют ясный морфологический смысл и какие остаются только статистически значимыми;
+- результат считается сильным, если ключевые признаки не меняются хаотично от фолда к фолду.
+
+#### Практический результат
+
+Этот этап должен дать содержательные формулировки для статьи и диссертации: какие текстурные и морфометрические свойства чаще всего ассоциированы с бластными объектами в данном корпусе.
+
+### A8. Абляции по роли маски и шумовых классов
+
+#### Цель
+
+Отдельно проверить, дают ли маски и разные режимы очистки корпуса заметный прирост качества.
+
+#### Обязательные абляции
+
+1. `bbox-only` против `mask-only`.
+2. `mask-only` против `bbox + mask`.
+3. `clean_cell_set` против `strict_morphology_set`.
+4. `strict_morphology_set` против `full_realistic_set`.
+5. обучение на полном дисбалансном наборе против обучения с class weights.
+6. обучение на полном признаковом наборе против отбора признаков.
+
+#### Артефакты
+
+- `outputs/tables/ablation_mask_usage.csv`
+- `outputs/tables/ablation_dataset_regimes.csv`
+- `outputs/figures/ablation_summary.png`
+
+#### Проверяемые результаты этапа
+
+- измерен вклад масок в качество модели;
+- измерено влияние очистки корпуса и включения шумовых классов;
+- зафиксированы различия между полным набором признаков и урезанными вариантами;
+- отдельно проверено влияние class weights и feature selection.
+
+#### Как оценить качество результата
+
+- `ablation_mask_usage.csv` должен показывать прирост или потерю качества при переходе между `bbox`, `mask` и `bbox+mask`;
+- `ablation_dataset_regimes.csv` должен показывать, насколько ухудшается качество в более реалистичном `full_realistic_set`;
+- итоговая фигура `ablation_summary.png` должна позволять быстро увидеть самые важные факторы изменения качества;
+- результат считается убедительным, если различия интерпретируемы и воспроизводимы, а не случайны в пределах погрешности.
+
+### A9. Ограниченные deep baselines на текущем корпусе
+
+#### Цель
+
+Не строить сразу сложную нейросетевую историю, а получить честную точку сравнения для признаковых моделей на том же split и тех же данных.
+
+#### Что можно делать уже сейчас
+
+1. Легкая CNN на `bbox_crop`.
+2. Та же CNN на `mask_crop`.
+3. CNN + tabular late fusion на объединенных признаках.
+
+#### Что нельзя обещать на этом этапе
+
+- убедительное сравнение с сильными трансформерными моделями из литературы;
+- выводы о подтипизации бластов;
+- выводы о переносимости на другие лаборатории.
+
+#### Артефакты
+
+- `outputs/tables/deep_vs_handcrafted.csv`
+- `outputs/predictions/object_level_deep_predictions.parquet`
+- `outputs/checkpoints/cnn_bbox_best.pt`
+- `outputs/checkpoints/cnn_mask_best.pt`
+- `outputs/logs/cnn_training_history.json`
+- `outputs/figures/deep_training_curves.png`
+
+#### Проверяемые результаты этапа
+
+- обучены ограниченные deep baselines на тех же patient-level split, что и признаковые модели;
+- получено прямое сравнение `handcrafted`, `deep` и `late fusion`;
+- сохранены лучшие checkpoint-файлы и история обучения.
+
+#### Как оценить качество результата
+
+- `deep_vs_handcrafted.csv` позволяет сравнить качество deep-подходов с лучшим признаковым baseline на одних и тех же данных;
+- по `deep_training_curves.png` можно проверить переобучение, недообучение и устойчивость обучения;
+- по `cnn_training_history.json` можно оценить число эпох до сходимости, лучшую эпоху и разрыв между train и validation;
+- deep-этап считается полезным, если он дает либо измеримый прирост качества, либо честно показывает, что в текущем low-complexity режиме интерпретируемые признаки не уступают легкой CNN.
+
+### A10. Анализаторно-ориентированное image-level агрегирование
+
+#### Цель
+
+Сделать переход от классификации отдельного объекта к постановке, более близкой к автоматическому анализатору: содержит ли изображение хотя бы один вероятный бласт и насколько высоко модель ранжирует такие изображения.
+
+#### Доступные сейчас постановки
+
+1. `image_contains_blast`
+   Изображение считается положительным, если среди его объектов есть хотя бы один `blast`.
+
+2. `top_k_image_ranking`
+   Изображения сортируются по максимальному или агрегированному blast-score объектов.
+
+3. `patient_risk_score`
+   Для пациента агрегируется статистика по всем изображениям:
+   - максимум blast-score;
+   - доля изображений с blast-score выше порога;
+   - средний score по top-K объектам.
+
+#### Способы агрегирования, которые нужно сравнить
+
+1. `max object score`;
+2. `mean top-3 scores`;
+3. `count of objects above threshold`;
+4. `soft noisy-or`.
+
+#### Метрики
+
+- image-level PR-AUC;
+- image-level recall при фиксированной доле ложных тревог;
+- patient-level sensitivity;
+- top-K recall для изображений с бластами.
+
+#### Почему это важно
+
+Этот этап лучше всего связывает текущие данные со статьей и будущей диссертацией: даже не имея настоящих slide-level меток, мы уже можем проверить, насколько object-level модель пригодна как подсистема отбора подозрительных изображений для анализатора.
+
+#### Артефакты
+
+- `outputs/tables/image_level_metrics.csv`
+- `outputs/tables/patient_level_ranking_metrics.csv`
+- `outputs/predictions/image_level_scores.parquet`
+- `outputs/predictions/patient_level_scores.parquet`
+- `outputs/figures/image_ranking_recall_curve.png`
+- `outputs/figures/patient_ranking_curve.png`
+
+#### Проверяемые результаты этапа
+
+- object-level модель переведена в image-level и patient-level постановку;
+- рассчитаны image-level и patient-level score для всех объектов наблюдения;
+- определен лучший способ агрегирования object scores для анализаторно-ориентированного сценария.
+
+#### Как оценить качество результата
+
+- `image_level_metrics.csv` позволяет сравнить разные способы агрегирования по PR-AUC и recall при ограниченной ложной тревоге;
+- `patient_level_ranking_metrics.csv` позволяет оценить, насколько хорошо пациент с бластами поднимается в верх ранжированного списка;
+- `image_ranking_recall_curve.png` и `patient_ranking_curve.png` позволяют визуально проверить пригодность модели для предварительного отбора подозрительных изображений и пациентов;
+- этап считается особенно успешным, если даже простой object-level baseline обеспечивает высокое top-K покрытие изображений и пациентов с бластами.
+
+### A11. Минимальный набор визуализаций для статьи и диссертации
+
+#### Нужно подготовить
+
+1. Схему пайплайна обработки данных.
+2. Таблицу классов и объема корпуса.
+3. Примеры `bbox_crop` и `mask_crop`.
+4. График покрытия масками.
+5. Таблицы baseline-метрик.
+6. График устойчивости top-признаков.
+7. Схему image-level агрегирования.
+
+#### Артефакты
+
+- `outputs/figures/pipeline_overview.png`
+- `outputs/figures/example_rois.png`
+- `outputs/figures/mask_coverage.png`
+- `outputs/tables/dataset_summary.csv`
+- `outputs/tables/figure_manifest.csv`
+- `outputs/tables/table_manifest.csv`
+
+#### Проверяемые результаты этапа
+
+- подготовлен минимально достаточный комплект иллюстраций и таблиц для статьи и диссертации;
+- каждая фигура и таблица привязана к конкретному этапу эксперимента и конкретному исходному файлу;
+- оформлен список всех визуальных артефактов, которые можно использовать при написании текста работы.
+
+#### Как оценить качество результата
+
+- по `figure_manifest.csv` и `table_manifest.csv` можно проверить полноту пакета визуализаций;
+- каждая таблица должна совпадать по числам с соответствующими CSV-артефактами модели и данных;
+- каждая фигура должна строиться воспроизводимо из проектных данных, а не вручную;
+- итоговый комплект считается достаточным, если по нему уже можно собирать разделы статьи, главы диссертации и презентационные материалы без дополнительного пересчета результатов.
+
+## 7. Часть B. Эксперименты, требующие дополнительных данных
+
+### B1. Разделение лимфобластов и миелобластов
+
+Для этой постановки обязательно нужен новый корпус или доразметка текущего корпуса, где класс `blast` будет разделен минимум на:
+
+- `lymphoblast`;
+- `myeloblast`;
+- при необходимости `ambiguous blast-like`.
+
+Только после этого можно переносить на практику исходную гипотезу статьи о class-specific текстурных различиях лимфобластов и миелобластов.
+
+### B2. Полноценный эксперимент по доменному сдвигу
+
+Нужны данные хотя бы из еще одного источника:
+
+- другая лаборатория;
+- другой сканер;
+- другая методика окраски;
+- другой режим подготовки препаратов.
+
+Тогда можно сравнивать:
+
+- handcrafted only;
+- deep only;
+- hybrid.
+
+И только в этом случае будет корректно обсуждать устойчивость к междоменному переносу.
+
+### B3. Slide-level и case-level постановка
+
+Чтобы реализовать сильную анализаторно-ориентированную схему, требуются:
+
+- полноценные slide-level метки;
+- case-level клинические метки;
+- желательно информация о конечном диагнозе или наличии резидуальных бластов на уровне случая.
+
+Без этого текущий этап может дать только image-level приближение.
+
+### B4. Экспертная клиническая интерпретация
+
+Для глубоких моделей и усиленной интерпретации нужны:
+
+- ручные контуры ядра и цитоплазмы;
+- выделение нуклеол;
+- при AML — специальные признаки типа палочек Ауэра;
+- экспертная blinded-оценка областей, на которые опирается модель.
+
+### B5. Продвинутые deep и MIL-схемы
+
+Полноценные transformer-подобные модели, MIL, weak supervision и причинно-структурные архитектуры имеет смысл выносить в отдельный этап только после того, как будет завершен и воспроизводимо оформлен этап A.
+
+## 8. Приоритеты реализации
+
+Код следует писать именно в таком порядке:
+
+1. `A0` — индексация и аудит.
+2. `A1` — аналитические подмножества.
+3. `A2` — patient-level split.
+4. `A3` — извлечение ROI.
+5. `A5` — вычисление признаков.
+6. `A6` — признаки и baseline-модели.
+7. `A7` — интерпретация признаков.
+8. `A8` — абляции.
+9. `A10` — image-level агрегирование.
+10. `A9` — ограниченные deep baselines.
+
+Такой порядок выбран специально: сначала нужно получить строго воспроизводимый, интерпретируемый и диссертационно полезный baseline, а уже потом усложнять модельную часть.
+
+## 9. Минимальный первый кодовый спринт
+
+Чтобы начать реализацию немедленно, первым спринтом нужно закрыть следующие задачи:
+
+1. Написать сборщик `object_index`.
+2. Зафиксировать patient-level split.
+3. Реализовать экспорт `bbox_crop` и `mask_crop`.
+4. Реализовать первый набор признаков:
+   - площадь;
+   - периметр;
+   - компактность;
+   - RGB-статистики;
+   - GLCM;
+   - LBP.
+5. Обучить Logistic Regression и Random Forest на `clean_cell_set`.
+6. Построить первые object-level и image-level метрики.
+
+Именно после этого спринта в проекте уже появится рабочая база, на которую можно последовательно наращивать остальной код.
+
+## 10. Что этот эксперимент даст для статьи и диссертации
+
+Если этап A будет выполнен качественно, то он уже сам по себе даст:
+
+- воспроизводимую оценку роли текстурных признаков;
+- сравнение признаковых режимов `bbox`, `mask`, `bbox+mask`;
+- практический аргумент в пользу patient-level протокола;
+- прикладную картину влияния шумовых классов и качества разметки;
+- bridge-результат между object-level классификацией и задачей автоматического анализатора.
+
+Именно это и должно стать центральным результатом первого экспериментального цикла.