E01_textural_features_blast_pipeline/plan/current/experiment_plan_detailed.md

Детализированный план эксперимента E01

1. Назначение документа

Этот документ является рабочим планом первого экспериментального проекта по итогам обзорной статьи о текстурных признаках. Его задача — перевести обзорные выводы статьи в последовательность конкретных программных шагов, артефактов и проверяемых гипотез.

План специально разделен на две части:

• часть A — то, что можно и нужно делать на доступном локальном наборе данных;
• часть B — то, что сохраняется в общем исследовательском замысле, но требует дополнительных данных или дополнительной экспертной разметки.

2. Связь с исходным планом статьи

Исходный общий план сохранен в plan/source_article_plan/experiment_plan.md. После анализа реального корпуса данных и структуры разметки уточняется следующая матрица соответствия.

Направление исходного плана	Статус на текущих данных	Что именно можно делать сейчас	Что переносится на будущее
Интерпретируемый morpho-texture baseline	Полностью применимо	blast / non-blast, сравнение bbox и mask, patient-level оценка, интерпретация признаков	lymphoblast / myeloblast
Гибридная модель для малого объема данных и доменного сдвига	Частично применимо	внутреннее сравнение признаковых и легких deep-моделей, low-data режимы внутри одного корпуса	полноценный cross-dataset transfer и внешняя валидация
Интерпретируемые deep и transformer-подобные модели	Частично применимо	ограниченные object-level deep baselines на текущем корпусе	подтипизация бластов, MIL с case-level метками, сильная интерпретация по экспертным ROI
Анализаторно-ориентированная slide-level схема	Частично применимо	image-level агрегирование как приближение к задаче анализатора	истинный slide-level и case-level workflow

3. Главная научная цель текущего этапа

На текущем корпусе нужно строго проверить следующую гипотезу:

Компактный и интерпретируемый набор морфометрических, цветовых и текстурных признаков, извлеченных из объектов detection-разметки и сегментационных масок, способен обеспечить устойчивое различение blast / non-blast на данных разных пациентов и дать практически полезный уровень image-level агрегирования для задач автоматического анализатора.

4. Ограничения текущих данных

Перед реализацией кода нужно принять следующие ограничения как часть постановки, а не как технические мелочи:

1. В разметке отсутствует разделение lymphoblast и myeloblast; следовательно, текущий эксперимент не может служить доказательством для подтипизации бластов.
2. Основной надежный уровень оценки — пациент, а не объект и не изображение.
3. В разметке присутствуют классы качества и артефактов (Bad cells, artifacts, gumpricht shadows), которые нельзя механически смешивать с морфологически корректными клетками без отдельного протокола.
4. Маски покрывают почти весь корпус, но не полностью; нужна двухветочная логика mask-aware и bbox-only fallback.
5. Часть label-файлов содержит class id в формате float, следовательно, парсер должен явно использовать преобразование int(float(raw_class_id)).
6. В сыром каталоге присутствует специальная директория part-1, не соответствующая формату patient id; до уточнения ее происхождения она должна быть исключена из основного patient-level протокола и рассматриваться только как возможный вспомогательный корпус.

5. Рабочая схема проекта

Рекомендуется реализовать эксперимент не как один скрипт, а как последовательность самостоятельных этапов с фиксированными артефактами:

1. Индексация и аудит данных.
2. Формирование канонических разбиений по пациентам.
3. Извлечение объектов и ROI.
4. Вычисление признаков.
5. Обучение признаковых моделей.
6. Ограниченные deep baselines.
7. Image-level агрегирование.
8. Подготовка таблиц, графиков и воспроизводимых отчетов.

6. Часть A. Эксперименты, которые можно сделать на текущих данных

A0. Подготовка проектного контракта данных

Цель

Зафиксировать единый источник истины по пациентам, изображениям, объектам, маскам и классам.

Входы

• data
• data_masks

Для первой фазы основным корпусом считаются только 122 каталогов, которые имеют формат patient id. Директория part-1 должна индексироваться отдельно и не должна автоматически попадать в основное разбиение.

Что нужно реализовать

1. Парсер patient-каталогов.
2. Парсер predefined_classes.txt.
3. Парсер detection-разметки с нормализацией int(float(class_id)).
4. Парсер масок *_class_<id>_obj_<index>.png.
5. Проверку, что obj_<index> совпадает с порядком строк в label-файле.

Выходные артефакты

• outputs/dataset_index/patient_inventory.csv
• outputs/dataset_index/image_index.parquet
• outputs/dataset_index/object_index.parquet
• outputs/dataset_index/class_mapping.json
• outputs/dataset_index/mask_coverage_report.csv
• outputs/reports/data_audit_runtime.md

Требования к object_index

Каждая строка должна содержать как минимум:

• patient_id
• image_id
• image_path
• label_path
• mask_path или null
• object_id_within_image
• class_id
• class_name
• x_center_norm
• y_center_norm
• width_norm
• height_norm
• has_mask
• is_blast
• is_quality_or_artifact

Критерий завершения этапа

Артефакт object_index.parquet воспроизводимо пересобирается и полностью описывает весь текущий корпус.

Проверяемые результаты этапа

• построен единый индекс пациентов, изображений и объектов для основного patient-level корпуса;
• для каждого объекта однозначно определены class_id, class_name, координаты bbox, признак is_blast и наличие маски;
• построен отчет о покрытии масками и обо всех найденных несоответствиях между data и data_masks;
• зафиксирована отдельная запись о специальном каталоге part-1, который не смешивается с основным patient-level корпусом.

Как оценить качество результата

• число пациентских каталогов, изображений, label-файлов и объектов совпадает с зафиксированными значениями из docs/data_audit.md;
• доля объектов без class_name, bbox-координат или patient_id равна 0;
• все пути image_path, label_path, mask_path валидны на файловой системе;
• нет дубликатов по ключу patient_id + image_id + object_id_within_image;
• отчет mask_coverage_report.csv позволяет отдельно проверить случаи без масок, пустые label-файлы и исключенный каталог part-1.

Предлагаемые модули кода

• src/dataset/build_index.py
• src/dataset/parse_detection_labels.py
• src/dataset/parse_masks.py
• src/dataset/class_mapping.py
• tests/test_dataset_index.py

A1. Формирование аналитических подмножеств

Цель

Развести разные исследовательские режимы, чтобы не смешивать клинически осмысленную задачу распознавания клеток и задачу устойчивости к плохому качеству и артефактам.

Подмножества, которые нужно сформировать

1. full_realistic_set Используются все объекты, включая Bad cells, artifacts и gumpricht shadows.

2. clean_cell_set Исключаются только Bad cells и artifacts. Объем по текущей оценке для основного patient-level корпуса: 78 517 объектов.

3. strict_morphology_set Исключаются Bad cells, artifacts и gumpricht shadows. Объем по текущей оценке для основного patient-level корпуса: 74 917 объектов.

4. mask_ready_set Объекты, у которых есть валидная маска.

Почему это важно

• full_realistic_set нужен для анализаторно-ориентированной постановки.
• clean_cell_set нужен для более честной оценки распознавания клеток.
• strict_morphology_set нужен для сравнения текстурных и морфометрических признаков без сильного влияния шумовых классов.

Выходные артефакты

• outputs/dataset_index/subset_full_realistic.parquet
• outputs/dataset_index/subset_clean_cell.parquet
• outputs/dataset_index/subset_strict_morphology.parquet
• outputs/dataset_index/subset_mask_ready.parquet

Критерий завершения этапа

Для каждого подмножества автоматически строится таблица распределения классов по пациентам и объектам.

Проверяемые результаты этапа

• сформированы четыре формальные версии корпуса с прозрачными правилами включения и исключения объектов;
• для каждого подмножества рассчитаны размеры, class distribution и patient coverage;
• зафиксировано, какие именно классы и в каком объеме исключаются при переходе от full_realistic_set к clean_cell_set и strict_morphology_set.

Как оценить качество результата

• в clean_cell_set отсутствуют классы Bad cells и artifacts;
• в strict_morphology_set дополнительно отсутствует класс gumpricht shadows;
• число объектов в подмножествах строго совпадает с фильтрационными правилами;
• построенная таблица распределения позволяет проверить, что ни одно подмножество не потеряло пациентов или изображения неожиданным образом;
• для mask_ready_set отдельно оценивается доля покрытия масками и список исключенных объектов.

A2. Построение patient-level разбиений

Цель

Исключить утечку информации между выборками и подготовить единый протокол оценки для всех моделей.

Основные правила

1. Один пациент может входить только в один из наборов train, validation, test.
2. Все модели должны использовать одни и те же финальные разбиения.
3. Внутренняя настройка гиперпараметров должна происходить только внутри train-части.
4. В базовом протоколе участвуют только 122 patient-идентифицированных каталога; part-1 в это разбиение не входит.

Рекомендуемый протокол

1. Финальный внешний hold-out по пациентам:

   • 70% пациентов — train;
   • 15% пациентов — validation;
   • 15% пациентов — test.

2. Внутри train:

   • StratifiedGroupKFold или собственная стратификация по доле blast у пациента;
   • минимум 5 повторов для признаковых моделей.

Дополнительные таблицы для стратификации

Нужно посчитать для каждого пациента:

• число объектов;
• число blast;
• долю blast;
• число изображений;
• число изображений с blast;
• долю объектов без масок.

Выходные артефакты

• outputs/splits/patient_summary.csv
• outputs/splits/split_v1.json
• outputs/splits/split_v1_train_patients.txt
• outputs/splits/split_v1_val_patients.txt
• outputs/splits/split_v1_test_patients.txt
• outputs/tables/class_distribution_by_split.csv

Критерий завершения этапа

Разбиение стабильно, воспроизводимо и используется далее без ручных корректировок.

Проверяемые результаты этапа

• сформирован единый split_v1, используемый всеми последующими моделями;
• для каждого пациента определена принадлежность к train, validation или test;
• рассчитана таблица стратификации по числу объектов, числу blast, доле blast и числу изображений;
• сохранены текстовые списки пациентов и JSON-описание разбиения.

Как оценить качество результата

• пересечение множеств пациентов между train, validation и test равно 0;
• распределение класса blast и размера выборки между частями разбиения не содержит грубых перекосов;
• при повторной сборке с тем же random_state получается идентичный split_v1;
• part-1 отсутствует во всех split-файлах;
• таблица class_distribution_by_split.csv позволяет отдельно проверить баланс по объектам и по пациентам.

Предлагаемые модули кода

• src/dataset/build_patient_summary.py
• src/dataset/make_group_splits.py
• tests/test_group_split_no_leakage.py

A3. Извлечение object-level кропов и областей интереса

Цель

Подготовить единое представление объекта для разных семейств признаков и моделей.

Нужно реализовать три режима ROI

1. bbox_crop Прямоугольный кроп по YOLO-рамке.

2. mask_crop Кроп по bounding box объекта, внутри которого пиксели вне маски зануляются или заменяются фоном.

3. mask_tight_crop Плотный кроп по минимальному прямоугольнику маски.

Дополнительные решения

1. Зафиксировать размер выходного изображения для deep baselines, например 224x224.
2. Для признаковых моделей хранить и исходный масштаб, и нормализованную версию.
3. Сохранять метаданные о масштабировании и паддинге.

Выходные артефакты

• outputs/crops/bbox/<subset>/<patient_id>/<image_id>__obj_<id>.png
• outputs/crops/mask/<subset>/<patient_id>/<image_id>__obj_<id>.png
• outputs/crops/mask_tight/<subset>/<patient_id>/<image_id>__obj_<id>.png
• outputs/crops/roi_manifest.parquet

Контроль качества

Нужно автоматически проверять:

• что число экспортированных объектов совпадает с ожидаемым числом строк индекса;
• что геометрия кропа не выходит за пределы исходного изображения;
• что объект с маской действительно имеет ненулевую площадь маски.

Проверяемые результаты этапа

• экспортированы три согласованные версии ROI: bbox_crop, mask_crop, mask_tight_crop;
• построен единый roi_manifest.parquet, связывающий исходный объект, пути к кропам, размеры ROI и режим подготовки;
• сформирован отчет о неэкспортированных или проблемных ROI.

Как оценить качество результата

• число bbox_crop совпадает с числом объектов выбранного подмножества;
• число mask_crop и mask_tight_crop совпадает с числом объектов, у которых есть валидная маска;
• доля кропов с выходом за границы, нулевой площадью маски или битыми изображениями равна 0;
• по визуальной выборке можно проверить, что bbox- и mask-кропы действительно содержат нужный объект, а не соседние клетки;
• roi_manifest.parquet позволяет автоматически сравнивать количество исходных объектов и количество реально экспортированных ROI.

Предлагаемые модули кода

• src/preprocessing/extract_bbox_crops.py
• src/preprocessing/extract_mask_crops.py
• src/preprocessing/image_io.py
• tests/test_crop_extraction.py

A4. Базовая объектная постановка blast / non-blast

Цель

Получить строгий и воспроизводимый baseline, который напрямую отвечает на главный вопрос статьи: полезны ли текстурные признаки в условиях реальных данных и patient-level оценки.

Основная целевая переменная

• target_binary = 1, если class_id == 7;
• target_binary = 0 для остальных объектов выбранного подмножества.

Какие версии задачи нужно решить

1. Task A4.1 blast / non-blast на clean_cell_set.

2. Task A4.2 blast / non-blast на strict_morphology_set.

3. Task A4.3 blast / everything_else на full_realistic_set.

Последняя постановка особенно важна для автоматического анализатора, потому что она показывает устойчивость модели к артефактам и классам плохого качества.

Артефакты

• outputs/dataset_index/task_a41_clean_binary.parquet
• outputs/dataset_index/task_a42_strict_binary.parquet
• outputs/dataset_index/task_a43_full_realistic_binary.parquet
• outputs/tables/task_prevalence_summary.csv
• outputs/reports/task_definition_report.md

Проверяемые результаты этапа

• подготовлены три бинарные постановки с явно определенной целевой переменной;
• для каждой постановки рассчитаны числа blast, non-blast, доля положительного класса и список hard-negative классов;
• зафиксировано, какие именно задачи используются для дальнейшего сравнения моделей.

Как оценить качество результата

• во всех трех файлах задача blast / non-blast формируется строго по правилу class_id == 7;
• task_prevalence_summary.csv позволяет проверить дисбаланс классов и сложность каждой постановки;
• во всех постановках сохраняется patient-level совместимость со split_v1;
• по отчету task_definition_report.md можно проверить, какие классы формируют трудные отрицательные примеры и насколько различаются режимы clean, strict и full_realistic.

A5. Вычисление признаков

Семейства признаков, которые нужно реализовать

1. Морфометрические признаки:

   • площадь bbox;
   • площадь маски;
   • периметр маски;
   • круглотность;
   • эксцентриситет;
   • отношение площади маски к площади bbox;
   • характеристики контура.

2. Цветовые признаки:

   • средние и стандартные отклонения по каналам RGB;
   • признаки в HSV и Lab;
   • цветовые квантили;
   • показатели цветовой неоднородности.

3. Текстурные признаки:

   • GLCM и признаки Харалика;
   • LBP;
   • статистики градиента;
   • признаки Лапласиана;
   • фрактальные или мульти-масштабные показатели;
   • вейвлет-признаки;
   • спектральные признаки Фурье при необходимости.

Режимы расчета признаков

1. по bbox_crop;
2. по mask_crop;
3. комбинированно bbox + mask features.

Выходные артефакты

• outputs/features/features_bbox.parquet
• outputs/features/features_mask.parquet
• outputs/features/features_combined.parquet
• outputs/features/feature_dictionary.md
• outputs/tables/feature_missingness.csv
• outputs/reports/feature_extraction_qc.md

Проверяемые результаты этапа

• для каждого объекта вычислены формальные морфометрические, цветовые и текстурные признаки;
• построены три согласованные матрицы признаков: bbox, mask, combined;
• сформирован словарь признаков с их определениями и зоной вычисления;
• построен отчет о пропусках, константных признаках и аномальных значениях.

Как оценить качество результата

• число строк в матрицах признаков совпадает с числом объектов соответствующего режима;
• доля пропусков по каждому признаку рассчитана и явно зафиксирована;
• константные и вырожденные признаки отделены от рабочих признаков;
• можно проверить диапазоны значений, число признаков каждого семейства и различия между bbox, mask и combined;
• feature_extraction_qc.md должен позволять быстро увидеть, какие признаки нужно удалить или стандартизовать до обучения моделей.

Предлагаемые модули кода

• src/features/extract_morphology.py
• src/features/extract_color.py
• src/features/extract_texture_glcm.py
• src/features/extract_texture_lbp.py
• src/features/extract_texture_wavelet.py
• src/features/feature_registry.py
• tests/test_feature_shapes.py

A6. Признаковые baseline-модели

Цель

Сравнить информативность разных наборов признаков до подключения сложных нейросетевых архитектур.

Последовательность моделей

1. Logistic Regression
2. Linear SVM
3. RBF SVM
4. Random Forest
5. XGBoost или LightGBM

Для каждой модели нужно сравнить

1. только морфометрию;
2. только цвет;
3. только текстуру;
4. морфометрия + цвет;
5. морфометрия + текстура;
6. цвет + текстура;
7. полный набор признаков.

Метрики

Основные:

• PR-AUC;
• ROC-AUC;
• balanced accuracy;
• macro-F1;
• recall для класса blast;
• specificity;
• Matthews correlation coefficient.

Дополнительные:

• calibration error;
• Brier score;
• доверительные интервалы по повторам разбиения.

Артефакты

• outputs/tables/object_level_metrics_baselines.csv
• outputs/tables/feature_group_ablation.csv
• outputs/predictions/object_level_baseline_predictions.parquet
• outputs/figures/pr_curves_baselines.png
• outputs/figures/roc_curves_baselines.png
• outputs/tables/baseline_model_leaderboard.csv
• outputs/figures/confusion_matrix_best_baseline.png

Проверяемые результаты этапа

• обучены все запланированные признаковые baseline-модели на одинаковом split_v1;
• получена таблица метрик по каждой модели и каждому режиму признаков;
• построен лидерборд лучших моделей и лучший baseline для дальнейших абляций;
• сохранены object-level вероятности и классовые предсказания для последующего image-level агрегирования.

Как оценить качество результата

• в object_level_metrics_baselines.csv присутствуют все основные метрики и доверительные интервалы;
• baseline_model_leaderboard.csv позволяет проверить, какая комбинация модель + режим признаков + subset действительно лучшая;
• по confusion matrix и PR/ROC-кривым можно проверить не только среднее качество, но и характер ошибок;
• отдельно оценивается recall класса blast, так как именно он является клинически критичным.

A7. Отбор признаков и интерпретация

Цель

Показать не только качество, но и морфологический смысл решения.

Что нужно проверить

1. Устойчивость ranking признаков между разными фолдами.
2. Согласованность ranking между моделями.
3. Какие именно признаки стабильно усиливают разделение blast / non-blast.

Рекомендуемые методы

• permutation importance;
• SHAP для деревьев и бустинга;
• регуляризованные линейные модели;
• повторяемый отбор признаков с подсчетом частоты выбора.

Артефакты

• outputs/tables/top_features_stability.csv
• outputs/figures/shap_summary_top_model.png
• outputs/figures/feature_importance_stability.png
• reports/feature_interpretation_notes.md

Проверяемые результаты этапа

• получен устойчивый ranking наиболее информативных признаков;
• зафиксирована повторяемость top-признаков между фолдами и между моделями;
• для лучшей модели построены интерпретационные диаграммы и текстовые пояснения.

Как оценить качество результата

• top_features_stability.csv позволяет проверить частоту появления признака в top-N списках разных запусков;
• по SHAP и permutation importance можно сравнить, совпадает ли ранжирование между разными методами интерпретации;
• в feature_interpretation_notes.md должно быть указано, какие признаки имеют ясный морфологический смысл и какие остаются только статистически значимыми;
• результат считается сильным, если ключевые признаки не меняются хаотично от фолда к фолду.

Практический результат

Этот этап должен дать содержательные формулировки для статьи и диссертации: какие текстурные и морфометрические свойства чаще всего ассоциированы с бластными объектами в данном корпусе.

A8. Абляции по роли маски и шумовых классов

Цель

Отдельно проверить, дают ли маски и разные режимы очистки корпуса заметный прирост качества.

Обязательные абляции

1. bbox-only против mask-only.
2. mask-only против bbox + mask.
3. clean_cell_set против strict_morphology_set.
4. strict_morphology_set против full_realistic_set.
5. обучение на полном дисбалансном наборе против обучения с class weights.
6. обучение на полном признаковом наборе против отбора признаков.

Артефакты

• outputs/tables/ablation_mask_usage.csv
• outputs/tables/ablation_dataset_regimes.csv
• outputs/figures/ablation_summary.png

Проверяемые результаты этапа

• измерен вклад масок в качество модели;
• измерено влияние очистки корпуса и включения шумовых классов;
• зафиксированы различия между полным набором признаков и урезанными вариантами;
• отдельно проверено влияние class weights и feature selection.

Как оценить качество результата

• ablation_mask_usage.csv должен показывать прирост или потерю качества при переходе между bbox, mask и bbox+mask;
• ablation_dataset_regimes.csv должен показывать, насколько ухудшается качество в более реалистичном full_realistic_set;
• итоговая фигура ablation_summary.png должна позволять быстро увидеть самые важные факторы изменения качества;
• результат считается убедительным, если различия интерпретируемы и воспроизводимы, а не случайны в пределах погрешности.

A9. Ограниченные deep baselines на текущем корпусе

Цель

Не строить сразу сложную нейросетевую историю, а получить честную точку сравнения для признаковых моделей на том же split и тех же данных.

Что можно делать уже сейчас

1. Легкая CNN на bbox_crop.
2. Та же CNN на mask_crop.
3. CNN + tabular late fusion на объединенных признаках.

Что нельзя обещать на этом этапе

• убедительное сравнение с сильными трансформерными моделями из литературы;
• выводы о подтипизации бластов;
• выводы о переносимости на другие лаборатории.

Артефакты

• outputs/tables/deep_vs_handcrafted.csv
• outputs/predictions/object_level_deep_predictions.parquet
• outputs/checkpoints/cnn_bbox_best.pt
• outputs/checkpoints/cnn_mask_best.pt
• outputs/logs/cnn_training_history.json
• outputs/figures/deep_training_curves.png

Проверяемые результаты этапа

• обучены ограниченные deep baselines на тех же patient-level split, что и признаковые модели;
• получено прямое сравнение handcrafted, deep и late fusion;
• сохранены лучшие checkpoint-файлы и история обучения.

Как оценить качество результата

• deep_vs_handcrafted.csv позволяет сравнить качество deep-подходов с лучшим признаковым baseline на одних и тех же данных;
• по deep_training_curves.png можно проверить переобучение, недообучение и устойчивость обучения;
• по cnn_training_history.json можно оценить число эпох до сходимости, лучшую эпоху и разрыв между train и validation;
• deep-этап считается полезным, если он дает либо измеримый прирост качества, либо честно показывает, что в текущем low-complexity режиме интерпретируемые признаки не уступают легкой CNN.

A10. Анализаторно-ориентированное image-level агрегирование

Цель

Сделать переход от классификации отдельного объекта к постановке, более близкой к автоматическому анализатору: содержит ли изображение хотя бы один вероятный бласт и насколько высоко модель ранжирует такие изображения.

Доступные сейчас постановки

1. image_contains_blast Изображение считается положительным, если среди его объектов есть хотя бы один blast.

2. top_k_image_ranking Изображения сортируются по максимальному или агрегированному blast-score объектов.

3. patient_risk_score Для пациента агрегируется статистика по всем изображениям:

   • максимум blast-score;
   • доля изображений с blast-score выше порога;
   • средний score по top-K объектам.

Способы агрегирования, которые нужно сравнить

1. max object score;
2. mean top-3 scores;
3. count of objects above threshold;
4. soft noisy-or.

Метрики

• image-level PR-AUC;
• image-level recall при фиксированной доле ложных тревог;
• patient-level sensitivity;
• top-K recall для изображений с бластами.

Почему это важно

Этот этап лучше всего связывает текущие данные со статьей и будущей диссертацией: даже не имея настоящих slide-level меток, мы уже можем проверить, насколько object-level модель пригодна как подсистема отбора подозрительных изображений для анализатора.

Артефакты

• outputs/tables/image_level_metrics.csv
• outputs/tables/patient_level_ranking_metrics.csv
• outputs/predictions/image_level_scores.parquet
• outputs/predictions/patient_level_scores.parquet
• outputs/figures/image_ranking_recall_curve.png
• outputs/figures/patient_ranking_curve.png

Проверяемые результаты этапа

• object-level модель переведена в image-level и patient-level постановку;
• рассчитаны image-level и patient-level score для всех объектов наблюдения;
• определен лучший способ агрегирования object scores для анализаторно-ориентированного сценария.

Как оценить качество результата

• image_level_metrics.csv позволяет сравнить разные способы агрегирования по PR-AUC и recall при ограниченной ложной тревоге;
• patient_level_ranking_metrics.csv позволяет оценить, насколько хорошо пациент с бластами поднимается в верх ранжированного списка;
• image_ranking_recall_curve.png и patient_ranking_curve.png позволяют визуально проверить пригодность модели для предварительного отбора подозрительных изображений и пациентов;
• этап считается особенно успешным, если даже простой object-level baseline обеспечивает высокое top-K покрытие изображений и пациентов с бластами.

A11. Минимальный набор визуализаций для статьи и диссертации

Нужно подготовить

1. Схему пайплайна обработки данных.
2. Таблицу классов и объема корпуса.
3. Примеры bbox_crop и mask_crop.
4. График покрытия масками.
5. Таблицы baseline-метрик.
6. График устойчивости top-признаков.
7. Схему image-level агрегирования.

Артефакты

• outputs/figures/pipeline_overview.png
• outputs/figures/example_rois.png
• outputs/figures/mask_coverage.png
• outputs/tables/dataset_summary.csv
• outputs/tables/figure_manifest.csv
• outputs/tables/table_manifest.csv

Проверяемые результаты этапа

• подготовлен минимально достаточный комплект иллюстраций и таблиц для статьи и диссертации;
• каждая фигура и таблица привязана к конкретному этапу эксперимента и конкретному исходному файлу;
• оформлен список всех визуальных артефактов, которые можно использовать при написании текста работы.

Как оценить качество результата

• по figure_manifest.csv и table_manifest.csv можно проверить полноту пакета визуализаций;
• каждая таблица должна совпадать по числам с соответствующими CSV-артефактами модели и данных;
• каждая фигура должна строиться воспроизводимо из проектных данных, а не вручную;
• итоговый комплект считается достаточным, если по нему уже можно собирать разделы статьи, главы диссертации и презентационные материалы без дополнительного пересчета результатов.

7. Часть B. Эксперименты, требующие дополнительных данных

B1. Разделение лимфобластов и миелобластов

Для этой постановки обязательно нужен новый корпус или доразметка текущего корпуса, где класс blast будет разделен минимум на:

• lymphoblast;
• myeloblast;
• при необходимости ambiguous blast-like.

Только после этого можно переносить на практику исходную гипотезу статьи о class-specific текстурных различиях лимфобластов и миелобластов.

B2. Полноценный эксперимент по доменному сдвигу

Нужны данные хотя бы из еще одного источника:

• другая лаборатория;
• другой сканер;
• другая методика окраски;
• другой режим подготовки препаратов.

Тогда можно сравнивать:

• handcrafted only;
• deep only;
• hybrid.

И только в этом случае будет корректно обсуждать устойчивость к междоменному переносу.

B3. Slide-level и case-level постановка

Чтобы реализовать сильную анализаторно-ориентированную схему, требуются:

• полноценные slide-level метки;
• case-level клинические метки;
• желательно информация о конечном диагнозе или наличии резидуальных бластов на уровне случая.

Без этого текущий этап может дать только image-level приближение.

B4. Экспертная клиническая интерпретация

Для глубоких моделей и усиленной интерпретации нужны:

• ручные контуры ядра и цитоплазмы;
• выделение нуклеол;
• при AML — специальные признаки типа палочек Ауэра;
• экспертная blinded-оценка областей, на которые опирается модель.

B5. Продвинутые deep и MIL-схемы

Полноценные transformer-подобные модели, MIL, weak supervision и причинно-структурные архитектуры имеет смысл выносить в отдельный этап только после того, как будет завершен и воспроизводимо оформлен этап A.

8. Приоритеты реализации

Код следует писать именно в таком порядке:

1. A0 — индексация и аудит.
2. A1 — аналитические подмножества.
3. A2 — patient-level split.
4. A3 — извлечение ROI.
5. A5 — вычисление признаков.
6. A6 — признаки и baseline-модели.
7. A7 — интерпретация признаков.
8. A8 — абляции.
9. A10 — image-level агрегирование.
10. A9 — ограниченные deep baselines.

Такой порядок выбран специально: сначала нужно получить строго воспроизводимый, интерпретируемый и диссертационно полезный baseline, а уже потом усложнять модельную часть.

9. Минимальный первый кодовый спринт

Чтобы начать реализацию немедленно, первым спринтом нужно закрыть следующие задачи:

1. Написать сборщик object_index.
2. Зафиксировать patient-level split.
3. Реализовать экспорт bbox_crop и mask_crop.
4. Реализовать первый набор признаков:
   • площадь;
   • периметр;
   • компактность;
   • RGB-статистики;
   • GLCM;
   • LBP.
5. Обучить Logistic Regression и Random Forest на clean_cell_set.
6. Построить первые object-level и image-level метрики.

Именно после этого спринта в проекте уже появится рабочая база, на которую можно последовательно наращивать остальной код.

10. Что этот эксперимент даст для статьи и диссертации

Если этап A будет выполнен качественно, то он уже сам по себе даст:

• воспроизводимую оценку роли текстурных признаков;
• сравнение признаковых режимов bbox, mask, bbox+mask;
• практический аргумент в пользу patient-level протокола;
• прикладную картину влияния шумовых классов и качества разметки;
• bridge-результат между object-level классификацией и задачей автоматического анализатора.

Именно это и должно стать центральным результатом первого экспериментального цикла.