Исследователи Центра ИИ МГУ и факультета вычислительной математики и кибернетики МГУ разработали нейросетевой метод совмещения медицинских изображений, который не требует предварительного обучения на большой коллекции снимков. Подход проверили на компьютерных томограммах лёгких и магнитно-резонансных томограммах мозга и сердца. Работа опубликована в журнале Machine Learning and Knowledge Extraction.
Чтобы сравнивать медицинские изображения, необходимо совместить соответствующие участки органов. Простого наложения снимков часто недостаточно: при дыхании и сокращении сердца ткани смещаются и меняют форму. Поэтому алгоритмы рассчитывают, как нужно преобразовать одно изображение, чтобы его анатомические структуры совпали со структурами на другом.
Многие нейросетевые методы решают эту задачу после обучения на большом наборе данных. Однако собрать такую выборку удаётся не всегда. Альтернативный подход — настраивать нейросеть отдельно для каждой пары изображений. В этом случае важно, чтобы вычисления не занимали слишком много времени, а результат мало зависел от случайных начальных настроек.
Авторы использовали сети Колмогорова — Арнольда, в которых математические функции преобразования данных настраиваются при обучении. Нейросеть получает координаты точки изображения и рассчитывает её смещение для совмещения снимков. При настройке учитываются как сходство изображений, так и ограничения, уменьшающие неестественные деформации.
Исследователи разработали основной метод KAN-IDIR и его облегчённую версию RandKAN-IDIR. Во второй из них используется случайно выбранная часть математических функций из более широкого набора. Это сокращает объём вычислений, сохраняя близкое качество совмещения.
На снимках лёгких облегчённая версия обрабатывала пару изображений менее чем за минуту, а средняя ошибка совмещения анатомических ориентиров составляла около миллиметра. Результаты также меньше зависели от случайных начальных настроек, чем у сравниваемых методов, использующих сходный принцип представления деформаций.
На снимках сердца основной метод оказался среди лучших по совпадению анатомических областей и дал наименьшую долю локальных нарушений деформации среди сравниваемых подходов. При этом на снимках лёгких и мозга отдельные существующие методы сохраняли преимущество в точности. Таким образом, результат работы — сочетание качества совмещения, устойчивости повторных запусков и умеренных вычислительных затрат.
«Мы настраиваем нейросеть непосредственно на двух изображениях, которые нужно совместить. Это позволяет работать без предварительного обучения на большой коллекции снимков. При этом важно, чтобы метод работал стабильно независимо от начальной инициализации, а также не требовал большого количества вычислительных мощностей. В наших экспериментах предложенный подход сочетал точность совмещения с небольшим потреблением видеопамяти, умеренным временем работы и меньшей зависимости от случайных начальных настроек по сравнению с конкурирующими методами», – отметил младший научный сотрудник Центра ИИ МГУ Никита Дроздов.
Метод может быть полезен в исследованиях, где требуется сопоставлять медицинские изображения, а доступных данных немного. Такие задачи возникают при изучении движения сердца, дыхательных изменений лёгких и изменений структуры мозга со временем. Для применения в клинической практике необходима дополнительная проверка: авторы отмечают, что качество работы может зависеть от шумов, особенностей оборудования и подготовки изображений.