Rejestracja obrazu - Image registration

Rejestracja i sumowanie wielu ekspozycji tej samej sceny poprawia stosunek sygnału do szumu, pozwalając zobaczyć rzeczy wcześniej niemożliwe do zobaczenia. Na tym zdjęciu widoczne są odległe Alpy, chociaż znajdują się dziesiątki kilometrów we mgle.

Rejestracja obrazu to proces przekształcania różnych zestawów danych w jeden układ współrzędnych. Danymi mogą być liczne zdjęcia, dane z różnych czujników, czasy, głębokości lub punkty widzenia. Jest używany w wizji komputerowej , obrazowaniu medycznym , wojskowym automatycznym rozpoznawaniu celów oraz kompilowaniu i analizowaniu obrazów i danych z satelitów. Rejestracja jest konieczna, aby móc porównać lub zintegrować dane uzyskane z tych różnych pomiarów.

Klasyfikacja algorytmów

Oparte na intensywności a oparte na funkcjach

Algorytmy rejestracji lub wyrównywania obrazu można podzielić na algorytmy oparte na intensywności i oparte na cechach. Jeden z obrazów jest określany jako ruchomy lub źródło, a pozostałe jako obrazy docelowe , stałe lub wykrywane . Rejestracja obrazu obejmuje przestrzenne przekształcenie źródła / ruchomego obrazu (ów) w celu wyrównania z obrazem docelowym. Ramka odniesienia w obrazie docelowym jest nieruchoma, podczas gdy inne zestawy danych są przekształcane w celu dopasowania do celu. Metody oparte na intensywności porównują wzorce intensywności na obrazach za pomocą metryk korelacji, podczas gdy metody oparte na cechach znajdują zgodność między cechami obrazu, takimi jak punkty, linie i kontury. Metody oparte na intensywności rejestrują całe obrazy lub obrazy podrzędne. Jeśli zarejestrowane są obrazy podrzędne, środki odpowiednich obrazów podrzędnych są traktowane jako odpowiadające punkty cech. Metody oparte na cechach określają zgodność między wieloma szczególnie różnymi punktami na obrazach. Znając zgodność między wieloma punktami na obrazach, określa się następnie transformację geometryczną, aby odwzorować obraz docelowy na obrazy odniesienia, ustanawiając w ten sposób zgodność punkt po punkcie między obrazem odniesienia a obrazem docelowym. Opracowano również metody łączące informacje oparte na intensywności i cechach.

Modele transformacji

Algorytmy rejestracji obrazu można również sklasyfikować zgodnie z modelami transformacji, których używają do powiązania docelowej przestrzeni obrazu z referencyjną przestrzenią obrazu. Pierwsza szeroka kategoria modeli transformacji obejmuje transformacje liniowe , które obejmują obrót, skalowanie, translację i inne transformacje afiniczne. Transformacje liniowe mają charakter globalny, dlatego nie mogą modelować lokalnych różnic geometrycznych między obrazami.

Druga kategoria przekształceń dopuszcza transformacje „sprężyste” lub „niesztywne”. Te transformacje są zdolne do lokalnego wypaczania obrazu docelowego, aby wyrównać go z obrazem odniesienia. Transformacje niesztywne obejmują radialne funkcje bazowe ( splajny cienkowarstwowe lub powierzchniowe, multikwadryki i transformacje o zwartej podporze ), fizyczne modele kontinuum (lepkie płyny) i modele dużych deformacji ( dyfeomorfizmy ).

Transformacje są zwykle opisywane przez parametryzację, w której model dyktuje liczbę parametrów. Na przykład tłumaczenie pełnego obrazu można opisać pojedynczym parametrem, wektorem translacji. Modele te nazywane są modelami parametrycznymi. Z drugiej strony modele nieparametryczne nie podlegają żadnej parametryzacji, co pozwala na dowolne przemieszczanie każdego elementu obrazu.

Istnieje wiele programów, które implementują zarówno szacowanie, jak i zastosowanie pola warp. Jest częścią programów SPM i AIR .

Przekształcenia współrzędnych poprzez prawo kompozycji funkcji, a nie dodawanie

Alternatywnie, wiele zaawansowanych metod normalizacji przestrzennej opiera się na przekształceniach zachowujących strukturę, homeomorfizmach i dyfeomorfizmach, ponieważ przenoszą one gładkie podrozmaitości podczas transformacji. Dyfeomorfizmy są generowane we współczesnej dziedzinie anatomii obliczeniowej w oparciu o przepływy, ponieważ dyfeomorfizmy nie są addytywne, chociaż tworzą grupę, ale grupę zgodnie z prawem kompozycji funkcji. Z tego powodu przepływy, które uogólniają idee grup addytywnych, pozwalają na generowanie dużych deformacji, które zachowują topologię, zapewniając przekształcenia 1-1. Obliczeniowe metody generowania takiej transformacji są często nazywane LDDMM, które zapewniają przepływy dyfeomorfizmów jako główne narzędzie obliczeniowe do łączenia układów współrzędnych odpowiadających geodezyjnym przepływom anatomii obliczeniowej .

Istnieje wiele programów, które generują dyfeomorficzne transformacje współrzędnych za pomocą mapowania dyfeomorficznego, w tym MRI Studio i MRI Cloud.org

Metody przestrzenne a metody w dziedzinie częstotliwości

Metody przestrzenne działają w domenie obrazu, dopasowując wzorce intensywności lub cechy obrazów. Niektóre z algorytmów dopasowywania cech są rozwinięciem tradycyjnych technik wykonywania ręcznej rejestracji obrazu, w których operator wybiera odpowiednie punkty kontrolne (CP) na obrazach. Gdy liczba punktów kontrolnych przekracza minimum wymagane do zdefiniowania odpowiedniego modelu transformacji, można zastosować algorytmy iteracyjne, takie jak RANSAC, do rzetelnego oszacowania parametrów określonego typu transformacji (np. Afinicznej) na potrzeby rejestracji obrazów.

Metody w dziedzinie częstotliwości znajdują parametry transformacji do rejestracji obrazów podczas pracy w dziedzinie transformacji. Takie metody działają w przypadku prostych przekształceń, takich jak translacja, rotacja i skalowanie. Zastosowanie metody korelacji fazowej do pary obrazów daje trzeci obraz, który zawiera pojedynczy pik. Lokalizacja tego piku odpowiada względnemu przesunięciu między obrazami. W przeciwieństwie do wielu algorytmów domeny przestrzennej metoda korelacji faz jest odporna na szumy, okluzje i inne defekty typowe dla obrazów medycznych lub satelitarnych. Ponadto korelacja fazowa wykorzystuje szybką transformację Fouriera do obliczenia korelacji krzyżowej między dwoma obrazami, generalnie powodując duży wzrost wydajności. Metodę można rozszerzyć, aby określić różnice w rotacji i skalowaniu między dwoma obrazami, najpierw konwertując obrazy na współrzędne logarytmiczno-biegunowe . Ze względu na właściwości transformaty Fouriera parametry rotacji i skalowania można określić w sposób niezmienny do translacji.

Metody jedno- a wielomodalne

Inną klasyfikację można podzielić na metody jednomodalności i multimodalności. Metody jednomodalności mają tendencję do rejestrowania obrazów w tej samej modalności uzyskiwanej przez ten sam typ skanera / czujnika, podczas gdy metody rejestracji wielomodalności mają tendencję do rejestrowania obrazów uzyskanych przez różne typy skanerów / czujników.

Metody rejestracji multimodalności są często stosowane w obrazowaniu medycznym, ponieważ obrazy pacjenta są często uzyskiwane z różnych skanerów. Przykładem rejestracji mózgu CT / MRI obrazów lub całe ciało PET / CT obrazów do lokalizacji nowotworów, rejestracji kontrastowych podwyższonym CT obrazów przed bez kontrastu podwyższonym CT obrazów dla segmentacji dla konkretnego anatomii i rejestracji ultradźwiękowej i CT obrazy lokalizacji prostaty w radioterapii .

Metody automatyczne a interaktywne

Metody rejestracji można sklasyfikować na podstawie poziomu automatyzacji, jaki zapewniają. Opracowano metody ręczne, interaktywne, półautomatyczne i automatyczne. Metody ręczne zapewniają narzędzia do ręcznego wyrównywania obrazów. Metody interaktywne zmniejszają uprzedzenia użytkownika, wykonując pewne kluczowe operacje automatycznie, a jednocześnie polegając na użytkowniku, który prowadzi rejestrację. Metody półautomatyczne wykonują więcej czynności rejestracji automatycznie, ale są zależne od użytkownika w celu sprawdzenia poprawności rejestracji. Metody automatyczne nie pozwalają na żadną interakcję użytkownika i automatycznie wykonują wszystkie kroki rejestracji.

Miary podobieństwa do rejestracji obrazu

Podobieństwa obrazów są szeroko stosowane w obrazowaniu medycznym . Miara podobieństwa obrazu określa ilościowo stopień podobieństwa między wzorcami intensywności na dwóch obrazach. Wybór miary podobieństwa obrazu zależy od modalności rejestrowanych obrazów. Typowe przykłady miar podobieństwa obrazu obejmują korelację krzyżową , wzajemne informacje , sumę kwadratów różnic intensywności i współczynnik jednorodności obrazu. Wzajemne informacje i znormalizowane informacje wzajemne to najpopularniejsze miary podobieństwa obrazów do rejestracji obrazów multimodalnych. Do rejestracji obrazów w tej samej modalności powszechnie stosuje się korelację krzyżową, sumę kwadratów różnic intensywności i współczynnik jednorodności obrazu.

W dziedzinie anatomii obliczeniowej pojawiło się wiele nowych cech funkcji kosztów opartych na metodach dopasowywania poprzez duże odkształcenia , w tym dopasowywanie miar, które są punktami lub punktami orientacyjnymi bez korespondencji, dopasowywanie krzywych i dopasowywanie powierzchni za pomocą prądów matematycznych i zmiennych.

Niepewność

Istnieje pewien poziom niepewności związany z rejestracją obrazów, które wykazują jakiekolwiek różnice czasowo-przestrzenne. Pewna rejestracja z miarą niepewności ma kluczowe znaczenie dla wielu zastosowań wykrywania zmian , takich jak diagnostyka medyczna.

W zastosowaniach teledetekcyjnych , w których piksel obrazu cyfrowego może reprezentować kilka kilometrów odległości przestrzennej (takich jak obrazy NASA LANDSAT ), niepewna rejestracja obrazu może oznaczać, że rozwiązanie może znajdować się kilka kilometrów od rzeczywistości naziemnej. W kilku znanych artykułach podjęto próbę ilościowego określenia niepewności rejestracji obrazu w celu porównania wyników. Jednak wiele podejść do ilościowego określania niepewności lub szacowania odkształceń wymaga intensywnych obliczeń lub ma zastosowanie tylko do ograniczonych zestawów przekształceń przestrzennych.

Aplikacje

Rejestracja dwóch obrazów MRI mózgu

Rejestracja obrazu ma zastosowanie w teledetekcji (aktualizacja kartografii) i wizji komputerowej. Ze względu na szeroki zakres zastosowań, w których można zastosować rejestrację obrazu, niemożliwe jest opracowanie ogólnej metody zoptymalizowanej do wszystkich zastosowań.

Rejestracja obrazu medycznego (dla danych tego samego pacjenta pobranych w różnych momentach czasu, takich jak wykrywanie zmian lub monitorowanie guza) często obejmuje dodatkowo rejestrację elastyczną (zwaną również niesztywną ), aby poradzić sobie z deformacją pacjenta (z powodu oddychania, zmian anatomicznych, i tak dalej). Niesztywna rejestracja obrazów medycznych może również służyć do rejestrowania danych pacjenta w atlasie anatomicznym, takim jak atlas Talairach do neuroobrazowania.

W astrofotografii wyrównywanie i układanie obrazów w stosy są często stosowane w celu zwiększenia stosunku sygnału do szumu dla słabych obiektów. Bez układania w stos może być używany do tworzenia timelapsów wydarzeń, takich jak obrót planet podczas tranzytu przez Słońce. Korzystając z punktów kontrolnych (wprowadzanych automatycznie lub ręcznie), komputer przeprowadza transformacje na jednym obrazie, aby wyrównać główne elementy z drugim lub wieloma obrazami. Technika ta może być również stosowana do zdjęć o różnych rozmiarach, aby umożliwić łączenie zdjęć wykonanych przez różne teleskopy lub soczewki.

W przypadku cryo-TEM niestabilność powoduje dryfowanie próbki i wymagane jest wiele szybkich akwizycji z dokładną rejestracją obrazu, aby zachować wysoką rozdzielczość i uzyskać obrazy o wysokim sygnale do szumu. W przypadku danych o niskim SNR najlepszą rejestrację obrazu uzyskuje się poprzez korelację krzyżową wszystkich permutacji obrazów w stosie obrazów.

Rejestracja obrazu jest istotną częścią tworzenia obrazu panoramicznego. Istnieje wiele różnych technik, które można zaimplementować w czasie rzeczywistym i uruchomić na urządzeniach wbudowanych, takich jak aparaty fotograficzne i telefony z aparatem.

Zobacz też

Bibliografia

  1. ^ Lisa Gottesfeld Brown, Przegląd technik rejestracji obrazu ( streszczenie ), archiwum ACM Computing Surveys, tom 24, wydanie 4, grudzień 1992), strony 325 - 376
  2. ^ obrazowanie biologiczne i mapowanie mózgu
  3. ^ a b c d e f g A. Ardeshir Goshtasby: Rejestracja obrazów 2-D i 3-D do zastosowań medycznych, teledetekcyjnych i przemysłowych , Wiley Press, 2005.
  4. ^ Papademetris, Xenophon; Jackowski, Andrea P .; Schultz, Robert T .; Staib, Lawrence H .; Duncan, James S. (2004). „Zintegrowana niesztywna rejestracja intensywności i cech punktowych”. Obliczanie obrazów medycznych i interwencja wspomagana komputerowo - MICCAI 2004 . Notatki do wykładów z informatyki. 3216 . pp. 763–770. doi : 10.1007 / 978-3-540-30135-6_93 . ISBN   978-3-540-22976-6 . ISSN   0302-9743 .
  5. ^ http://www.comp.nus.edu.sg/~cs4243/lecture/register.pdf
  6. ^ Sotiras, A .; Davatzikos, C .; Paragios, N. (lipiec 2013). „Rejestracja odkształcalnego obrazu medycznego: ankieta” . Transakcje IEEE dotyczące obrazowania medycznego . 32 (7): 1153–1190. doi : 10.1109 / TMI.2013.2265603 . PMC   3745275 . PMID   23739795 .
  7. ^ Toga, Arthur W. (17.11.1998). Wypaczenie mózgu . Academic Press. ISBN   9780080525549 .
  8. ^ „Dopasowanie punktów orientacyjnych na powierzchniach mózgu poprzez duże dyfeomorfizmy deformacji kuli - University of Utah” . utah.pure.elsevier.com . Zarchiwizowane od oryginału w dniu 2018-06-29 . Źródło 2016-03-21 .
  9. ^ Błagam, M. Faisal; Miller, Michael I .; Trouvé, Alain; Younes, Laurent (2005). „Obliczanie odwzorowań metrycznych dużych deformacji poprzez geodezyjne przepływy dyfeomorfizmów” . International Journal of Computer Vision . 61 (2): 139–157. doi : 10.1023 / B: VISI.0000043755.93987.aa . S2CID   17772076 . Źródło 2016-03-21 .
  10. ^ Joshi, SC; Miller, MI (2000-01-01). „Dopasowanie punktów orientacyjnych poprzez duże dyfeomorfizmy deformacyjne”. Transakcje IEEE dotyczące przetwarzania obrazu . 9 (8): 1357–1370. Bibcode : 2000ITIP .... 9.1357J . doi : 10.1109 / 83.855431 . ISSN   1057-7149 . PMID   18262973 .
  11. ^ „MRI Studio” .
  12. ^ „MRICloud Brain Mapping” .
  13. ^ B. Srinivasa Reddy; BN Chatterji (sierpień 1996). „Oparta na FFT technika translacji, rotacji i rejestracji obrazu niezmiennej w skali” . Transakcje IEEE dotyczące przetwarzania obrazu . 5 (8): 1266–1271. doi : 10,1109 / 83,506761 . PMID   18285214 . S2CID   6562358 .
  14. ^ G. Wohlberg, S. Zokai: SOLIDNA REJESTRACJA OBRAZU Z WYKORZYSTANIEM TRANSFORMACJI LOG-POLAR • Artykuł na temat wykorzystania transformacji biegunowej log do rejestracji.
  15. ^ Simonson, K., Drescher, S., Tanner, F., Podejście statystyczne do rejestracji obrazów binarnych z analizą niepewności. Transakcje IEEE dotyczące analizy wzorców i inteligencji maszynowej, tom. 29, nr 1, styczeń 2007
  16. ^ Domokos, C., Kato, Z., Francos, J., Parametric estymacja afinicznych deformacji obrazów binarnych. Materiały z IEEE International Conference on Acoustics, Speech and Signal Processing , 2008
  17. ^ Savitsky; El Baggari; Łaskawy; Hovden; Kourkoutis (2018). „Rejestracja obrazu danych krio-STEM o niskim stosunku sygnału do szumu”. Ultramikroskopia . 191 : 56–65. arXiv : 1710.09281 . doi : 10.1016 / j.ultramic.2018.04.008 . PMID   29843097 . S2CID   26983019 .

Zewnętrzne linki