Nartaneside
16.Şubat.2018, 21:01
Görüntü birleştirme, fotoğraf birleştirme ya da resim birleştirme, parçalar halinde bulunan veya bölümler halde görüntülenmiş resimlerin, görünüm alanlarının birleştirilerek panoramik veya yüksek çözünürlükte görüntüler üretebilmeyi sağlayan, fotoğrafların çoklu şekilde birleştirilmesine verilen isimdir. Görüntü birleştirme yaygın şekilde bilgisayar yazılımlarının kullanılması ile üretilir. Birleştirme esnasında sorunsuz sonuçların elde edilebilmesi için görüntülerin yaklaşma ve kesişme (birleşme) noktalarının hemen hemen tam olarak birleştirilmesi gerekir. Bazı birleştirme algoritmaları aslında faydalı olmasına rağmen, çakışma bölgelerinde HDR (High Dynamic Range) görüntüleme yaparak daha farklı görüntüler elde edilmesine neden olurlar. Bunların yanı sıra bazı dijital kameralar ile dahili görüntü birleştirme yapılabilir. Görüntü birleştirme günümüz dünyasında yaygın şekilde şu uygulamalarda kullanılmaktadır.
- Kare hızının (frame-rate) ayarlanarak kameraların “Görüntü Sabitleme” özelliklerinde.
- Dijital haritalar uydu fotoğrafları gibi yüksek çözünürlükteki görüntülerin mozaik fotoğraflar haline getirilmesinde.
- Tibbî görüntülemede.
- Çoklu süper çözünürlükteki resimlerde.
- Video birleştirmede.
- Nesne eklemede.
İşlem üç aşamadan oluşmaktadır. Bu aşamalar - görüntü çakıştırma, kalibrasyon ve birleştirme aşamalarıdır.
Görüntü birleştirmedeki olası sorunlar
Birleştirilecek iki görüntünün bir birleştirme oluşturacak şekilde benzer olmamasının yanı sıra görüntülerin arasındaki ışık farkları da sorun oluşturabilir. Benzer ve aynı kalibrasyon gerçekleştirilerek çekilen resimler içerisindeki arka plandaki hareketler, görüntülerin birleştirilmesi esnasında en çok meydana gelen sorun oluşturan diğer bir unsurdur.
Genel olarak ise başa çıkılması gereken büyük sorunlar arasında paralaks etkisi, mercek deformasyonu, sahne hareketleri ve pozlama farklılıkları yer alır. Panoramik birleştirme için işlenecek dizi görüntülerde mercek bozulmasını aşmak için makul bir miktarda (en azından %15 ila %30) örtüşme bulunması yeterli olmakta ve resimlerdeki planların saptanabilir özelliklere sahip olması gerekmektedir. Birleştirilecek görüntülerdeki çerçeveler arası birleşim hatalarının en aza indirgenmesi için tutarlı bir pozlama yapılması gerekmektedir.
Fakat ideal olmayan gerçek hayatta yoğunluk tüm sahnelerde değişir ve bununla birlikte tüm kareler boyunca kontrast ve yoğunluk farklı düzeylerde oluşur. Sahnelerdeki tüm bu karışmalar gölge hareketlere neden olur ve objektif bozulmalar oluşturur. Ayrıca panorama resmin genişliğinin yüksekliğine oranı, görsel olarak hoş bir içerik ortaya çıkarılabilmesi için göz önüne alınması gereken nedenlerden birisidir.
Görüntü birleştirme algoritmalarına genel bir bakış
Öncelikle algoritmalar, görüntüdeki piksel koordinatlarının bir başka koordinat ile uygun şekilde matematiksel model belirlenmesi için gereklidirler. Bu görüntü uyumunu gerçekleştirir.
Ardından görüntülerdeki çeşitli çiftler (veya koleksiyonlar) ile ilgili doğru hizalamaları tahmin etmesi gerekir. Algoritmalar doğrudan piksel, piksel karşılaştırma yaparak, birleştirme yapabildiği gibi Gradyan inişleri de (veya diğer optimizasyon tekniklerini) bu parametrelerin doğru tahmin edilebilmesi için kullanabilir.
Ayırt edici özellikler her görüntüde bulunabilir ve bunlar daha sonra verimli bir hızda görüntü çiftleri arasındaki benzerliklerin kurulması için eşleştirilir. Panorama için birleştirilecek birden fazla görüntünün bulunması her zaman dünya genelinde tutarlı dizilerin hesaplanması için ve bu görüntülerin hangilerinin birbiri ile kesiştiğini bulabilmek için teknik olarak geliştirilmiştir.
Görüntü birleştirmenin yansıtmalı bir şekilde dönüştürülebilmesi ve yerleştirilecek tüm görüntülerin hizalanabilmesi için oluşturulacak kompozisyon yüzeyine karar vermelisiniz. Sorunsuz bir şekilde birbiri ile örtüşen görüntülerin karşılaştırılabilmesine olanak sağlayacak algoritmaları oluşturmanızda gerekecektir. Hatta bunları paralaks etkisi, mercek deformasyonu, sahne hareketleri ve pozlama farklıları içinde ayrı, ayrı düşünmelisiniz.
Önemli nokta (keypoint) algılama
Otomatik olarak görüntüler arasındaki benzerliklerin bulunması için keypoint önemli bir özelliktir. Güçlü benzeşmeler üzerine kompost edilmiş bir görüntünün dönüşümünün yapılabilmesi amacıyla hizalamalar hesaplanmaktadır. Sert köşeler, normal köşeler, lekeler, gauss farkları da tekrarlanan olsa bile farklı ve görüntü birleştirme için kullanılabilecek iyi özelliklerdir. İlgili noktaların tespit edilebilmesi için ilk operatörlerden birisi, 1977 yılında kümelenmiş bir ortamda robotun otomatik dolaşımı için yaptığı araştırma esnasında Hans P. Moravec tarafından geliştirilmiştir. Moravec ayrıca bir görüntüdeki "ilgi noktalarını" tanımlamıştır ve bu ilgi alanı noktalarından görüntü üzerinde eşleşen alanların bulunabileceği sonucuna varmıştır. Moravec'in operatorü belirli noktaları tanımladığından dolayı köşe dedektörü olarak kabul edilir. Çünkü her yöne doğru büyük yoğunluktaki farklılıkları nokta olarak algılar. bu genellikle köşelerde görülen bir durumdur. Bununla birlikte aslında bu ilginç bir durumdur. Moravec özellikle köşelerde yer alan bu ilgili noktaları bulmak ile ilgilenmemiş, sadece farklı bölgelerdeki birbirini takip eden resim çerçevelerini kaydedebilmek için uğraşıyordu. Harris ve Stephens Moravec'in köşe dedektörü üzerine geliştirdiği operatörü, direkt olarak doğrultusuna göre köşelerdeki puan farkını dikkate alarak geliştirdiler. Bu görüntüler sıraya dayalı olarak robotun ortam yorumlarını oluşturma işlemi esnasında gerekli bir adımdı. Moravec gibi görüntü çerçevelerinde, birbirine geçen noktalarda karşılıklı gelen noktaları eşleştirmek için bir yönteme ihtiyaç duyuyorlardı ama hem çerçeveler arasındaki köşeleri hem de kenarların takip edilmesiyle de ilgileniyorlardı. SIFT ve SURF görüntülerdeki en son önemli noktaları ve ilgili noktaları tespit edebilen algoritmalardır fakat dikkat edilmesi gereken nokta bu dedektörlerin patentli olması ve ticarî kullanım için sınırlandırılmış olmasıdır. Herhangi bir özellik tespit edildiğinde ise SIFT gibi bir tanımlayıcı yöntemi görüntü birleştirilmesinde son aşama olarak uygulanabilir.
- Kare hızının (frame-rate) ayarlanarak kameraların “Görüntü Sabitleme” özelliklerinde.
- Dijital haritalar uydu fotoğrafları gibi yüksek çözünürlükteki görüntülerin mozaik fotoğraflar haline getirilmesinde.
- Tibbî görüntülemede.
- Çoklu süper çözünürlükteki resimlerde.
- Video birleştirmede.
- Nesne eklemede.
İşlem üç aşamadan oluşmaktadır. Bu aşamalar - görüntü çakıştırma, kalibrasyon ve birleştirme aşamalarıdır.
Görüntü birleştirmedeki olası sorunlar
Birleştirilecek iki görüntünün bir birleştirme oluşturacak şekilde benzer olmamasının yanı sıra görüntülerin arasındaki ışık farkları da sorun oluşturabilir. Benzer ve aynı kalibrasyon gerçekleştirilerek çekilen resimler içerisindeki arka plandaki hareketler, görüntülerin birleştirilmesi esnasında en çok meydana gelen sorun oluşturan diğer bir unsurdur.
Genel olarak ise başa çıkılması gereken büyük sorunlar arasında paralaks etkisi, mercek deformasyonu, sahne hareketleri ve pozlama farklılıkları yer alır. Panoramik birleştirme için işlenecek dizi görüntülerde mercek bozulmasını aşmak için makul bir miktarda (en azından %15 ila %30) örtüşme bulunması yeterli olmakta ve resimlerdeki planların saptanabilir özelliklere sahip olması gerekmektedir. Birleştirilecek görüntülerdeki çerçeveler arası birleşim hatalarının en aza indirgenmesi için tutarlı bir pozlama yapılması gerekmektedir.
Fakat ideal olmayan gerçek hayatta yoğunluk tüm sahnelerde değişir ve bununla birlikte tüm kareler boyunca kontrast ve yoğunluk farklı düzeylerde oluşur. Sahnelerdeki tüm bu karışmalar gölge hareketlere neden olur ve objektif bozulmalar oluşturur. Ayrıca panorama resmin genişliğinin yüksekliğine oranı, görsel olarak hoş bir içerik ortaya çıkarılabilmesi için göz önüne alınması gereken nedenlerden birisidir.
Görüntü birleştirme algoritmalarına genel bir bakış
Öncelikle algoritmalar, görüntüdeki piksel koordinatlarının bir başka koordinat ile uygun şekilde matematiksel model belirlenmesi için gereklidirler. Bu görüntü uyumunu gerçekleştirir.
Ardından görüntülerdeki çeşitli çiftler (veya koleksiyonlar) ile ilgili doğru hizalamaları tahmin etmesi gerekir. Algoritmalar doğrudan piksel, piksel karşılaştırma yaparak, birleştirme yapabildiği gibi Gradyan inişleri de (veya diğer optimizasyon tekniklerini) bu parametrelerin doğru tahmin edilebilmesi için kullanabilir.
Ayırt edici özellikler her görüntüde bulunabilir ve bunlar daha sonra verimli bir hızda görüntü çiftleri arasındaki benzerliklerin kurulması için eşleştirilir. Panorama için birleştirilecek birden fazla görüntünün bulunması her zaman dünya genelinde tutarlı dizilerin hesaplanması için ve bu görüntülerin hangilerinin birbiri ile kesiştiğini bulabilmek için teknik olarak geliştirilmiştir.
Görüntü birleştirmenin yansıtmalı bir şekilde dönüştürülebilmesi ve yerleştirilecek tüm görüntülerin hizalanabilmesi için oluşturulacak kompozisyon yüzeyine karar vermelisiniz. Sorunsuz bir şekilde birbiri ile örtüşen görüntülerin karşılaştırılabilmesine olanak sağlayacak algoritmaları oluşturmanızda gerekecektir. Hatta bunları paralaks etkisi, mercek deformasyonu, sahne hareketleri ve pozlama farklıları içinde ayrı, ayrı düşünmelisiniz.
Önemli nokta (keypoint) algılama
Otomatik olarak görüntüler arasındaki benzerliklerin bulunması için keypoint önemli bir özelliktir. Güçlü benzeşmeler üzerine kompost edilmiş bir görüntünün dönüşümünün yapılabilmesi amacıyla hizalamalar hesaplanmaktadır. Sert köşeler, normal köşeler, lekeler, gauss farkları da tekrarlanan olsa bile farklı ve görüntü birleştirme için kullanılabilecek iyi özelliklerdir. İlgili noktaların tespit edilebilmesi için ilk operatörlerden birisi, 1977 yılında kümelenmiş bir ortamda robotun otomatik dolaşımı için yaptığı araştırma esnasında Hans P. Moravec tarafından geliştirilmiştir. Moravec ayrıca bir görüntüdeki "ilgi noktalarını" tanımlamıştır ve bu ilgi alanı noktalarından görüntü üzerinde eşleşen alanların bulunabileceği sonucuna varmıştır. Moravec'in operatorü belirli noktaları tanımladığından dolayı köşe dedektörü olarak kabul edilir. Çünkü her yöne doğru büyük yoğunluktaki farklılıkları nokta olarak algılar. bu genellikle köşelerde görülen bir durumdur. Bununla birlikte aslında bu ilginç bir durumdur. Moravec özellikle köşelerde yer alan bu ilgili noktaları bulmak ile ilgilenmemiş, sadece farklı bölgelerdeki birbirini takip eden resim çerçevelerini kaydedebilmek için uğraşıyordu. Harris ve Stephens Moravec'in köşe dedektörü üzerine geliştirdiği operatörü, direkt olarak doğrultusuna göre köşelerdeki puan farkını dikkate alarak geliştirdiler. Bu görüntüler sıraya dayalı olarak robotun ortam yorumlarını oluşturma işlemi esnasında gerekli bir adımdı. Moravec gibi görüntü çerçevelerinde, birbirine geçen noktalarda karşılıklı gelen noktaları eşleştirmek için bir yönteme ihtiyaç duyuyorlardı ama hem çerçeveler arasındaki köşeleri hem de kenarların takip edilmesiyle de ilgileniyorlardı. SIFT ve SURF görüntülerdeki en son önemli noktaları ve ilgili noktaları tespit edebilen algoritmalardır fakat dikkat edilmesi gereken nokta bu dedektörlerin patentli olması ve ticarî kullanım için sınırlandırılmış olmasıdır. Herhangi bir özellik tespit edildiğinde ise SIFT gibi bir tanımlayıcı yöntemi görüntü birleştirilmesinde son aşama olarak uygulanabilir.