Overview.

Sum of difference for static seams.

Seam searching.

Step by step results.

Exploring Spatial and Temporal Coherence to Strengthen Seam Carving in Video Retargeting

(利用空間與時間一致性去增強縫刻的影片縮放)

ABSTRACT:

Number of various display screens and mobile devices has increased significantly. Unfortunately, showing a fixed size picture or video is often limited by the aspect ratio of different displays. In recent years, many content-aware retargeting techniques have been proposed. Among them, Seam carving is a novel and efficient method, but it may distort the object’s structure.

For enlarging an image, we tend to make it larger and undistorted by first magnifying the image, and shrink it to the target size using Seam carving. Thus, in this thesis, we focus on shrinking. For spatial coherence, we emphasize the object shape and protect significant content. We also combine Seam carving and Scaling operator, trying to avoid the bad results due to content distortion. Moreover, we extend our method to video retargeting, which formerly caused the jittery artifacts without exploring temporal information. We classify the videos into those taken by the static camera setup and the others by the moving camera setup. Then we explore temporal coherence to decrease the jittery artifacts. Finally, the experimental results demonstrate our approach can raise the quality in video retargeting.

SUMMARY (中文總結):

隨著銀幕顯示器逐漸的多樣化，要展示尺寸固定的圖片或影片，往往受限於不同顯示器的大小。在近幾年來，內容感知的縮放方法日益增加，而縫刻是一種新穎且有效的方法，但是此方法可能破壞物體的結構性並造成扭曲現象。

我們在影片放大的部分使用等比例放大後，再採用縫刻來縮減到目標大小。因此在本篇論文，會著重於縮減部分，在空間的一致性上，強調輪廓和主體內容的保護，並且結合縫刻和非等比例運算子來達到美觀的效果。最後將此方法延伸至影片，因為每個影格之間都有時間的連續性，若直接套用原方法會造成影片跳動的問題。我們把影片分成靜態相機跟動態相機兩種類型，利用時間的一致性來減少跳動問題的產生，並且根據實驗結果驗證，我們的方法可以提升影片縮放後的品質。

我們的系統由主要兩個部分所組成:

1.Spatial coherence cost

我們提出了Compound energy function，分別有Forward energy，Saliency map和 Canny detector，藉由各方法的好處來降低內容扭曲以及保護重要物件的效果；為了防止使用者需等待過多時間來執行seam carving，又得不到預期的好結果，我們在每個刪除seam的階段都會執行品質的評估，若是相似度變低了，我們將使用scale 運算子來縮小到目標大小。

2.Temporal coherence cost

在影片的分類上，我們大致分成兩種類型(static camera、moving camera)來做處理。在static camera的影片，我們將使用sum of difference來記錄物件移動的軌跡，並加入第一個frame的energy來計算出static seams，之後的frames就可以利用查表的方式來直接移除seams，因此可以減少計算的時間和降低影片抖動的現象；在moving camera的影片，我們使用收尋seam的方法，找到當前frame與上一個frame的seam最相似的seam，如果收尋不到我們會額外加入temporal coherence cost，來重新計算出一條最接近的seam，最後，我們就能減少抖動的現象，並得到好的結果。

§ Video results.

§ 結果展示