|
Overview.
Rule-based
compositions.
Operator
1.
Operator
2.
Operator
3.
Operator
4.
Our
results. |
Optimizing
Aesthetic-based Photo Retargeting (優化以美學基底的重新定位照片)
|
|
ABSTRACT: Capabilities of camera are becoming more diverse. Photography is an art
based on light, and its results are impacted on using the light directly.
Modern cameras have automatic white balance, auto exposure and auto focus
functions, so that we can easily take good photos with right exposure and
focus setting. However, a nice photo depends not only on light used, its
composition is also an important factor. Because the camera cannot know how
to use the composition concept of photos, we therefore exploit the state-of-the-art
retargeting technique to adjust photos for conforming the aesthetic
composition. Color processing on photos does not destroy the original structure or
details, and the related works are becoming mature; consequently we only have
to focus on photo composition issues. For common retargeting methods, the
subjects of photo must be preserved completely. The compound operator method
for photo retargeting has become more popular, but they do not examine the
photo content, and therefore explore the suitable techniques. They use one
kind or a combination of multiple techniques to get the ideal photos, which
limits the types of photos that can be processed. Instead, our approach can
use suitable retargeting techniques, and coordinate the composition of
original photos to make the photos conform the aesthetic rules. For the requirements of users, the photo types in our system apply not
only to single photo but also to group photo, this part has not been explored
in existing literature. We analyze the common rules of composition, and
propose the rules applied to suit group photos. Besides, the photos are
adjusted based on the human face. Because the faces always catch our eyes
more than other parts. Finally, we conduct an objective user study to verify
our system. We believe that using the development of our research, everyone
can take an ideal photo. SUMMARY (中文總結): 隨著科技的發展，相機的功能也越來越多元。攝影是以光為基礎的藝術，光線運用直接影響照片結果，因此現代相機幾乎都內建自動白平衡、自動曝光和自動對焦功能，要拍出曝光正確和對焦清晰的照片已不是難事。而相片的好壞，除了光線的運用外，構圖也是很重要的因素，但是相機無法知道如何構圖，因此我們將以目前最先進的重新定位技術，自動調整照片以符合構圖美學。 對照片做色彩處理並不會破壞原結構或細節，相關技術也趨成熟，因此我們只專注在照片構圖調整。常見的重新定位技術，基本原則必須是保持照片主體完整性，在照片重新定位的趨勢則朝向複合運算子的方式，但他們並沒有評估照片中的內容，從中選擇合適的技術，而是以固定一種或是多種技術組合，來得到理想照片。可想而知，這將限制我們照片的類型，因此我們將配合照片原始構圖，使用最合適的重新定位技術，使照片符合構圖美學規則。 為了使系統更符合一般使用者需求，照片的種類除了從單人照片，必須考慮團體照片，這是現有相關文獻沒有探討的部分，我們將分析常見構圖規則，整理出適合團體照片的構圖規則。除此之外，我們所使用的照片是人像攝影照片，並以人的臉部為基準來調整照片，因為人臉相對於其他部位更能引起我們的目光。最後我們使用意見調查，來驗證我們的系統效能。相信藉由我們研究的發展，未來每個人都可以輕易地拍出一張理想照片。 我們的系統主要有四個步驟: 1.
取得照片資訊 首先利用最新技術找出照片中的顯著區域(Salient region)，其中使用到Face detection、Saliency
detection和Segmentation等技術，在顯著線段(prominent line)則用Hough
transform來偵測，有了這些資訊我們可以進行後續的動作。 2.
判斷構圖規則 在整理了常見的構圖規則，並透過第一個步驟取得的照片結構資訊，我們以三分構圖和對角線構圖為主，發展出一套機制(Rule-based compositions)，來判斷最合適的構圖和最合適的操作方式。 3.
以美學為基本的重新定位 這步驟開始調整照片的構圖，我們結合Seam carving、Scaling和Image
completion的技術，發展出四種操作方式，這種複合的方式比起使用單一技術，更能有效用在照片調整。 4.
評估美學品質 最後我們定義構圖分數(Composition)、成本分數(Retarget)和影像品質分數(Quality)，結合這三者來評估調整後照片的構圖美學品質，讓我們能從中找出品質較好的照片，而這三類分數的結合，更能符合一般人對一張照片的評估方法。
|
