ABSTRACT:
In the past, visual arts usually represented the static art like paintings, photography and sculptures. In recent years, many museums, artwork galleries, and even art exhibitions demonstrated dynamic artworks for visitors to relish. The most famous dynamic artwork is “The moving painting of Along the River During the Qingming Festival”. Nevertheless, it took two years to complete this work. They had to plan each action for every character at first, then drew each video frame by animators. Finally, it could achieve seamless stitching by using lots of projectors to render scene on the screen.

In our research, we propose a method for generating animated paintings. It only needs millions of videos on a network of existing databases and requires users to perform some simple auxiliary operations to achieve the effect of animation synthesis. First, our system lets users select an object with the same class from the first video frame. We then employ random forests as learning algorithm to retrieve from a video the object which users want to insert into an artwork. Second, we utilize style transferring, which enables the video frames to be consistent with the style of painting. At last, we use the seamless image cloning algorithm to yield seamless synthesizing result.

Our approach allows different users to synthesize animating paintings up to their own preferences. The resulting work not only maintains the original author's painting style, but also generates a variety of artistic conception for people to enjoy.

SUMMARY (中文總結):
在過去，視覺藝術一詞往往代表的只是屬於靜態表示的繪畫、攝影、雕塑的美術作品。近年來，我們可以看到不管在博物館、美術館、甚至是許多藝術的展覽中，都有展示出動態風格的作品供遊客欣賞。其中最著名的莫過於「會動的清明上河圖」，但是製作時間共耗時兩年，必須先設計好畫中每個角色的動作，經由動畫師製成影片後，還需要利用大量投影機來投影以達到無縫拼接的效果。

在此研究中，我們對於產生藝術畫的動畫提出了一種方法，只需要利用許多網路上現有的影片資料庫，並要求使用者做一些簡單的輔助操作，即可達到動畫合成的效果。首先，我們的系統會讓使用者在影片的第一個影像中選取一個相同種類的物件，然後我們採用random forest(隨機森林)作為機器學習的演算法，幫助我們學習並取得使用者要加入到繪畫中的影片內的物件。接著我們利用風格轉換的技術，讓影片中的影像可以跟繪畫裡的風格一致。最後按照無縫合成的方法，把擷取出來的物件融入到繪畫中，以達到無縫合成的結果。

我們的方法可以讓不同使用者依照自己的喜好來把自己想要的動畫合成到繪畫中，不僅可以維持原作者的繪畫風格，甚至可以產生與原圖不一樣的意境來供人欣賞。

我們的系統主要有三個步驟:
1. Video segmentation
利用隨機森林來預估影片每一張frame的三分圖，並透過型態學的收縮與擴張的策略來優化預測出來的結果，最後採用global image matting [He et al. 2011] 來擷取出使用者選取的物件。

2. Video style transfer
基於前人提出藝術畫的要素 (亮度、紋理、方向性) 對第一張frame進行風格轉移，接著透過光流法把學習完的風格資訊要傳遞給frame之間彼此相對應的pixel。由於光流法在計算上的誤差可能會導致傳遞的資訊有誤，因此我們參考了前人的做法，透過計算每個pixel的光流正確性來把可信的資訊傳遞下去，我們甚至利用了重新隨機選取風格要素的方式來改進剩餘的錯誤資訊傳遞，不僅可讓正確的資訊傳遞下去，也能夠維持各個風格本身的特色。

3. Video cloning with color transfer
使用fast seamless image cloning [Tanaka et al. 2012] 的技術把風格化的影片物件合成到藝術畫中。然而，如果加入的物件會佔據藝術畫很大的位置，此方法會改變過多的環境色彩才能達到無縫合成的效果。基於這個原因，我們改進了前人提出的顏色轉移演算法，讓物件的顏色盡量與合成區域的顏色相近，讓環境色彩被影響的程度能夠降低。