物理模擬
流體模擬
聲音產生
空間傳播
應用展示
應用展示
ABSTRACT:
The research aims to develop a sound synthesis system of moving object in virtual reality (VR) environment. In most VR applications, visual effect always accompanies with audio effect. Visual image can be automatically generated using computer graphics techniques, but audio data is always produced by recording real world sound or by a musician. Here we seek to automate sound generation according to information embedded in visual image. Most previous researches focus on contact sound because it is the most obvious sound in real life. But aerodynamics sound generated by moving object is ubiquitous. We believe that if we can simulate aerodynamics sound which is caused by moving object, it can largely enhance VR realism.
At beginning of our research, we use a physical engine to simulate an object motion
and its velocity information to Computational Fluid Dynamics (CFD) component.
We simulate air velocity field surrounding the object in such CFD component.
We divide mesh to many cells in this stage and assume that
each cell has a sound source whose frequency is determined by the cell velocity and the object width in the cell’s vorticity surface.
All sound sources will be superposed to generate a clip of harmonic wave which is corresponding to the object motion sound.
Finally we use a 3D spatial sound engine to produce spatial sound effect.
We let sound generation and sound spatialization component separated,
which allows for selecting different sound spatialization method.
SUMMARY (中文總結):
我們提出了一個在虛擬實境中以頻率領域自動地合成因物體移動而產生氣旋聲音的模擬．
自動聲音合成的研究，主要用於虛擬實境的應用，包括動畫電影，與情境訓練等等．
它的優點在於，幫助虛擬實境開發者合成關於現實生活中因物理現象產生的聲音，
可以大幅漸少音效製作上的時程以及人力．除此之外，由於聲音是根據影像所產生而來，
影像與聲音的配合度很高．此外若影響動作有些微變化，聲音也會有相對應的變化．
在碰撞聲音的合成中已有許多的研究，但氣旋聲音的合成卻較少有研究涉及，
但在現實生活中氣旋聲音無處不在，我們認為若可以模擬氣旋聲音，可以增強虛擬實境的真實性．
在實作的方面，我們的系統分為四個元件實作，分別是虛擬實境的物理模擬、流體模擬元件、聲音產生元件與聲音傳播元件．
1. 虛擬實境的物理模擬
聲音的產生其實是屬於現實生活中的一種物理現象．為了要模擬出物體移動聲音，在物體移動的軌跡也必須符合物理現象．
有符合真實的移動資訊，才能合成屬於真實的聲音現象．在此元件中，我們利用物理引擎取得物體移動的管軌跡以及每個時間間隔的長度．
必交給流體模擬元件，模擬接近真實的空氣流場狀態．
2. 流體模擬元件
在物體移動時，聲音的產生是因為，物體與空氣交互作用產生空氣渦流，渦流震動發出聲音．
因此要模擬物體的聲音必須了解移動物體周遭的空氣運動狀態，因此我們利用流體模擬引擎模擬出移動物體周遭的流場狀態．
在模擬流體時，首先我們必須建造流體模擬區域，將流體區域切割成許多小方塊(之後以cell表示)．隨後設定流體模擬區域的邊界狀態，
並使用不可壓縮那維史托克方程式(Navier-stokes' Equation)模擬內部流場狀態，最後將流體速率場資訊傳給聲音產生元件．
3. 聲音產生元件
從流體元件取得速率場之後，我們假設速率場中的每一個cell為一個獨立單頻聲源，流體模擬區域便有許多的獨立單頻聲源．
根據cell的速度值與對應的物件模型寬度推算出cell的頻率，並使用速度值與窩度值決定cell的震幅，即可合成出每個獨立單頻的聲波．
疊加流體模擬區域中所有聲源發出的聲波，形成一段諧波，我們便將疊加而成的諧波視為物體移動時物體中心的聲波，在此我們尚未考慮聲音傳播．
將原始聲波交給聲音傳播元件以處理最後聲音的呈現．
4. 聲音傳播元件
從聲音產生元件取得原始聲波後，我們設定聽者的位置及方位與聲源位置，根據物體的距離調整聲音衰減程度，
根據物體與聽者移動速度模擬督普勒效應(Doppler Effect)，最後計算出左右喇叭應該輸出的音量產生空間音效的效果．
PROJECT MATERIAL: (picture gallery, video, software demo, talk slides, etc.)
- 使用不同物件來模擬物體移動的聲音 (avi)
- 使用不同物體移動速度來模擬物體移動的聲音 (avi)
- 使用不同流體模擬細緻度來模擬物體移動的聲音 (avi)
CITATION:
- D.S.M. Liu, T.W. Cheng, and Y.C. Hsieh, Synthesizing physics-based vortex and collision sound in virtual reality, Springer-Verlag Lecture Notes in Computer Science, vol. 6939, eds. G. Bebis et al, pp. 190-198. The 7th International Symposium on Visual Computing, Las Vegas, Nevada, September 2011. (SCI, EI)