聲音分析
頻率分布
物理模擬及應用展示
ABSTRACT:
Sound simulation has increasingly impacted recent computer graphics research; it aims at simulating realistic sound in virtual realities. In traditional applications such as computer animations, movies, and flight simulators, sound comes from dubbing or post-production. Such methods require huge effort and large quantities of storage; they inevitably yield inconsistencies between sound and animation. Here we aim to produce a more realistic virtual environment and optimize time cost in producing contact sound using our new proposed methods.
Contact sound positions and magnitudes are determined according to object’s shape and external force. Sound frequency and amplitude is computed using results from Fourier analysis, with quality scaling. Our system provides reasonable collision sound under interactive rates, and can be further accelerated with SIMD instructions or other hardware acceleration architectures.
SUMMARY (中文總結):
近來在電腦圖學領域的研究當中，聲音的合成與模擬變得越來越具有影響力；聲音合成的主要目的是在虛擬實境中模擬出擬真的聲音。但在傳統的虛擬實境應用當中，如動畫、電影、模擬飛行訓練等，聲音的來源多是經由後製或配音產生，此方式需要耗費大量的人力與時間，亦需要儲存大量聲音檔案作為音效，並且容易產生動畫效果與聲音不一致的現象，因此我們冀望能夠藉由合成聲音的方式，在虛擬實境場景中自動的模擬聲音的產生。我們提出了一個在虛擬實境中以頻率域運算為基礎，進而自動地合成物體因碰撞而產生聲音的模擬。這種作法能夠幫助系統開發者在虛擬實境中，利用自動化的聲音合成方法產生近似於現實生活中因物理現象而發出的聲音。
我們的研究致力於在虛擬環境中模擬真實的聲音。根據物體的形狀、材質與外在作用力決定碰撞聲音位置，且根據傅立葉分析的結果決定碰撞聲音的頻率與振幅。我們的系統能夠在互動式環境之下即時合成合理的碰撞聲音，並且可以利用單指令多資料流或是其他的硬體加速架構加速我們的系統。
我們的系統包含四個主要元件：
1. 聲音分析元件
系統中利用預錄音檔為基準，利用傅立葉轉換分析聲音的頻率分布與大小，之後傳送給聲音合成元件作為聲音產生的依據。
2. 物理模擬元件
碰撞聲音的產生屬於現實生活中的一種物理現象。在此元件中我們利用物理引擎模擬物體移動軌跡以及計算碰撞點、碰撞力道等資訊給聲音合成元件，作為產生聲音的依據。
3. 聲音合成元件
根據聲音分析元件以及物理模擬元件的資訊，利用反傅立葉轉換合成出最後的聲音。
4. 聲音傳播元件
從聲音產生元件取得原始聲波後，我們設定聽者與音源的位置、移動方位等資訊，並根據物體與聽者的距離調整聲音衰減程度；此外根據物體與聽者之間的速度關係模擬都普勒效應(Doppler Effect)，計算出左右喇叭輸出的音量產生空間音效效果。
PROJECT MATERIAL: (picture gallery, video, software demo, talk slides, etc.)
CITATION:
- D.S.M. Liu, T.W. Cheng, and Y.C. Hsieh, Synthesizing physics-based vortex and collision sound in virtual reality, Springer-Verlag Lecture Notes in Computer Science, vol. 6939, eds. G. Bebis et al, pp. 190-198. The 7th International Symposium on Visual Computing, Las Vegas, Nevada, September 2011. (SCI, EI)