|
使用者介面
聲音模擬圖 |
Visibility
Preprocessing Suitable for Virtual Reality Sound Propagation with a Moving
Receiver and Multiple Sources (可視性預先計算應用在虛擬實境下移動聽者和多聲源的聲音傳播)
ABSTRACT: Spatial sound simulation aims to produce
sound with the characteristic of virtual scenes. Visual information attached
with spatial sound enhances users’ experience in virtual reality. To make
users feel immersive in environments, we compute dynamically the sound
filters according to the structure of scene instead of playing pre-recorded
audio files. Our research uses an image source method
to generate sound propagation paths in scenes. To improve the performance of
producing image sources, we pre-computed the visibility of scene, and
exploited Optix ray tracing engine to parallelize path validation. Our system
supported multiple sound sources, and provided a graphical user interface
with which users can add sound sources and control parameter settings. The
interface also displayed the sound propagation paths and played spatial
sound. SUMMARY
(中文總結): 空間聲音模擬目的是要能產生出具有3D虛擬空間特性的聲響，配合視覺的資訊，讓使用者有身歷其境的感受。為了能讓使用者感覺到真實的空間感受，我們根據場景資訊計算出使用者聽到的聲音filter，而非像傳統的一些應用是播放出預錄好的音檔。 我們的研究是以虛擬聲源演算法來模擬場景中產生的聲音傳播的反射路徑。為了改善計算虛擬聲源的效能，我們預先計算了場景的可視性，並且在聲音路徑的驗證中使用Optix光跡追蹤引擎來平行化計算。我們系統支援多個真實聲源摸擬，也提供了一個使用者介面，讓使用者直接在場景裡加入聲源、調整參數，並顯示出聲音傳遞的路徑和播放出空間聲響。 在實作方面，我們的系統分成五個部分實作，分別是可視性預先計算、虛擬聲源生成、路徑驗證、聲音渲染和使用者互動介面。 1. 可視性預先計算 幾何聲學假設高頻聲音的移動接近直線，所以我們利用預先計算的多邊形可視性來加速聲音計算。利用傳統walktrough系統的hemi-cube概念，在場景的三角形面上生成取樣點來計算該三角形的可視性。透過定義adaptive sampling機制和調整取樣點位置的方法，我們可以達到有效率的取樣且算出高正確性的可視性。 2. 虛擬聲源生成 傳統的聲音計算是對場景中每個面都產生鏡像的虛擬聲源來計算反射路徑。我們的方法在第一次反射的虛擬聲源利用cubemap來刪去不必要的面，而在二次以上的虛擬聲源則使用frustum culling加上預先計算的多邊形可視性來更大幅度的刪去不必要反射面來達到加速。 3. 路徑驗證 我們將前面計算的虛擬聲源和聽者位置，透過使用Optix ray tracing引擎，在GPU上進行路徑驗證的計算。 4. 聲音渲染 把原來的聲音訊號和正確路徑產生的Impulse response做convolution計算得到有空間感的聲音。透過把Impulse response分成Direct sound、Early reflection和Late reverberation來模擬，我們可以模擬出從一開始聲音能量最大衰減到最小的變化。 5. 使用者互動介面 我們提供使用者能設定聲音模擬參數的介面，包含聲源位置、反射次數、音檔、移動設定等。此外，我們將介面結合虛擬實境系統讓使用者能在與場景互動過程中即時的聽到模擬聲音的變化。 PROJECT MATERIAL: (picture gallery,
video, software demo, talk slides, etc.) n 虛擬實境空間聲音模擬 (wmv, 53.5MB) |
