Drum Era


Virtual Drum Set with Oculus Rift & Leap Motion

Find Out More

About


       生活中有很多物品皆因空間與價格限制使人們不易取得,樂器正是典型的例子,且以爵士鼓最為明顯。爵士鼓的大體積、大音量成了最大的阻力。為了突破此項限制,我們使用虛擬實境技術創造了一個虛擬的爵士鼓環境。同時為了增進使用者體驗,我們以Leap Motion取代一般VR設備的手持Controller,並建立三種不同虛擬場景與簡易節奏教學以達到最身歷其境的虛擬爵士鼓體驗。

Get Started!

Environment


Oculus Rift

利用Oculus Rift作為虛擬鼓組的顯示器

Leap Motion

利用Leap Motion偵測使用者的手部動作

Unity 3D

以Unity3D進行開發

Workflow






Environment Building

建立虛擬鼓組,並創造夏季海灘、雪地豪宅、街頭表演等三種不同的動態場景。


Gesture Vectorization


為了讓使用者在打鼓時有最真實的體驗,鼓棒的移動最能夠符合實際打鼓的情形,我們將手腕至指尖的向量當作虛擬鼓棒之延伸向量,使使用者順利產生自己在駕馭虛擬物品之錯覺。


Gesture Stabilization


在套用完全虛擬之物件(鼓棒)至實體映射之物件(手勢)後.我們發現若將鼓棒位置設於手腕或指尖兩點都會凸顯Leap Motion手勢不穩定的弱點,因此我們將鼓棒位置調整至相對穩定的大拇指上面,如此一來便能平衡使用者體驗與骨架點穩定性之問題,成功讓物品達到如同在現實生活握在手中之視覺與動態感受。


Physical Properties


實作過程中我們發現因鼓組是虛擬的,在沒有實際打到東西的情形下,人體對於打擊物體的方式並不會因為手部受到衝擊而停止,以致在虛擬空間中穿越物體。這樣的狀況因Leap Motion 為控制器擁有最高優先權且會動態更新、不斷重新繪製手勢,而使我們在Unity 3D上做碰撞偵測時會出現許多諸如手勢穿越鼓組造成一次打擊發出多次聲音的問題。因此我們將鼓組上有動態物理性質的部分,如鈸,在除了調整與鼓棒的碰撞偵測及物理性質表現外,多設定了控制信號確保手部動作與發出聲音的一致性。而在物理性質非動態的一般鼓上,使用觸發偵測,使之不會因手勢穿越鼓組而發出多餘的聲音。


Tutorial


在豪宅場景加入特別錄製的五種節奏教學,每個節奏先以正常節奏速度播放第一次、放慢速度示範給使用者看一遍,最後再留有節奏指示的時間讓使用者自己打一次。讓使用者在使用我們的虛擬鼓組時也能學習打鼓,增進使用者體驗與黏著度。

Let's Get In Touch!



國立清華大學資訊工程學系 電腦視覺實驗室


國立清華大學 科技管理學院學士班
李昱慧


國立清華大學 科技管理學院學士班
詹士樺