引導模式教學模式連續模式
Depth Map Based Real-Time Gesture Recognition for Taiwan Sign Language〔基於深度資訊的台灣手語即時手勢辨識〕
ABSTRACT:
Sign language has always been used by a hearing or voice impaired people as the most direct way to communicate, but it was built on the case that both sides understand the sign language. Sign language recognition has therefore been very important in human-computer interaction. In the last decade, besides using color cameras, some researcher also developed sign language recognition system using depth camera that gets the distance clues between camera and object. At the same time, depth camera avoided the problems that occurred in traditional color cameras owing to different light intensity. The problem often yields different skin color. In recent years, Microsoft launched Kinect, so that people could use lower price to get depth information, thus eliminating development obstacle. On this basis, there were some studies investigating sign language recognition in feasibility and efficiency. However, these studies either focus on skeleton of body or detailed feature of hand for sign language recognition. We aim to provide a comprehensive system, including skeleton and hand feature recognition and real time processing capability.

SUMMARY (中文總結):
當我們想與其他人溝通時，用聲音對話是最簡單的方法。但聾啞人士因為各種原因無法良好地發出聲音，所以需要利用手語與他人溝通。尷尬的是，儘管聾啞人士之間能良好溝通，與非聾啞人士之間的溝通卻會出現困難。手語需要用到豐富又複雜的肢體動作，要學會手語需要長時間的觀察和練習。沒有學過手語的非聾啞人士如果突然面對手語使用者會無法理解手語的內容。兩者之間的溝通會顯得困難和無力。有見及此，我們設計出一個手語辨識系統，使用者無須穿載任何裝備，只需要站在深度攝影機前做出手語，我們的系統即可偵測出手語中的重要特徵包括手型，位置，移動方向及移動距離。利用這些特徵，我們可以從資料庫中找出相對應的手語結果，再以文字或聲音輸出辨識結果。

在系統實作方面，我們有三個主要部份組成：分別是幫助使用者的引導模式，讓使用者學習手語的的教學模式及以溝通為目的的連續模式。

1. 引導模式
為了教導第一次使用系統的使用者如何讓系統正確抓取所需的資訊，我們會利用引導模式中的六個步驟，引導使用者站在適當的距離，面向鏡頭及張開雙手等。當使用者通過了所有步驟，他們會熟悉了系統的使用環境，有利於接下來教學模式及連續模式。

2. 教學模式
在教學模式中，系統會給與一個手語詞彙的範例讓使用者學習，當使用者根據範例做出相應的動作，系統會標示出相對應的特徵提示像指尖，移動軌跡等，同時判斷動作是否正確，正確的話則會學習下一個手語，經過多次這樣的循環來達到學習的效果。

3. 連續模式
如果使用者熟悉手語和系統，可以通過連續模式把辨識出的手語結果保留下來，從而通過系統得到較豐富的表達結果，相對的給予的系統提示則較小。


PROJECT MATERIAL: (picture gallery, video, software demo, talk slides, etc.)