TWI509463B - 一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與電腦程式產品 - Google Patents

Description

一種使螢幕中的游標移至可按物件的方法及用於實現該方法的電腦系統與 電腦程式產品

本發明涉及運用眼瞳追踪技術且運作在圖形化使用者操作介面(GUI)之電腦系統，尤其涉及一種可協助使用者藉由眼睛來控制游標的技術。

為了方便使用者操作電腦，現有電腦中的作業系統，例如Windows®或是Linux®，均已提供圖形化使用者操作介面(GUI)，以便使用者與電腦進行互動。這種圖形化使用者操作介面中通常提供視窗及諸如捲軸、圖示(Icon)、按鈕．．．等各種可按物件供使用點按或點選。舉例來說，當使用者藉由滑鼠在桌面(desktop)上點按一個代表某一應用程式的圖示(Icon)，就可以啟動該某一應用程式，此應用程式會在一操作視窗內執行。若使用者再點按另一個圖示就會出現另一個操作視窗來顯示另一應用程式的執行。這種常見的電腦操作介面對於一般人而言已相當方便，然而，對於漸凍人及罹患肌肉萎縮症、腦性麻痺、脊髓損傷、多發性硬化症、或中風而導致四肢無法動作甚至無法說話的特殊人士，仍然難以使用。

諸如前段所述的特殊人士，尚能靈活使用的器官主要是眼睛，目前已有多種技術被開發出來協助這類特殊人士藉由眼睛對外進行溝通，甚至藉由眼睛來使用電腦，例如，當使用者觀看一電腦螢幕時，取得該使用者目光聚集在該螢幕上的位置點(座標)，進而控制視窗上的游標移動。

然而，於現有技術中，目前尚未見有讓這類特人士較方便且快速地以眼睛來點按圖形化使用者操作介面中的各種可按物件，以致於這類人士使用電腦仍有其不便。

本發明提供一種使螢幕中的游標移至可按物件的方法，其包括接收一注視點座標，該注視點座標代表該螢幕所顯示之畫面上的一個位置點，一使用者眼睛係注視著該位置點；獲得該畫面中的可按物件；從上述顯示的可按物件中找出包含上述注視點座標的可按物件；及將該游標移至所找到的該可按物件上，較佳是移到該可按物件的中心處。

針對上述獲得該畫面中之可按物件，可依以下步驟予以達成：取得畫面中的最底層母視窗；搜尋畫面中包含注視點座標的最頂層子視窗；及找出該最頂層子視窗中的可按物件。

此外，在找不到包含該注視點座標之可按物件的情況下，可執行以下步驟：以該注視點座標為中心，建立複數個圍繞該注視點座標的鄰近座標區域；比對上述可按物件之座標與鄰近座標區域，是否有任一可按物件之坐標位於上述複數個鄰近座標區域上；若有複數個可按物件之坐標位於上述鄰近區域上，則比對上述位於該鄰近座標區域上的複數個可按物件中有哪一個可按物件之中心點座標距離注視點座標最近；將該游標移至距離注視點座標最近的可按物件之中心點座標處。具體而言，該些鄰近座標區域共有八個點且其中四個點分別位在該正方形的四個頂角，另外四個點分別位在該正方形的各個邊長的中間。此外，於進行前述比對時，係僅比對鄰近座標區域上的八個點座標，以判斷是否有可按物件之座標坐落於此八點座標上，若僅有一個可按物件位於上述八點座標上，則直接將游標移動至該可按物件上之中心處；若有複數個可按物件位於上述八點座標上，則比對上述複數個可按物件中有哪一個可按物件之中心座標距離該注視點座標最近，並將游標移動至距離該注視點座標最近之可按物件上的中心處。

本發明還提供一種電腦系統，其包括上述的螢幕及一影像擷取裝置，並能執行一影像處理程序及一游標定位處理程序。藉由該影像 處理程序的執行，該電腦系統能根該影像擷取裝置所攝取的影像運算出上述的注視點座標，接著再執行該游標定位處理程序。該游標定位處理程序包括上述本發明方法所述及的各個步驟。

本發明還提供一種電腦程式產品，其包括一電腦可讀取媒體，該電腦可讀取媒體上具有電腦可讀取的程式碼，該些程式碼係能使一電腦執行上述本發明方法。

無論如何，在本發明係能在一使用者注視一螢幕上的一個位置點時，控制該螢幕中的游標快速移動到佔據該位置點的一個可按物件的中央，或是快速移動到距離該位置點最近的一個可按物件的中央，藉以達到促進該使用者以眼睛使用電腦的便利性。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

1‧‧‧電腦系統

10‧‧‧螢幕

100‧‧‧處理單元

101‧‧‧儲存單元

102‧‧‧週邊連接介面

11‧‧‧影像擷取裝置

110‧‧‧紅外線LED光源

111‧‧‧攝影單元

200、200a‧‧‧可按物件

20‧‧‧最底層母視窗

21、22‧‧‧子視窗

210‧‧‧畫面

3‧‧‧游標

第一圖，為本發明之電腦系統的一個較佳實施例的操作示意圖。

第二圖，為本發明之電腦系統的系統方塊圖。

第三圖，為本發明之電腦系統於其螢幕中所顯示的一個示範性畫面。

第四~七圖之流程圖係用於說明本發明方法中的各個步驟。

請先參照第一圖，顯示本發明之電腦系統1的操作的示意圖。該電腦系統1具有一螢幕10、一影像擷取裝置11及位在上述螢幕10背後的一電腦運作機制。第二圖係顯示該電腦系統1的系統方塊圖，該電腦運作機制包括但不限於：以一中央處理器(CPU)及一動態記憶器(RAM)為處理核心的處理單元100、一儲存單元101(例如一硬碟)、及一週邊連接介面102(例如一網路卡介面)。該儲存單元101中儲存有可提供圖形化使用者操作介面(GUI)的作業系統，例如Windows®作業系統，以及能使該處理單元執行一影像處理程序及一游標定位處理程序的程式碼。這些程式碼也可以預先錄製在一電腦可讀取媒體(例如一光碟片)中，以供該電腦系統1 載入並執行。

影像擷取裝置11係經由該網路卡介面連接該處理單元。影像擷取裝置11主要包括一CCD或COM攝影單元111及兩組紅外線LED光源110。由上述兩組紅外線LED光源110先對一使用者的臉部照射，再由該攝影單元111拍攝該使用者，藉以連續取得包含眼睛的影像。

該儲存單元中儲存有可提供圖形化使用者操作介面(GUI)的作業系統，例如Windows®作業系統，以及能使該處理單元執行一影像處理程序及一游標定位處理程序的程式碼。這些程式碼也可以預先錄製在一電腦可讀取媒體(例如一光碟片)中，以供電腦系統1載入並執行。電腦系統1係被操作於該作業系統之下，並透過該螢幕10顯示一游標3(或稱滑鼠指標)與多個可按物件200。

第三圖係顯示第一圖之螢幕10中的畫面210，畫面210是由多個物件所構成的，例如一最底層母視窗20、多個子視窗21、22及多個可按物件200。在此實施例中，最底層母視窗20實質上係一Windows桌面(desktop)，子視窗22係為一最頂層子視窗，而上述可按物件200係為位在最底層母視窗20中的多個圖示(Icon)，亦可為分別隸屬於各個視窗20、21及22的按鈕、捲軸及各種可供點按的控制項。在上述畫面210中所有的物件，無論可點按的或不可點按的，甚至是隱藏的，都可以透過一應用程式介面(Application Programming Interface，API)從作業系統所提供的資源中取得這些物件的屬性、事件等資訊。關於前述的可按物件200，以圖示(Icon)為例，其可取得的屬性包括但不限於其左上角的座標、長寬尺寸，只要取得這些資訊，就可以得知一個圖示(Icon)在畫面210所佔據位置與範圍。同理，諸如按鈕等其它可按物件200在畫面210所佔據位置與範圍的也能得到。

一個漸凍人或罹患肌肉萎縮症、腦性麻痺、脊髓損傷、多發性硬化症、或中風而導致四肢無法動作甚至無法說話的特殊人士，只剩眼可以動作，無法像一般人那樣利用滑鼠來移動游標及點按畫面210上的任何可按物件200。透過本發明方法的實現，可以讓這類特殊人士以眼睛控制游標3快速移至他想要點按的可按物件200上，使得該特人士能接著以凝視方式觸發該可按物件200(這相當於以眼睛點按該可按物件)，藉以啟動對應該可按物件200的應用程式或功能。

如第一、三圖所示，當一使用者(以上述的特殊人士為例)觀看該螢幕10，並想要點按一個可按物件200a時，例如一個圖示(Icon)，他的眼睛會注視畫面210中的可按物件200a，實質上是在注視螢幕10中的一個位置點。上述電腦系統1會透過影像擷取裝置11，從該使用者的臉部攝取得到包含眼睛的影像。接著，電腦系統1係藉由執行上面提及的影像處理程序，對上述影像進行分析與處理，從而運算得到畫面210上的一注視點座標。此一獲得畫面210上的注視點座標之程序係可運用先前技術所揭露的部份技術內容來完成，如中華民國專利公告號I362005、I356328；以及中華民國專利公開號201124917、201035813、201016185…等等內容。上述注視點座標係代表螢幕10之畫面210上的一個位置點。在此需注意的是，雖然使用者自己覺得是在注視著可按物件200a，但電腦系統1根據上述影像所運算出來的該注視點座標所代表的位置點未必會剛好落在可按物件2()0a的座標或所佔據的範圍內。儘管如此，於本發明中，電腦系統1所算出的該注視點座標仍然代表使用者所注視的一個位置點。

電腦系統1於運算得到注視點座標之後，係接著執行上面提及的游標定位處理程序，此一程序具體上是本發明方法中的一系列步驟。第四圖係顯示本發明方法之一較佳實施例的流程示意圖，其中揭露本發明之一種使螢幕中的游標移至可按物件的方法。方法包括以下步驟：a)接收上述注視點座標；b)獲得螢幕10中所顯示之畫面210的可按物件200的資訊；c)從上述顯示的可按物件200中找出包含上述注視點座標的可按物件200；及d)將該游標3移至所找到的可按物件200上。

在b步驟中，主要是獲得螢幕10之畫面210的所有物件，這些物件係組構形成使用者眼睛所看到的畫面。透過這些物件的屬性讀取，就可辨識出哪些是不符需求的物件，例如不可見的物件、尺寸為0的物件，將這些不符需求的物件排除掉之後，就剩下那些諸如圖示(Icon)、按鈕等可按物件200。如果螢幕10目前所顯示的畫面210係如第三圖所示地含有多個子視窗21、22，則透過第五圖所示的以下步驟獲得畫面210中所顯示的可按物件200的資訊： b1)取得畫面210中的最底層母視窗20；b2)搜尋畫面210中包含注視點座標的最頂層子視窗22；及b3)找出最頂層子視窗22中的可按物件200，這些就是b步驟中所說的可按物件200。

在c步驟中，只要比對該注視點座標與每一可按物件200的座標及所佔據的範圍，就可以知道該注視座標是落在哪一個可按物件200上，這樣就可以找出包含該注視點座標的可按物件200。

d步驟中，較佳實施例，是將游標3自動移至所找到的可按物件200上的中心處。這樣該使用者會比較清楚地知道游標3已被移至他所注視的可按物件200上。

依照上述，雖然可以在c步驟中找出包含該注視點座標的可按物件200。然而，也有可能發生沒有找不到的情形，該注視點座標並不位於任何可按物件200的範圍上。在此情況下，可進一步執行第六圖所示的以下步驟：c1)以該注視點座標為中心，建立複數個圍繞該注視點座標的鄰近座標區域；c2)比對上述可按物件200之座標與鄰近座標區域，是否有任一可按物件200之坐標位於上述複數個鄰近座標區域上；若有複數個可按物件200之坐標位於上述鄰近區域上，則比對上述位於該鄰近座標區域上的複數個可按物件200，哪一個可按物件200之中心點座標距離注視點座標最近；及c3)將該游標移至距離注視點座標最近的可按物件200之中心點座標處。

較佳地，在c1步驟中，該些鄰近座標區域在畫面210係構成一個以注視點座標為中心的正方形，具體如第七圖所示。於較佳實施例，上述鄰近座標區域所形成的正方形面積可為20pixel。該些鄰近座標區域共有八個點且其中四個點A~D分別位在該正方形的四個頂角，另外四個點E~H，分別位在該正方形的各個邊長的中間。於較佳實施例，c2步驟，可僅比對鄰近座標區域上的A-H八個點座標，是否有可按物件200之座標坐落於此A-H八點座標上。若僅有一個可按物件200位於上述八點座標上，則 直接將游標移動至該可按物件200上之中心處；若有複數個可按物件200位於上述A-H八點座標上，則比對上述複數個可按物件200中有哪一個可按物件200之中心座標距離該注視點座標最近，並將游標移動至距離該注視點座標最近之可按物件200上的中心處。

在經過c1~c2步驟之後，若沒有找到任何距離該注視點座標最近的可按物件200，就不執行移動游標3的動作。此時，電腦系統1可再透過影像擷取裝置11重新拍攝該使用者的影像，接著再次執行上述的影像處理程序及游標定位處理程序。一旦將游標3移至該注視點座標所座落的可按物件200上，或移至距離該注視點座標最近的可按物件200上之後，使用者就可以通過凝視的方式來觸發該可按物件200。在本發明之一較佳實施例中，電腦系統1在畫面210的側邊顯示一個功能視窗，該功能視窗中有多個圖案分別代表一種特定操作功能，例如模擬滑鼠左鍵單擊之功能、模擬滑鼠右鍵單擊之功能、模擬滑鼠拖曳動作之功能、模擬放大鏡之功能．．．等等。這些功能是以凝視之方式來觸發的。

從上述說明可知，本發明可有效輔助使用者瞄準物件位置。先前技術在視窗畫面上具有較多的物件排列其上的場合時，電腦系統很容易造成游標定位錯誤，定位在不是使用者想要點選的物件位置；使用者也會因為物件過多，造成需要花費較多的注意力以及時間在瞄準或定位物件位置。藉由本發明的游標定位方式，可有效提高游標瞄準的精確度，以及減少使用者瞄準物件的時間。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

1‧‧‧電腦系統

10‧‧‧螢幕

11‧‧‧影像擷取裝置

110‧‧‧紅外線LED光源

111‧‧‧攝影單元

200、200a‧‧‧可按物件

3‧‧‧游標

Claims (9)

1. 一種使螢幕中的游標移至可按物件的方法，係在一注視點座標被運算出之後才執行，該注視點座標代表該螢幕所顯示之畫面上的一個位置點，使用者眼睛係注視著該位置點，該方法包括以下步驟：a)接收該注視點座標；b)獲得該畫面中的可按物件及該些可按物件在該畫面中的座標及所佔據的範圍；c)比對該注視點座標與該些可按物件的座標及所佔據的範圍，藉以找出該注視點座標是落在哪一個可按物件上；及d)將該游標移至根據上述比對所找到的該可按物件上。
2. 如申請專利範圍第1項所述的方法，其中係將該游標移至所找到的該可按物件的中心處。
3. 如申請專利範圍第1項所述的方法，係藉由以下步驟獲得畫面中的可按物件之資訊：取得畫面中的最底層母視窗；搜尋畫面中包含注視點座標的最頂層子視窗；及找出該最頂層子視窗中的可按物件。
4. 如申請專利範圍第1項所述的方法，在找不到包含注視點座標之可按物件的情況下執行以下步驟：以該注視點座標為中心，建立複數個圍繞該注視點座標的鄰近座標區域； 比對上述可按物件之座標與鄰近座標區域，是否有任一可按物件之坐標位於上述複數個鄰近座標區域上；若有複數個可按物件之坐標位於上述鄰近區域上，則比對上述位於該鄰近座標區域上的複數個可按物件中有哪一個可按物件之中心點座標距離注視點座標最近；及將該游標移至距離注視點座標最近的可按物件之中心點座標處。
5. 如申請專利範圍第4項所述的方法，其中該些鄰近座標區域共有八個點且其中四個點分別位在該正方形的四個頂角，另外四個點分別位在該正方形的各個邊長的中間。
6. 如申請專利範圍第5項所述的方法，其中於進行比對時係僅比對鄰近座標區域上的八個點座標，以判斷是否有可按物件之座標坐落於此八點座標上，若僅有一個可按物件位於上述八點座標上，則直接將游標移動至該可按物件上之中心處；若有複數個可按物件位於上述八點座標上，則比對上述複數個可按物件中有哪一個可按物件之中心座標距離該注視點座標最近，並將游標移動至距離該注視點座標最近之可按物件上的中心處。
7. 如申請專利範圍第4項所述的方法，其中係將該游標移至所找到的該可按物件的中心處。
8. 一種電腦系統，係透過螢幕顯示一畫面中的游標與多個可按物件，及透過一影像擷取裝置從使用者的臉部攝取得到包含眼睛的影像；其中，該電腦系統還執行一影像處理程序及一游標定位處理程序，該影像處理程序係對該些影像 進行分析與處理，藉以運算得到一注視點座標，該注視點座標係代表該螢幕上的一個位置點，該使用者眼睛係注視著該位置點；該游標定位處理程序包括如申請專利範圍第1項所述方法中的步驟a~d。
9. 一種電腦程式產品，包括一電腦可讀取媒體，該電腦可讀取媒體上具有電腦可讀取的程式碼，該些程式碼係能使一電腦執行如申請專利範圍第1項所述的方法。