在飛速發(fā)展的信息時(shí)代，手機(jī)已經(jīng)成為盲人與世界溝通的重要工具。盲人用手指觸摸屏幕時(shí)，讀屏軟件能夠把觸摸到的內(nèi)容轉(zhuǎn)化為語(yǔ)音讀出來(lái)。在中國(guó)，預(yù)估有600萬(wàn)盲人正在以這種方式使用智能手機(jī)。然而，如果說(shuō)要與明眼人相比，盲人使用手機(jī)還有很多不方便的地方。其中一個(gè)問(wèn)題就是單手交互。正如上圖中所示，盲人使用手機(jī)時(shí)主要采用的姿勢(shì)為一只手握持手機(jī)，將揚(yáng)聲器貼近耳朵，用另一只手的手指摸索屏幕，聽(tīng)取語(yǔ)音反饋。當(dāng)被問(wèn)及平時(shí)會(huì)不會(huì)單手交互時(shí)，除了極個(gè)別的專家級(jí)用戶，大多數(shù)盲人表示根本沒(méi)想過(guò)：要么盡量避免手里拿東西，要么就耐心點(diǎn)，等到雙手都空出來(lái)時(shí)再使用手機(jī)。但是這樣并不能從根本上解決問(wèn)題。出行在外時(shí)，一手拿著盲杖或牽著導(dǎo)盲犬，或者在公交車上扶著扶欄，想使用手機(jī)就不是那么方便了。另外在公共場(chǎng)合時(shí)輸入密碼、聽(tīng)取私人信息時(shí)，揚(yáng)聲器放得聲音再小，周圍離得近的人也能聽(tīng)到內(nèi)容，具有隱私性的問(wèn)題。
單手交互是備受關(guān)注的一個(gè)用戶體驗(yàn)設(shè)計(jì)問(wèn)題。針對(duì)明眼人，手機(jī)的設(shè)計(jì)在界面設(shè)計(jì)、交互方式上做出了很多優(yōu)化。盲人應(yīng)該同等地參與和體驗(yàn)到設(shè)計(jì)和科技發(fā)展帶來(lái)的便利。為此，清華大學(xué)計(jì)算機(jī)系人機(jī)交互課題組設(shè)計(jì)了一套用耳朵與屏幕接觸的新穎交互方式，并開發(fā)了一種基于電容屏圖像分析的智能算法，使得盲人也能輕松單手使用手機(jī)。以打電話的姿勢(shì)使用手機(jī)，語(yǔ)音反饋可以從聽(tīng)筒播放，也解決了隱私性的問(wèn)題。這項(xiàng)技術(shù)，雖然是為盲人開發(fā)，但也具有通用性，明眼人在需要單手交互時(shí)，同樣可以使用。
那么，到底如何用耳朵來(lái)與手機(jī)交互呢？
對(duì)應(yīng)于“手勢(shì)”的概念，耳朵交互中對(duì)于不同“耳勢(shì)”的設(shè)計(jì)。
用戶通過(guò)耳朵與屏幕接觸進(jìn)行輸入，聽(tīng)取語(yǔ)音反饋?zhàn)鰹檩敵觯瓿赏暾慕换ミ^(guò)程。對(duì)應(yīng)于“手勢(shì)”的概念，從耳朵本身的特性出發(fā)，耳朵交互也具有一套豐富的“耳勢(shì)”設(shè)計(jì)，用戶可以用耳朵在屏幕上執(zhí)行單擊、滑動(dòng)、旋轉(zhuǎn)、按壓、觸摸瀏覽等多種操作。用手指和手機(jī)屏幕交互，是保持手機(jī)不動(dòng)而移動(dòng)手指，與此完全不同的是，耳朵交互是保持頭部不動(dòng)，挪動(dòng)手機(jī)使得耳朵與屏幕的接觸方式發(fā)生變化。
單擊：用手機(jī)屏幕輕觸耳朵后馬上抬起。
滑動(dòng)：用手機(jī)屏幕接觸耳朵后，可以向不同方向快速移動(dòng)后抬起。
按壓：手機(jī)屏幕輕觸耳朵后，施加壓力，使得耳朵的全部結(jié)構(gòu)與屏幕完全接觸。
旋轉(zhuǎn)：手機(jī)屏幕輕觸耳朵，以接觸點(diǎn)為軸，向前或向后旋轉(zhuǎn)。
觸摸瀏覽：與盲人用手指時(shí)所采用的方式類似，將耳朵貼在屏幕上一會(huì)兒，震動(dòng)后，即進(jìn)入觸摸瀏覽模式。這時(shí)手機(jī)屏幕類似一塊觸控板，用耳朵在屏幕上移動(dòng)，即可聽(tīng)到不同坐標(biāo)點(diǎn)的內(nèi)容，如果聽(tīng)到了想要交互的目標(biāo)，就可以通過(guò)按壓來(lái)選中。
基于這些操作，用戶基本上可以完成日常生活中所涉及到的交互任務(wù)，如撥打電話、發(fā)送信息、瀏覽應(yīng)用等等。
一位盲人用戶正在用耳朵交互完成日常交互任務(wù)，很快學(xué)會(huì)并成功后，他露出了一絲笑容
那么，支撐這些交互方式的算法是如何實(shí)現(xiàn)的呢？
首先，需要對(duì)電容屏的原理有簡(jiǎn)單的了解，以手指為例，人體作為導(dǎo)體與屏幕接觸時(shí)會(huì)產(chǎn)生微弱的耦合電流，如果我們將感知到電容信號(hào)的強(qiáng)度由低到高轉(zhuǎn)換為黑色到白色的像素?cái)?shù)值，可以看到接觸得越好的地方顏色越亮。同理，當(dāng)耳朵靠近、接觸屏幕時(shí)，也會(huì)在屏幕上產(chǎn)生信號(hào)圖像。我們就將這些圖像提取出來(lái)，進(jìn)行分析和處理。
耳朵貼在觸摸屏上產(chǎn)生的電容圖像以及經(jīng)過(guò)算法處理過(guò)后的圖像
耳朵與手指完全不同：手指具有一定硬度，與屏幕的接觸面積小而規(guī)整，而從生理結(jié)構(gòu)上講，耳朵非常軟、由多個(gè)部分構(gòu)成、表面不規(guī)則、高低不平。這對(duì)圖像算法的設(shè)計(jì)提出了一系列全新的挑戰(zhàn)：當(dāng)用戶用耳朵碰觸屏幕時(shí)，到底哪一點(diǎn)才是他的意圖點(diǎn)？用戶用耳朵接觸屏幕并移動(dòng)時(shí)，耳朵可能會(huì)卷起，導(dǎo)致圖像發(fā)生形變，怎么樣才能比較穩(wěn)定地跟蹤耳朵的移動(dòng)？等等。清華大學(xué)喻純課題組一方面開展多人次的用戶實(shí)驗(yàn)，分析用戶的心理模型，收集用戶的意見(jiàn)；另一方面不斷優(yōu)化高速目標(biāo)跟蹤算法的設(shè)計(jì)，使得耳朵的移動(dòng)軌跡能被穩(wěn)定獲得，各種操作都能被穩(wěn)定識(shí)別。
用戶使用耳朵交互中的觸摸瀏覽方式訪問(wèn)手機(jī)屏幕上的應(yīng)用
目前，耳朵交互已申請(qǐng)專利。在設(shè)計(jì)和開發(fā)的過(guò)程中，清華大學(xué)課題組的師生們接觸到了大量的盲人朋友，他們積極樂(lè)觀的精神令人感動(dòng)。信息無(wú)障礙領(lǐng)域還存在很多根本性的問(wèn)題亟待解決，如各類應(yīng)用程序的無(wú)障礙開發(fā)意識(shí)不足，導(dǎo)致信息讀取不出來(lái)、交互無(wú)法完成等問(wèn)題。這些問(wèn)題都應(yīng)該得到重視�？萍紤�(yīng)以人為本，盲人應(yīng)該和明眼人一樣擁抱同等自然的交互體驗(yàn)。通過(guò)設(shè)計(jì)和開發(fā)這樣一種新穎的耳朵交互，我們不僅希望能夠改善盲人朋友在手機(jī)單手交互上的無(wú)障礙體驗(yàn)，更希望能夠引起更多人對(duì)于信息無(wú)障礙的關(guān)注，一起推進(jìn)更加平等的社會(huì)環(huán)境建設(shè)。
注：文章內(nèi)的所有配圖皆為網(wǎng)絡(luò)轉(zhuǎn)載圖片，侵權(quán)即刪！