您的位置:首頁>科技>正文

滑鼠鍵盤瑟瑟發抖!有了這些牛X技術,還要滑鼠鍵盤做什麼?

編者按:Apple Watch 不是計算能力強大的設備, 每秒也能夠處理數十億位元組的資料。 人類大腦有數以百億計的神經元, 超過了四萬億次的突觸連接, 人腦每秒處理的大量資料, 這是我們無法估計的。 然而, 鍵盤和滑鼠仍然是迄今為止人類強大的大腦與數字世界之間最快的橋樑。 在觸控式螢幕和語音辨識之後, 人機交互的未來是什麼?

Apple Watch 比在阿波羅登月時使用的電腦強 250 倍。 電腦體積從最初佔據整個房間, 發展到納米級別, 而鍵盤一直是最可靠和使用最廣泛的人機界面。

電腦鍵盤的發明可以追溯到 50 多年前

跨越滑鼠和鍵盤?

電腦正在被嵌入到不同的設備中, 而我們無法將鍵盤和滑鼠連接到所有設備上, 所以我們需要找到其他對話模式。 目前與智慧物件(又稱物聯網)交互的解決方案是通過語音辨識, 這明顯具有使用的限制。 讓我們來看看目前研究人員和公司正在尋求的解決方法。

觸摸

多點觸摸技術和多點觸摸手勢的進步已經使觸控式螢幕成為受歡迎的介面。 研究人員和初創公司正在努力改善觸摸體驗, 觸摸的強度, 手指的哪個部分觸摸等等。

iPhone 的 3D Touch 能夠感應按壓強度

Qeexo 瞭解手指的哪一部分觸摸了螢幕

語音

美國國防高級研究計畫局在 70 年代就資助了這一領域的研究!但是一直到最近, 聲音才開始有用。 由於深度學習, 現在我們已經非常擅長語音辨識。 現在, 語音的最大挑戰不是轉錄, 而是基於上下文感知意義。

眼睛

在眼球追蹤中, 我們要麼測量凝視(人們正在看的地方), 要麼測量眼睛相對於頭部的運動。 隨著相機和感測器成本的降低, 以及虛擬實境眼鏡的日益普及, 作為介面的眼球跟蹤變得有用。

Google 收購 的 yefluence 允許用戶通過眼睛來使用虛擬實境

2015 年 IPO 的 obii 與消費電子製造商合作,

將其眼動追蹤技術嵌入其中

手勢

手勢控制是我最熟悉的人機界面, 我親自做過各種手勢控制方法的科學研究。 用於手勢檢測的技術包括:

慣性測量裝置 (IMU)

加速度計, 陀螺儀和指南針(全部或部分)的資料用於檢測手勢。 重新校準和降低對精度的需要是這種方法存在的一些問題。

紅外+攝像頭(深度感測器)

我們所看到的大多數酷炫的手勢檢測系統都使用了高品質相機, 紅外照明器和紅外相機的組合。 投射到場景中的成千上萬的小點, 瞭解物件的距離。 Kinect, 英特爾的 RealSense, Leap Motion, Google 的 Tango, 都是基於這種技術。

Leap Motion是手勢控制的消費級設備

為了實現 FaceID 蘋果已經把這一切都嵌入了 iPhone X 的前置攝像頭中

電磁場

在這種方法中,用戶的手指或身體起到導電體的作用,干擾使發射機和接收機之間的電磁場。

AuraSense 的智慧手錶中使用 1 個發射器和 4 個接收器天線進行手勢控制

雷達

雷達早已被用於追蹤飛機、輪船和汽車等物體。 谷歌的先進技術和項目(ATAP)組通過將雷達縮小到 8 毫米 × 10 毫米的微晶片而取得了令人矚目的成就。這個通用的手勢控制晶片組可以嵌入到智慧手錶,電視機和其他物體中進行手勢追蹤。

Google ATAP 的 Soli 專案

生物信號

如果看到這你還覺得沒什麼厲害的,讓我們更進一步,上面提到的所有方法都是圍繞測量和檢測手勢的副產品。

通過處理直接來自我們肌肉神經的信號,我們可以更進一步接近大腦意圖。

通過將感測器放置在肱二頭肌/三頭肌或前臂上的皮膚上而獲得的表面肌電圖(sEMG),從不同的肌肉運動單元獲得信號。 雖然 sEMG非常嘈雜的信號,還是可以檢測到一些手勢。

理想情況下,一般人願意在手腕上佩戴感測器。 然而手腕中的肌肉是很深的,因此很難獲取可以準確地用於手勢檢測的信號。

一家名為 CTRL Labs 的新公司,通過手腕的 sEMG信號 進行手勢控制。 CTRL 實驗室的設備測量 sEMG 信號,並且檢測來自該運動背後的大腦的神經的驅動。 這距離大腦更近了一步。利用他們的技術,你可以將手放在口袋裡,然後在手機上打字。

來自 Thalmic 實驗室的肌肉機器介面

Thalmic Labs 是第一批開發基於sEMG的消費類設備的公司之一

腦機交互

在過去的一年中,這一領域發生了很多事情。 美國國防高級研究計畫局花費 6500萬 美元投資神經介面。 Elon Musk 的 Neuralin 融資 2700 萬美元,Kernel 已經從其創始人 Bryan Johnson 獲得了 1 億美元的資金,Facebook 正在開發腦機介面。目前有兩種非常不同類型的腦機介面:

非侵入式腦機介面

腦電波(EEG),從頭皮上獲取信號。

這就像在足球場上面放置一個麥克風。你聽不清每個人在說什麼,但是你可以知道是否進球(來自球場的歡呼和鼓掌)。

基於腦電波的介面並不真正讀你的想法。 例如,最常用的 BCI 範例是 P300 拼寫器。 你想輸入字母“R”; 電腦隨機顯示不同的字元; 一旦你在螢幕上看到“R”,你的大腦會感到驚訝,並發出一個特殊的信號。 這很聰明的,但我不會是“讀心術”,因為我們無法察覺對“R”的思考,而是發現了一個有效的技巧。

Emotiv,NeuroSky,Neuable 和其他一些公司已經開發出消費級 EEG 頭戴式。 Facebook 宣佈了一項關於腦打字的專案,該項目使用另一種稱為功能近紅外光譜(fNIRS)的腦部感測技術,其目的是達到每分鐘 100 個字的速度。

用腦波打字

侵入式腦機介面

這是終極的人機界面,通過將電極放在大腦中工作,然而,還需要克服大量嚴峻的挑戰。

通過侵入式腦機介面控制機器手臂

挑戰

我們上面提到了各種有趣的技術,為什麼仍然局限於使用鍵盤和滑鼠。以下是人機交互技術進入大眾市場需要具備的功能。

準確性

如果 10次 使用 只有 7次準確,你會把觸控式螢幕作為主要介面嗎?用作主介面,必需有非常高的準確性。

延遲

想像一下,按下鍵後,一秒鐘後才顯示。 只要一秒鐘就沒人願意用了。超過幾百毫秒的人機界面毫無用處。

訓練

人機界面不應該要求用戶花費大量的時間學習新的手勢。

回饋

鍵盤敲擊聲,手機的振動,語音助手的嘟嘟聲,都是為了完成反饋回路。反饋回路是任何介面設計中最重要的方面之一,用戶往往不會注意到這一點。我們的大腦不斷尋求確認其行動已經完成的成果。

人機界面的未來

由於上述挑戰,我們還沒能取代鍵盤,至少現在還沒有。 我認為介面的未來將是:

多模式:我們將在不同的場合使用不同的介面。我們仍然可以使用鍵盤打字,繪圖和設計觸控式螢幕,與我們的數位私人助理進行語音交互,基於雷達的車內手勢控制,基於肌肉的手勢控制遊戲和虛擬實境,以及通過腦機介面選擇最適合你心情的音樂。

上下文感知:你在筆記型電腦上閱讀了關於北加利福尼亞州野火的文章,然後在你在智慧耳機上詢問語音助理“那裡的風有多大?”。它應該理解你問的是火災的發生地點。

自動化:在 AI 的幫助下,電腦能更好地預測你打算做什麼,所以你甚至不需要發指令。 當你醒來的時候就會知道你想播放一些特定的音樂,所以你甚至不需要一個找歌播放。

原文連結:https://medium.com/@tahmaseb/after-50-years-is-it-time-to-say-goodbye-to-the-keyboard-e0d6e6709211

(36氪編譯組出品,未經許可禁止轉載。編輯:郝鵬程)

Leap Motion是手勢控制的消費級設備

為了實現 FaceID 蘋果已經把這一切都嵌入了 iPhone X 的前置攝像頭中

電磁場

在這種方法中,用戶的手指或身體起到導電體的作用,干擾使發射機和接收機之間的電磁場。

AuraSense 的智慧手錶中使用 1 個發射器和 4 個接收器天線進行手勢控制

雷達

雷達早已被用於追蹤飛機、輪船和汽車等物體。 谷歌的先進技術和項目(ATAP)組通過將雷達縮小到 8 毫米 × 10 毫米的微晶片而取得了令人矚目的成就。這個通用的手勢控制晶片組可以嵌入到智慧手錶,電視機和其他物體中進行手勢追蹤。

Google ATAP 的 Soli 專案

生物信號

如果看到這你還覺得沒什麼厲害的,讓我們更進一步,上面提到的所有方法都是圍繞測量和檢測手勢的副產品。

通過處理直接來自我們肌肉神經的信號,我們可以更進一步接近大腦意圖。

通過將感測器放置在肱二頭肌/三頭肌或前臂上的皮膚上而獲得的表面肌電圖(sEMG),從不同的肌肉運動單元獲得信號。 雖然 sEMG非常嘈雜的信號,還是可以檢測到一些手勢。

理想情況下,一般人願意在手腕上佩戴感測器。 然而手腕中的肌肉是很深的,因此很難獲取可以準確地用於手勢檢測的信號。

一家名為 CTRL Labs 的新公司,通過手腕的 sEMG信號 進行手勢控制。 CTRL 實驗室的設備測量 sEMG 信號,並且檢測來自該運動背後的大腦的神經的驅動。 這距離大腦更近了一步。利用他們的技術,你可以將手放在口袋裡,然後在手機上打字。

來自 Thalmic 實驗室的肌肉機器介面

Thalmic Labs 是第一批開發基於sEMG的消費類設備的公司之一

腦機交互

在過去的一年中,這一領域發生了很多事情。 美國國防高級研究計畫局花費 6500萬 美元投資神經介面。 Elon Musk 的 Neuralin 融資 2700 萬美元,Kernel 已經從其創始人 Bryan Johnson 獲得了 1 億美元的資金,Facebook 正在開發腦機介面。目前有兩種非常不同類型的腦機介面:

非侵入式腦機介面

腦電波(EEG),從頭皮上獲取信號。

這就像在足球場上面放置一個麥克風。你聽不清每個人在說什麼,但是你可以知道是否進球(來自球場的歡呼和鼓掌)。

基於腦電波的介面並不真正讀你的想法。 例如,最常用的 BCI 範例是 P300 拼寫器。 你想輸入字母“R”; 電腦隨機顯示不同的字元; 一旦你在螢幕上看到“R”,你的大腦會感到驚訝,並發出一個特殊的信號。 這很聰明的,但我不會是“讀心術”,因為我們無法察覺對“R”的思考,而是發現了一個有效的技巧。

Emotiv,NeuroSky,Neuable 和其他一些公司已經開發出消費級 EEG 頭戴式。 Facebook 宣佈了一項關於腦打字的專案,該項目使用另一種稱為功能近紅外光譜(fNIRS)的腦部感測技術,其目的是達到每分鐘 100 個字的速度。

用腦波打字

侵入式腦機介面

這是終極的人機界面,通過將電極放在大腦中工作,然而,還需要克服大量嚴峻的挑戰。

通過侵入式腦機介面控制機器手臂

挑戰

我們上面提到了各種有趣的技術,為什麼仍然局限於使用鍵盤和滑鼠。以下是人機交互技術進入大眾市場需要具備的功能。

準確性

如果 10次 使用 只有 7次準確,你會把觸控式螢幕作為主要介面嗎?用作主介面,必需有非常高的準確性。

延遲

想像一下,按下鍵後,一秒鐘後才顯示。 只要一秒鐘就沒人願意用了。超過幾百毫秒的人機界面毫無用處。

訓練

人機界面不應該要求用戶花費大量的時間學習新的手勢。

回饋

鍵盤敲擊聲,手機的振動,語音助手的嘟嘟聲,都是為了完成反饋回路。反饋回路是任何介面設計中最重要的方面之一,用戶往往不會注意到這一點。我們的大腦不斷尋求確認其行動已經完成的成果。

人機界面的未來

由於上述挑戰,我們還沒能取代鍵盤,至少現在還沒有。 我認為介面的未來將是:

多模式:我們將在不同的場合使用不同的介面。我們仍然可以使用鍵盤打字,繪圖和設計觸控式螢幕,與我們的數位私人助理進行語音交互,基於雷達的車內手勢控制,基於肌肉的手勢控制遊戲和虛擬實境,以及通過腦機介面選擇最適合你心情的音樂。

上下文感知:你在筆記型電腦上閱讀了關於北加利福尼亞州野火的文章,然後在你在智慧耳機上詢問語音助理“那裡的風有多大?”。它應該理解你問的是火災的發生地點。

自動化:在 AI 的幫助下,電腦能更好地預測你打算做什麼,所以你甚至不需要發指令。 當你醒來的時候就會知道你想播放一些特定的音樂,所以你甚至不需要一個找歌播放。

原文連結:https://medium.com/@tahmaseb/after-50-years-is-it-time-to-say-goodbye-to-the-keyboard-e0d6e6709211

(36氪編譯組出品,未經許可禁止轉載。編輯:郝鵬程)

Next Article
喜欢就按个赞吧!!!
点击关闭提示