2010 年时还是一名大学生的 Ian Burkhart,与友人们一同在北卡罗莱纳州外海的大西洋潜水,意外遭受了严重的脊髓损伤,他的胸部以下从此瘫痪。

不过现在他藉由一套搭配神经网络的人脑-计算机界面,可以用右手拿起物体、倾倒液体和玩《吉他英雄》(Guitar Hero)这套游戏。


Ian Burkhart 在俄亥俄州立大学威克什纳医疗中心(Wexner Medical Center)玩吉他电玩,研究员 Nick Annetta 在一旁观看。照片由 Battelle 提供

Burkhart 是俄亥俄州立大学与附近独立研发单位 Battelle 所率领之一项临床试验活动的首名参与者。

植入 Burkhart 大脑的 Blackrock Microsystems 微型芯片,连接到运行 Battelle 所开发之算法的计算机。这项算法解读他的神经活动,并且将讯号传到他右手上的电极套管。同为 Battelle 开发出的这个套管会刺激手臂的神经和肌肉,引发特定的手部动作。

Burkhart 现在只能在位于俄亥俄州立大学的实验室里,使用名为 NeuroLife 的系统,然而最终目标是让 NeuroLife 系统更便于携带,以便装在使用者的椅子上,使得他们能在家中使用。

如果人们可以在家里使用 NeuroLife 系统执行吃饭、刷牙和穿衣等日常活动,便「会对他们独立生活的能力产生重大影响」,Battelle 的资深研究统计学家,也是报告的共同作者 David Friedenberg 这么说。他们的最新报告刊登在《Nature Medicine》杂志上。

「我们希望让使用者和照顾他们的人能轻松设定系统,不用一大堆博士和工程师在房间里弄这些。」

神经网络读取神经讯号

人工智能这项技术已用于多种辅助技术工具上,从义肢手更好的助听器。深度学习模型可以为语言障碍者供提供合成语音协助视障者看到,还有把手语翻译成文字

辅助装置开发人员改采深度学习的原因之一,在于深度学习这项技术能有效对脑电活动这类充满噪声的讯号进行译码。

开发单位使用与 Burkhart 进行脚本连线时取得的脑部讯号,训练这款搭载 NVIDIA Quadro GPU 的深度学习神经译码器,译码器里的算法将神经活动变成特定的指令讯号。在与 Burkhart 进行连线时,要求他去思考执行特定的手部运动,神经网络再从中学习哪些脑部讯号对应于哪些特定动作。

在建立完整的神经译码系统之际,最大的难题在于大脑讯号每天都在变化。「你某一天觉得很累,或是心烦意乱,可能就会影响到控制不同动作的神经活动模式。」Battelle 先进分析小组首席研究统计学家 Michael Schwemmer 说。


Burkhart 必须在脑中思考用特定方式来移动手部,才能重新校准神经网络。在 2018 年 9 月的这张照片里,他正在俄亥俄州立大学威克什纳医疗中心做着这件事。照片由 Battelle 提供。

Burkhart 一周两次来到实验室,每次连线时一开始都要对神经译码器花上 15 到 30 分钟重新进行校准,此时他是使用脚本连线的方式,去想他要移动手的哪个部分。

一周进行两次的连线产生出新的脑部资料,用以更新两个神经网络,其中一个使用有标记的资料进行监督式学习,另一个则是将资料用于非监督式学习活动上。

这两套神经网络在译码 Burkhart 的大脑讯号,以及预测他想要执行的动作方面,正确率达到 90% 以上。非监督式学习模型一年多以来都维持着如此优秀的正确率,且无需明确进行重新校准。

NeuroLife 系统加上深度学习,也加快处理使用者大脑讯号和将讯号送到电极套管所需的时间。目前的回应时滞为 0.8 秒,较旧法的时间快了 11%。

「如果想拿起一杯水,你想要在脑中想到这件事,手就会开始移动,不会想要停滞太久。我们在这方面有很仔细进行测量。」Friedenberg 说。

* 以上的精选照片显示了 Ian Burkhart 与项目主要研究人员之一 Gaurav Sharma 在进行对话的画面。摄影者为俄亥俄州立大学的 Jo McCulty,照片由 Battelle 提供。