脑器交互学作为脑与外界交互的统一融合框架,整合了脑器交互的主体、方法和应用模式。本文从生物器和非生物器的角度对脑器交互进行了模式的划分,将脑器交互模式划分为脑与生物器官交互(BAC-1)、脑与外界非生命的器械及环境的交互(BAC-2)以及两类交互的融合智能体(BAC-3),并阐释了不同模式下脑器交互的途径和潜在的应用价值。
引用本文: 秦云, 刘铁军, 尧德中. 脑器交互学——脑与外界协同的新学科. 生物医学工程学杂志, 2021, 38(3): 507-511. doi: 10.7507/1001-5515.202101039 复制
引言
脑器交互(brain-apparatus conversation,BAC),是指大脑与生物器官以及大脑与非生物系统间建立的单向或双向通道。2020 年,本研究团队正式把 BAC 学(Bacomics)定义为 BAC+组学(omics),旨在构建脑与外界的融合统一框架[1]。将神经科学技术革新下的 BAC 的主体、方法和应用模式进行整合,根据信息流向的不同可以将 Bacomics 的模式分为三种:一是大脑到外界的输出,即在大脑是健康的前提下,修复大脑已有的或建立大脑与外界之间的输出通道,如传统的脑控脑机接口(brain-computer interface,BCI);二是外界到大脑的输入,即借助已有的通道,实现对大脑功能的干预、修复和调制,如传统的药物治疗、物理干预手段等;三是大脑与外界之间的双向通道,实现两者之间的有机协调,如人类在与环境交互中的成长发育,以及一些技能的强化学习。作为一门横跨脑认知、脑疾病、混合智能领域的基础性学科,Bacomics 体现出的正/反馈控制原理、学习和可塑性原理、宇宙和谐原理、系统整合原理,以及对立统一的哲学观,为脑科学研究、临床诊断与干预、类脑智能等领域的发展提供了方法论指导。在当前双向闭环 BCI 的发展趋势下,脑与外界设备及环境的交互越来越离不开人体自然通道的参与和人体内稳态的支持,如脑与肌肉系统的配合、脑与心脏的交互等,因此脑-器官与脑-设备的融合势必成为推动 Bacomics 发展的重要动力。因此本文从生物器和非生物器的角度对 Bacomics 进行模式划分,讨论两者融合的趋势和需求,并进一步阐释了不同模式下 BAC 的途径和潜在应用价值。
1 BAC 模式
在 Bacomics 中,大脑仍然是系统的中心,根据大脑交互主体的不同,将 BAC 模式划分为脑与生物器官的交互(BAC-1)、脑与外界非生命的器械及环境的交互(BAC-2)以及两类交互的融合智能体(BAC-3),如图 1 所示。
1.1 脑-生物器官交互
BAC-1 中体现出的脑-外周器官的协调是人体生长发育和人类生存生活的生理基础。显然,即使在人工智能飞速发展的今天,仍然没有任何机器能像人类一样毫不费力、灵活优雅地行走活动。而人类的一切活动正是得益于大脑系统与非脑系统之间的精细配合。大脑除了与外周运动系统进行交互,与其他器官,如心脏、肺、肠、肾等的活动也都存在着密切的关联[2]。大脑与心脏之间的交互研究已经成为一个重要的研究领域,也为心脑血管疾病的诊疗提供了新的驱动力[3]。同时,心脑神经动力学被认为是情绪产生的重要源泉[4],因此心脑交互也成为了研究情绪相关的生理心理模式的重要突破口。脑-肠轴理论和研究发现,肠道微生物在神经发育以及神经退行性疾病中具有重要作用,有望成为神经精神类疾病发生和发展的重要调制子[5]。同样,包含皮质和髓质的肾脏作为人体内的高灌注器官,与大脑的血流动力学响应也存在着特定的耦合。本团队基于功能性磁共振成像(functional magnetic resonance imaging,fMRI)研究老年人大脑功能连接密度与肾脏血氧水平依赖(blood oxygen level dependent,BOLD)的关系,发现大脑双侧中央后回、辅助运动区、中扣带、枕叶和颞叶的活动与肾脏 BOLD 水平呈正相关,双侧前额叶、楔前叶、后扣带等区域活动与肾脏 BOLD 水平呈负相关。即在老年人中,肾脏的氧合异常与大脑的自发活动密切相关,反映了血管老化对大脑认知与外周器官的影响。另一方面,生物假体作为修改或者改善已有的大脑输出/输入通道的载体,已经成为补充/恢复人体功能的重要手段。这种生物假体能够建立起大脑与外在环境之间的新通道,有望通过与外界调控设备的有机结合提升功能训练和功能恢复的效率。
1.2 脑-器械-环境交互
BAC-2 涵盖的是大脑与非生物器械以及环境之间的广泛交互,既包括对大脑特定信息的解析,也包括传统 BCI 中不依赖于外周神经系统的新的输出通道,以及通过干预手段实现大脑调控的新输入通道。本团队开发的脑波音乐技术,充分利用音乐与脑电(electroencephalogram,EEG)信号的无标度属性,将特定状态下的大脑活动转换为基于不同音乐属性的脑波音乐,从而建立了大脑活动输出的新模式[6-7]。传统 BCI 系统中,通过采集 EEG、脑磁图(magnetoencephalography,MEG)、皮层脑电(electrocorticogram,ECoG)、局部场电位(local field potentials,LFP)等神经活动,或功能性近红外光谱(functional near-infrared spectroscopy,fNIRS)、fMRI 等代谢信号,来传达受试者的运动或交流意愿,能够辅助瘫痪患者实现与外界的交流[8]。其中,最常用的是基于感觉运动节律的 BCI[9]、基于稳态视觉诱发电位(steady-state visual evoked potential,SSVEP)的 BCI[10-11]、基于运动起始诱发电位(motion-onset visual evoked potential,mVEP)以及基于 P300 的 BCI[12-14]。同时,BAC-2 能够利用大脑与外周之间的正常通道,或者通过建立新的通道来实现对大脑功能的干预和调控。临床上的药物治疗、心理治疗或其他神经疗法就是利用人体现有的代谢系统、视听觉通路及感知觉通路来实现对大脑功能的修复。通过大脑与外界设备之间建立的双向通道能够进一步融合特定的训练、学习和刺激,实现认知功能的改善或增强,如图 2 所示。
神经反馈的建立、多元感官训练,以及多种物理刺激技术的涌现,为 BAC-2 双向通道的建立提供了策略和手段的支持。其中神经反馈能够实现大脑特定区域和特征信号的自我调节,为脑状态干预提供了闭环的学习策略。电子科技大学一项研究利用大脑环路的 fMRI 特征进行实时反馈训练,实现了基于前额叶-皮层下连接的情绪调控[15]。另一方面,多感官的刺激训练已经成为认知、情绪调控的重要手段。本团队通过研究游戏状态大脑与多媒介交互的神经生理机制,发现短期游戏训练对视觉注意的空间属性和时间属性具有增强作用[16-17],并揭示了游戏经验对人脑的可塑性影响能够覆盖多个分布式的脑网络,并涉及多成分系统性的认知功能[18-19]。另外,一些有创的和无创的电磁刺激技术的应用也为脑与外界的交互建立了新的通道。深部脑刺激(deep brain stimulation,DBS)已经在临床上成功用于帕金森病、抑郁症等疾病的治疗[20];经颅磁刺激(transcranial magnetic stimulation,TMS)和经颅直流电刺激(transcranial direct current stimulation,tDCS)等电磁刺激能够对大脑局部和环路的兴奋/抑制性起作用,从而无创地调控感知觉和认知能力[21-24],在疾病干预、阐明神经科学问题的因果性等方面发挥了重要作用;迷走神经刺激(vagus nerve stimulation,VNS)通过调控中枢神经与外周器官之间的关联通路,已经成为调节癫痫发作和中风康复的重要手段[25]。
1.3 脑-器协同的智能融合
BAC-3 代表的是脑-器协同共生的双向通路。基于此通路,一方面人类可以在与外界环境的交互中不断学习和适应,从而实现脑智发育和技能的获得;另一方面,通过与外界设备的双向交互,将基于 BAC-1 的脑-外周反馈调节和基于 BAC-2 的干预刺激融合,建立新的内外协调通道,从而实现人机交互性能和个体学习效率的提升[26-27]。传统的 BAC-2 通过大脑对外界设备的直接控制建立了新的输出通道,将新输出的“第三只手”与自己双手(BAC-1)进行协调配合,有望产生新的技能来完成目标导向的多任务处理从而提高 BAC-1 的效率;同时,在运动功能康复方面,近年来一些研究在人体现有的视觉、感知觉、运动通路(BAC-1)的基础上,融合了中枢或外周通路上的物理刺激(BAC-2),来达到恢复感知觉、提高运动能力的目的[28-29]。如通过在脊柱损伤患者的大脑中植入芯片来获取大脑运动皮层的信号,并将解码出的神经活动作为实时指令输出来控制瘫痪手臂上的肌肉电刺激,实现了瘫痪肢体的肌肉活动和动作控制,能够对瘫痪患者的运动功能恢复起到促进作用[30]。同时,BAC-3 将 BAC-1 与 BAC-2 有效结合起来,将类脑能力(BAC-1)纳入人机交互(BAC-2)中,为人工智能的发展提供了重要的驱动力。基于大脑内广泛的连接性、结构和功能的层次组织以及依赖时间的神经元和突触功能的神经物理先验,将大脑的神经形态与深度学习结合可能引导产出新的类脑网络模型,如模拟突触学习的计算模式使得节能型的人工智能成为可能[31-32]。因此,BAC-3 并不是 BAC-1 和 BAC-2 的简单结合,不仅能够增强 BAC-1 和 BAC-2 的效果,而且有望产出 BAC1 和 BAC2 融合的新模式。
2 机遇和挑战
Bacomics 作为一门新学科,涵盖了大脑与外周器官的交互、大脑与外界设备的交互,以及两者之间的智能融合。同时 Bacomics 因其独特的理论、兼容的框架、系统的科学原理,成为探测大脑与外部交互的重要窗口。Bacomics 中囊括了多种模态和多种尺度的信号,但由于这些模态之间的时空分辨率以及信号的产生机制不同,数据之间是相互独立的。因此,如何优化单模态的信息,以及有效地融合多模态的数据,是提高 Bacomics 系统有效性的重要主题和挑战。在 Bacomics 系统中,脑与外界交互的双向通道为理解大脑自我调节的神经机制提供了新的途径,基于 fMRI 的神经反馈能够实现深部核团以及皮层下环路的调节,因此 EEG-fMRI 的融合有望建立头表 EEG 信号特征与深部脑区之间的关联[33],从而改善基于 EEG 数据输出的控制精度,同时也能够反向推动 Bacomics 交互通道中信号采集和神经反馈技术的发展。
神经信息的精确解码是 Bacomics 通道建立的基础。由于采集到的神经信息中有效特征的微弱性,因此研究中既需要从严谨的实验范式进行考虑,也需要发展有效的特征提取方法。在特征提取方面,基于动态脑网络的方法,成为 EEG 特征研究的重要手段[34]。另外,为了提高神经信息的有效性并保障有效的神经信息强度,若干基于电磁刺激或神经反馈的神经调控手段已投入应用。在神经活动解码研究中,近年来层出不穷的机器学习、深度学习等算法也不断融合在 Bacomics 系统中,也为系统交互效率的提高做出了贡献。同时,神经信息的解析和认知科学的发展,也为人工智能的类脑化提供了基础,两者在相互推动中有望产出脑科学和人工智能领域的重大突破。
以脑为主体的 Bacomics 为人类神经、精神类疾病的诊断和干预提供了新的思路。除了常规的药物治疗,基于电磁刺激的 DBS、TMS 等技术也已经在癫痫、抑郁症、帕金森病等疾病的治疗方面取得了良好的效果。然而电磁刺激对大脑活动的干预机制仍在研究当中,而且闭环刺激和个体化干预也对采集技术、解码算法、系统实现提出了新的要求,不仅需要对大脑活动进行动态监测,而且需要对刺激模式与参数、时效性、副作用等各个方面进行综合考量。此外,构建中枢神经系统与外周器官的联系,对于研究 Bacomics 中机体的协同非常重要,同时也能够为 Bacomics 中脑与外界设备的交互提供更符合机体特性的参考信息[35]。
3 总结
本文在 BAC 的统一框架下,对 Bacomics 的三个模式进行重新划分。作为一个新的交叉领域,Bacomics 展示出了独特的优势,既为神经科学机制研究、脑疾病的诊断和干预提供了理论基础,同时作为探测脑与外周器官、脑与外界设备交互的重要窗口,未来必将有力推动神经数据获取、分析、干预等技术的发展。
利益冲突声明:本文全体作者均声明不存在利益冲突。
引言
脑器交互(brain-apparatus conversation,BAC),是指大脑与生物器官以及大脑与非生物系统间建立的单向或双向通道。2020 年,本研究团队正式把 BAC 学(Bacomics)定义为 BAC+组学(omics),旨在构建脑与外界的融合统一框架[1]。将神经科学技术革新下的 BAC 的主体、方法和应用模式进行整合,根据信息流向的不同可以将 Bacomics 的模式分为三种:一是大脑到外界的输出,即在大脑是健康的前提下,修复大脑已有的或建立大脑与外界之间的输出通道,如传统的脑控脑机接口(brain-computer interface,BCI);二是外界到大脑的输入,即借助已有的通道,实现对大脑功能的干预、修复和调制,如传统的药物治疗、物理干预手段等;三是大脑与外界之间的双向通道,实现两者之间的有机协调,如人类在与环境交互中的成长发育,以及一些技能的强化学习。作为一门横跨脑认知、脑疾病、混合智能领域的基础性学科,Bacomics 体现出的正/反馈控制原理、学习和可塑性原理、宇宙和谐原理、系统整合原理,以及对立统一的哲学观,为脑科学研究、临床诊断与干预、类脑智能等领域的发展提供了方法论指导。在当前双向闭环 BCI 的发展趋势下,脑与外界设备及环境的交互越来越离不开人体自然通道的参与和人体内稳态的支持,如脑与肌肉系统的配合、脑与心脏的交互等,因此脑-器官与脑-设备的融合势必成为推动 Bacomics 发展的重要动力。因此本文从生物器和非生物器的角度对 Bacomics 进行模式划分,讨论两者融合的趋势和需求,并进一步阐释了不同模式下 BAC 的途径和潜在应用价值。
1 BAC 模式
在 Bacomics 中,大脑仍然是系统的中心,根据大脑交互主体的不同,将 BAC 模式划分为脑与生物器官的交互(BAC-1)、脑与外界非生命的器械及环境的交互(BAC-2)以及两类交互的融合智能体(BAC-3),如图 1 所示。
1.1 脑-生物器官交互
BAC-1 中体现出的脑-外周器官的协调是人体生长发育和人类生存生活的生理基础。显然,即使在人工智能飞速发展的今天,仍然没有任何机器能像人类一样毫不费力、灵活优雅地行走活动。而人类的一切活动正是得益于大脑系统与非脑系统之间的精细配合。大脑除了与外周运动系统进行交互,与其他器官,如心脏、肺、肠、肾等的活动也都存在着密切的关联[2]。大脑与心脏之间的交互研究已经成为一个重要的研究领域,也为心脑血管疾病的诊疗提供了新的驱动力[3]。同时,心脑神经动力学被认为是情绪产生的重要源泉[4],因此心脑交互也成为了研究情绪相关的生理心理模式的重要突破口。脑-肠轴理论和研究发现,肠道微生物在神经发育以及神经退行性疾病中具有重要作用,有望成为神经精神类疾病发生和发展的重要调制子[5]。同样,包含皮质和髓质的肾脏作为人体内的高灌注器官,与大脑的血流动力学响应也存在着特定的耦合。本团队基于功能性磁共振成像(functional magnetic resonance imaging,fMRI)研究老年人大脑功能连接密度与肾脏血氧水平依赖(blood oxygen level dependent,BOLD)的关系,发现大脑双侧中央后回、辅助运动区、中扣带、枕叶和颞叶的活动与肾脏 BOLD 水平呈正相关,双侧前额叶、楔前叶、后扣带等区域活动与肾脏 BOLD 水平呈负相关。即在老年人中,肾脏的氧合异常与大脑的自发活动密切相关,反映了血管老化对大脑认知与外周器官的影响。另一方面,生物假体作为修改或者改善已有的大脑输出/输入通道的载体,已经成为补充/恢复人体功能的重要手段。这种生物假体能够建立起大脑与外在环境之间的新通道,有望通过与外界调控设备的有机结合提升功能训练和功能恢复的效率。
1.2 脑-器械-环境交互
BAC-2 涵盖的是大脑与非生物器械以及环境之间的广泛交互,既包括对大脑特定信息的解析,也包括传统 BCI 中不依赖于外周神经系统的新的输出通道,以及通过干预手段实现大脑调控的新输入通道。本团队开发的脑波音乐技术,充分利用音乐与脑电(electroencephalogram,EEG)信号的无标度属性,将特定状态下的大脑活动转换为基于不同音乐属性的脑波音乐,从而建立了大脑活动输出的新模式[6-7]。传统 BCI 系统中,通过采集 EEG、脑磁图(magnetoencephalography,MEG)、皮层脑电(electrocorticogram,ECoG)、局部场电位(local field potentials,LFP)等神经活动,或功能性近红外光谱(functional near-infrared spectroscopy,fNIRS)、fMRI 等代谢信号,来传达受试者的运动或交流意愿,能够辅助瘫痪患者实现与外界的交流[8]。其中,最常用的是基于感觉运动节律的 BCI[9]、基于稳态视觉诱发电位(steady-state visual evoked potential,SSVEP)的 BCI[10-11]、基于运动起始诱发电位(motion-onset visual evoked potential,mVEP)以及基于 P300 的 BCI[12-14]。同时,BAC-2 能够利用大脑与外周之间的正常通道,或者通过建立新的通道来实现对大脑功能的干预和调控。临床上的药物治疗、心理治疗或其他神经疗法就是利用人体现有的代谢系统、视听觉通路及感知觉通路来实现对大脑功能的修复。通过大脑与外界设备之间建立的双向通道能够进一步融合特定的训练、学习和刺激,实现认知功能的改善或增强,如图 2 所示。
神经反馈的建立、多元感官训练,以及多种物理刺激技术的涌现,为 BAC-2 双向通道的建立提供了策略和手段的支持。其中神经反馈能够实现大脑特定区域和特征信号的自我调节,为脑状态干预提供了闭环的学习策略。电子科技大学一项研究利用大脑环路的 fMRI 特征进行实时反馈训练,实现了基于前额叶-皮层下连接的情绪调控[15]。另一方面,多感官的刺激训练已经成为认知、情绪调控的重要手段。本团队通过研究游戏状态大脑与多媒介交互的神经生理机制,发现短期游戏训练对视觉注意的空间属性和时间属性具有增强作用[16-17],并揭示了游戏经验对人脑的可塑性影响能够覆盖多个分布式的脑网络,并涉及多成分系统性的认知功能[18-19]。另外,一些有创的和无创的电磁刺激技术的应用也为脑与外界的交互建立了新的通道。深部脑刺激(deep brain stimulation,DBS)已经在临床上成功用于帕金森病、抑郁症等疾病的治疗[20];经颅磁刺激(transcranial magnetic stimulation,TMS)和经颅直流电刺激(transcranial direct current stimulation,tDCS)等电磁刺激能够对大脑局部和环路的兴奋/抑制性起作用,从而无创地调控感知觉和认知能力[21-24],在疾病干预、阐明神经科学问题的因果性等方面发挥了重要作用;迷走神经刺激(vagus nerve stimulation,VNS)通过调控中枢神经与外周器官之间的关联通路,已经成为调节癫痫发作和中风康复的重要手段[25]。
1.3 脑-器协同的智能融合
BAC-3 代表的是脑-器协同共生的双向通路。基于此通路,一方面人类可以在与外界环境的交互中不断学习和适应,从而实现脑智发育和技能的获得;另一方面,通过与外界设备的双向交互,将基于 BAC-1 的脑-外周反馈调节和基于 BAC-2 的干预刺激融合,建立新的内外协调通道,从而实现人机交互性能和个体学习效率的提升[26-27]。传统的 BAC-2 通过大脑对外界设备的直接控制建立了新的输出通道,将新输出的“第三只手”与自己双手(BAC-1)进行协调配合,有望产生新的技能来完成目标导向的多任务处理从而提高 BAC-1 的效率;同时,在运动功能康复方面,近年来一些研究在人体现有的视觉、感知觉、运动通路(BAC-1)的基础上,融合了中枢或外周通路上的物理刺激(BAC-2),来达到恢复感知觉、提高运动能力的目的[28-29]。如通过在脊柱损伤患者的大脑中植入芯片来获取大脑运动皮层的信号,并将解码出的神经活动作为实时指令输出来控制瘫痪手臂上的肌肉电刺激,实现了瘫痪肢体的肌肉活动和动作控制,能够对瘫痪患者的运动功能恢复起到促进作用[30]。同时,BAC-3 将 BAC-1 与 BAC-2 有效结合起来,将类脑能力(BAC-1)纳入人机交互(BAC-2)中,为人工智能的发展提供了重要的驱动力。基于大脑内广泛的连接性、结构和功能的层次组织以及依赖时间的神经元和突触功能的神经物理先验,将大脑的神经形态与深度学习结合可能引导产出新的类脑网络模型,如模拟突触学习的计算模式使得节能型的人工智能成为可能[31-32]。因此,BAC-3 并不是 BAC-1 和 BAC-2 的简单结合,不仅能够增强 BAC-1 和 BAC-2 的效果,而且有望产出 BAC1 和 BAC2 融合的新模式。
2 机遇和挑战
Bacomics 作为一门新学科,涵盖了大脑与外周器官的交互、大脑与外界设备的交互,以及两者之间的智能融合。同时 Bacomics 因其独特的理论、兼容的框架、系统的科学原理,成为探测大脑与外部交互的重要窗口。Bacomics 中囊括了多种模态和多种尺度的信号,但由于这些模态之间的时空分辨率以及信号的产生机制不同,数据之间是相互独立的。因此,如何优化单模态的信息,以及有效地融合多模态的数据,是提高 Bacomics 系统有效性的重要主题和挑战。在 Bacomics 系统中,脑与外界交互的双向通道为理解大脑自我调节的神经机制提供了新的途径,基于 fMRI 的神经反馈能够实现深部核团以及皮层下环路的调节,因此 EEG-fMRI 的融合有望建立头表 EEG 信号特征与深部脑区之间的关联[33],从而改善基于 EEG 数据输出的控制精度,同时也能够反向推动 Bacomics 交互通道中信号采集和神经反馈技术的发展。
神经信息的精确解码是 Bacomics 通道建立的基础。由于采集到的神经信息中有效特征的微弱性,因此研究中既需要从严谨的实验范式进行考虑,也需要发展有效的特征提取方法。在特征提取方面,基于动态脑网络的方法,成为 EEG 特征研究的重要手段[34]。另外,为了提高神经信息的有效性并保障有效的神经信息强度,若干基于电磁刺激或神经反馈的神经调控手段已投入应用。在神经活动解码研究中,近年来层出不穷的机器学习、深度学习等算法也不断融合在 Bacomics 系统中,也为系统交互效率的提高做出了贡献。同时,神经信息的解析和认知科学的发展,也为人工智能的类脑化提供了基础,两者在相互推动中有望产出脑科学和人工智能领域的重大突破。
以脑为主体的 Bacomics 为人类神经、精神类疾病的诊断和干预提供了新的思路。除了常规的药物治疗,基于电磁刺激的 DBS、TMS 等技术也已经在癫痫、抑郁症、帕金森病等疾病的治疗方面取得了良好的效果。然而电磁刺激对大脑活动的干预机制仍在研究当中,而且闭环刺激和个体化干预也对采集技术、解码算法、系统实现提出了新的要求,不仅需要对大脑活动进行动态监测,而且需要对刺激模式与参数、时效性、副作用等各个方面进行综合考量。此外,构建中枢神经系统与外周器官的联系,对于研究 Bacomics 中机体的协同非常重要,同时也能够为 Bacomics 中脑与外界设备的交互提供更符合机体特性的参考信息[35]。
3 总结
本文在 BAC 的统一框架下,对 Bacomics 的三个模式进行重新划分。作为一个新的交叉领域,Bacomics 展示出了独特的优势,既为神经科学机制研究、脑疾病的诊断和干预提供了理论基础,同时作为探测脑与外周器官、脑与外界设备交互的重要窗口,未来必将有力推动神经数据获取、分析、干预等技术的发展。
利益冲突声明:本文全体作者均声明不存在利益冲突。