人工视网膜假体视觉下图像信息优化策略及其认知机制研究

项目来源

国家自然科学基金(NSFC)

项目主持人

柴新禹

项目受资助机构

上海交通大学

立项年度

2017

立项时间

未公开

项目编号

61773256

项目级别

国家级

研究期限

未知 / 未知

受资助金额

64.00万元

学科

信息科学-人工智能-认知与神经科学启发的人工智能

学科代码

F-F06-F0609

基金类别

面上项目

关键词

视觉计算 ; 视觉信息处理 ; 视网膜假体 ; 深度知觉 ; 视觉注意 ; visual information processing ; visual computing ; retinal prothesis ; visual attention ; depth perception

参与者

陆燕玉;李恒;芦卓凡;李谦;曹晓飞;苏小帆;纪晓勇

参与机构

上海交通大学

项目标书摘要:人工视网膜假体已成为盲人视觉功能修复的有效手段。然而,由于受到当前制造技术的制约,可植入的电极数量受限,当前假体植入者仅能获得低分辨率、低灰度级、缺乏颜色信息的人工视觉,因此植入者的视觉感受中缺失了大部分的纹理、对比度及空间深度等特征信息;同时,由于受到视网膜凹形结构和手术安全的限制,电极阵列尺寸不能过大,目前只覆盖黄斑区以内的视网膜区域,导致假体植入者仅能获得小视野的假体视觉。针对这些关键问题,本课题基于视觉科学、认知科学及信息科学,拟开展三方面的研究:复杂场景下基于场景对象分级的假体视觉呈现;扩大假体视觉感知视野的图像处理策略及其空间认知机制;假体视觉下的空间深度感知及其优化编码策略。旨在通过假体视觉下的信息优化处理及认知机制研究,改善假体植入者的视觉感受,提高其完成视觉任务的能力,为视网膜假体中的图像处理编码方案提供重要的理论基础,同时,也为视觉功能修复的认知机制奠定科学的实验依据。

Application Abstract: Artificial retinal prostheses have been an effective approach for restoring the blind’s visual function.However,due to the constraints from manufacturing technology,the implantable electrode number is limited,current prosthesis recipients only obtain low-resolution,low-brightness,and color-lost prosthetic vision perception.Therefore,a large amount of the feature information such as texture,contrast,and spatial depth information has lost in the recipients’visual experience.Meanwhile,due to the limitations in concave structure of the retina and surgical safety,the size of the electrode array in a retinal prosthesis can only cover a small area of the retina(within the macular area),leading to prosthesis recipients only sighting a small visual field.For these problems,based on visual science,cognitive science and information science,this research project will carry out three studies:prosthetic vision rendering based on scenario-object-classification under complex scenes;image processing strategies for expanding the perceived visual field of prosthetic vision and its spatial cognitive mechanism;and spatial depth perception and its encoding optimization strategies under prosthetic vision.The objective is to improve prosthesis recipients’vision perception,enhancing their ability to accomplish visual tasks,and contributing to the design of information processing modules for retinal prostheses by information optimization processing and the cognitive mechanism research under prosthetic vision.At the same time,it will also provide scientific experimental basis for the cognitive mechanism of visual function restoration.

项目受资助省

上海市

项目结题报告(全文)

失明是对人类生活质量影响最严重的一种残疾。通过电刺激作为神经调控手段来刺激残存的视网膜神经元,从而实现视觉功能的修复已经成为神经科学与工程领域新的研究热点。视觉功能修复在取得重大进展的同时,也存在着视觉感受分辨率低、视野小等瓶颈问题。本课题针对上述关键科学技术问题,创新地提出了利用有限数量的微电极实现高效的功能性假体视觉。为了实现这一目标,本课题开展了一系列富有成效的研究工作,首先,针对复杂场景的视觉任务,建立了基于场景对象分级的显著性检测与分割模型,实现了场景中不同重要度图像信息的分级呈现,使得假体植入者通过有限数量的光幻视点获得更加丰富的视觉信息,提高其完成复杂视觉任务的能力;在此研究基础上,针对当前视网膜假体临床应用中的视野小问题,开展扩大假体视觉感知视野的图像处理策略研究,通过基于图像内容重定位的研究思路,尽可能保留场景中的重要信息,并压缩不重要的背景信息,使得假体植入者在有限的视野范围内能够获得更多重要的视觉信息,从而实现扩大假体视觉感知视野的目标。同时,探索扩大假体视觉感知视野下的空间认知机制,为假体视觉下大脑可塑性的研究提供科学的实验依据;此外,进一步建立了适用于假体视觉的单目深度估计神经网络模型,并在公开数据集上对模型的性能进行了定性和定量的评估,验证了模型的有效性。其研究成果不仅能够改善假体植入者的视觉感受,同时,也为视觉功能修复的认知机制奠定重要的实验依据和理论基础。

  • 排序方式:
  • 3
  • /
  • 1.基于时域干涉电场的视网膜空间选择性电刺激仿真研究

    • 关键词:
    • 电刺激视网膜;仿真建模;时域干涉电场;空间选择性
    • 郭佳卉
    • 指导老师:上海交通大学 柴新禹
    • 学位论文

    视觉是人类感知外部世界的重要途径,正常视觉功能的获得依赖于完整的视觉系统,视觉系统任意位置的结构与功能性损伤都可能引发视力受损,甚至会导致失明。视网膜电刺激神经调控在视觉系统疾病康复治疗、视觉通路功能评估及视觉功能修复领域发挥着重要的作用。对于许多早中期视网膜及视神经疾病,非侵入式的经角膜电刺激(transcorneal electrical stimulation,TES)能够发挥神经保护作用,起到治疗效果;而对于晚期视网膜退化性疾病患者,植入式的视网膜假体可以帮助其恢复部分视觉功能。然而,当前非侵入式与侵入式的视网膜电刺激调控手段均存在着不足:非侵入式的TES采用单电极施加刺激,仅能对视网膜进行大范围的弥散性刺激,缺乏空间选择性调控的能力,无法实现精准治疗、局部评估视网膜功能的作用;侵入式的视网膜假体存在着植入手术创伤较大,同时,覆盖的视野较小等问题。因此,针对上述问题,本研究创新地提出一种基于时域干涉电场的视网膜空间选择性电刺激调控方法,通过眼球外多通道电极施加不同频率的正弦电流刺激,在视网膜上形成具有空间汇聚性、可移动的干涉电场,从而为视网膜空间选择性调控、精准治疗和功能评估提供研究依据,也为未来低侵入性、大视野的视网膜假体研究提供新的思路。本研究采用仿真建模的方法,首先对眼球结构与眼球外多电极结构进行建模,然后计算眼球空间内的时域干涉电场的空间分布,研究不同电极结构参数(刺激电极与回收电极位置、电极尺寸、电极数量)与电刺激参数(电流配比)改变对电场空间分布的影响规律,并评估电场汇聚性、移动范围与电刺激安全性,分析和讨论眼球外干涉刺激方法应用于视网膜空间选择性电刺激神经调控的可行性与应用效果。本文的研究结果证明:基于时域干涉的电刺激方法能够在视网膜上形成空间汇聚的电场,并且通过调控电流配比,汇聚电场能够在视网膜上移动。其中,回收电极的位置与电极数量是影响电场汇聚性的关键因素,当回收电极位于眼球后侧时,能够在视网膜上形成汇聚电场,且汇聚性随回收电极位置的接近而增强;电极数量的增加也能够改善电场的汇聚性,干涉电场在视网膜上的分布具有各项异性,在电极所处方向上电场汇聚性最强,其他方向较弱。同时,调控不同刺激通道输出的电流配比能够控制干涉电场的汇聚性区域在视网膜上的一定范围内移动,移动范围受回收电极位置的影响,随着回收电极间距的减小而减小;但同时,电场移动会损失汇聚性,电场移动范围越大,汇聚性损失越严重。此外,回收电极向球后移动会增加视网膜上形成的干涉电场幅值,从而降低电刺激的电流阈值,但同时也会增加对眼球周围组织的侵入性,因此,在进行安全性评估时需要考虑多方面的影响因素。本研究为视网膜空间选择性电刺激调控提供了一种新的思路,仿真研究结果也为后续的电极制作、仿体实验与动物实验的设计提供参考。

    ...
  • 2.基于光学成像的经角膜电刺激视网膜诱发视觉通路响应特性研究

    • 关键词:
    • 经角膜电刺激视网膜;内源信号光学成像;光学相干层析成像;视觉皮层响应;视网膜生理响应
    • 孙鹏程
    • 指导老师:上海交通大学 柴新禹
    • 学位论文

    人类从外界环境获取的信息绝大部分来自于视觉感知,作为最重要的感觉系统,视觉传导通路中任意位置发生结构性或功能性损伤都会造成视力受损甚至失明。神经电刺激作为一种近些年迅速发展的治疗策略,针对一些常规药物手术治疗无法起效的疾病,有着十分显著的治疗效果。在人工视觉修复的研究领域中,特别是对于不可治愈性的视网膜退化疾病,侵入式(有创)视网膜电刺激(即视网膜假体)效果显著,已经取得了长足的进步和发展。同时无创的视网膜电刺激也被证实具有神经保护作用,在治疗视觉系统疾病以及评估患者视觉通路功能等方面也得到广泛关注。虽然电刺激视网膜能够引起人工视觉感知,但是与正常视觉刺激诱发响应相比,仍然存在许多不同之处。系统客观的比较这两种刺激在视觉系统中诱发响应的异同能够进一步帮助理解其中的神经机制,然而目前类似的研究尚不够充分。因此本研究围绕这一系列问题,基于光学成像技术,采用无创的经角膜电刺激(Transcorneal Electrical Stimulation,TES),开展动物(猫)在体实验研究,研究TES诱发视觉通路(视觉皮层及视网膜)响应的时空特性,比较其与视觉刺激诱发响应的异同,探讨潜在的神经机制。电刺激视网膜是否能够在视觉皮层诱发与正常光刺激相似的皮层响应,视觉系统在处理正常视觉信息和外源性电刺激的过程中存在哪些差异,直接比较这两种刺激引起皮层响应的时空模式可以直观地帮助探究这些问题。本研究采用无创的TES方式,可以在不损伤视觉通路的前提下与视觉刺激直接比较,基于内源信号光学成像技术,记录了不同参数的两种刺激在视觉皮层诱发的响应,通过比较两种刺激诱发皮层响应的时空模式,分析推断视觉系统在处理视网膜电刺激的过程中可能存在的神经机制。结果表明:TES与视觉刺激诱发的皮层响应峰值时间无明显差异,但TES诱发响应的延迟期更短;与全视野视觉刺激相比,当电流强度大于1.2 mA时,TES在18区诱发的响应更强;视觉刺激诱发的皮层响应存在视网膜拓扑映射关系,而TES优先激活视觉皮层18区,当刺激强度大于3.6 mA时17区神经元才被激活;TES激活17区的电流强度明显高于18区的激活阈值电流。考虑到TES诱发响应在17/18区边界的变化规律,我们推测TES在视觉皮层引起的响应不仅与刺激电流在视网膜处形成的电场分布有关,还会受到不同视网膜神经元之间电刺激激活阈值差异的影响。本研究通过比较两种刺激诱发皮层响应的异同,分析探讨了视觉系统在处理外源性电刺激时可能存在的神经机制,同时也为TES临床应用提供了一些实验理论支持。视网膜是一种具有多层结构的复杂神经组织,不同层视网膜细胞的电刺激响应特性存在差异,目前电刺激诱发视网膜响应的具体规律仍不清楚,因此探索电刺激引起不同层视网膜细胞的响应对于研究电刺激激活视网膜细胞的神经机制十分重要。但是由于电刺激伪迹的干扰,之前的研究多是采用电生理方法记录离体视网膜细胞响应,或在体记录后端视觉通路响应间接反映视网膜细胞的响应。本研究首次将光学相干层析成像(Optical Coherence Tomography,OCT)应用在电刺激视网膜响应的研究,利用其优良的轴向分辨率,并使用不阻挡成像光路的TES作为刺激方式,研究电刺激诱发视网膜不同层细胞响应的时空模式,同时比较视觉刺激与电刺激诱发视网膜响应的异同。结果表明:在分割的三层视网膜(内层视网膜、外层视网膜和视网膜下腔)中,TES均能够引起显著的正负两相内源性光学散射信号(Intrinsic Optical Signals,IOSs),外层视网膜响应最弱;刺激强度与IOSs具有正相关性,但并不显著;TES在三层视网膜引起响应的潜伏期均短于85 ms,响应上升时间随着刺激强度的增大而变长;通过比较神经阻断剂抑制视网膜细胞神经活动前后TES诱发IOSs,我们认为OCT记录到的IOSs主要来源于视网膜神经活动;比较视觉刺激与电刺激诱发视网膜响应的时间特性,发现视觉刺激诱发的IOSs在刺激开始后立刻产生并持续增加,直至刺激结束后几百毫秒才开始减弱,而TES诱发的IOSs在刺激开始时立刻出现并很快达到峰值,然后一直保持在相对稳定的水平,直到刺激结束后才开始缓慢减弱,所以我们认为电刺激诱发的IOSs是一种与刺激电场高度同步的响应。该部分研究结果进一步帮助理解电刺激诱发视网膜响应的时空模式及潜在的神经机制。本文利用光学成像技术研究了经角膜电刺激诱发视觉皮层和视网膜的具体响应模式和时空特性,并与视觉刺激诱发的响应进行比较。研究结果探索了电刺激诱发视觉通路响应潜在的神经机制,为电刺激视网膜在视觉功能修复及视觉系统疾病治疗方面提供实验基础,有助于非侵入式经角膜电刺激在临床视觉系统疾病治疗及视觉通路功能评估等领域的应用。

    ...
  • 3.仿真假体视觉下基于显著性模型的图像处理策略及其优化研究

    • 关键词:
    • 视网膜假体;仿真假体视觉;显著性分割;显著性物体检测;显著性物体重定位
    • 李恒
    • 指导老师:上海交通大学 柴新禹
    • 学位论文

    失明是对人类生活质量影响最严重的一种残疾。在众多的致盲疾病中,老年性黄斑病变和视网膜色素变性是主要的不可治愈性视网膜退行性致盲疾病。当前,视网膜假体已成为视网膜退行性致盲患者视觉功能修复的有效手段。然而,由于受到制造技术、材料以及生物安全性等限制,视网膜假体可植入的电极数量极其有限。尽管当前已有多个研究团队正在开展高密度视网膜假体的研制,但是相对于百万级的神经节细胞和亿级的光感受细胞,其研制的高密度电极数量仍然十分有限;此外,由于电刺激视网膜神经元所诱发颜色感知的神经调控机制未知,因此视网膜假体很难产生可控的颜色视觉;同时,大量的临床实验结果表明植入者能够分辨的亮度级也十分有限。因此,假体植入者仅能获得低分辨率,低灰度级,且缺乏颜色、对比度及纹理等视觉特征信息的人工视觉,使得植入者丧失了正常视力下依靠这些显著性视觉特征进行视觉选择注意的能力。同时,由于受到视网膜凹形结构和手术安全的限制,电极阵列尺寸不能过大,目前只覆盖黄斑区以内的视网膜区域,导致假体植入者仅能获得小视野的假体视觉。由于体外摄像头和视频处理单元是视网膜假体的重要组成部分,因此可以通过图像优化处理进行改善假体植入者的视觉感受。基于此,本论文针对上述问题,开展了仿真假体视觉下基于显著性模型的图像处理策略及其优化研究。具体研究内容包括以下三方面:1)针对当前低分辨率假体视觉大量显著性视觉信息缺失的问题以及当前可应用于假体视觉的显著性分割算法的不足,本文提出一种新颖的显著性分割算法,并在此基础上进一步提出两种基于显著性分割的假体视觉优化表达策略,以有效提取并增强日常生活场景中的感兴趣物体。通过开展的仿真假体视觉下基于物体识别任务的心理物理学实验结果表明:本文提出的显著性分割算法和假体视觉优化表达策略能够显著改善被试在低分辨率假体视觉下完成物体识别的能力。2)虽然研究人员提出的各种复杂图像处理算法已被证明能够改善被试在低分辨率假体视觉下完成视觉任务的能力,但是受到所提出算法复杂性和平台处理能力的限制,大部分算法并不能实现实时的处理,极大地限制了这些算法在视网膜假体中的实际应用。考虑到显著性模型在假体视觉中的优越性以及图像处理算法在视网膜假体实际应用中的实时性要求,本文提出一种新颖的实时全局显著性物体检测算法,以快速有效地提取前景感兴趣物体。实验结果表明:本文所提出的算法在几个被广泛使用的评价指标方面明显优于现有的4种实时显著性物体检测算法。在此基础上,本研究进一步提出一种实时的假体视觉优化表达策略,并开展了仿真假体视觉下基于眼手协调的心理物理实验来评估所提出策略的有效性。实验结果显示:所提出的策略能够显著提高被试在低分辨率假体视觉下的物体识别及眼手协调能力。3)针对当前视网膜假体在临床应用中的小视野问题,通过使用图像处理算法可将大视野的图像信息压缩到小视野范围内,以扩大假体植入者的感知视野。尽管图像压缩或重定位算法已被探索并应用于扩展假体植入者的感知视野,但是这些算法要么引起重要前景信息表达的视敏度下降,要么引起重要前景信息的扭曲失真。针对这些算法的不足,本文基于已提出的全局显著性物体检测算法,提出了一种优化的基于显著性检测的图像重定位方法,在实现扩大感知视野的同时,保证场景中重要信息的假体视觉呈现,以提高假体植入者完成视觉任务的能力。通过仿真假体视觉下基于物体检测和物体识别的心理物理实验评估,实验结果表明:本研究所提出的方法能够有效提高被试在低分辨率假体视觉下的物体检测和物体识别能力。本文开展的研究工作旨在通过假体视觉下的信息优化处理算法来改善假体植入者的低分辨率假体视觉感受,提高其完成视觉任务的能力,为视网膜假体中的图像处理编码方案提供新的思路和重要的理论基础,并为假体植入者的术后视觉功能修复评估和认知机制奠定科学的实验依据。

    ...
  • 4.An infrared image-enhancement algorithm in simulated prosthetic vision: Enlarging working environment of future retinal prostheses

    • 关键词:
    • dual-mode camera; infrared image-processing algorithm; retinalprosthesis; simulated prosthetic vision;ARTIFICIAL VISION; OBJECT RECOGNITION; PERFORMANCE; STRATEGIES;CHARACTERS; IMPLANTS; MODEL
    • Liang, Junling;Li, Heng;Chen, Jianpin;Zhai, Zhenzhen;Wang, Jing;Di, Liqing;Chai, Xinyu
    • 《ARTIFICIAL ORGANS》
    • 2022年
    • 46卷
    • 11期
    • 期刊

    Background Most existing retinal prostheses contain a built-in visible-light camera module that captures images of the surrounding environment. Thus, in case of insufficient or lack of visible light, the camera fails to work, and the retinal prostheses enter a dormant or "OFF" state. A simple and effective solution is replacing the visible-light camera with a dual-mode camera. The present research aimed to achieve two main purposes: (1) to explore whether the dual-mode camera in prosthesis recipients works under no visible-light conditions and (2) to assess its performance. Methods To accomplish these aims, we enrolled subjects in a psychophysical experiment under simulated prosthetic vision conditions. We found that the subjects could complete some simple visual tasks, but the recognition performance under the infrared mode was significantly inferior to that under the visible-light mode. These results inspired us to develop and propose a feasible infrared image-enhancement processing algorithm. Another psychophysical experiment was performed to verify the feasibility of the algorithm. Results The obtained results showed that the average efficiency of the subjects completing visual tasks using our enhancement algorithm (0.014 +/- 0.001) was significantly higher (p < 0.001) than that of subjects using direct pixelization (0.007 +/- 0.001). Conclusions We concluded that a dual-mode camera could be a feasible solution to improving the performance of retinal prostheses as the camera adapted better to the specific existing ambient light conditions. Dual-mode cameras combined with this infrared image-enhancement algorithm could provide a promising direction for the design of future retinal prostheses.

    ...
  • 8.Objective neuromodulation basis for intrafascicular artificial somatosensation through carbon nanotube yarn electrodes

    • 《JOURNAL OF NEUROSCIENCE METHODS》
    • 2022年
    • 369卷
    • 期刊

    Background: Intrafascicular electrical stimulation has been extensively adopted to achieve sensory feedback for limb amputees. Axon-like carbon nanotube yarn (CNTy) electrodes with both promising flexibility and spatial selectivity index (SSI) can be fascinating alternatives to generate artificial somatosensation. New method: Here we systematically disclose objective neuromodulation basis for artificial somatosensation through intrafascicular CNTy electrodes. CNTy electrodes with different exposed lengths were utilized for electrically stimulating tibial nerves in twelve rats. Somatosensory evoked potentials (SEPs) were recorded synchronously using an epidural thirty-channel electrode array. Spatiotemporal characteristics of SEPs were analyzed as current pulse amplitude (PA), pulse width (PW) and pulse frequency (PF) varied. Results: The current thresholds at 1 Hz exhibit the lowest means when compared with those at 4 and 8 Hz for most CNTy electrodes (20/28). For all the electrodes, amplitudes of SEPs and activated areas of perceptive fields increase with PWs and PAs rising, and decrease remarkably with PFs from 1 to 8 Hz. Latencies of P1 and N1 of SEP peaks gradually reduced with PWs and PAs advancing. Considering high SSIs, relatively stable current thresholds, wider variation ranges of sensory magnitudes and optimal stability of perceptive fields, the L-200 mu m electrodes are preferable for neuromodulation with PFs of 1 - 8 Hz, PWs of 100 - 800 mu s and PAs of 2 - 64 mu A. Comparison with existing methods: New-type CNTy electrodes possess both promising flexibility and SSI when compared with other neural interfaces. We systematically explore objective neuromodulation basis for artificial somatosensation through CNTy electrodes for the first time. Conclusions: Significantly higher SSIs, lower current and charge thresholds exist for CNTy electrodes in comparison with other peripheral-nerve interfaces. This study can, for the first time, lay a solid neuromodulation foundation for CNTy electrodes to achieve fine sensory feedback.

    ...
  • 排序方式:
  • 3
  • /