发布时间:2024-12-11 09:51:54 浏览 次
作者:张垚1,2,夏安俊2(通信作者),汪凤翔2
单位:1 福建农林大学机电工程学院 (福建福州 350100);2 中国科学院海西研究院泉州装备制造研究中心 (福建泉州 362200)
〔关键词〕胶囊机器人;光学镜头;OV5640;无线通信;分块内存;
〔中图分类号〕TN92 〔文献标识码〕B
〔文章编号〕1002-2376(2024)07-0032-05
目前,胃癌发病率及病死率均较高,如早期发现并治疗,患者五年生存率可达到 90%[1-2]。传统电子胃镜是胃部疾病初筛和检查的有效工具,已广泛应用于临床 [3-4]。但电子胃镜检查易导致患者出现交叉感染、胃肠道穿孔和撕裂等并发症 [5-6]。胶囊机器人系统具有无创、无痛、无交叉感染风险等优点,极大地减少了患者的不适感 [7-8]。胶囊机器人系统可用于医师诊断和治疗疾病,因此要求获取图像的清晰度较高 [9]。胶囊机器人系统在工作过程中需要传输成百上千张的图像数据,对存储器空间需求较大,随机存取存储器(random access memory,RAM)存储空间必须大于照片容量,否则会造成存储数据不完整、丢失。高分辨率图像占据的存储空间较大,小内存 RAM 不能满足存储需求 [10]。图像压缩技术如 JPEG[11-12],可对全色图像进行操作,将压缩的整幅图像数据使用直接传输方法进行传输,此传输方法需等到单张图像数据处理完毕才能进行传输 [13-14]。本研究提出了一种分块内存传输方法,将 RAM 内存分块存储数据,并采用边采集、边存储、边发送的循环传输方式,实现了小内存 RAM 完成大容量照片的采集及发送的目的,现报道如下。
1 分块内存图像数据传输方法
1.1 数据直接传输方法
1.1.1 数据直接传输原理
1 个设备通过总线接口直接向另 1 个设备发送数据时,会先向中央处理器(central processing unit,CPU)发送 1 个直接内存访问(direct memory access,DMA)请求信号。外部设备通过 DMA 专用接口电路向 CPU 发出接管总线控制权的总线请求,CPU 接收到该信号后,在当前总线周期结束后会按照 DMA 信号的优先级和先后顺序响应信号。在 DMA 控制器的管理下,外部设备和内存就可以直接交换数据,数据传输完成后,设备接口向 CPU发送 DMA 结束信号。直接传输方法如图 1 所示。
注:DMA 为直接内存访问
图 1 直接传输方法示意图
1.1.2 直接传输设备
配置 DMA 控制器的目标地址和数据传输方向,设置数据宽度为 8 位,并配置 DMA 中断,当触发事件发生时,DMA 控制器开始执行数据传输。DMA 控制器按照配置直接在无线发送模块和存储器间传输数据,在数据传输完成后,DMA 控制器会产生 1 个中断返回信号,以通知 CPU 数据传输已完成。此时,数据全部存储到存储单元 RAM 中,由 RAM 控制单元进行控制,经配置完成后,将数据从存储单元中输出。图像以 RGB 形式储存,且色彩信息储存在 8 位数据中。在不使用压缩技术的情况下,每张图片占用内存可由式(1)计算。
其中,H 为图像传感器行像素个数,D 为图像传感器列像素个数,L 为 1 个像素占用的内存大小(RGB565 为 2 字 节)。 当 使 用 分 辨 率 为 1024×1024 dpi 的图像传感器时,需要的内存为 2 MB,STM32F407 中 RAM 存储空间容量较小,而外接外部 Flash 存储器体积大,不适合在较小的胶囊机器人系统中使用。
1.2 分块内存传输方法
1.2.1 分块内存传输原理
将存储系统的存储空间内存划分为固定大小的内存块,每块均有唯一标识符。初始状态下,所有内存块被标记为空闲状态。当程序请求分配内存时,内存会寻找空闲块进行分配,数据就可以存储到空闲块中。分块内存传输方法如图 2 所示。
图 2 分块内存传输方法示意图
1.2.2 分块内存传输设备
由 OV5640 光学镜头获取图像,图像经过处理后转化为 1 串 16 进制的图像数据输出。当图像数据流传输给微处理器(micro contoroller unit,MCU)时,RAM 中先进行第一存储空间的数据存储,当第一行图像数据存储完毕后,第一存储空间存满。第二行图像数据到来时,将图像数据存储到第二存储空间,此时程序同步读取第一存储空间中所存储的图像数据,读取完毕后通过 nRF24L01 无线通信模块发送出去。当第二行图像数据存储完毕后,第二存储空间存满。第三行图像数据到来时,将图像数据存储到第三存储空间,此时程序同步读取第二存储空间中所存储的图像数据,读取完毕后通过 nRF24L01 无线通信模块发送出去。第四行数据到来时,将数据存储到第一存储空间,此时程序同步读取第三存储空间中所存储的图像数据,读取完毕后通过 nRF24L01 无线通信模块发送出去。以此过程进行循环存储、发送,当 1 幅图像转化的 16 进制图像数据传输完成时,即图像传输完成。
2 实验测试
2.1 硬件搭建
胶囊机器人系统模拟平台主要包括无线胶囊内窥镜系统和数据接收存储系统 2 个系统,整体结构如图 3 所示。无线胶囊内窥镜系统包括电源模块、晶振模块、高性能 500 W 高清光学镜头 OV5640、时钟信号 168 M 的主控芯片 STM32F407、192 kb RAM、通信速率 2 M(bps)的 nRF24l01 无线通信模块等。数据接收储存系统包括电源模块、晶振模块、时钟信号 168 M 的主控芯片 STM32F407、192 kb RAM、通信速率 2 M(bps)的 nRF24l01 无线通信模块、USB 数据串口、PC 上位机系统等。主控芯片 STM32F407 是 1 款由意法半导体公司推出的高性能 32 位微控制器,其基于 ARM Cortex-M4 内核设计,支持单精度数据处理指令和数据类型,时钟频率最高可达 168 MHz。无线通信模块 nRF24l01 是 1 款体积极小(5 mm×5 mm)、集成度极高的超低功耗 2.4 GHz 无线系统芯片,在空气中的传输速率最高可达 2 Mbit/s。光学镜头 OV5640 采用 OmniVision 公司的摄像头传感器作为核心,是一个 1/4 英寸 CMOS 图像传感器,集成了自动对焦功能,最高像素可达 500 W。
图 3 胶囊机器人系统模拟平台
2.2 软件设计
进行 MCU 系统和光学镜头 OV5640 的初始化,MCU 加载 OV5640 摄像模块的驱动程序,由OV5640_run 函数控制光学镜头 OV5640 的驱动程序开始采集图像信息,OV5640_set 函数进行图像分辨率设置,并完成自动曝光、图像的白平衡、色彩饱和度、亮度、对比度及特效等参数设置。光学镜头OV5640 完成拍摄并获取图像数据信息后,由 DMA将图像数据信息搬运到 MCU 的 RAM 中,此时 MCU进行图像数据检测。当 MCU 检测到有图像数据存入时,触发中断。中断程序中 PCLK 信号标志位用于检测图像像素点,当检测到第一行像素点时,进行像素点的存储,当发送信号到来时,进行第一存储空间中像素点的发送。当检测到第二行像素点时,存入第二存储空间中,当发送信号到来时,进行第二存储空间中像素点的发送。当全部像素点存储、发送完毕,意味着整幅图像数据传输完成,即实现了图像数据的分块内存传输。分块内存传输方法的流程如图 4 所示。
图 4 分块内存传输方法的流程图
2.3 实验结果
本系统模拟平台可以实现 4 m 范围内数据的稳定传输(实际应用场景一般为 1 ~ 3 m)。为保证实验结果符合实际场景,本实验将无线胶囊内窥镜系统和数据接收存储系统距离设置为 2 m。
2.3.1 实用性测试结果
图像分辨率设置为 640×480,按照本研究提出的分块内存传输方法进行实验,所得到的实验结果如图 5 所示。在上位机系统界面可看到数据接收存储系统接收到的 1 幅完整的图像信息。
注:a 为原图,b 为接收图
图 5 存储器接收到的像素为 680×480 的图像
2.3.2 高清晰度图像传输测试结果
在 1 只手上采用深和浅色标记以模拟实际病变位置。图像分辨率设置为 1024×1024,按照本研究提出的分块内存传输方法进行实验,所得到的实验结果如图 6 所示。在上位机系统界面可看到数据接收存储系统接收到的图像信息,图像中清晰可见手掌上的纹路、伤疤及深浅色记号。其中深色和浅色记号假定为患者的病变位置,医师可通过图像清晰观察病变情况并及时进行诊断和治疗。
注:a 为原图,b 为接收图
图 6 存储器接收到的像素为 1024×1024 的图像
2.3.3 稳定性测试结果
为进一步验证该方法连续传输多张图像时的稳定性,测试连续 3 张图像传输,所得到的实验结果如图 7 所示。在上位机系统界面可见数据接收存储系统接收到的 3 张图像信息。
注:a 为原图,b 为接收图
图 7 稳定性测试结果
3 总结
本研究设计了一种应用于胶囊机器人的分块内存传输方法,采用光学镜头 OV5640 获取图像数据,使用 2 个 nRF24L01 模块实现无线通信及数据传输,最终实现了在小内存 RAM 中存储完成大容量图片的采集和发送,并通过胶囊机器人系统模拟平台对该方法进行了评估。评估结果显示,上位机系统可以接收到完整的图像数据,证明了该方法在小内存RAM 中能够实现胶囊机器人系统拍摄图片,以及单张、连续多张图像数据的传输,且接收到的图像与原图像相比不存在数据丢失、不完整的问题,且针对多张图像连续传输时的稳定性较好。本研究的主要局限性是未考虑数据传输过程中的速率问题,在未来研究中就其进行多组实验加以验证。
【参考文献】
[1]Sung H, Ferlay J, Siegel R L, et al. Global cancer statistics 2020: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries[J]. CA Cancer J Clin, 2021, 71(3): 209-249.
[2]Katai H, Ishikawa T, Akazawa K, et al. Five-year survival analysis of surgically resected gastric cancer cases in Japan: a retrospective analysis of more than 100,000 patients from the nationwide registry of the Japanese Gastric Cancer Association (2001–2007)[J]. Gastric Cancer, 2018, 21(6): 144-154.
[3]Alsunaydih FN, Arefin MS, Redoute JM, et al. A navigation and pressure monitoring system toward autonomous wireless capsule endoscopy[J]. IEEE Sens J, 2020, 20(14): 8098-8107.
[4]Hoang MC, Nguyen KT, Le VH, et al. Independent electromagnetic field control for practical approach to actively locomotive wireless capsule endoscope[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2019, 51(5): 3040-3052.
[5]Zhang P, Xu Y, Chen R, et al. A multimagnetometer array and inner IMU-based capsule endoscope positioning system[J]. IEEE Int Things J, 2022, 9(21): 21194-21203.
[6]Miah MS, Khan AN, Icheln C, et al. Antenna system design for improved wireless capsule endoscope links at 433 MHz[J]. IEEE Transactions on Antennas and Propagation, 2019, 67(4): 2687-2699.
[7]Zhou H, Alici G. A novel magnetic anchoring system for wireless capsule endoscopes operating within the gastrointestinal tract[J]. IEEE/ASME Transactions on Mechatronics, 2019, 24(3): 1106-1116.
[8]Li Y, Guo YX, Xiao S. Orientation insensitive antenna with polarization diversity for wireless capsule endoscope system[J]. IEEE Transactions on Antennas and Propagation, 2017, 65(7): 3738-3743.
[9]王星琪,杨波 . 胶囊内窥系统的像质提升方法 [J]. 光学仪器,2022,44(4):26-31.
[10]段梦月,赵宏亮 . 微型 CMOS 图像采集存储系统设计 [J]. 仪表技术与传感器,2021(9):78-81,86.
[11]Kim D, Ahn W, Lee HK. End-to-end anti-forensics network of single and double jpeg detection[J]. IEEE Access, 2021(9): 13390-13402.
[12]Kumawat C, Pankajakshan V. A JPEG forensic detector for color bitmap images[J]. IEEE Open Journal of Signal Processing, 2021(2): 280-294.
[13]刘鑫,蔡乐才,高祥,等 . 低功耗微型胶囊内窥镜图像采集系统设计 [J]. 四川理工学院学报(自然科学版),2018,31(5):68-74.
[14]石阳,吴伏家,刘建华,等 . 基于 RTC6701胶囊内窥镜系统设计 [J]. 装备制造技术,2022(4):12-15,71.
内容来源于《医疗装备》杂志,如需转载请注明出处。
欢迎关注《医疗装备》官方公众号