技术问题描述：

(1)临床术中的传统3D监视设备存在的不直观、不方便；在大多的医院里，大多数的手术室还是有一大堆屏幕在显示病人的各项生命体征信息，手术医生不可避免的要分心去看这些屏幕以获得信息。另外，医生们还是在2D的显示屏上，用一个鼠标去操作2D/3D的信息。对于一些手术，我们如果直接用AR技术把病人的2D/3D医疗影像信息叠加在病人身上，便可以协助医生进行手术，提高手术效率。

（2）多窗口同时显示不同模态影像：诊断成像、实时数据流和数据处理技术帮助了手术方案的制定，但却不能优化手术过程。手术过程中，医生和护士不得不通过观察分散在手术室中的多个3D监视设备，来了解患者的医学影像数据。他们需要停下手头的工作，甚至手动操作机器。这些步骤无疑会增加手术时间，分散医生精力。AR技术具有实时得把CT/MIR等2D医疗图像信息转化成可以和医生进行互动的3D信息的能力，帮助医生在手术和诊疗时对病人的身体内部病变组织有更直观的认识。通过集成2D和3D医学图像并以多窗口的形式呈现在AR眼镜中，医生们可以更精确的及时调整手术方案。

（3）AR远程协助标注：实现AR远程标注可以在手术过程中遇到异常情况的时候，主刀医生戴上AR眼镜，向远程专家发起协作申请，专家根据手术情况给予实时指导，专家远程获得第一视角的现场救治情况，通过冻屏标注，发送资料，语音指导，病情建档等方式进行远程救治辅助，打破救治场景隔阂，高效率的同场景和同视角开展协作。同时还能解决了一些基层医资力量不足的问题，提升基层医生应急处置能力，推进基层医疗机构同质化建设，提高基层群众就医获得感和满意度。

(4)基于AR的虚拟器官与真实器官配准：AR眼镜虽然可以有效解决虚实融合、信息引导等问题，并提供较好的直观、沉浸感受，但在多人协同手术时，仅使用者能够获取虚实融合场景，其他人无法沉浸式介入内容，从而限制了相关设备的应用范围，这是因为AR眼镜有典型独占性缺陷，多方视角功能可以实现在统一世界坐标系下的多名医护人员协同操作，画面共享，使得多名医护人员在手术过程可以更好协同与配合，提高手术效率。此外，我们可以通过将医学影响序列中构建出来的三维模型调整到和真实器官1:1的大小，再通过坐标计算实现虚拟空间和真实空间配准。手术过程中就可以将虚拟器官和真实器官进行实时匹配，便可以实现精准手术的效果。-

需要的技术成果及相关指标描述：

主要任务：（1）研发具有高续航以及高清显示的有源式AR智能眼镜；（2）实现AR远程标注，且专家端软件可以通过网络传输协议获取AR眼镜的实时画面；（3）实现多方视角，实现不同视角的直接显示与信息同步；（4）术中虚拟器官和真实器官的实时配准。

关键技术：（1）分辨率达到1920*1080， 视场角45°。在AR眼镜中最少开启3个窗口，每个网页窗口可以进行不同的任务，具有调节窗口的大小和远近等功能。(2)要求专家端开始标注时，将标记的屏幕坐标数据转换成该画面时AR眼镜中的空间坐标数据，并将坐标本身信息通过网络回传给AR眼镜，AR眼镜接到数据后开始在空间绘制。AR远程标注主要两个关键点，首先是获取AR眼镜相机的相机矩阵和投射矩阵数据，这两个矩阵数据存储了AR眼镜的当前相机的方向和位置，再将AR眼镜空间矩阵转换到Unity空间矩阵。其次是二维标注到三维空间的位置转换，专家端在二维画面标注后确定了标注的形状、中心点、长宽数据，然后发送到眼镜端，通过空间矩阵数据计算出标注数据生成相应的标注实例。实现将手术室内的3D/2D高清图像传输到各个窗口，并且时延小于150ms。(3)多方视角需要具有两个功能模块：一个是系统初始化与校准，主要针对客户端的初始化与校准操作，即主视角装置的空间定位注册、第三方视角装置的设备校准、服务端的网络通信会话建立等过程；另一个是针对交互信息/环境信息/虚实状态等的数据如何在主视角装置和第三方视角装置间实时信息同步策略，其中包括数据传输方式、触发条件、数据转换、数据驱动等内容。(4)术中虚拟器官和真实器官的实时配准首先获取真实空间模型的真实空间模型数据，并建立与真实空间模型对应的真实空间坐标系，根据真实空间模型数据，建立与真实空间模型对应的虚拟空间模型，并建立与虚拟空间模型对应的虚拟空间坐标系。通过结合双目相机摄影测量进行三维追踪识别，医生可佩戴AR眼镜，在手术导航中提供更好的手术指导。

关键量化指标：本项目至少满足以下指标：（1）眼镜分辨率达到1920*1080， 视场角45°。（2）系统至少支持3个窗口显示不同模态的影像，术中的数据采集与显示时延小于150ms；（3）支持多方视角功能，至少支持局域网/5G网络下多方视角功能；（4）支持虚拟器官与真实器官的配准。

-拟合作方式：合作开发-

拟投入资金（万元）：80