一、立项背景
针对不同病症，医生会要求病人做不同的影像检查。复杂的医学影像如果没有专业知识和长期的临床实践，是很难对医学影像进行正确的认识、判读、解释与诊断。然而对于患者等非专业人士来说，仅靠已有的知识储备在没有专业知识普及的情况下，对医学影像做出相应的认知或者疾病了解是具有很大的局限性。随着人工智能领域的计算机视觉和机器学习等先进技术的快速发展，通过图片检索、图像理解等生成普通医学常识，使得广大普通人都能在短时间内对自己的身体各器官影像有一定的了解，这样不仅能够提高我省人民的医学科学素质，还能一定程度上缓解医患矛盾，对于营造一个良好的就医环境具有非常重要的意义。
本项目旨在建立一个可供用户根据自己的需要快速获取医学影像科谱知识、病变知识和健康常识的医学影像看图说话智能系统，提供以图搜图、文字、语音等多种交互方式。对于以图搜图这种方式，用户可以将现有的医院提供的自己的CT、B超等图像输入到系统中，通过对输入图像进行分析，返回给用户相似的器官图像以及相关的文字描述信息（该器官的解剖知识和工作原理等），使得用户初步了解自身某器官比如胃在CT图像上它的几何形状是怎样的，以及它的功能结构如何等；通过用户对比和学习达到科普医学常识的目的。
二、项目的总体任务及要求
1、主要研究内容
本项目的研究方法是借助于人工智能中的计算机视觉、自然语言处理和机器学习算法对复杂专业的医学影像进行分析和理解，研究由浅入深分为三个阶段：首先填补实体器官和医学影像的语义鸿沟，让人们能够看懂自己检查获取的各类医学影像；其次利用深度学习的方法对人们关注的感兴趣器官进行精准提取，初步了解相应器官发病的原理以及病变的常识；第三步通过人工智能的视觉理解、跨模态数据处理算法实现对发病器官的检索，使人们具备和医生进行疾病咨询交流的初步专业知识，提高人们的医学科学素质。具体来说本研究主要包括以下三部分内容：
（1）器官辨识检索功能：用户通过以图搜图、文字等交互方式检索自己感兴趣的器官，从而对人体器官建立基本的认知，包括器官的大致轮廓以及在人体中所在的位置。
（2）医学影像知识库构建：针对用户感兴趣的器官进行准确提取，对其进行形态、生理和解剖结构的信息进行挖掘，帮助人们对人体器官进行结构化描述和建模，同时对其工作机制进行全面的认知，了解人体生命活动规律。
（3）病变检索与理解：对于现实中最为复杂的疾病情况进行描述，通过人工智能算法检索人们感兴趣的疾病器官，给出相似的病例，介绍发生病变的机理以及病变相应的生理特征和影像表现等相关知识，完成深度的科普知识推荐和科学素养的培育。
2、技术指标
（1）采用U-net对器官进行分割，人们可以从自己手头的影像中了解到当前影像是哪个部位，什么器官，这个器官大体是什么样的，在图像中处于什么位置什么形状等直观的信息，实现了多个器官的智能辨识。效果如图所示：
（2）医学影像知识库与检索系统构建，客户端主要以PC端桌面应用的形式运行，为用户提供基本的人机交互界面。服务端主要包含几个功能：训练网络模型；使用训练好的模型对图像数据进行检测、分类，并将处理好的结果存入数据库；最后提供RESTful接口供客户端在用户发起检索的时候调用。为了直接调用现有的使用网络模型进行预测的Python代码，服务端代码全部使用Python进行开发，同时使用Flask框架提供HTTP服务。
（3）病变检索与理解，本项目主要是利用已经建立的由三甲医院专业的医生进行标注的历史医学影像数据库，对病变分析结果和数据库中存储的图像信息进行匹配。人们通过历史数据了解自己和类似病变的区别，掌握了部分自己手中数据的实际情况，进而熟悉了自己的病变等级。
（4）一套医学图像器官、病变检索与识别的科普系统：功能包括以图搜图、语音、文字等交互功能的病变辨识系统等。科普讲座2场。发表SCI论文一篇，项目资助已标注。
三、项目完成情况
1、医学图像检索系统
构建了一种跨模态的医学图像检索系统，解决了在一个框架下如何对不同模态的影像包含的不同器官进行分割并实现检索的问题，同时将病变检测有机地整合到用户检索的过程中，帮助用户在检索结果中快速定位病灶。
在病变检索的部分，我们实现了对肝脏器官CT影像中的肝癌、肝囊肿、肝血管瘤等一些常见病变的检测和分类。在对病变进行分类的过程中，我们有效解决了数据集不同类别样本分布不平衡的问题，提高了病变整体检测和分类指标。客户端为用户提供了使用文本和上传影像对服务端的器官和病变数据集进行检索两种方式。
2、科普讲座情况
应西北大学附中的邀请，对初中学生进行了1个小时的职能医疗方面的科普教育，让同学们了解到医学常识的同时，学习了人工智能如何辅助诊断和治疗，进一步讲解了医学图像在未来精准医疗中的影响力。
受人力资源和社会保障部办公厅关于专业技术人才知识新工程2019年高级研修班邀请，进行了医疗大数据智能处理的科普讲座，将我们的“医学影像看图说话智能系统”功能进行了分享，引起了极大关注，让很多人学习到了医学图像检测的常识。
