TensorFlow lite android studio 医疗诊断应用程序使用图像分类

Question

问题：我正在尝试将https://github.com/obeshor/Plant-Diseases-Detector 与https://github.com/pillarpond/image-segmenter-android 结合起来

第一个应用程序 Plant 应用程序允许处理单个图像，并且模型已经在其上运行。

第二个应用程序图像分割应用程序具有出色的图像分割功能，供用户和研究人员了解模型正在查看的内容。

由于图像分割应用程序的复杂性，我想将 Plant 应用程序合并到分割应用程序中。

分割应用程序的问题是我需要将分割应用程序从连续视频更改为单个图像，并对输入特征进行建模。我不知道是否有一个简单的方法可以做到这一点。

医学图像分类的模型已经完成，可以在 Plant 应用上运行。

应用程序的预期结果： 输入是医学图像，输出是带有突出显示的正区域的图像，并以置信度百分比表示整体正/负指示。

问题：有没有人有任何方法的链接来结合这两个应用程序或指南来制作一个新的。在过去的五个月里，我一直在做这个工作，并且在第二个代码中定位该区域以更改模型输入特征、集成标签以及将相机从连续图像更改为单个图像时遇到问题。

谢谢，希望我提供了足够的信息。

Answer 1

应用程序的预期结果：输入是医学图像，输出是具有阳性区域突出显示的图像，带有置信度百分比的整体阳性/阴性指示。

听起来，当您说突出阳性区域时，您的意思是要突出显示分类模型检测到的特定疾病的区域。如果这就是你的意思，据我所知，我认为没有一种简单的方法可以按照你描述的方式组合这两个模型。

分割应用程序的问题是我需要将分割应用程序从连续视频更改为单个图像，并对输入特征进行建模。我不知道是否有简单的方法来做到这一点。

从实时视频处理更改为单图像处理应该是微不足道的。第二部分，模型输入特性，由于多种原因，不会那么容易改变。

1) 图像分割 (Deeplab) 模型需要图像作为输入。我们不能突然改变输入格式并希望它能神奇地工作。

2) 众所周知，基于 CNN 的图像分类模型很难被人类理解。它只是为您提供标签和信心，但它基于整个图像。输出不包含有关图像中哪些区域对特定（标签、置信度）对贡献最大的任何信息。因此，如果我们能够以某种方式修改分割模型以获取更多信息，那么图像分类模型一开始就不会提供任何此类有用的信息。

相反，我建议您搜索一些有关该主题的研究论文，看看您是否可以实施这些想法。例如，我的快速搜索给了我this paper。应该还有更多关于医学图像分类/分割的论文，其中我没有领域知识可以进一步帮助您。