使用谷歌云进行图像分类、裁剪和 OCR

Question

请允许我问一个相当新手的问题。到目前为止，我一直在使用像 imagemagick 或 GOCR 这样的本地工具来执行这项工作，但那是相当过时的，我被敦促“转向谷歌云 AI”。

设置

我有一个（训练）数据集，包含不同类型的各种文档（如 JPG 和 PDF），并且通过某些特征（如流行颜色、重复布局）我打算对它们进行分类，例如如invoice type 1、invoice type 2、not an invoice。在第二步中，我想对每个文档的某些预定义区域进行 OCR 并提取例如发送发票的公司地址和日期。

我设想的架构

1. 在现代平台即服务 (pass) 中，我已经设置了一个 UI，我可以在其中上传新文件。然后将它们本地存储在具有文件名的目录中（或存储在 MongoDB 中）。上传时间戳、用户、原始文件名等元信息存储在数据库中。
2. 然后应将新上传的文件提交给 google cloud，由其执行分类步骤，并返回标签以保存在数据库中。
3. 应该自动裁剪文档页面，即去除黑色或白色边距，很可能也使用 google cloud。作物的参数应保存在数据库中。
4. 如果是，例如发票，应为文档的某些区域执行 OCR（再次通过谷歌云），例如从页面中间到裁剪页面上 10% 的右边距的边界框。 OCR 的结果应该再次在本地持久化。

问题

我似乎缺少正确的搜索词来弄清楚如何使用谷歌云来做到这一点。是否有 google-API（例如 REST），我可以用来上传并返回步骤 2 到 4 的结果？

Answer 1

我认为您最好的选择是使用Document AI (REST API and Libraries)。

使用 Document AI，您可以：

• 将图像转换为文本
• 文档分类
• 分析和提取实体

此外，对于您的使用案例，我们还有一个新的 Document AI 功能，该功能仍处于预览阶段，访问权限有限，即Invoice parser。

发票解析器类似于 Form parser，但用于发票而不是表单。查看发票解析器页面，您就会明白我所说的预览和受限访问是什么意思。

AFIK，没有任何用于图像编辑的 GCP 工具。