AI＋OCRによる読取支援システムの精度をお見せします

昨年のMominokiは、次の手順で読取作業を行なっていました。
1）画像認識AIが、控除証明書の発行会社と種類を判定し、読み取るべき記載事項を枠で囲う。
2）枠で囲まれた記載事項を、2人の人間が目視で読み取る。

AIは大まかな判定はできるのですが、細かな判定は不得意です。
そこで昨年は、似ているけど微妙にデザインが異なる控除証明書に対しては、「枠を大き目に設定しておいて、あとは人間が、読み取るべき記載事項を探し出す」という方法で対応していました。

そして今年は、画像認識AIにOCR（光学式文字読取）の技術を加えて、読み取るべき項目の枠の精度を向上させました。
その成果がこちらです。じっくりとご覧ください。

この3枚の控除証明書は、いずれもソニー生命さんのものです。
似通っていますが、読み取るべき記載事項が印字された位置が、上下にズレています。

左の控除証明書は、証明額だけが印字されています。
中央の控除証明書は、証明額と申告額が印字されています。
右の書類は、控除証明書ではなく、「申告予定額のお知らせ」です。
年末調整経験者であれば、この3種類を間違いなく読み分けることが重要、ということを十分にご存知でしょう。

そして今年、AIとOCRを組み合わせた成果が、ここに表示されている黄・青・赤の枠です。
1mmのズレもなく、枠が適用制度（黄）、保険の種類（青）、保険料（赤の点線が証明額、赤の実線が申告額）を囲っていることを、見ていただけるでしょう。

これだけの位置精度を出せると、OCRで記載事項を読み取ることができるようになります。

昨年まで2人の人間が目視で読み取っていたものを、今年は1人の人間の目視とOCRの組み合わせで、読み取ることができるようになりました。
目視とOCRの読取結果が異なった場合は、もう一度目視での読取を行い、2回の目視が一致した場合は正解とします。
それでもなお一致しなかった場合は、管理者が3回の読取の結果を見て、正解を決定します。

枠の位置が精緻化されたことで、人間の目視もより簡単になりました。
枠で囲われた記載事項を読み取れば良いのです。

以前のMominoki日記でも触れましたが、人間とOCRでは間違えの癖が異なります。
両者を組み合わせることは、限り無く100%に近い読み取りを実現する手法であると期待しています。

最後に、この読取支援システムは、すべてラクラス社内で開発したものであることを、申し添えておきます。
AIやOCRは、独自開発したものではなく、ごく普通に入手可能なものを使っています。

ラクラスが目指すのは、廉価な賃料と人件費に頼った旧来の業務代行ではありません。
テクノロジーを活用した付加価値の高いクラウド＋BPOサービスを、これからも提供してまいります。

2021年11月8日