Большинство людей уже слышало про автоматическое распознавание документов: компьютер может прочитать данные из паспорта или даже счетов-фактур, а потом автоматически занести в их систему. Как же это работает? Рассказывает компания Dbrain — разработчик сервиса для автоматического распознавания документов.
Зачем нужна интеллектуальная обработка
Интеллектуальная обработка документов (IDP) — это технология, которая основывается на искусственном интеллекте и машинном обучении. Она помогает компаниям автоматизировать извлечение данных из документов и преобразовывать их в полезную информацию.
Сложность в том, что несмотря на единую структуру большинства документов, информация будет разной. Например, в паспорте гражданина России у всех отличается фамилия, имя, отчетство, номер и серия, дата и место выдачи и так далее.
А еще много документов, которые содержат рукописный текст, например, сочинения школьников, европротоколы, заявления об увольнении.
Представьте, что есть страховая компания, которой постоянно приходится обрабатывать входящие документы. Например, когда человек попал в ДТП, ему нужно предоставить паспорт, страховой полис, водительское удостоверение, извещение о ДТП и многое другое. Есть два варианта оцифровать информацию для дальнейшей работы: сделать это руками или отправить нейросети. В среднем автоматическая обработка (извлечение и проверка информации) занимает 5 секунд, а точность распознавания — до 99%. При этом исключается человеческий фактор и ошибки, сделанные из-за невнимательности. Что происходит после того, как документ отправляется на распознавание?
Классификация документа
Сначала искусственный интеллект удаляет ненужный фон, преобразует изображение в вертикальный формат, выравнивает его и вырезает документ. Затем алгоритм машинного обучения определяют, что перед ним находится: паспорт, водительское удостоверение или фото кота. Если все хорошо, то дальше, а далее начинается процесс извлечения информации из документов.
Извлечение данных
Алгоритм, который разработали в Dbrain, разделяет изображение документа на отдельные части. Если рассматривать паспорт, то это имя, фамилия, дата и место рождения, серия, номер, место и дата выдачи. После этого нейросеть пытается предсказать, что написано внутри каждого поля: она сравнивается насколько то или иное слово похоже на ту, что уже когда-то видела. Если алгоритм сомневается в результатах, то поле отправляется на проверку человеку. За счет такого подхода получается достигнуть максимальной точности распознавания документов.
Проверка данных
Нейросеть автоматически обрабатывает в среднем 85% полей документы. Но бывают сложные ситуации, с которыми нейросеть не справляется. Например, распознавание европротокола, так как он содержит много полей, заполняемых рукописным текстом и чаще всего не очень аккуратно. Но даже в такой ситуации используются алгоритмы: они проверяют ответы от нескольких людей и сравнивают, насколько их тексты похожи друг на друга. В конце концов нейросеть принимает решение, какой вариант считать правильным в зависимости от похожести одного ответа на остальные. А потом на полученном результате нейросеть дообучается и становится еще лучше. Так с каждым разом точность распознавания алгоритмов повышается и все реже человек участвует в проверке данных.
Кроме того, для верификации данных может использоваться информация из общедоступных баз. Например, с помощью сервиса МВД России легко проверить действительность паспорта по его серии и номеру. А регистрацию по месту жительства можно соотнести с данными из Федеральной информационной адресной системы.
Еще нейросеть может исправлять орфографические ошибки и проверять правильность заполнения. Например, если договор требует двух подписантов, то алгоритмы обратят внимание на отсутствие одной из подписей.
Когда все данные извлечены и проверены, они собираются и передаются в базу данных или бизнес-процесс через API.
Где можно использовать IDP (я бы ещё раз дал определение IDP)
Интеллектуальная обработка переводит документы в цифровой формат, что очень помогает в их дальнейшем использовании. Наибольшая польза от внедрения будет в тех компаниях, которым постоянно приходится обрабатывать большой поток документов. Например, можно освободить бухгалтеров и финансистов от постоянной структуризации входящих документов за счет автоматизации. Кроме того, можно автоматически извлекать информацию из квитанций, счет-фактур или заявлений. А микрофинансовые организации могут автоматизировать процесс одобрения заявок на микрозаймы.
С IDP можно автоматизировать оформление договоров: с помощью нейросетей извлекать данные из документов клиента и подставлять их в шаблон. В ретейле — автоматически извлекать информацию производителя из карточки товара и переносить ее в CRM-систему, а также использовать для описания на маркетплейсах.
Обработку каких документов можно автоматизировать:
- Личные: паспорт, ИНН, СНИЛС, страховой полис
- Водительские: водительское удостоверение, свидетельство о регистрации транспортного средства (СТС), паспорт транспортного средства (ПТС), полисы ОСАГО и КАСКО
- Юридические: различные договора и контракты, судебные решения, претензии, заявления
- Бухгалетрские: счета на оплату, счет-фактуры, акты выполненных работ или оказанных услуг, кассовые чеки, товарные накладные
- Кадровые: трудовая книжка, заявления и приказы, акты, уведомления, дополнительное соглашение
В целом автоматические распознаванию поддаются любые документы. При этом внедрение IDP не всегда означает сокращение штата сотрудников. Экономия может проявляться в уменьшении количества ошибок, допущенных при работе с документами, а также в концентрации команды на более полезных задачах, так как IDP освободит рабочее время от рутины.