Компания Meta опубликовала на Github исходный код ПО, ориентированного на обработку научных документов.

Как правило, научные знания хранятся в книгах и научных журналах, часто в формате PDF. Однако формат PDF приводит к потере семантической информации, особенно в отношении математических выражений. В связи с этим предложено использование модели Nougat (Neural Optical Understanding for Academic Documents), основанной на технологии Visual Transformer, которая выполняет задачу оптического распознавания символов (OCR) для преобразования научных документов в язык разметки LaTeX.

Предложенный подход обещает стать перспективным решением для повышения доступности научных знаний в цифровую эпоху.

Исходный код распространяется по лицензии MIT, обученная модель — по CC-BY-NC.

Попробовать можно здесь.

>>> Подробности