Найти буквы в тексте на неизвестном языке

Используй онлайн разбор рукописного текста носителями. Без человека — гугли распознавалку соответствующей письменности. Правда, если это не латиница или кириллица, твои шансы стремятся почти к нулю...

Если бы нужно было разобраться с конкретным текстом!.. )) Хочется понять, как в принципе такое работает.

Вот тебе неплохой подробный пример решения подобной задачи: https://youtu.be/4cRlqE3D3RQ и продолжение https://youtu.be/8nHbImkFKE4

В смысле на вход даёт jpeg рандомного рукописного текста на рандомном языке, на выходе получаем plain text в utf8? Если рандомный язык выбирается из какого-то заранее известного множества языков то это машинное зрение (распознавание образов, OCR). Под каждый язык (алфавит) нужно отдельно затачивать инструмент. И под каждое начертание. И, на сколько я понимаю, с рукописным текстом в любом случае всё это работает грустно.
Если набор возможных языков заранее не известен то это libastral. Автоматика может разве-что выделить те группы пикселей которые возможно являются одними и теми-же буквами

Набор языков неизвестен. Просто тонна (очень много) картинок со строками на неизвестном языке. Как понять, что тут одна буква?

Типа манускрипт Войнича, да?

Вроде того)

Найти буквы в тексте на неизвестном языке (комментарий)

Спасибо!

Например, глядя на арабское письмо, не будучи знакомым с предметом, трудно сказать, где тут отдельные символы. Можно выдвигать различные гипотезы. Интересно, можно ли научить машину строить такие гипотезы на основе многих строк текста?

на неизвестно языке....

Гы-гы-гы!

Вот на русском. Пойди как найди одинаковые букофы:

https://kwork.ru/typing/46754/naberu-tekst-russkiy-angliyskiy

Это ещё не худший вариант.

это наверно лингвистика какая-то

Natural language processing (NLP).

какими методами решается

ПО для обработки естественного языка © (wikipedia.org).

А там точно есть «буквы»? Это точно фонетическое письмо?

Всё вполне читаемо.

А, понял, ты хочешь понять, как вообще попытаться что-то разобрать, если никто даже приблизительно не знает, что там должно быть?

Да, хочется понять самую базовую вещь, как это можно поделить на составляющие.

Я не спорю что читаемо, просто оно читаемо не с набегу сразу.

текущие ОЦР такое не потянут.

В общем случае ты не можешь знать, является ли пятнышко пятнышком, или важным синтаксическим элементом, означающим «каждый, кто прочтёт дальше, умрёт».

Тот же Манускрипт Войнича, насколько я знаю, разделили на «буквы» вручную, и уже эти буквы пытаются расшифровать. Но вполне может быть, что это разделение неверное.

Это задача кластеризации применительно к изображению текста. Называется сегментация.

Даже к уже распознанному потоку символов текста это трудная задача https://en.wikipedia.org/wiki/Text_segmentation

Именно к тексту читай ссылки https://duckduckgo.com/?q=image+text+segmentation&t=canonical&ia=web

Например https://www.sciencedirect.com/science/article/pii/S2212017314000954

Хочется понять, как в принципе такое работает.

Неизвестный язык в принципе не обязан иметь буквы.

Вообще, не обязательно, может иероглифическое.

Да, хочется понять самую базовую вещь, как это можно поделить на составляющие.

Кластеризация: текст — > графема — > глиф.

Тут просто _немерянный_ размер матрицы различий получается. Ну и все еще рекурсивно повторять придется: пикселы сливать в «суперпикселы1», эти супер1 в супер2 и т.д. Пока будут основания значимые для наличия группировок в графе близости кодируемом этой матрицей.

Это даже если представить что уже есть идеальный алгоритм вычисления подобия двух «пикселей» изображения текста друг к другу.

У гугла есть такая технология.

Они тебе лично сказали?

Спасибо!

А сильно легче не станет, если есть есть два таких текста, и известно, что один — перевод второго?

Хочется таблицу {кусок, вероятность}. Только если в результате получится таблица из всех возможных кусков с равными вероятностями — такая таблица будет мало содержательной, во всех остальных случаях будет что-то интересное.

Подмётки рвут!

Если оба картинкой, то нет.

А если в виде каши из букв?

А если белый шум?

А что - кусок, вероятность? Это может быть язык типа ифкуиля. А теперь скрещиваем арабскую вязь, девангари с ифкуилем, и получаем НЁХ, которая может быть как произведением искусства, так и инженерной документацией марсиан.

Не, если точно известно, что там написано что-то осмысленное, и второй текст — это перевод первого.

Задача принимает дурной оборот.

Анализ какой бы то ни было семантики не требуется — всё, что нужно это просто в наборе замысловатых непрерывных линий попытаться выделить похожие кусочки. Что эти кусочки значат, какова структура языка — неважно. Предполагается только, что такое разбиение есть. Не предполагается, что оно единственно. Вопрос в том, можно ли машину научить строить гипотезы относительно того, как могут выглядеть такие разбиения?

Можно, к примеру, взять порубить все строки в лапшу, на кусочки от 5 до 150 пикселей, и попытаться найти среди них похожие. Может можно как-то такой подход оптимизировать.

Хотел поблагодарить за ссылку на ифкуиль, но думаю, как бы теперь это забыть))

Тогда - это не каша.

Жаль что мой проект по распознаванию слов с ошибками ты не застал на лоре. Он не умер конечно.

Но я работаю в гораздо большем захвате всяких распознаваний.

Распознать рукописное очень тяжело, даже треннированым людям.

Интересно! А посмотреть можно где-нибудь?

Да. Можно. Но не сегодня.