LINUX.ORG.RU

Mozilla выпускает локальные инструменты машинного перевода в рамках проекта Bergamot

 ,


2

2

В январе 2019 года Mozilla присоединилась к Эдинбургскому университету, Карловому университету, Университету Шеффилда и Тартускому университету в рамках проекта под названием Project Bergamot, финансируемого Европейским Союзом. Конечная цель этого консорциума заключалась в создании набора нейронных инструментов машинного перевода, которые позволили бы Mozilla разработать надстройку для перевода веб-сайтов, работающую локально, т. е. механизмы, языковые модели и алгоритмы перевода на странице должны были бы находиться и выполняется полностью на компьютере пользователя, поэтому никакие данные не будут отправлены в облако, что сделает их полностью конфиденциальными.

Кроме того, необходимо было ввести две новые функции. Первым был перевод форм, позволяющий пользователям вводить текст на своем родном языке, который динамически переводится на лету на язык страницы. Второй особенностью была оценка качества переводов, при которой переводы с низкой достоверностью должны автоматически выделяться на странице, чтобы уведомить пользователя о возможных ошибках.

Этот набор требований поставил перед командой ряд технологических проблем: механизм перевода был полностью написан на языках программирования, которые компилируются в собственный код. Нужен был способ упростить распространение проекта, чтобы избежать накладных расходов, связанных с предоставлением сборок, совместимых со всеми платформами, поддерживаемыми Firefox — это было бы невозможно масштабировать и поддерживать. Кроме того, движок должен был достаточно быстро работать на процессорах и не полагаться на графические процессоры, как это традиционно требуется для решений глубокого обучения.

Решение состояло в том, чтобы разработать высокоуровневый API вокруг механизма машинного перевода, перенести его на WebAssembly и оптимизировать операции умножения матриц для эффективной работы на ЦП. Это позволило не только разработать надстройку для перевода, но и интегрировать локальный машинный перевод на каждую веб-страницу, что позволяет пользователю выполнять переводы в свободной форме без использования облака.

Надстройка «Переводы» теперь доступна в магазине дополнений Firefox для установки в Firefox Nightly, Beta и в общей версии. В дополнении вы увидите кнопку для заполнения опроса, который поможет сотрудникам Project Bergamot понять, в каком направлении следует развивать продукт.

Эта работа согласуется с обязательством Mozilla по обеспечению доступности Интернета для всех, независимо от их языка, а также созданию проектов с открытым исходным кодом, представляющих ценность для нашего сообщества, с акцентом на конфиденциальность. Пожалуйста, присоединяйтесь к нам и присылайте предложения — нам нужны все ваши голоса, чтобы сделать это дополнение действительно доступным для всех.

Этот проект получил финансирование от исследовательской и инновационной программы Horizon 2020 Европейского Союза в соответствии с соглашением о гранте № 825303.

>>> Подробности



Проверено: hobbit ()

Начинание хорошее. Только будет ли в этом опенсорче поддержка русского языка? Вопрос...

Xintrea ★★★★★ ()
Ответ на: комментарий от Xintrea

Development Russian <-> English

Но не фак, что останется ;)

bohm ★★★★★ ()

работающую локально, т. е. механизмы, языковые модели и алгоритмы перевода на странице должны были бы находиться и выполняется полностью на компьютере пользователя, поэтому никакие данные не будут отправлены в облако, что сделает их полностью конфиденциальными.

Нужно. Концептуально это что-то типа

https://thehitchhikersguidetothegalaxy.fandom.com/ru/wiki/Вавилонская_рыбка

Crocodoom ★★★★★ ()

Production
Norwegian Bokmål -> English
Development
Norwegian Nynorsk -> English

@lenin386 — по-прежнему настаиваешь, что норвежский язык один? Да и мне в проект когда перевод приносили, писали, что это nb_NO, а не просто NO.

hobbit ★★★★★ ()
Ответ на: комментарий от EXL

Там всё весело на самом деле.

Если просто ввести первый абзац этой новости и пощёлкать <--> раз 10, то

В январе 2019 года Mozilla присоединилась к Эдинбургскому университету, Карловому университету, Университету Шеффилда и Тартускому университету в рамках проекта под названием Project Bergamot, финансируемого Европейским Союзом. Конечная цель этого консорциума заключалась в создании набора нейронных инструментов машинного перевода, которые позволили бы Mozilla разработать надстройку для перевода веб-сайтов, работающую локально, т. е. механизмы, языковые модели и алгоритмы перевода на странице должны были бы находиться и выполняется полностью на компьютере пользователя, поэтому никакие данные не будут отправлены в облако, что сделает их полностью конфиденциальными.

Превращается в

В 2019 году Московский Свинг Аребятский университет, Военно-учебные книжные университеты, Университет Стхе Тараи, Университет Стхе Тареа, Sthoe Тареи Послание по пути проекта Pode Spectrum Project Bergamot, Союз Сим-е.Сбисный йогурт Конкавийский конкаквавсецивск в категории регулятивной администрации в категории регламента по заголовке руководителя руководителя руководителя заголовки руководителя руководителя руководителя заголовки руководителя руководителя.слова, хранящиеся в управлении и вели после всего компьютера, он x для которого, для которого подается в срыве, лежа в уложенном в уложенном хоккее.

Crocodoom ★★★★★ ()
Ответ на: комментарий от Crocodoom

Если у нейросети нет адекватной неподвижной точки при цепочке переводов (ru->en->ru->en...), то это собственно значит, что она нихера не «понимает», что переводит и зачем

Crocodoom ★★★★★ ()

К сожалению отсутствуют языки нужные мне. .и так просто словарей не накатаешь на коленке, надо быть сразу датасаентологом. А в результате переводит хуже, чем классические словари типа Goldendict. Усложнили, но улучшили ли?

R_He_Po6oT ★★ ()
Ответ на: комментарий от Crocodoom

она нихера не «понимает», что переводит и зачем

С козырей зашёл

user960818 ()
Ответ на: комментарий от hobbit

Не всё ли равно, сколько норвежских языков.

Мне как-то попался обзор компьютерного товара на норвежском языке. Переводчик Google перевёл его на русский так, что получилась бессмыслица. Но на английский он перевёл сносно.

Partisan ★★★★ ()
Ответ на: комментарий от Crocodoom

у нейросети

нихера не «понимает»

Спасибо, Кэп :)

hobbit ★★★★★ ()
Ответ на: комментарий от token_polyak

У него же есть возможность переводить тексты. По крайней мере была. Да, он делал жто пословно, но смысла во фразах было больше, чем теперь. Я установил этот мозиловский переводчик, зашёл на дистровоч, нажал кнопку «переести» и выпал в осадок.

И в отличие от ИИшных новомодных переводчиков, голдендикт матом не сыпал переводя «Что происходит?». Я вообще заметил, что кто-то старательно поработал над матом в этой бергамотской модели, чуть что, он мне еьать мозг предлагает.

R_He_Po6oT ★★ ()

Демка пока-что очень сырая, но если так подумать - со временем допилят, и может быть будет неплохой оффлайновый переводчик в виде программы на линукс. А то если вспомнить, в виндовс был какой-нибудь мэджик-гуди, а в линуксе аналоги начали появляться только потом, да и были очень простыми.

Если так посмотреть, то может быть даже напишут программу, которая сможет для предложений в PDF подсказки выводить, чтобы было легче читать документы и книги.

Set440 ()
Ответ на: комментарий от xwicked

Должно взлететь, а почему нет?

Mozilla

ну да... что может пойти не так?

crypt ★★★★★ ()

Херасе, иновация! Это реально могло бы сделать Mozilla снова живой.

Richter ()

Попробовал переводить. Да, переводит, пока, хреново. Но если это будет работать локально, то это однозначно плюс и имеет право на жизнь.

Feonis ★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.