LINUX.ORG.RU

Есть ли llm для перевода человечьих языков с низким потреблением ресурсов? +

 


0

2

Спросил у ллм больших - результат так себе.

Постоянно то самолет, то нет сети, но нужен перевод переписки не «фром май харт», а посерьезнее. Ноутбук мой - микрокирпич с 4гб оперативки, но все необходимые задачи выполняет на ура. Как современный качественный переводчик текстов запилить в него?

Ответ на: комментарий от LightDiver

Да ну? gemma 3 1b вполне работает и потребляет меньше 1гб. Возможно есть более интересные и современные.

lomaster
() автор топика
Ответ на: комментарий от goingUp

Причем тут «умный дом»? У меня основные вендоры говорят на пяти языках, один фиг кто-то это переводит.

lomaster
() автор топика
Последнее исправление: lomaster (всего исправлений: 1)
Ответ на: комментарий от lomaster

Да, кстати - по поводу переводов. Переводы на экзоязыки работают через ж, лучше всего работает перевод на англ и с англ - соостветственно можно использовать трюк перевода сначала на англ, анализа-правки результата ибо англ знают по крайней мере письменно чуть больше чем все. А дальше с англ промежуточного рузультата перевод на очередного экзота.

То есть с какого-нибудь условного фарси - на англ, а с англ на рус будет более вменяемо чем напрямую фарси-рус.

Фокс переводит не так уж и плохо в общем-то. Но да, если ты хочешь переводить серьезные научные статьи на халяву ноутом с 4 г - то увы. За это пока деньги платят.

Qui-Gon ★★★★★
()
Ответ на: комментарий от Qui-Gon

Фокс переводит не так уж и плохо в общем-то

Было бы хорошо поговорить о вкусе устриц с теми, кто их пробовал:) вы рекомендуете абсолютно невменяемое решение

lomaster
() автор топика
Последнее исправление: lomaster (всего исправлений: 1)
Ответ на: комментарий от lomaster

ну какбы мы говорим о решении которое вписывается в заявленный бюджет.

Ноутбук мой - микрокирпич с 4гб

Какбы размахивая бумажкой в 1 доллар требовать устриц на лазурном берегу - это наглость за которую из устричной вышибала вышвырнет за шкирняк и ускорит полет пинком под аплодисменты и веселлый смех тех кто заплатил за устриц по прейскуранту :)

Я рекомендую решение которое будет работать если подключить к нему немного мозга. А попытки на халявку въехать в рай пока - к счастью для многих кожаных - успехом не завершаются.

Qui-Gon ★★★★★
()

ollama + любая модель, которая влезет в твои тебования. Вероятно это будет от 1 до 3 миллиардов параметров, на больше не хватит рамы. Соответственно, качай всё, что не сильно древнее и качается на 1b, 2b или 3b, да пробуй, что лучше устроит для конкретной связки языков и твоих нюансов.

Но прям совсем хорошо всё равно не будет с такими ресурсами. Было бы хотя бы рамы 16 ГБ, можно было бы что-то как-то…

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от mamina_radost

чтобы знал как

да запросто - 4 гига это до жопы, машина даже не свопится никогда

$ free -m
               total        used        free      shared  buff/cache   available
Mem:            3915         747        1328          32        2090        3168
Swap:           4000           0        4000
amd_amd ★★★★★
()

Можешь попробовать Hy-MT2. Сейчас по тесту встопил её на одноплатнике с 4 гигами оперативки в llama.cpp и попросил перевести первый абзац самопиарного текста. Можешь сравнить результат перевода первых двух предложений с локальным переводом от лисы.

Оригинал:

Hy-MT2 is a family of “fast-thinking” multilingual translation models designed for complex real-world scenarios. It includes three model sizes: 1.8B, 7B, and 30B-A3B (MoE), all of which support translation among 33 languages and effectively follow translation instructions in multiple languages.

Hy-MT2:

Hy-MT2 — это семейство «быстро мыслящих» многоязычных переводческих моделей, разработанных для сложных реальных ситуаций. Оно включает три размера моделей: 1,8B, 7B и 30B-A3B (MoE), все из которых поддерживают перевод на 33 языках и эффективно выполняют инструкции по переводу на разных языках. 

Firefox:

Hy-MT2 - это семейство «быстро мыслящих» многоязычных моделей перевода, предназначенных для сложных реальных сценариев. Он включает в себя три размера моделей: 1.8B, 7B и 30B-A3B (MoE), все из которых поддерживают перевод среди 33 языков и эффективно следуют инструкциям по переводу на нескольких языках.
GenSekY
()
Ответ на: комментарий от LightDiver

На этом даже просто пользоваться ноутбуком было нельзя уже лет 10 назад.

Это когда используешь «по» от любителей смузи и нелюбителей получать образование. На этом ноутбуке отлично крутится проект здания на 50 тыс кв м включая всю инженерку и еще хорошо так ресурсов остается.

lomaster
() автор топика
Ответ на: комментарий от GenSekY

Ага, спасибо, попробую. Вон файрфокс лажает даже на таком простом тексте:(

lomaster
() автор топика
Ответ на: комментарий от GenSekY

Интересно, а оно сможет перевести субтитры в формате srt с финского языка? Не сломается от того, что предложения иногда разрываются на части, между которыми стоят цифры и переводы строки?

Upd. А, вижу, что прямо специально для субтитров её делали. Но финского нет :(

knovich ★★
()
Последнее исправление: knovich (всего исправлений: 1)
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария