История изменений
Исправление byko3y, (текущая версия) :
Распознавание документов в строго определенную json структуру (на примере резюме) https://youtube.com/watch?v=khF3Lc1OhOI
А, так это вы — те самые чудовища, которые сводят кандидатов к ключевым словам и помогают HR-ам псевдослучайным образом избавиться от требуемой доли соискателей?
Могу разве что показать что могут 8—16B специализированные коммерческие сети обученные под задачи
Могу показать, как нейросеть апворка не смогла распарсить моё резюме. В текстовом виде. На английском языке. Если вам нужен человек, который сломает вашу нейросеть — я всё ещё в поиске работы.
Генерация тестов по скриншотам десктоп и веб приложений https://youtube.com/watch?v=4ujcAOWkaew
Создание DFMEA по чертежам https://youtube.com/watch?v=FlFB65gSRe8
Так уж получилось, что я шесть лет работал с гуишным продом, а также по образованию инженер, потому ответственно заявляю, что оба примера — полнейшая херня.
Разработка тестов плана «проверить, что поле редактирования является полем и оно редактирует» — это одна сотая от требуемого тестирования интерфейса. И даже тут нейросетка не заметила кнопку «IconJar is also available on Setapp for $9.99/mo».
По CAD там просто дичь, самые адекатные рекомендации «проверьте высоту и длину детали» — дальше спецификацию допусков на элементы мама-папа нейросеть, как я понял, не распарсила в принципе, после чего ни одной рекомендации полезной оно дать в принципе не может. На второй детали нейросеть советует проверить пазы, которых просто нет на чертеже, но тут я уже не удивился, потому что генерация бреда, похожего на речь человека — это в принципе основная задача языковых моделей. Дальше я даже не смотрел, идея в целом мне ясна.
Я напоминаю, что речь изначально шла про генерализацию, про применение изученных навыков в новых условиях. Генерализацию, а не бредогенерацию. Пока что я не вижу «навыков», адаптация бредогенератора к новому шаблону — это ещё не демонстрация способностей обобшения.
И тут, конечно, llama.cpp не масштабируется за пределы 1 видеокарты и batch size 16.
А должна?Для локальных пет проектов - не должна конечно.
Вот та херотень из видео ( https://youtube.com/watch?v=khF3Lc1OhOI , https://youtube.com/watch?v=4ujcAOWkaew , https://youtube.com/watch?v=FlFB65gSRe8 ) — это «серьёзные проекты», я всё правильно понел?
У меня в реальной работе batch size доходит до 4096, куда там llama.cpp? Выдохните.
В «реальной работе» при принятии решений нейросети не используются, а для функций референта llama.cpp более чем достаточно. Скажем так: Claude 3.5 читает-пишет код лучше, чем Deepseek Coder 6.7B, но не радикально. Для имитации трудовой активности Claude 3.5 подходит лучше, но проект 100+ тыс строк ей всё ещё не по зубам. Транскрипция аудио? Whisper.cpp прекрасно с этим справляется, даже без видимокарты. Если модель вся не влезла в GPU — часть просто будет считаться на процессоре. Ну типа вот такого:
NAME ID SIZE PROCESSOR CONTEXT UNTIL
deepseek-coder:6.7b ce298d984115 8.8 GB 38%/62% CPU/GPU 8192 26 minutes from now
Если же говорить про модели 200B+, то купить оборудования на $300 тыс для инференс такой штуки у себя не каждая контора может позволить, да и не нужно это, потому что загружать гигантскую стойку просто нечем (нет столько гигабайт данных каждый день). Вот и всё, если включать голову при применении нейросеток, то внезапно выясняется, что llama.cpp и облачные нейросетки покрывают 90% потребностей.
Исходная версия byko3y, :
Распознавание документов в строго определенную json структуру (на примере резюме) https://youtube.com/watch?v=khF3Lc1OhOI
А, так это вы — те самые чудовища, которые сводят кандидатов к ключевым словам и помогают HR-ам псевдослучайным образом избавиться от требуемой доли соискателей?
Могу разве что показать что могут 8—16B специализированные коммерческие сети обученные под задачи
Могу показать, как нейросеть апворка не смогла распарсить моё резюме. В текстовом виде. На английском языке. Если вам нужен человек, который сломает вашу нейросеть — я всё ещё в поиске работы.
Генерация тестов по скриншотам десктоп и веб приложений https://youtube.com/watch?v=4ujcAOWkaew
Создание DFMEA по чертежам https://youtube.com/watch?v=FlFB65gSRe8
Так уж получилось, что я шесть лет работал с гуишным продом, а также по образованию инженер, потому ответственно заявляю, что оба примера — полнейшая херня.
Разработка тестов плана «проверить, что поле редактирования является полем и оно редактирует» — это одна сотая от требуемого тестирования интерфейса. И даже тут нейросетка не заметила кнопку «IconJar is also available on Setapp for $9.99/mo».
По CAD там просто дичь, самые адекатные рекомендации «проверьте высоту и длину детали» — дальше спецификацию допусков на элементы мама-папа нейросеть, как я понял, не распарсила в принципе, после чего ни одной рекомендации полезной оно дать в принципе не может. На второй детали нейросеть советует проверить пазы, которых просто нет на чертеже, но тут я уже не удивился, потому что генерация бреда, похожего на речь человека — это в принципе основная задача языковых моделей. Дальше я даже не смотрел, идея в целом мне ясна.
Я напоминаю, что речь изначально шла про генерализацию, про применение изученных навыков в новых условиях. Генерализацию, а не бредогенерацию. Пока что я не вижу «навыков», адаптация бредогенератора к новому шаблону — это ещё не демонстрация способностей обобшения.
И тут, конечно, llama.cpp не масштабируется за пределы 1 видеокарты и batch size 16.
А должна?Для локальных пет проектов - не должна конечно.
Вот та херотень из видео ( https://youtube.com/watch?v=khF3Lc1OhOI , https://youtube.com/watch?v=4ujcAOWkaew , https://youtube.com/watch?v=FlFB65gSRe8 ) — это «серьёзные проекты», я всё правильно понел?
У меня в реальной работе batch size доходит до 4096, куда там llama.cpp? Выдохните.
В «реальной работе» при принятии решений нейросети не используются, а для функций референта llama.cpp более чем достаточно. Скажем так: Claude 3.5 читает-пишет код лучше, чем Deepseek Coder 6.7B, но не радикально. Для имитации трудовой активности Claude 3.5 подходит лучше, но проект 100+ тыс строк ей всё ещё не по зубам. Транскрипция аудио? Whisper.cpp прекрасно с этим справляется, даже без видимокарты. Если модель вся не влезла в GPU — часть просто будет считаться на процессоре. Ну типа вот такого:
NAME ID SIZE PROCESSOR CONTEXT UNTIL
deepseek-coder:6.7b ce298d984115 8.8 GB 38%/62% CPU/GPU 8192 26 minutes from now
Если же говорить про модели 200B+, то купить оборудования на $300 тыс для инференс такой штуки у себя не каждая контора может позволить. Вот и всё, если включать голову при применении нейросеток, то внезапно выясняется, что llama.cpp и облачные нейросетки покрывают 90% потребностей.