ЧатЖПТ отупел

Всё на свете делается, чтобы привлечь внимание - либо спонсоров, либо баб, либо санитаров.

без цифр говорить не о чем. как измерить отупение? а главное в чём?

Вероятность, что ИИ верно решит простую математическую задачу. Упала с ~97,5% до ~2,5%: https://www.ixbt.com/news/2023/07/19/chatgpt-gpt-4.html

ЧатЖПТ отупел

Алвайзхазбин.пнг

моё предположение о причинах данного феномена:

архитектура сетей-языковых процессоров подразумевает существование некой «оперативной памяти» - состояния которое подается на вход вместе с новым куском данных (буква текста) и на выходе новое состояние этой памяти, которое подается со следующей буквой и т.д. таким образом, эта оперативная память по сути является той средой где НС «мыслит» о предмете разговора с пользователем.

для поддержания диалога сети скармливается полностью весь разговор с начала перед отдачей последнего промпта от пользователя. кроме того, до первого промпта пользователя, ей скармливается вся цензурная часть.

таким образом, при увеличении цензурной части, вся оперативная памяти всё более оккупируется этой частью и на остальные функции системы памяти не остается. для ликвидации данного недостатка надо увеличивать размер сенсора сети что приведет к экспоненциальному росту количества параметров сети.

не воспринимайте как экспертное мнение - я только простые перцептроны ковырял, про языковые процессоры только самые азы прочитал и не пытался ковырять.

Да вы шо, не может такого быть. А может отупевают (прямо на глазах) пользователи сети интырнет, откуда эта дурилка картонная черпает мудрость.

На самом деле кому надо показали, что приборы имеются, а потом прикрутили краник. Кто же будет профанам давать такие возможности.

Скорее, что при использовании сети происходит её тонкая донастройка на основе промпт-запросов. Зная, как люди спрашивают, неудивительно, что общая эффективность падает.

Это если ее переучивают регулярно, включая в датасет диалоги с пользователями. Сомневаюсь что это так. Обучение происходит на специально составленных диалогах и энциклопедических данных, полученных из разных источников, эти вещи пополнять нельзя из диалогов с пользователями т.к. там обычно спрашивают, а не отвечают. Скорее дополнительные фильтрующие промпты добавляют постоянно, не меняя саму сеть.

Не обучают, а дообучают - Fine Tuning.

Да просто счёт за электричество датацентру пришёл.

маневр хозяев ии

Вроде апдейт выкатили 20 июля. Может испугались, что клиенты уходят.

https://community.openai.com/t/gpt-4-has-been-severely-downgraded-topic-curation/304946/31

Подняли хайп, привлекли человеков для тестирования, отчитались перед инвесторами за потраченные деньги, обосновали дополнительные инвестиции. А когда реальные результаты были получены - закрыли их для пролов. Сейчас chatGPT будут использовать в серьезных кейсах: проектирование новых вирусов, моделирование социальных процессов, геополитическое моделирование, порно

Просто Microsoft объявил о внедрении и монетизации AI в будущих версиях Office. Им второй такой же бесплатный ChatGPT не нужен.

Скорее всего, он подстраивается под клиента.

Поскольку не является живым микроорганизмом.

сберовский гигачат

Возвращают Гигачат, но доступ эксклюзивно только по Сбер ID. Для обычного профиля на developers по-прежнему чатик недоступен «Действие недоступно для текущей учетной записи».

Первый раз попробовал сегодня GPT4.

Впечатление очень удручающее, даже хуже гугла :(

С одной стороны нередко дает вроде правильные ответы (по крайне мере на темы, которые не под табу), с другой стороны эти ответы настолько общие, что они почти очевидны интуитивно без подобного АИ.

Элементарно, Ватсон: изначальная модель чатгопоты была руками тонко заоптимизирована при помощи человеков, которые подсказывали сетке ответы на популярные спектры запросов. Точно так же делает гугл, и точно так же гугл скатывается в говно, потому что не способен адекватно искать информацию в незаоптимизированных сферах, вроде поиска по старым вебсайтам.

Далее, деньги у OpenAI кончились — остановили ручную подгонку — сетка скатилась в говно. Я давно пишу, что весь этот OpenAI (как и любой проект, связанный с Илоном Маском) — это сплошная пыль в глаза, у их нейросеток нет таких способностей, какие им додумывают. Например, OpenAI никогда не мог на равных победить команду по доте.

Этим разводам с искуственным интеллектом сто лет в обед, вспомните хотя бы историю с первым ИИ, выигравшим в шахматы у Каспаров, в котором IBM подмухлевало и подсказало машине ходы. Снова и снова нам хотят сказать, что человек не нужен, но снова и снова тупая железяка делает тупую херню и приходится как минимум садить человека чтобы просто следить за работой ИИ.

Вы можете мне возразить, мол, нейросетки шахматные нынче играют лучше кожанного мешка. Однако, во-первых, у нейросеток в разы выросла возможность перебора грубоой силой, а во-вторых нейросетка обучена на партиях опытных шахматистов, из-за чего демонстрирует очень странный стиль игры: атаку на отдельную позицию в расчете на ошибку защиты, после чего в случае отсутствия ошибок происходит резкое нелогичное отступление (бегство). Так строят атаку ЛЮДИ, у которых ограниченные способности к полному перебору и потом они ограничивают пространство расчета комбинаций, но нейросетке нет смысла подражать этому стилю — это просто показывает, насколько важно для современных тупых моделей ручная коррекция.

У GPT есть вполне публично описанная модель, одно из преимуещств которой — это использование алгоритмов внимания/трансформеров, которые отличаются хорошей параллелизуемостью вычислений на GPGPU и большим объемом «временной памяти», благодаря чему описанная тобой проблема исчерпания объема «временной памяти» уже не настолько актуальна, объем ее растет примерно линейно с ростом сети.

Трансформеры вообще в гугле придумали, OpenAI ничего нового не изобретал.

С одной стороны нередко дает вроде правильные ответы (по крайне мере на темы, которые не под табу), с другой стороны эти ответы настолько общие, что они почти очевидны интуитивно без подобного АИ

На самом деле больше всего пугают ответы, которые похожи на правильные, но на самом деле они неправильны. Именно потому ChatGPT забанен на Stackoverflow.

Может быть, раньше ГПТ и был умнее, но IMHO на данный момент поисковики Google и Яндекс выглядят намного полезнее, выдавая намного более правильные ответы в своих топах.

При этом Яндекс позволяет выявить те линки, которые в гугле явно побанены.

это ваше жпт работает с базой данных, какая база - такой результат, если забить в базу что гитлер хороший - получится одно, если забить что плохой - получится другое.

Может быть, раньше ГПТ и был умнее, но IMHO на данный момент поисковики Google и Яндекс выглядят намного полезнее, выдавая намного более правильные ответы в своих топах

Смотря на какие запросы. Подтверждаю, что раньше приходилось пролистывать кучу страниц в гугле, чтобы найти правильный ответ. Правда, это по прежнему приходится периодически делать для тех запросов, под которые гугл не оптимизирован.