Как делать 404 подсказки для поисковика

чот там они придумали какой-то SSR, посмотри в эту сторону

Да SSR это на сервере шаблоны генерит...ну и что? Во-первых, я не использую SSR, во-вторых, один хер шаблон, уже собранный в html, будет тянуть с сервера данные

Нашел вот только...

https://stackoverflow.com/questions/35989950/how-to-notify-googlebot-about-40...


Добавлять <meta name=«robots» content=«noindex»/>

Но это какой-то хак не официальный

Никак. А зачем?

Добро пожаловать в дивный мир динамических сайтов и победившего джаваскрипта.

Может хеадлесс хром или селениум спасут?

Ну, чтобы бот знал что страницы не существует? Или как там сейчас? Можно конечно и в robots прописывать и в sitemap...и ещё...куда-то, наверное... Или забить!

Добро пожаловать в дивный мир динамических сайтов

Да давно уже там

Может хеадлесс хром или селениум спасут?

Хм, интересно

https://developer.chrome.com/blog/headless-chrome

Но к чему это?

Во-первых, я не использую SSR

Ну так тебе нужно начать использовать для сабжа и прочего

во-вторых, один хер шаблон, уже собранный в html, будет тянуть с сервера данные

Ну да, так что в чем проблема?

Или забить!

Тоже вариант)

Есть предположение что они могут забирать сайт, процессить все скрипты и отдавать готовый результат.

Но я не настоящий веб сварщик.

Ну да, так что в чем проблема?

Ты походу немного не в теме

Это не предположение, так оно и есть. Давно уже и официально заявлено. Парсится DOM дерево, что правильно. Да ресурсов конечно оно намного больше, но другого варианта у поисковиков нет. Впрочем это их задача, а не наша.

Зачем ты переживаешь за бота? Боты разберутся. А не разберутся - их проблемы. Гугл - точно разберётся.

Вообще можно отметить такой не всем очевидный факт, что код ответа на HTML страницу браузер игнорирует (не прям совсем игнорируют, есть перенаправления, есть ещё нюансы). Т.е. ты можешь отдавать 404 на все страницы своего сайта и ни один пользователь этого не заметит, пока не полезет зачем-нибудь в инструменты разработчика. Браузеру интересен Content-Type и, собственно, тело ответа. Исходя из этого, постановка задачи уже начинает терять смысл.

В общем рекомендую эту задачу не решать вообще. Показывай страницу «товар не найден» для пользователя, а боты пусть сами разбираются.

Ну и, конечно, правилом хорошего тона является предотвращать появление нерабочих ссылок в принципе кроме тех случаев, когда иначе нельзя.

Отмечу, что SPA и роботы это вообще муторная тема и если для тебя роботы важны, это, пожалуй, единственный существенный аргумент в пользу отказа от SPA.

Чисто теоретически ты можешь добавить <meta name="robots" content="noindex"> жаваскриптом, как индикацию того, что страница не найдена, но насколько боты тебя поймут - я не знаю.

что ды делать пытаешься? сам пишешь бэкенд, сам фронтенд и боишься 404? найми QA или заставь своего делать чаще регрессы. выстрой разработку таким образом, чтобы тестовое покрытие было достаточным. если тебе нужно от чужого бэкенда получать 404 и обрабатывать, ну так там в fetchApi есть catch - там оно вывалится (ЕМНИП).

Нет, он пытается сделать страницу 404 для урла с несуществующим id. Это не апишка, а страница для пользователя.

один хер шаблон, уже собранный в html, будет тянуть с сервера данные

Нет, на стороне сервера при SSR-рендере собираемой страницы будет обнаружено отсутствие страницы, что позволит сгенерировать ответ 404.