Эмуляция браузера на PHP

есть молоток, есть гвоздь. к чему я это - как построить звездолет?

Искать по запросу headless browser.

selenium
phantomjs

Парсишь поисковую выдачу? Браузер не поможет.

И это никак не обойти? Задержку какую-нибудь добавить, имитацию пользователя?

имитацию пользователя?

This. Посмотри, какие запросы делает браузер к Яндексу, имитируй их на пыхе.

Задержку какую-нибудь добавить, имитацию пользователя

Ты много знаешь пользователей, которые сутками сидят и долбят поиск?

По теме - для начала нужно применять куки, которые отдаёт яндекс (особенно spravka).

https://tech.yandex.ru/xml/

https://tech.yandex.ru/sitesearch/sitesearchapi/

но, скорее всего, платно

На пхп не знаю, но настоятельно советую puppeteer. Ты в джаваскрипт умеешь? Если да, то это идеальный вариант. Но тебя всё равно вычислят и набьют еб.

А разве такое вообще бывает? Кое-что, к примеру DOM, можно строить и изменять с помощью соответствующих либ(их иногда для сложных случаев парсинга юзают), но полностью эмулировать браузер на php не реально. Тут вам нужен Headless Chrome c remote-debugging, Selenium, phantomjs или что-то вроде того.

Нет такого нормального, все написано для node.js

https://github.com/GoogleChrome/puppeteer

Премного благодарю за инструмент. Немного прочитал и это мощно. Будем пытаться завести

В любом случае вы придёте к тому, что после N запросов будет каптча тупо потому что живой человек обычно не делает 24/7 монотонно запросы. Так что либо периодически менять IP (со сбросом кук, разумеется), либо подключать сервисы платного разгадывания каптчи (на них тысячи индусов за копейки в прямом смысле разгадывают каптчи, которые ты им суёшь через API). Либо и то, и другое.

Парсинг 24/7 не нужен. Он всего лишь должен будет единожды собирать данные по указанным ключам

Спасибо за ссылку, интересный проект этот Puppeteer. Нужно будет пощупать его в деле как нибудь.

если для тестов, то ничего нет лучше cypress. а то, просто запускается браузер без графического интерфейса headless, запускается веб-сокет сервер и безголовому браузеру отдаем приказы по веб-сокетам. есть еще питоновская версия (требует опыта работы с asyncio), но на js кошернее

Иногда просто безголовый браузер нужен, а иногда - для решение для тестов. Спасибо, посмотрю и cypress.