Исправление foror, (текущая версия) :
1. Легально ли это?
Поисковики хранят базу всего публичного интернета, но ты же не поисковик?
Не нарушает ли это законы РФ\США\Других стран?
Зависит от многих факторов, вплоть до того сколько у тебя бабосов на банковском счету. Или думаешь законы стран логичны и выверены? И вот это прост так придумали: Закон, что дышло, хе-хе, — забубнил Ездаков, — куда повернул — туда и вышло.
2. Я так понимаю что надо очень быстрый интернет, то есть арендовать выделенный сервер на гигабитами в секунду.
Нужно много ipv4 не заблоченных пациентом. У хетцнера, например, много ipv4 заблочены. Купишь и обломаешься.
Поэтому покупать лучше у малоизвестных хостеров, но которые не перепродают ресурсы известных хостеров. А еще можно попробовать проксей купить, кто гарантирует, что они не заблочены. Но есть риск купить базу зомбей и попасть под раздачу отделения «К».
Не забанят ли за это хостеры?
Им пох, если тебя не ддосят и абузы на тебя не шлют.
Не забнят ли «по IP» служба безопасности социальных сетей?
Забанит.
Не нарушает ли это правила социальных сетей?
См. подпункт 1 (про законы)
4. Может кто знает с чего начать?
С программирования. Лучше использовать джаву, если не осилишь, можешь попробовать питон или голанг. Больше тебе не подскажут, потому что ты спалишь пул ipv4 своими неграмотными действиями, а людям потом новый пул собирать.
Это должен быть shell script с использованием wget или есть специальные инструменты для этого?
Нет, это будет относительно сложная, многопоточная программа, с выверенными таймаутами для каждого потока, с биндингом ipv4 или прокси на каждый поток. С библиотекой для разбора HTML и умеющая в XPath запросы. И по итогу сливающая всё в одну базу.
Исходная версия foror, :
1. Легально ли это?
Поисковики хранят базу всего публичного интернета, но ты же не поисковик?
Не нарушает ли это законы РФ\США\Других стран?
Зависит от многих факторов, вплоть до того сколько у тебя бабосов на банковском счету. Или думаешь законы стран логичны и выверены? И вот это прост так придумали: Закон, что дышло, хе-хе, — забубнил Ездаков, — куда повернул — туда и вышло.
2. Я так понимаю что надо очень быстрый интернет, то есть арендовать выделенный сервер на гигабитами в секунду.
Нужно много ipv4 не заблоченных пациентом. У хетцнера, например, много ipv4 заблочены. Купишь и обломаешься.
Поэтому покупать лучше у малоизвестных хостеров, но которые не перепродают ресурсы известных хостеров. А еще можно попробовать проксей купить, кто гарантирует, что они не заблочены. Но есть риск купить базу зомбей и попасть под раздачу отделения «К».
Не забанят ли за это хостеры?
Им пох, если тебя не ддосят и абузы на тебя не шлют.
Не забнят ли «по IP» служба безопасности социальных сетей?
Забанит.
Не нарушает ли это правила социальных сетей?
См. подпункт 1 (про законы)
4. Может кто знает с чего начать?
С программирования. Лучше использовать джаву, если не осилишь, можешь попробовать питон или голанг. Больше тебе не подскажут, потому что ты спалишь пул ipv4 своими неграмотными действиями, а людям потом новый пул собирать.
Это должен быть shell script с использованием wget или есть специальные инструменты для этого?
Нет, это будет относительно сложная, многопоточная программа, с выверенными таймаутами для каждого потока, с биндингом ipv4 или прокси на каждый поток. И по итогу сливающая всё в одну базу.