Помогите с концептом или ткните на пример, если такой есть. Для академической задачи по BigData надо выкачать весь фэйсбук\вконтакт, информации что доступна без регистраций на страницах пользователей вполне хватит. Сразу вижу следующие вопросы: 1. Легально ли это? Не нарушает ли это законы РФ\США\Других стран? 2. Я так понимаю что надо очень быстрый интернет, то есть арендовать выделенный сервер на гигабитами в секунду. Не забанят ли за это хостеры? 3. Не забнят ли «по IP» служба безопасности социальных сетей? Не нарушает ли это правила социальных сетей? 4. Может кто знает с чего начать? Это должен быть shell script с использованием wget или есть специальные инструменты для этого?