Парсим Google на Perl (или Google Hack HowTo)
В статье вы найдете описание метода, позволяющего эффективно посылать запросы серверам Google и обрабатывать ответы. Прилагаются скрипты на Perl в количестве 3 штук, а также список из 106 рабочих анонимайзеров. Ключевые моменты:
- Как обойти капчу и ограничение на частоту запросов
- Как собрать прокси и проверить их валидность
- Как распараллелить посылку запросов
- Как реализовать возможность приостанавливать скрипт
- Пишем универсальный парсер
Приведенные скрипты могут быть использованы в аналитических исследованиях, а также автоматизации сбора различного рода информации при помощи поисковой системы Google.
