[Перевод] Node.js, Tor, Puppeteer и Cheerio: анонимный веб-скрапинг07.02.2020 13:18

Веб-скрапинг — это метод сбора данных с веб-сайтов. Этот термин обычно используется в применении к автоматизированному сбору данных. Сегодня мы поговорим о том, как собирать данные с сайтов анонимно. Причина, по которой некто может захотеть анонимности в деле веб-скрапинга, заключается в том, что многие веб-серверы применяют определённые правила к подключениям с IP-адресов, с которых за некий отрезок времени выполнено какое-то количество запросов. Здесь мы будем пользоваться следующими инструментами:

  • Puppeteer — для доступа к веб-страницам.
  • Cheerio — для парсинга HTML-кода.
  • Tor — для выполнения каждого запроса с различного IP-адреса.


Надо отметить, что правовые аспекты веб-скрапинга — вопрос непростой и часто неясный. Поэтому уважайте «Условия использования» тех страниц, данные которых вы собираете. Вот хороший материал на эту тему.

lep2maug31nga07riq1kdys4mkq.jpeg

Установка Tor


Начнём с начала — поэтому первым делом установим клиент Tor, воспользовавшись следующей командой: 

sudo apt-get install tor


Настройка Tor


Теперь настроим клиент Tor. В конфигурации Tor, применяемой по умолчанию, используется порт SOCKS, который даёт нам один путь к единственному выходному узлу (то есть — один IP-адрес). Для повседневного использования Tor, вроде обычного просмотра веб-страниц, это вполне подходит. Но нам нужно несколько IP-адресов. Это позволит переключаться между ними в процессе веб-скрапинга.

Для того чтобы настроить Tor так, как нам нужно, мы просто откроем дополнительные порты для прослушивания SOCKS-соединений. Делается это путём добавления нескольких записей SocksPort в главный конфигурационный файл программы, который можно найти по адресу /etc/tor.

Откроем файл /etc/tor/torrc с помощью какого-нибудь текстового редактора и добавим в конец файла следующие записи: 

# Откроем 4 SOCKS-порта, каждый из которых даёт нам новый Tor-маршрут.

SocksPort 9050
SocksPort 9052
SocksPort 9053
SocksPort 9054


Тут стоит обратить внимание на следующее:

  • Значение каждого параметра SocksPort является числом. Число — это номер порта, по которому клиент ожидает поступления соединения от приложений, использующих протокол SOCKS, вроде браузеров.
  • Так как значение SocksPort задаёт порт, который будет открыт, порт с соответствующим номером должен быть свободным, а не используемым каким-нибудь другим процессом.
  • Номера портов начинаются с 5050 — номера порта, используемого Tor-клиентом по умолчанию.
  • Мы пропустили номер порта 5051. Этот порт используется Tor для того, чтобы позволить внешним приложениям, подключающимся по данному порту, управлять процессом Tor.
  • Выбирая номера портов после 5051, мы пользуемся простым соглашением, в соответствии с которым номера портов увеличиваются на 1.


Для того чтобы применить изменения, внесённые в конфигурационный файл, перезапустим клиент Tor: 

sudo /etc/init.d/tor restart


Создание нового проекта Node.js


Создадим новую директорию для проекта. Назовём её superWebScraping: 

mkdir superWebScraping


Перейдём в эту директорию и инициализируем пустой Node-проект: 

cd superWebScraping && npm init -y


Установим необходимые зависимости: 

npm i --save puppeteer cheerio


Работа с веб-сайтами с помощью Puppeteer


Puppeteer — это браузер без пользовательского интерфейса, который использует протокол DevTools для взаимодействия с Chrome или Chromium. Причина, по которой мы не используем тут библиотеку для работы с запросами, вроде tor-request, заключается в том, что подобная библиотека не сможет обрабатывать сайты, созданные в виде одностраничных веб-приложений, содержимое которых загружается динамически.

Создадим файл index.js и поместим в него следующий код. Основные особенности этого кода описаны в комментариях.

/**
 * Подключим библиотеку puppeteer.
 */
const puppeteer = require('puppeteer');

/**
 * В функции main размещаем код, который
 * будет использован в ходе веб-скрапинга.
 * Причина, по который мы создаём асинхронную функцию,
 * заключаемся в том, что мы хотим воспользоваться асинхронными
 * возможностями puppeteer.
 */
async function main() {
  /**
   * Запускаем Chromium. Установив ключ `headless` в значение false,
   * мы можем видеть интерфейс браузера.
   */
  const browser = await puppeteer.launch({
    headless: false
  });

  /**
   * Создаём новую страницу.
   */
  const page = await browser.newPage();

  /**
   * Используя новую страницу, переходим на https://api.ipify.org.
   */
  await page.goto('https://api.ipify.org');

  /**
   * Ждём 3 секунды и закрываем экземпляр браузера.
   */
  setTimeout(() => {
    browser.close();
  }, 3000);
}

/**
 * Запускаем скрипт, вызвав main().
 */
main();


Запустим скрипт следующей командой: 

node index.js


После этого на экране должно появиться окно браузера Chromium, в котором открыт адрес https://api.ipify.org.

f5a66afdc58793e9913dcb868f2e19c9.png


Окно браузера, Tor-подключение не используется

Я открыл в окне браузера именно https://api.ipify.org из-за того, что эта страница может показать общедоступный IP-адрес, с которого к ней обращаются. Это — тот адрес, который виден посещаемым мной сайтам в том случае, если я захожу на них без использования Tor.

Изменим вышеописанный код, добавив следующий ключ в объект с параметрами, который передаётся puppeteer.launch: 

  /**
   * Запускаем Chromium. Установив ключ `headless` значение false,
   * мы можем видеть интерфейс браузера.
   */
  const browser = await puppeteer.launch({
  headless: false,
  
  // Добавим следующую строку.
  args: ['--proxy-server=socks5://127.0.0.1:9050']
});


Мы передали браузеру аргумент --proxy-server. Значение этого аргумента сообщает браузеру о том, что он должен использовать socks5-прокси сервер, работающий на нашем компьютере и доступный на порте 9050. Номер порта является одним из тех номеров, которые мы до этого внесли в файл torrc.

Снова запустим скрипт: 

node index.js


В этот раз на открытой странице можно будет увидеть другой IP-адрес. Это — тот адрес, который используется для просмотра сайта через сеть Tor.

b0a805c971018fabeadbb4de130ec269.png


Окно браузера, Tor-подключение используется

В моём случае в данном окне появился адрес 144.217.7.33. У вас это может быть какой-нибудь другой адрес. Обратите внимание на то, что если вы снова запустите скрипт и используете тот же номер порта (9050), то вы получите тот же IP-адрес, что получали до этого.

b0a805c971018fabeadbb4de130ec269.png


Окно повторно запущенного браузера, Tor-подключение используется

Именно поэтому в настройках Tor мы открыли несколько портов. Попробуйте подключить браузер к другому порту. Это приведёт к изменению IP-адреса.

Сбор данных с помощью Cheerio


Теперь, когда в нашем распоряжении имеется удобный механизм загрузки страниц, пришло время заняться веб-скрапингом. Для этого мы собираемся воспользоваться библиотекой cheerio. Это — HTML-парсер, API которого устроено так же, как API jQuery. Наша задача заключается в том, чтобы взять со страницы Hacker News 5 заголовков самых свежих постов.

Перейдём на сайт Hacker News.

09ba64e9538179169b51068b3172e18d.png


Сайт Hacker News

Мы хотим взять с открытой страницы 5 свежих заголовков (сейчас это «HAKMEM (1972)», «Larry Roberts has died» и другие). Исследуя заголовок статьи с помощью инструментов разработчика браузера, я заметил, что каждый заголовок помещён в HTML-элемент с классом storylink.

a37ccb03e43a8bf1869a510acf167088.png


Исследование структуры документа

Для того чтобы извлечь из HTML-кода страницы то, что нам нужно, требуется выполнить следующую последовательность действий:

  • Запуск нового экземпляра браузера без пользовательского интерфейса, подключённого к Tor-прокси.
  • Создание новой страницы.
  • Переход по адресу https://news.ycombinator.com/.
  • Получение HTML-содержимого страницы.
  • Загрузка HTML-содержимого страницы в cheerio.
  • Создание массива для сохранения заголовков статей.
  • Получение доступа к элементам с классом storylink.
  • Получение первых 5 элементов с помощью метода cheerio slice ().
  • Обход полученных элементов с использованием метода cheerio each ().
  • Запись каждого найденного заголовка в массив.


Вот код, реализующий эти действия: 

const puppeteer = require('puppeteer');

/**
 * Подключим библиотеку cheerio.
 */
const cheerio = require('cheerio');

async function main() {
  const browser = await puppeteer.launch({
    /**
     * Применим стандартный режим без пользовательского интерфейса (окно браузера не видно).
     */
    headless: true,
    args: ['--proxy-server=socks5://127.0.0.1:9050']
  });

  const page = await browser.newPage();

  await page.goto('https://news.ycombinator.com/');

  /**
   * Получим содержимое страницы в виде HTML-кода.
   */
  const content = await page.content();

  /**
   * Загрузим код в cheerio.
   */
  const $ = cheerio.load(content);


  /**
   * Создадим массив для хранения заголовков статей.
   */
  const titles = [];

  /**
   * Работа с элементами, имеющими класс `storylink`.
   * Метод slice() используется для доступа только к 5 первым таким элементам.
   * Перебираем их с помощью метода each().
   */
  $('.storylink').slice(0, 5).each((idx, elem) => {
    /**
     * Получаем внутренний HTML-код, соответствующий тексту заголовка.
     */
    const title = $(elem).text();
  
    /**
     * Помещаем заголовок в массив.
     */
    titles.push(title);
  })

  browser.close();
  
  /**
   * Выводим массив заголовков в консоль.
   */
  console.log(titles);
}

main();


Вот что произойдёт после запуска этого скрипта.

2b653ac79295243f1bc59c931fef3d78.png


Первые 5 заголовков с Hacker News успешно извлечены из кода страницы

Непрерывный скрапинг с использованием разных IP-адресов


Теперь поговорим о том, как воспользоваться различными SOCKS-портами, которые мы задали в файле torrc. Это довольно просто. Мы объявим массив, в каждом из элементов которого будет содержаться номер порта. Затем переименуем функцию main() в функцию scrape() и объявим новую функцию main(), которая будет вызывать функцию scrape(), передавая ей при каждом вызове новый номер порта.

Вот готовый код: 

const puppeteer = require('puppeteer');
const cheerio = require('cheerio');

async function scrape(port) {
  const browser = await puppeteer.launch({
    args: ['--proxy-server=socks5://127.0.0.1:' + port]
  });

  const page = await browser.newPage();
  await page.goto('https://news.ycombinator.com/');
  const content = await page.content();

  const $ = cheerio.load(content);

  const titles = [];

  $('.storylink').slice(0, 5).each((idx, elem) => {
    const title = $(elem).text();
    titles.push(title);
  });

  browser.close();
  return titles;
}

async function main() {
  /**
   * Номера SOCKS-портов Tor, заданные в файле torrc. 
   */
  const ports = [
    '9050',
    '9052',
    '9053',
    '9054'
  ];
  
  /**
   * Вечный веб-скрапинг...
   */
  while (true) {
    for (const port of ports) {
      /**
       * ...каждый раз - с новым номером порта.
       */
      console.log(await scrape(port));
    }
  }
}

main();


Итоги


Теперь в вашем распоряжении есть инструменты, которые позволяют заниматься анонимным веб-скрапингом.

Уважаемые читатели! Приходилось ли вам заниматься веб-скрапингом? Если да — просим рассказать о том, какие инструменты вы для этого используете.

1ba550d25e8846ce8805de564da6aa63.png

© Habrahabr.ru