Удобное скачивание с сайта Books.ru или пристраиваем к делу WWW::Mechanize
Если книжка есть — это хорошо, А когда наоборот — плохоВместо эпиграфа
Как все знают, недавно была акция с возможностью приобретения большого количества электронных книг на сайте books.ru по справедливой цене. Пользователь icoz сделал скрипт для пакетного скачивания, однако скрипт не очень удобен, так как книги сохраняются под неудобными именами и их надо скачивать руками.В общем, сказал я себе, что все должно быть удобным и автоматическим, как известно «сказано-сделано», что особенно актуально в свете предстоящей завтра распродажи.Шаг 1. Подключаем необходимые модули.Нам понадобится
use WWW: Mechanize;
use HTTP: Request: Common;
use LWP;
use LWP: UserAgent;
Сам модуль и несколько служебных модулей, от которых он зависит. Если вы, также как и я используете Ubuntu то скачивать WWW: Mechanize с CPAN противопоказано, а вместо этого лучше сказать
sudo apt-get install libwww-mechanize-perl
Шаг 2. Создаем объект механизации и забираем параметры скрипта из командной строки: логин и пароль.
my $mech = WWW: Mechanize→new ();
$booklog = $ARGV[0];
$bookpsw = $ARGV[1];
Шаг 3. Логинимся на сайте
my $resp = $mech→get ('http://www.books.ru/member/login.php');
$mech→cookie_jar→set_cookie (0, 'cookie_first_timestamp', DateTime→now→epoch, '/', 'www.books.ru');
$mech→cookie_jar→set_cookie (0, 'cookie_pages', '1', '/', 'www.books.ru');
$resp = $mech→post ('http://www.books.ru/member/login.php',[
'login' => $mail,
'password' => $password,
'go' => 'login',
'x' => rand_from_to (40, 50), 'y' => rand_from_to (1, 20),
'token' => ''
]);
Обращаю внимание строки 2 и 3. В оригинальном коде, эти куки формируются при помощи JavaScript, но только ради вычисления двух параметров подключать JavaScript не рационально и проще переписать его на перле.Шаг 4. Получаем общий список наших заказов и создаем по нему итератор:
$resp = $mech→get ('http://www.books.ru/member/orders/');
my @order_list = mkGunz ($resp→content) =~ /\
sub trim ($);
my $mech = WWW: Mechanize→new ();
$booklog = $ARGV[0];
$bookpsw = $ARGV[1];
#die «Usage: books.su.pl
$mail = $booklog; $password = $bookpsw;
$mech→agent_alias («Linux Mozilla»);
#$mech→proxy ('https', 'http://127.0.0.1:8888/');
#$mech→proxy ('http', 'http://127.0.0.1:8888/');
my $resp = $mech→get ('http://www.books.ru/member/login.php');
$mech→cookie_jar→set_cookie (0, 'cookie_first_timestamp', DateTime→now→epoch, '/', 'www.books.ru');
$mech→cookie_jar→set_cookie (0, 'cookie_pages', '1', '/', 'www.books.ru');
#print mkGunz ($resp→content).»\n»;
$resp = $mech→post ('http://www.books.ru/member/login.php',[
'login' => $mail,
'password' => $password,
'go' => 'login',
'x' => rand_from_to (40, 50), 'y' => rand_from_to (1, 20),
'token' => ''
]);
#print mkGunz ($resp→content).»\n»;
$resp = $mech→get ('http://www.books.ru/member/orders/');
my @order_list = mkGunz ($resp→content) =~ /\
sub cnv {return shift;}#encode ('cp866', decode ('UTF-8', shift));}
sub rand_from_to { my ($from, $to) = @_; return int (rand ($to — $from)) + $from; }
sub mkGunz { my ($ind) = @_; return $ind if ($ind =~ /html/); my $gun = new Compress: Raw: Zlib: Inflate (WindowBits => WANT_GZIP); { my $out; my $status = $gun→inflate ($ind, $out); if ($status == Z_OK || $status == Z_STREAM_END) { return $out; } else { die $status.»:».$ind; } }; }
sub trim ($) { my $string = shift; $string =~ s/^\s+//; $string =~ s/\s+$//; return $string; }
Примечание для любителей Windows: Cкорее всего, надо изменить строку $fname =~ tr/\//_/; на $fname =~ tr/\/\:\*\?\\/_/; так как в NTFS больше запрещенных символов чем в ext4 и повозиться с кодировкой, для чего предусмотрена функция cnv.
Обязательные пожелания читателю: Желаю не пропустить распродажу, купить много книжек, скачать их себе на планшет и спокойно на выходных читать на даче без интернета.
Legal disclaimer: Так как по лицензионному соглашению после скачивания переименовывать файлы запрещается, то скачивать их надо сразу под правильным и удобным именем, что данный скрипт и делает!
