Способ борьбы со зверствующими анти-адблокерами, блокировщиками самих себя
Поговорим здесь лишь о тенденциях, т.к. реализации их — это отдельные многие главы будущего развития браузеров. И, надо заметить они — вовсе не за горами, технологии очистки контента от мусора давно уже есть, и стоит только мусорщикам перейти грань — возмездие последует, и остановить его может лишь ограниченная скорость технологической разработки инструментов. В статье будет показано, что технологии эти — довольно просты, чтобы сделать следующий шаг в борьбе человечества за знания об окружающем мире.
TL; DR: есть способ обойти агрессивные анти-адблокеры сейчас, в рамках существующих правил игры, в расширениях браузеров.
По сути, рекламодатели ничем не отличаются от распространителей вирусов, борьба лишь идёт не на уровне программ — она переходит в мозг потребителя. Реклама занимает паразитирующую часть сознания, временно подчинённую чужой воле. Это же самое происходит и за пределами компьютерного мира — в уличной рекламе, в политике, в религии, поэтому мы видим лишь часть одного большого фронта борьбы. На наживку знаний (а всё чаще и развлечений под видом знаний) крючками рекламы ловятся потребители, цель — отобрать побольше наживы — эквивалента труда, выраженного в деньгах читателей. Если деньги забирают напрямую взломом банковского счёта — это преступление, если через мозг — то в самых очевидных случаях — мошенничество, а в остальных случаях это называется — реклама.
И эта реклама настойчиво сопровождает контент (наживку). Бедные работники сайтов жалуются, что реклама — единственный источник их дохода, а по сути — взлом мозга человека есть их единственный способ дохода. Но кто сказал, что мы живём в идеальном мире, в котором не воруют наш эквивалент труда? Эта музыка будет вечной, усложняются лишь технологии. Враги есть не только в природе, но и среди нас.
Когда-то это осознáют на уровне общества и уже не будет приличным ставить рекламу на сайты и гордиться этим. Если ваш сайт работает только на рекламе — уместно будет спросить, а тем ли делом вы занимаетесь, господа? Но пока что на данном этапе мы имеем необходимость бороться с торговцами контентом. Они лоббируют свои законопроекты (для людей — консенсус поведения, для них — эффективный способ программирования мозгов), мы отвечаем своими действиями. Посмотрим на технические действия, которые были и будут возможны на уровне браузеров.
Вернёмся к теме. Ставим проблему в техническом плане
Имеем борьбу потребителей и производителей контента, а по сути — эксплуатацию наживки в виде контента в виде приманки для управления мозгом потребителя и программирования его на опустошение своего кошелька. Уже довольно сложно, но т.к. статья предназначена для людей разумных, для которых контент (информация) — не жвачка для наслаждений, а инструмент для управления природой, они без дополнительных разъяснений понимают, в чём дело. С некоторыми, по большей части, достойными людьми — держателями сайтов, приходится бороться техническими мерами — отстаивать исконное право человека познавать окружающий мир через сеть рекламных наживок. Очищать контент от рекламы, защищая мозг от мусора. Часть этих достойных людей понимает правила игры и не борется с адблокерами, выражающими право человека на информацию. Но часть — возводит свои желания залезть другим в карман в абсолют, и доходит до того, что блокируется контент, если скрипты сайта обнаруживают наличие адблокеров.
Примеры таких сайтов — overclockers.ru (там у меня даже скрытие баннеров средствами CSS вызывало блокирование контента), cnews.ru. Наверное, ряды таких супер-блокировщиков самих себя ширятся. И с этим надо что-то делать. Это вопрос чести и самоуважения человека разумного против человека-овоща и человека алчного, использующего недостойные средства для собственной наживы. Ведь однажды у них окажется действительно полезная и уникальная информация, очистить от рекламного мусора которую стоит задача уже сейчас. Они её поставили — они и будут теми первыми добровольными помощниками «воинов добра» (не в смысле Ляписа), отшелушивающих знания от рекламной нечисти.
Давайте расширим их список, чтобы им было веселее, чтобы мы знали, на каких сайтах тренироваться, чтобы как можно больше людей увидели, что затрагиваются их личные интересы? Начинаю, далее пишите в комментариях, я сюда буду заносить:
(@spmbt) overclockers.ru
(@spmbt) cnews.ru
…
Технически из эмпирей философии сужаем проблему до решения технических задач. Найдём средства для отделения крючков от наживок. Ведь мы же — люди, достойные получать информацию в чистом виде. Используем разум для решения.
Тут снова придётся растечься мыслию, потому что задача — тоже, как широко ставится, так же широко, различными способами будет решаться. И процесс диалектически пойдёт дальше — новые средства обхода крючков вызовут новые более хитрые их системы. Чтобы очертить предполагаемую динамику развития процессов, придётся пофантазировать и обрисовать, куда что может пойти дальше.
Философия техники получения информации
Как все, кто в курсе, знают, изначально адблокеры были очень жёсткими. На то их вынудила реальность господствующего браузера (IE 4–5–6). В браузере не было возможности ставить программные расширения (программные и довольно сложные по технике аддоны появились с IE6–7). Приходилось локальным прокси перехватывать поток запросов с сайта и выкусывать рекламные вставки, подменять их, добавлять свои скрипты. Этот способ прекрасно работает и сейчас (к примеру, Ad Muncher) и все усложнения рекламного продвижения типа подгрузки виджетов и промо-скриптов он мог бы тоже блокировать столь же детально, как современные расширения-адблокеры. Но что-то остановило блокировщиков. Неужели их победили? Нет, просто создатели браузеров осознали, что победить расширения нельзя. Ну, разве что если передавать поток по зашифрованному каналу, разворачивать его в проприетарной программе-расширении браузера (об этом поговорим позже). Но мало кто захотел даже из поставщиков контента становиться самим себе злыми буратинами и ограничивать доступ. Такие есть, платящие потребители тоже есть, но их мало и мы о них мало знаем.
И в браузеры ввели и вынуждены признать механизм расширений (add-ons, extensions). Теперь (начиная с версий Firefox Beta, см. раздел «History», 10.667 лет назад) в браузерах появились пользовательские вставки скриптов. Это инструмент не человека-овоща с карманами, набитыми деньгами, а человека разумного. Тут совершенно очевидно, что на поддержку таких инструментов пошли не от любви к свободе воли пользователя, а от более страшной перспективы, что они начнут резать входной поток и придёт в привычку играть без правил. Тут залезть в мозг потребителю у контентчиков — ещё меньше шансов. И это висит над ними дамокловым мечом, заставля ужом извиваться в поисках лазеек для рекламной модели. Список сайтов — «блокировщиков самих себя» — это передний фронт дарвиновской борьбы видов за существование, среди которых редким и ценным видам (не по способу самоубийства, а по ценности информации) надо найти шансы помочь.
Радикально фильтровать контент до прихода в браузер — мощное оружие, оно держит производителей браузеров в рамках разумного, заставляет поддерживать контент-скрипты, как бы ни бесновались рекламщики в стремлении захватить мир.
Но пока в этом нет необходимости. Можно построить обход анти-адблокеров в рамках существующих правил игры. Против такого подхода, конечно, найдут способы и их обойти, и описать, как, но можно начать строить блокировщики следующего уровня уже сейчас. Они сильно помогут и для других похожих случаев — для метапоиска, например, обходя желание каждого поисковика быть единственным на своей странице.
Идея следующего обхода рекламы — не блокировать рекламу
Пусть она живёт на сайте в полном соответствии с замыслами создателей. Просто не будем на неё смотреть. Собрать полезную информацию со страницы — это умеет делать скрипт расширения браузера. Остаётся показать страницу в том виде, в каком она нужна читателю (разумному). Передавать сигналы управления, клики на страницы оригинального контента. Разрешить скрипту нажимать на полезные кнопки оригинала.
Противодействие тут тоже может быть, и довольно изобретательное. Страницы могут строго следить за активностью мыши, за присутствием себя в фокусе окна, за обходом или необходом кликами вышележащих слоёв, с придыханием следить за наличием лишних элементов, блокировать скрипты директивами. Как только появятся способы обхода (2-го поколения адблокеров) — появятся и способы антиобхода — прокрутка страницы, проверка покрывающих слоёв, размещение окон сверху в зоне видимости или, наоборот, загрузка страниц оригиналов в безголовом браузере (типа PhantomJS, но строго похожего на настоящий), эмуляция мыши на основе реального поведения читателя. В конце концов, войны тоже приводят к прогрессу технологий, а избранные «блокировщики самих себя» дают нам шанс сделать первый вклад в этот прогресс. Мы придумаем интеллект, ведущий себя как дурачок-потребитель, мечта рекламщиков и бизнесменов от торговли.
Мы доведём прогресс до того, что виртуальные потребители в будущем будут звонить в магазины и говорить голосами комиков о желании купить их товар для поддержки CTR на сайте. Истоки обмана рекламных компаний опробуются уже сейчас, это только начало. Пусть алчность человека тоже работает на службе прогресса, так было всегда в истории войн.
Что конкретно надо делать сейчас для спасения сайтов-самоблокировщиков?
1) выявить список самоблокировщиков, чтобы узнать, какими различными методами самоблокировок они пользуются;
2) построить сайто-совместимую модель их спасения. Предлагаю для начала сделать модель дубля страницы, живущей в той же вкладке, но покрывающей оригинал; самое ценное, что такая модель будет полезна и для проксирования представления (View) других, менее упоротых и вообще не упоротых сайтов. Мы сможем построить совершенно новый подход к комфорту читателей, похожий немного на то, что делают Safari и Firefox своими «страницами для чтения» («reading list»). Но там они пытаются универсально вычислить контент, а мы можем индивидуально поддерживать «контент-листы» для интересующих нас сайтов. Одна модель будет работать на массе сайтов, почти на всех;
3) архитектура «MVC original => MVC for human» будет новым словом среди универсальных прокси-коннекторов преобразования информации. Данные с сайтов в любой степени подробности и желания владельцев (в отличие от RSS) можно будет отправлять сразу в научные базы данных, фильтруя их человеком без необходимости глазами фильтровать рекламу;
4) для ещё более упоротых останется тот самый дамоклов меч, которому не нужны расширения браузеров. Этот страшный сон, несомненно, когда-то исполнится для рекламщиков в будущем, но пока это оружие не востребовано, накал противостояния далеко не тот, когда оно понадобится. Будут ещё многие шаги по моделированию дурачка-потребителя, и этот сон гораздо ближе для исполнения примерно на 3-м этапе, после того, как рекламщики доиграются до необходимости генерировать специальные браузеры в виртуальных средах и ИИ к ним.
И это хорошо. Прогресс делается не только на войне настоящей, с вливанием 30% бюджета государства и миллионами жертв. Прогресс инициируется и рекламщиками на достаточно игрушечном фронте, с малым числом жертв (курение, МММ, боярышник, дольщики, СМС), на том, который тоже вскоре приведёт к совершенствованию ИИ и будущим победам человечества, над природой и самим собой.
Комментарии (24)
8 января 2017 в 22:27 (комментарий был изменён)
+2↑
↓
Что конкретно надо делать сейчас для спасения сайтов-самоблокировщиков?
Автокликер, проходящий по всем рекламным ставкам, в каждый браузер.
Может быть это поменяет сам рынок рекламы в интернете.
novoxudonoser
8 января 2017 в 22:54 (комментарий был изменён)
+1↑
↓
Это всё конечно хорошо и я бы подписался под каждым словом, но вы забываете что помимо мусорной «рекламы» есть и полезные вещи. Как мне продать мой полезный товар или услугу если я не могу донести её до своих потребителей? я ни хочу им втюхивать, я хочу просто сказать что у меня есть X (которая лично вам бы пригодилась) по цене Y ну + новогодняя скидка. А блокировщики рекламы режут и полезный поток на корню.8 января 2017 в 23:00 (комментарий был изменён)
+1↑
↓
я ни хочу им втюхивать, я хочу просто сказать что у меня есть X
Всё придумано до нас, рекламная периодика, справочники «желтые страницы».
В онлайне — это торговые площадки аля авито… Для конечного потребителя лучше этого и не придумать.
Am0ralist
8 января 2017 в 23:06
+2↑
↓
Скажите «спасибо» самим рекламным сетям, которые настолько не беспокоились за качество своего контента и на каких сайтах его размещать, что пользователей это все задрало к чертям.8 января 2017 в 23:46
+7↑
↓
За других не буду конечно расписываться.
Я например, когда мне что-то нужно, сначала прикидываю примерный список ТТХ, потом иду на сайт вроде Я.Маркета и смотрю что есть подходящее под эти ТТХ, потом возможно лажу по форумам и читаю отзывы.
Реклама в моей цепочке покупки отсутствует как класс — так как не способна дать нужной мне информации, в нужной мне форме.
Суммируя — ваше предложение не достигнет меня через рекламу, никак. Более того, даже если я случайно вижу в рекламном объявлении то, что мне нужно в данный момент — всё равно игнорирую. По причине из предыдущего абзаца.
Не сочтите за «наезд», просто обрисовываю ситуацию.9 января 2017 в 00:22
–1↑
↓
я хочу просто сказать что у меня есть
у вас есть «магазин» — почему вы не на яндекс маркете? нужно распространиться — используйте модные сейчас социальные группы — привлекайте через них людей, показывайте свое видео на ютюбе.
у вас есть товар от частного лица? ибей/авито или в разделе на городском сайте.
, а больше вы ни где не сдались в интернете.
которая лично вам бы пригодилась
не пригодится и не навязывайте свое мнение дл продаже этого чуда хлама.
по цене Y ну + новогодняя скидка
ваши скидки хуже обычных цен обычно — так что поддерживайте нормальные цены (а не овер 50%+ накрутки) и добрую репутацию и к вам потянутся =)
А блокировщики рекламы режут и полезный поток на корню.
что они режут на тех же торговых площадках? идите и покупайте рекламу в офлайне — там не режут.9 января 2017 в 09:22
0↑
↓
В яндекс.маркет не всегда можно попасть. В РФ законы могут отличаться от других стран и есть ряд товаров, на которые яндекс.маркет требует сертфикаты, которых либо вообще нет, либо они не соответствуют формату. Причем товар, понятно, «опасный», «медицинский» и т.п. Но среди них очень много вещей, которые относятся к разделу чего-то лиценизируемого, но в бытовом понимании совершенно простые (медицинскиая груша, какая-нибудь).
dartraiden
8 января 2017 в 22:58 (комментарий был изменён)
0↑
↓
overclockers.ru (там у меня даже скрытие баннеров средствами CSS вызывают блокирование контента)
Они упоротые, да. Особенно «весело» владельцам смартфонов, у которых реклама в приложениях режется через hosts.Но на любую хитрую задницу…
https://greasyfork.org/ru/scripts/23922-anti-adblock-killer-for-overclockers-ru8 января 2017 в 23:43 (комментарий был изменён)
–1↑
↓
Они просто жадные и ленивые. И не знают про stylish;)
Вообще тема {display: none} сейчас набирает популярность. На гисметео тоже с отключенными скриптами прогноза не видно.
А cnews просто работает, хз что там надо, чтобы он упал. Реклама режется privoxy+noscript+stylish
spmbt
9 января 2017 в 01:56 (комментарий был изменён)
0↑
↓
Они как раз знают про Stylish (возможно, не знают про смесь с noscript).
> даже скрытие баннеров средствами CSS вызывают блокирование контентаЗато теперь с anti-adblock-killer стало снова нормально, и я, пожалуй, снова буду его посещать:). А так — тоже, как того комментатора про cnews, сайт перестал интересовать с момента, как мои стили перестали работать и показывали голодную кошку. Даже не обновлял стили больше года, хотя можно было бы разобраться, что они учудили.
https://greasyfork.org/ru/scripts/1963-overcompact9 января 2017 в 09:26
0↑
↓
Стоило бы не минусовать, а указать, какой именно раздел не работает. Я не их клиент и с сайтом не знаком.
Новости включаются css-ом без проблем, в чём я убедился. В коде до конца не разобрался, но для обзоров явно есть альтернативное решение. {position: absolute; left:-1000000;} Проверить не смог, т.к. ни сообщения о рекламе, ни самих разделов так увидеть и не сумел. На моей сборке у них, похоже, всё ломается конкретно.
8 января 2017 в 23:19
+9↑
↓
Просто перестал читать си ньюз. Им же хуже…
kafeman
8 января 2017 в 23:47
+2↑
↓
Ну, разве что если передавать поток по зашифрованному каналу, разворачивать его в проприетарной программе-расширении браузера
Предлагаю сразу на несколько шагов опередить рекламодателей — натаскать нейросеть на рекламные баннеры и на уровне видеокарты закрашивать их черными полигонами. Причем закрашенная картинка должна храниться в отдельной видеопамяти, к которой не будет программного доступа.Думаю, что ответным ходом будет обязательное разгадывание каптчи-рекламы для просмотра контента. Что-то вроде рекламного баннера джойказино и вопросом «какую цифру нужно добавить к домену джойказино, если он у вас не открывается?» Сайты-зеркала закрывать по DMCA.
Хотя выше тоже предложили интересный способ — кликать подряд на все баннеры, тогда стоимость CTR упадет настолько, что рекламные сети разорятся (останутся только идеалисты, смысл жизни которых будет заключаться в навязывании рекламы — такие своеобразные спам-террористы).
9 января 2017 в 00:18
–2↑
↓
Контент — товар.
Просмотр рекламы — плата.
Продавцов много, и можно просто не ходить к тем кто ломит непомерную цену.
А потреблять контент нарушая лицензию — воровство.9 января 2017 в 09:25
+2↑
↓
Вот вы и публикуйте лицензию на своем сайте. И требуйте подпись, что пользователь согласен на такую плату. Пока этого нет, никакой платы быть не может.
Zanziver
9 января 2017 в 01:59
–2↑
↓
Разумный человек понимает что за все нужно платить, за контент в том числе. Задача найти приемлемый баланс для всех сторон. А то что вы описали есть человек-халявщик.
qw1
9 января 2017 в 06:58
+2↑
↓
Я считаю, «контентные» сайты — это рак. Если есть человеку что сказать, он на свои деньги поднимет сайт или ещё как-то опубликуется и не будет требовать денег. А высасывать из пальца контент — только прожигать время посетителей на чтение низкокачественных рерайтов и компиляций.9 января 2017 в 07:45
–1↑
↓
Ваша позиция ясна.
Рак — это авторы: писатели, художники, составители прогнозов погоды. (Мы ведь пользуемся общечеловеческим определением контента и контентного сайта?)
Не рак — дартаньяны, регулярно бродящие по сайтам авторов, потребляющие контент и считающие, что это авторы-козлы должны им за это приплачивать.
Вы на хабре тоже рекламу режете?
Если да, то почему. Если нет, то тоже почему?
prostofilya
9 января 2017 в 08:10 (комментарий был изменён)
+4↑
↓
Здравствуйте, я режу рекламу везде, где только можно и буду резать. Мне постоянно жалуются мои родственники, особенно пожилые, что в интернете кто-то говорит, что они кому-то должны деньги, либо им кто-то звонит, либо какой-то дядька постоянно в фоне говорит, как же круто он живёт и как круто заживём мы, если… Так вот, мои пожилые (а порой и не только) родственники и знакомые реально боятся этого, потому что они не разбираются в этом и в этом абсолютно нет никакой их вины.
И я её также ненавижу. И у меня, также, как и у создателей рекламы, нет абсолютно никакого чувства вины перед противоположной стороной. Я сам автор, автор музыки, да, для меня это хобби, но я трачу много времени на неё и мог бы зарабатывать, но я раздаю её просто так и это мой выбор и я считаю этот подход нормальным. Почему я должен испытывать вину перед хабром? Есть масса способов заработать иначе.
1. донат. 2. дополнительный платный функционал. 3. левые заработки.9 января 2017 в 09:40
+1↑
↓
Насчёт пожилых — прямо в точку. Некоторое время назад позвонил мне знакомый дедуля. Говорит, на каком-то сайте сказали ему, что нужно пользоваться программой Форекса. Он её скачал — и не знает, что делать дальше. Спрашивал у меня — как её использовать? Ведь ей же надо пользоваться! Исполнительный такой дедуля. Я убил на него минут двадцать — кое-как сумел объяснить, что подобные объявления на сайтах — просто рекламный мусор, хлам, на который не нужно обращать внимания. Закончилось всё установкой адблока ему на компьютер.
-
Am0ralist
9 января 2017 в 08:59
+3↑
↓
Да, потому что рекламу с яндекса я мог бы посмотреть где угодно, тем более устаревшую. А когда с работы заходил на хабр — то в рекламе вообще ё***й стыд творился.Казалось бы, ГИК-портал. Если уж мне и будет нужна реклама, то курсов по интересным мне направлениям, железок каких-нибудь, предложений вендоров (если у меня в профиле указано направление администрирования), на какие-то события, то есть все то, что не заслуживает отдельной статьи, но что могло бы заинтересовать гиков. А «купи пальто у нас», которые мне вчера проигрывались, мне на хабре совершенно не интересны.
-
kafeman
9 января 2017 в 09:15 (комментарий был изменён)
+2↑
↓
Ладно еще пальто… У меня такое, когда я захожу из RSS-читалки:Скрытый текст
Естественно, что искать такое я не мог (в программе-читалке банально некуда ввести запрос, да и куки, похоже, она не поддерживает).UPD: посмотрел наконец, что рекламируют. Кто-нибудь знает, это нормально — заголовок баннера «Похудеть за неделю? Как? кг…» и подпись «Звони с доставкой… Шкафы купе…»?
-
kafeman
9 января 2017 в 09:19
+1↑
↓
И выше тоже — какая связь между «запах изо рта» и «натяжные потолки»? В Яндексе одни наркоманы сидят, похоже.
9 января 2017 в 09:45
0↑
↓
Меня посещали ровно такие же мысли. Принудительная семантизация интернета. Вместо одного браузера пара приложений. Экстрактор, который ходит по сайтам и выделяет полезную информацию с них и сохраняет в формате RDF. Вьювер, который отображает полученные RDF для пользователя. И тот, и другой компонент должен быть расширяем независимо — нужные специфические view для специфических областей, и заточенные под конкретный сайт парсеры.В свободное время это приложение ходит по случайным сайтам в отношении примерно 10:1, для сокрытия точек интереса. Просто кликает на все подряд случайные кнопки. Дальнейшее развитие идеи — p2p сеть, где один компьютер выполняет запрос на экстракцию данных (с кешированием) для других компьютеров в сети, позволяя размазать интерес всех пользователей данной утилиты.
В случае самых зловредных сайтов, проверяющих какой браузер их запускает по нестандартному поведению, экстрактор должен уметь полностью эмулировать браузер, т.е. запускать в виртуальной машине браузер, которому доверяет сайт, и управлять им удалённо. Первое что приходит на ум — это selenium, но тщательный гуглёж показал https://www.blackhatworld.com/seo/java-selenium-intelligent-bot-detection-algorithms.775689/, что selenium всего лишь навсего встраивает javascript код в страничку, на равных правах с любым другим javascript кодом там же. А это значит, что разработчики сайта всегда могут проверить, определены ли некоторые структуры и функции, и при их обнаружении забанить пользователя. Что добавляет сложности задаче.
К сожалению, для одного человека это неподъёмный проект.
