The Wayback Machine проиндексировала 400 млрд страниц

сегодня в 11:43

88338ff856c1107fb0cc25ed66ff373a.pngThe Wayback Machine, цифровой архив Всемирной сети, преодолел рубеж 400 млрд проиндексированных веб-страниц. Благодаря этому проекту мы имеем возможность увидеть, как изменялся облик многих известных сайтов от 1996 года до настоящего времени.Например, вот скромный интерфейс Yahoo, снятый 28 ноября 1996 года.e81ea5d633d584ce9f4529800b06aac8.png

«Машину времени» официально запустили в 2001 году, а в 2009 году при помощи компании Sun Microsystems для неё открыли собственный дата-центр в транспортном контейнере. Серверы тогда вмещали 3 петабайта информации и обрабатывали до 500 запросов в секунду.

Обидно, что до сих пор некоторые сайты запрещают индексирование своих страниц через robots.txt, так что их архивы недоступны для общественности.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.

© Habrahabr.ru