Google вносит изменения в стандарте REP
Google вносит изменения в стандарте REP (Robots Exclusion Protocol), протоколе исключения роботов, который используется файлами Robots.txt для googlebot, сообщается в официальном блоге компании.
Кроме того, были представлены новые META-теги роботов: unavailable_after и X-Robots-Tag. С их помощью можно исключить страницу из результатов поиска после указанной даты, запретить кэширование страницы и т.д. Например, при использовании unavailable_after, страница перестает показываться в результатах поиска, но продолжает оставаться в системе.
| Бесплатный ознакомительный семинар: «Стартап-менеджмент - новый подход к решению сложных задач в условиях жесткой конкуренции» 6.08 |
© CNews
