С Днем Рождения, robots.txt

В понедельник 30 июня директива robots.txt отметила свое двадцатилетие с даты создания. Переоценить значение robots.txt очень сложно, поскольку именно благодаря этому стандарту для поисковых роботов, также именуемых краулерами (пауками), был ограничен доступ к отдельным элементам сайта.

В девяностых годах пропускная способность сайтов была гораздо ниже, чем сейчас, и атаки краулеров, тормозящих работу сайта, были привычным делом. Поскольку в то время приоритетом для веб-мастеров была доступность сайтов для людей, а не лидирующие позиции в выдаче.

Ровно два десятка лет назад, 30 июня М. Костер создал директиву robots.txt, которая блокировала доступ роботов различных поисковых систем к содержимому сайтов. Принцип работы файла robots.txt заключается в частичном управлении индексированием сайта краулерами. Сам файл состоит из совокупности указаний поисковым машинам, при помощи которых возможно определить страницы, файлы и или другие элементы сайта, не подлежащие индексации. AltaVista, WebCrawler и Lycos, являющиеся на тот момент основными поисковиками, приняли и внедрили данный стандарт в свои алгоритмы.

Тот факт, что спустя 20 лет robots.txt продолжает повсеместно применяться, а поисковые системы находятся в подчинении у нулей и единиц, прописанных в этом стандарте, делает robots.txt воистину исключительным файлом. Продвижение сайтов невозможно представить без данного текстового файла, лежащего почти на каждом сайте в глобальной сети.

Вернуться к списку