Semalt: Как да блокирам Darodar Robots.txt

Файлът Robots.txt е типичен текстов файл, който съдържа инструкции за това как уеб скатери или ботове трябва да обхождат сайт. Приложението им е очевидно в ботове за търсачки, които са често срещани в много оптимизирани уебсайтове. Като част от протокола за изключване на роботи (REP), файлът robots.txt формира съществен аспект на индексиране на съдържанието на уебсайта, както и позволява на сървъра да удостоверява съответно заявките на потребители.

Юлия Вашнева, мениджърът за успех на клиентите Semalt , обяснява, че свързването е аспект на оптимизацията за търсачки (SEO), който включва набиране на трафик от други домейни във вашата ниша. За връзките "следване" за прехвърляне на сок от връзки е от съществено значение да включите файл robots.txt на вашия уебсайт, хостинг пространство, за да действа като инструктор за това как сървърът взаимодейства с вашия сайт. От този архив инструкциите са налице, като позволяват или забраняват как се държат някои конкретни потребителски агенти.

Основният формат на файл robots.txt

Файл robots.txt съдържа два основни реда:

Потребителски агент: [име на потребителски агент]

Дезактивиране: [URL низът да не бъде обходен]

Пълен файл robots.txt трябва да съдържа тези два реда. Някои от тях обаче могат да съдържат няколко реда от потребителски агенти и директиви. Тези команди могат да съдържат аспекти като разрешаване, изключване или закъснение при обхождане. Обикновено има прекъсване на реда, което разделя всеки набор от инструкции. Всяка от инструкциите за разрешаване или забрана е разделена от този прекъсване на реда, особено за robots.txt с няколко реда.

Примери

Например файл robots.txt може да съдържа кодове като:

Потребителски агент: darodar

Дезактивиране: / плъгин

Дезактивиране: / API

Дезактивиране: / _комменти

В този случай това е блоков файл robots.txt, който ограничава уеб сканера на Darodar до вашия уебсайт. В горния синтаксис кодът блокира аспекти на уебсайта като плъгини, API и секцията за коментари. От това знание е възможно да се постигнат многобройни ползи от ефективно изпълнение на текстовия файл на робота. Файловете Robots.txt могат да изпълняват множество функции. Например, те могат да бъдат готови за:

1. Разрешете цялото съдържание на уеб сканери в страница на уебсайта. Например;

Потребителски агент: *

Забрани:

В този случай, цялото потребителско съдържание може да бъде достъпно от всеки уеб браузър, който е поискан да стигне до уебсайт.

2. Блокирайте конкретно уеб съдържание от конкретна папка. Например;

Потребителски агент: Googlebot

Дезактивиране: / пример-подпапка /

Този синтаксис, съдържащ име на потребителски агент Googlebot, принадлежи на Google. Това ограничава бота достъпа до която и да е уеб страница в низа www.ourexample.com/example-subfolder/.

3. Блокирайте конкретен уеб браузър от конкретна уеб страница. Например;

Потребителски агент: Bingbot

Дезактивиране: /example-subfolder/blocked-page.html

Потребителският агент Bing bot принадлежи към уеб сканери на Bing. Този тип файл robots.txt ограничава уеб браузъра на Bing от достъп до конкретна страница с низа www.ourexample.com/example-subfolder/blocked-page.

Важна информация

  • Не всеки потребител използва вашия файл robots.txt. Някои потребители могат да решат да го игнорират. Повечето от такива уеб сканери включват троянски коне и зловреден софтуер.
  • За да бъде видим файл Robots.txt, той трябва да е достъпен в директорията на уебсайтове от най-високо ниво.
  • Героите "robots.txt" са чувствителни към регистъра. В резултат на това не трябва да ги променяте по никакъв начин, включително капитализиране на някои аспекти.
  • „/Robots.txt“ е обществено достояние. Всеки може да може да намери тази информация, когато я добави към съдържанието на всеки URL адрес. Не трябва да индексирате основните подробности или страници, които искате да останат частни.