robots.txt – для сайту на wordpress

robots.txt – для сайту на wordpress
5 (100%) 4 votes

robots-txt

Що таке robots.txt і для чого він потрібен?

Цей файл дозволяє вказати пошуковим роботам, чи якщо точніше дати рекомендації, що потрібно індексувати на вашому сайті, а що ні.  Він дозволяє позбутись дублів, закрити непотрібні сторінки – як то адмінка чи наприклад технічний розділ.

Слід пам’ятати що це все ж рекомендації, а не залізне правило тому варто дійсно важливі дані захищати не тільки так.

Більш детально про цей файл можна почитати у вікіпедії, а я розгляну файл що використовується на цьому сайті й поясню деякі моменти.

Власне вміст самого файлу

Вказує роботам таймаут в одну секунду, це дозволяє не завалити сайт, коли індексується відразу багато сторінок – не всі роботи його  дотримуються.

Я використовую зірочку – вказуючи що правила дійсно для усіх роботів -дуже часто роблять окремо для гугла, яндекса та усіх інших – особисто я не бачу в цьому сенсу, бо:

  • це дубляж, який лише збільшує розмір фалу
  • можуть бути помилки – чим більший файл тим більша можливість одруківки
  • правильний роботс має бути універсальним – моя особиста думка.

Цей роботс закриває непотрібні технічні розділи

А також дублі, коментарі (теж дублюються бо є на сторінці допису) фід, трекбреки, категорії та теги.

Також закриваються автоматично генеровані адреси (їх і не повинно бути) та інше сміття.

 

Таким чином бачимо що для індексування лишаються:

  • Головна
  • Пости з нормальним урлами
  • Сторінки з нормальними урлами – не автоматично генеровані.

До речі гугл теж має свій robots.txt

А які правила використовуєте ви?

Залишити відповідь

Увійти з: 

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *