|
Продвижение и оптимизация сайтов Обсуждаем вопросы оптимизации, поведенческие факторы. Услуги - в разделе "Коммерческие объявления" ->"Биржа услуг" |
|
Опции темы |
24.06.2020, 01:48 | #1 |
Администратор
Аспирант
Регистрация: 15.06.2020
Сообщений: 73
Сказал(а) спасибо: 27
Получил(а) "Спасибо": 31
Нарушения: 0/0 (0)
Репутация: 108
|
robots.txt как и зачем
Вопросы по файлу robots.txt для облегчения поиска нужной информации создаётся отдельный топик,
где вы можете задавать любые вопросы по составлению, оптимизации и работе файла robots.txt, отвечающего за ограничение доступа к содержимому сайта поисковым роботам. Правда роботы его могут игнорировать в ряде случаев т.к. это лишь рекомендация и не более того. Справка яндекса Инструмент проверки Справка гугл Инструмент проверки Используйте запреты в robots.txt с большой осторожностью и пониманием того чего вы желаете получить в результате конкретного запрета |
24.06.2020, 02:12 | #2 |
Senior Member
Доцент
Регистрация: 21.06.2020
Сообщений: 230
Сказал(а) спасибо: 571
Получил(а) "Спасибо": 3,044
Нарушения: 0/0 (0)
Репутация: -20670
|
Re: robots.txt как и зачем
|
24.06.2020, 10:48 | #3 |
Администратор
Аспирант
Регистрация: 15.06.2020
Сообщений: 73
Сказал(а) спасибо: 27
Получил(а) "Спасибо": 31
Нарушения: 0/0 (0)
Репутация: 108
|
Re: robots.txt как и зачем
Mishka, конструкция правильная, для робота нет запрета, а вот про индекс ничего сказать не смогу, чего там только не бывает (в индексе)
|
2 пользователя(ей) сказали cпасибо: |
24.06.2020, 14:49 | #4 |
Думаю, что надо худеть
Академик
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 632655
|
Re: robots.txt как и зачем
Я бы не рисковал с такими конструкциями. Это сейчас они, совсем недавно, ввели просмотр всех инструкций, а раньше-то, дошло бы до disallow и давай-досвидания.
А кто его знает когда программерам взбредет в голову (или случайно забудут и исправят) снова включить просмотр до первой инструкции найденной. Как было с mod_rewrit-ом не раз уже. То включают просмотр всех инструкций, то стоп на первой найденной, потом опять возвращают проход по всем инструкциям. Так, что лучше все-таки disallow в конец писать. |
3 пользователя(ей) сказали cпасибо: |
24.06.2020, 15:43 | #5 | ||
Администратор
Аспирант
Регистрация: 15.06.2020
Сообщений: 73
Сказал(а) спасибо: 27
Получил(а) "Спасибо": 31
Нарушения: 0/0 (0)
Репутация: 108
|
Re: robots.txt как и зачем
Цитата:
Цитата:
|
||
Сказали спасибо: |
24.06.2020, 15:59 | #6 |
Думаю, что надо худеть
Академик
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 632655
|
Re: robots.txt как и зачем
CrazyBug, именно об этом и говорим. А в любой момент программеры могут забыть об этом в апе каком-нить, а штатная работа парсера правил - первый найденный. Могут в любой момент забыть, и приехали, гадаем чего сайт из индекса ушел весь .
Вообще такие конструкции на сайте лучше не делать - либо у тебя папка к запрету, либо к разрешению, а мешать контент в одной папке - это моветон. |
2 пользователя(ей) сказали cпасибо: |
29.06.2020, 09:03 | #7 |
Junior Member
Абитуриент
Регистрация: 29.06.2020
Сообщений: 8
Сказал(а) спасибо: 7
Получил(а) "Спасибо": 3
Нарушения: 0/0 (0)
Репутация: 10
|
Re: robots.txt как и зачем
Не добавляю robots.txt вообще. Так ли он важен для продвижения сайта?
|
29.06.2020, 15:18 | #8 |
Думаю, что надо худеть
Академик
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 632655
|
Re: robots.txt как и зачем
Rus, нет, не важен.
|
29.06.2020, 15:24 | #9 | |
Администратор
Аспирант
Регистрация: 15.06.2020
Сообщений: 73
Сказал(а) спасибо: 27
Получил(а) "Спасибо": 31
Нарушения: 0/0 (0)
Репутация: 108
|
Re: robots.txt как и зачем
хоть один подобный пример был?
а вот просто косяки на стороне сервера - это постоянно, особенно когда начинают включать кеширование и сжатие появляются дефолтные служебные файлы, типа роботса, карты сайта... Цитата:
или вот вам простой пример Disallow: /search/ Allow: /search/*tovar= |
|
29.06.2020, 15:39 | #10 |
Думаю, что надо худеть
Академик
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 632655
|
Re: robots.txt как и зачем
Я же говорю - в mod_rewrite через раз забывали.
Ничто не помешает молокососам из гугла забыть тоже. Спрашивается, нах..а? Чем tovar в поиске, так уж нужнее к индексации, чем всё остальное в поиске (за что кстати и пессимайз получить можно, если не закрыть слова search к индексу) |