|
19.11.2020, 09:26
|
#1 |
|
Member
Аспирант
Регистрация: 24.06.2020
Сообщений: 97
Сказал(а) спасибо: 5
Получил(а) "Спасибо": 38
Нарушения: 0/0 (0)
Репутация: 80159
|
Забвение сайта
Как скоро после установки директивы "Disallow: / " в robots и отдачи всеми страницами 404й ошибки Яндекс забудет содержимое сайта, чтобы при растаскивании текстов с него на другие сайты он не помнил, что исходным источником был удаленный сайт? По запросу "host:site.ru" он уже через сутки ничего не показывает, но в вэбмастере видно, что страницы еще в базе.
|
|
|
|
19.11.2020, 10:18
|
#2 |
|
Senior Member
Доцент
Регистрация: 25.07.2020
Сообщений: 437
Сказал(а) спасибо: 486
Получил(а) "Спасибо": 712
Нарушения: 0/0 (0)
Репутация: 7417
|
Re: Забвение сайта
Для каждого сайта есть свой лимит обхода роботом - когда все обойдёт и внесет изменения - полгода и до года - если говорим о всем сайте - и пока не очистится кэш ПС.
Можно ускорить через переобход или отдельных страниц, или самого роботса - переобход отдельных предпочтительней. А вообще закрывать от индекса сайт надо бы не через файл роботс - можно закрыть сайт или заданную страницу от индексации с помощь мета-тега robots. Этот способ является предпочтительным и с большим приоритетом выполняется пауками поисковых систем. |
|
|
|
| Сказали спасибо: |
|
23.12.2020, 20:05
|
#3 |
|
Member
Аспирант
Регистрация: 24.06.2020
Сообщений: 97
Сказал(а) спасибо: 5
Получил(а) "Спасибо": 38
Нарушения: 0/0 (0)
Репутация: 80159
|
Re: Забвение сайта
Ровно через месяц сайт полностью вылетел.
|
|
|
|
|
23.12.2020, 20:14
|
#4 |
|
Позитив =)
Академик
Регистрация: 21.06.2020
Адрес: Санкт-Петербург
Сообщений: 4,412
Сказал(а) спасибо: 25,091
Получил(а) "Спасибо": 13,926
Нарушения: 0/0 (0)
Репутация: 1412767
|
Re: Забвение сайта
Офтоп. Я вешаю "403 доступ запрещен"
|
|
|
|
|
23.12.2020, 22:15
|
#5 |
|
Думаю, что надо худеть
Академик
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 632655
|
Re: Забвение сайта
svv, отдавайте 410, что сайт удален, тогда все быстрее будет.
|
|
|
|
|
23.12.2020, 22:24
|
#6 |
|
Member
Аспирант
Регистрация: 21.06.2020
Сообщений: 87
Сказал(а) спасибо: 44
Получил(а) "Спасибо": 30
Нарушения: 0/0 (0)
Репутация: 111937
|
Re: Забвение сайта
Яндекс живёт 3-х месячными циклами - счетчик метрики, после снятия, можно восстановить три месяца, три месяца помнит историю таксиста...
Я бы подождал, после полного очищения базы, ещё три месяца. |
|
|
|
|
24.12.2020, 22:22
|
#7 |
|
Senior Member
Доцент
Регистрация: 21.07.2020
Сообщений: 223
Сказал(а) спасибо: 3
Получил(а) "Спасибо": 146
Нарушения: 0/0 (0)
Репутация: 90255
|
Re: Забвение сайта
Самый быстрый способ, чтобы Яндекс выкинул из индекса - отдавать неверную rel="canonical" для каждой страницы.
|
|
|
|
|
25.12.2020, 12:00
|
#8 |
|
Senior Member
Профессор
Регистрация: 25.06.2020
Адрес: Спб
Сообщений: 514
Сказал(а) спасибо: 1,296
Получил(а) "Спасибо": 502
Нарушения: 0/0 (0)
Репутация: 144105
|
Re: Забвение сайта
Яндекс до сих пор ходит на страницы, удалённые в 2013-2014 гг.
Вернее, там были изменены урлы, и для несущественных страниц я не ставила редиректы. Порой вижу в журнале, что онЕ заходили, а там - ай! - 404 ошибка. Откуда он берет эти урлы, ума не приложу. |
|
|
|
