Много дyблей глaвнoй, кaк избaвиться?

[Толян Толяныч]

Сообщение от burunduk

webinfo, необходимость это контроль url
это как создание и продвижение сайта - два практически взаимоисключающих друг друга бизнеса, т.е. что хорошо для одного смертельно для другого
надо искать компромиссы, при слабой технической поддержке, проще жертвовать менее важным

я так поняk для SEO лучше utm-метки в рекламе не использовать, можно поподробнее?

[burunduk]

Сообщение от Толян Толяныч

я так поняk для SEO лучше utm-метки в рекламе не использовать, можно поподробнее?

а зачем они, впрочем как и любые другие бредо параметры?
с точки зрения пс это всегда разные документы и настроить корректную их обработку как яндексом так и гуглом в принципе не возможно

[webinfo]

Сообщение от burunduk

настроить корректную их обработку как яндексом так и гуглом в принципе не возможно

То есть Вы настаиваете на том, что гуглояндексы не учитывают директивы robots.txt?

[burunduk]

Сообщение от webinfo

не учитывают директивы robots.txt?

во-первых, запрет в роботсе это самая плохая практика, вы теряете и ссылочное и пф
во-вторых, есть исключения когда инструкция в роботсе игнорируется
в-третьих, вы тратите доступную квоту на сканирование и в итоге на больших сайтах, подобное может привести к проблемам с индексацией
в-четвёртых, в роботсе нет возможности запретить все возможные комбинации параметров и при этом разрешить нужные особенно актуально когда сайт использует параметры (а именно об этой ситуации мы и говорим, когда параметры используются для рекламы)

[webinfo]

Сообщение от burunduk

во-первых, запрет в роботсе это самая плохая практика, вы теряете и ссылочное и пф
во-вторых, есть исключения когда инструкция в роботсе игнорируется
в-третьих, вы тратите доступную квоту на сканирование и в итоге на больших сайтах, подобное может привести к проблемам с индексацией
в-четвёртых, в роботсе нет возможности запретить все возможные комбинации параметров и при этом разрешить нужные особенно актуально когда сайт использует параметры (а именно об этой ситуации мы и говорим, когда параметры используются для рекламы)

Не согласен по всем пунктам.
Во-первых, это общепринятая практика. Для того этот файл и придуман.
Во-вторых, исключения не про этот случай.
В-третьих, с какого перепуга я теряю квоту, если страницы не сканируются?
В-четвёртых, запрещаете все и разрешаете нужные, никаких проблем.

[burunduk]

Сообщение от webinfo

Во-первых, это общепринятая практика. Для того этот файл и придуман.

например сам гугл пишет что ему насрать на роботс если есть внешняя ссылка

Сообщение от webinfo

Во-вторых, исключения не про этот случай.

про тот их очень много

Сообщение от webinfo

В-третьих, с какого перепуга я теряю квоту, если страницы не сканируются?

сканируются

Сообщение от webinfo

В-четвёртых, запрещаете все и разрешаете нужные, никаких проблем.

попробуйте разрешить
/?utm_df=fgg&q=ttt
и запретить
/?utm_df=fgg&q=porno

в параметре q необходимо разрешить всё легальное и запретить всю чернуху

[webinfo]

Сообщение от burunduk

например сам гугл пишет что ему насрать на роботс если есть внешняя ссылка

Я в курсе. Это ничему не противоречит, просто надо понимать механизм индексации.

Сообщение от burunduk

про тот их очень много

Сомневаюсь.

Сообщение от burunduk

сканируются

С какой целью?.

Сообщение от burunduk

попробуйте разрешить
/?utm_df=fgg&q=ttt
и запретить
/?utm_df=fgg&q=porno

в параметре q необходимо разрешить всё легальное и запретить всю чернуху

Я Вас понял наконец, что Вы имеете в виду: злонамеренные ссылки со сторонних ресурсов. Но в данном случае как раз ничего разрешать не надо. ТС не использует GET-параметров, поэтому можно смело запрещать всё.

[burunduk]

Сообщение от webinfo

Но в данном случае как раз ничего разрешать не надо. ТС не использует GET-параметров, поэтому можно смело запрещать всё.

а как же реклама?

Сообщение от webinfo

просто надо понимать механизм индексации.

так от понимания ещё больше проблем возникает
роботс - рекомендательный формат

Сообщение от webinfo

С какой целью?

это вы у пс спрашивайте

[webinfo]

Сообщение от burunduk

а как же реклама?

А зачем её индексировать?

Сообщение от burunduk

так от понимания ещё больше проблем возникает

Это у кого как.

Сообщение от burunduk

это вы у пс спрашивайте

Дык я не с ПС тут веду разговор.

[burunduk]

Сообщение от webinfo

А зачем её индексировать?

если вы используете параметры для рекламы и запрещаете страницу в роботсе вы просто теряете множество различных сигналов (пф), как я писал выше запрет в роботсе - это самый плохой вариант

Сообщение от webinfo

Дык я не с ПС тут веду разговор.

вы же спрашиваете зачем он сканирует то что закрыто в роботсе, об этом у пс спрашивайте
но как факт могу вам сказать пс сканирует абсолютно все url на которые заходит пользователь, более того, плюс все url которые участвуют в формировании данной страницы в независимости от инструкций в роботсе
например одна из целей это вопросы безопасности