Ссылки с черновиков Вики работают?

[xxdevil]

Сообщение от <!--WEB-->

«Рекомендательный» означает, что Google сам определяет действия своих ботов, используя инструкции из файла только как один из возможных вариантов.

Спасибо кэп, ты сама очевидность.

[ziliboba0213]

Сообщение от xxdevil

А это тут при чем? Disallow в robots немного другое пальто

еще бы понять о чем ты

[xxdevil]

Сообщение от ziliboba0213

еще бы понять о чем ты

Ну Димас, ты даешь. Ну ...хух ... надеюсь ты не стебаешься сейчас? Ты же знаешь что у твоего сайта есть файл robots ? Такой красивый себе https://димка-красава/robots.txt в нем прописаны инструкции для роботов ПС. Ну вот такая чушь:

User-agent: *
Disallow: /admin/
Disallow: /callback/
Disallow: /download/
Allow: /media/
Host: https://димка-красава
Sitemap: https://димка-красава/sitemap.xml

Те странички где Allow: например https://димка-красава/media/ она будет открыта роботу для посещения. А там где Disallow: например https://димка-красава/callback/ считается что на усмотрение робота ПС. Рекомендательный характер эти директивы носят. Не обязательны к выполнению. Но я сколько экспериментировал, пришел к выводу, что в индекс гугл зайдет в лучшем случае 5% закрытого в Disallow. И то не надолго. По крайней мере такие страницы например у доноров, если ты на них бэклинк получил, в консоли есть, но очень не много. По большей части гугл их игнорит. Потому что бы там не считали все, у меня вот такой опыт на эту тему.

На практике для тебя, вижу же что ты ссылками таришься это означает, что если ты сделал прогон и получил ссылку со страницы скажем такого вида:

https://сайт-донор/profil/димас.html

А в роботс этого сайта прописано

Disallow: /profil/

То это значит что тебя кинули на бабки. В 95% случаев эта страничка гуглу без интереса. В индекс она не заедет, как не пихай. Ну и примерно представил выхлоп от такого бэка, да?

[ziliboba0213]

Сообщение от xxdevil

Ну Димас, ты даешь. Ну ...хух ... ты же знаешь что у твоего сайта есть файл robots ? Такой красивый себе https://димка-красава/robots.txt в нем прописаны инструкции для роботов ПС. Ну вот такая чушь:

User-agent: *
Disallow: /admin/
Disallow: /callback/
Disallow: /download/
Allow: /media/
Host: https://димка-красава
Sitemap: https://димка-красава/sitemap.xml

Те странички где Allow: например https://димка-красава/media/ она будет открыта роботу для посещения. А там где Disallow: например https://димка-красава/callback/ считается что на усмотрение робота ПС. Рекомендательный характер эти директивы носят. Не обязательны к выполнению. Но я сколько экспериментировал, пришел к выводу, что в индекс гугл зайдет в лучшем случае 5% закрытого в Disallow. По крайней мере такие страницы например у доноров, если ты на них бэклинк получил, в консоли есть, но очень не много. По большей части гугл их игнорит. Потому что бы там не считали все, у меня вот такой опыт на эту тему.

Ааа, ага, они закрыты там в роботсе, глянул

[Chikk]

Сообщение от xxdevil

... на усмотрение робота ПС.

Да, так и есть. К примеру, в robots закрыта папка шаблонов сайта, но на каждой странице в js есть отсыл к некой папке в папке с шаблонами и... Получаем в ВМ плашку "проиндексировано, несмотря на запрет в роботс". Ну да и мать его ети.

[xxdevil]

Сообщение от ziliboba0213

Ааа, ага, они закрыты там в роботсе, глянул

На кворк небойсь поперся, разгильдяй? Там клоунов с такими базами, как грязи.

[Coder]

Сообщение от xxdevil

Ну и чему верить? Глазам или всем?

)

- заходит Абрам в спальню и видит Сару с каким-то мужиком
-Сагочка, это что?!!
- Абрам, ты кому больше веришь: своим бесстыжим глазам или мне?!

Сказано - и так, и этак. Кому надо насмерть что закрыть, закроет по-другому. Поэтому, это из серии «и хочется и колется» или «а и хрен с ним»