Форум blap.ru
18 Февраль 2018, 13:51:46 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Новости: Всегда можете узнать об актуальных новостях на нашей странице в соцсети
 
   Начало   Помощь Поиск Календарь Войти Регистрация  
Страниц: [1]   Вниз
  Печать  
Автор Тема: Яндекс вебмастер. Страницы под robots.txt, Яндекс решил сканировать страницы под  (Прочитано 8243 раз)
0 Пользователей и 1 Гость смотрят эту тему.
pomax-12
Новичок
*

Репутация 0
Офлайн Офлайн

Сообщений: 1


Просмотр профиля
« : 08 Март 2013, 22:52:23 »

Здравствуйте. Такой вопрос. Обнаружил, что яндекс стал сканировать внутренние страницы сайта. Сайт на друпал 6. Специально выискивал внутренние страницы, делал перечень ссылок, который поставить надо в файл robots.txt под запрет индексации. А яндекс сегодня выдал мне сюрприз - +250 ссылок под запретом в файле robots.txt. Пока я нашел все внутренние страницы, испытывал несколькими инструментами по поиску ссылок. А яндекс значит решил проиндексировать их и поставить в вебмастере в раздел "запрещен к индексированию в файле robots.txt".

Хочу у знать ваше внение, как относиться к росту количества ссылок в вебмастере под роботс тхт. Как вы думаете будет на это реагировать сам яндекс?
Если стоит, то как сделать так, чтоб яндекс вообще не заходил и не сканировал внутренние страницы сайта?
Может кто нибудь еще сталкивался с этакой проблемкой и как-то ее решил? Заранее спасибо за ответы
Записан
Страниц: [1]   Вверх
  Печать  
 
Перейти в:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.15 | SMF © 2006-2011, Simple Machines Valid XHTML 1.0! Valid CSS!