Используйте для проверки сайта текстовый браузер, например, Lynx, потому что большинство “пауков” поисковых систем видят сайт точно так же, как Lynx. Если из-за таких замысловатых ухищрений, как JavaScript, cookies, идентификаторы сеансов, фреймы, DHTML или Flash, просмотреть весь сайт с помощью текстового браузера не удается, то и “паукам” поисковых систем, возможно, будет трудно его сканировать.
Разрешите поисковым роботам сканировать Ваши сайты без идентификаторов сеансов и без аргументов, которые позволяют отслеживать пути их передвижения по сайту. Эти инструменты полезны для отслеживания поведения конкретного пользователя на сайте, но роботы посещают сайты совершенно иначе. Использование этих инструментов может привести к неполной индексации сайта, поскольку роботам не всегда удается исключить URL, которые выглядят по-разному, но на самом деле ведут на одну и ту же страницу.
Убедитесь, что веб-сервер поддерживает заголовок HTTP If-Modified-Since. Он позволит серверу сообщать Google, изменилось ли содержание со времени прошлого сканирования. Поддержка этой функции сэкономит Ваш трафик и накладные расходы.
Воспользуйтесь размещенным на веб-сервере файлом robots.txt. Он сообщает сканерам, какие каталоги можно сканировать, а какие нельзя. Следите за актуальностью содержания этого файла, чтобы случайно не заблокировать сканер поискового робота Google. Инструкции о том, как давать указания роботам, сканирующим сайт, приводятся на сайте http://www.robotstxt.org/wc/faq.html.
Если Ваша компания решит приобрести систему управления содержанием, проверьте, может ли она экспортировать содержание, чтобы позволить “паукам” поисковых систем его сканировать.
Не используйте в качестве параметра в URL “&id=2006″, поскольку такие страницы мы не индексируем.