Рекомендуемый роботс для phpprobid

18.09.2011
ReTweet

Общие положения

Файл robots.txt предназначен для оповещения всех поисковых роботов об особенностях индексирования сайта и требует неукоснительного выполнения перечисленных в нем директив.

Файл robots.txt должен соответствовать специальным требованиям предъявляемым к его созданию.Не верное выполнение требований приводит к ошибкам считывания роботами поисковых систем либо к неработоспособности файла инструкций, что в конечном итоге ведет к ошибкам индексирования сайта, появления в поиске служебной либо дублированной информации. Первое, что ищут роботы на сайте и к чему обращаются чаще всего – это файл robots.txt.

Ознакомиться с инструкциями и требованиями к файлу – help.yandex.ru/webmaster/?id=996567. Проверить созданный robots так же можно в панели Яндекс вебмастер.

Рекомендации для Php pro bid

Пример, как рекомендация, для размещения файла robots.txt на вашем сайте, созданном на скрипте php pro bid.

В стандартной поставке скрипта такого файла нет. Предлагаемый пример создан исходя из представлений, что конкретно не стоило бы индексировать и выкладывать в широкий доступ.

Юзер агенты разделены на * (всех) и конкретно для Yandex (Яндекс) бота, так как есть некоторые различия в директивах, и стоило бы разделить их для конкретных роботов-поисковиков.

Записи «Disallow» содержат предписания, которые указывают поисковым роботам какие файлы и каталоги запрещены к индексированию. В общем случае, не стоит выкладывать в открытый доступ папки admin, lightbox, scripts, cron_jobs и некоторые другие вместе с общеслужебными файлами системы.

Запись «host» использует только система Яндекс. Общее ее предназначение – это уведомить робота Яндекс поиска о том, какое основное зеркало сайта. Зеркало сайта – это его полная или частичная копия. Пример – site.ru и www.site.ru в общем случае два зеркала одного и того же сайта. Яндекс, конечно, может и сам определить для вашего сайта основное зеркало и запретит к индексации прочие зеркала. Но стоит ли это того? Рекомендуется самим выбирать основное зеркало и указывать в Host .

User-agent: *
Disallow: /admin/
Disallow: /lightbox/
Disallow: /scripts/
Disallow: /amazon_payments/
Disallow: /images/
Disallow: /cron_jobs/
Disallow: /img/
Disallow: /store_templates/
Disallow: /auction_print.php
Disallow: /bulk_categories.php
Disallow: /bulk_categories_new.php
Disallow: /currency_converter.php
Disallow: /invoice_print.php
Disallow: /online_users.txt
Disallow: /payment_completed.php
Disallow: /payment_filed.php
Disallow: /payment_process.php
Disallow: /payment_processing.php
Disallow: /pbulk.php
Disallow: /pbulkconfig.php
Disallow: /pbulkupdate.php
Disallow: /popup_bank_details.php
Disallow: /popup_edit_public_question.php
Disallow: /pp_alertpay
Disallow: /pp_amazon.php
Disallow: /pp_authnet.php
Disallow: /pp_balance.php
Disallow: /pp_chekout.php
Disallow: /pp_gc.php
Disallow: /pp_ikobo.php
Disallow: /pp_moneybookers.php
Disallow: /pp_nochex.php
Disallow: /pp_paymate.php
Disallow: /pp_paypal.php
Disallow: /pp_protx.php
Disallow: /pp_robox.php
Disallow: /pp_smscoin.php
Disallow: /pp_testmode.php
Disallow: /pp_wm.php
Disallow: /pp_worldpay.php
Disallow: /pp_zpayment.php
Disallow: /reverse_print.php
Disallow: /robox_success.php
Disallow: /rss.php
Disallow: /ruppmods.php
Disallow: /shipping_locations_select.php
Disallow: /shop.php
Disallow: /stores.php
Disallow: /update_categories.php
Disallow: /wm_success.php
Disallow: /zpayment_success.php
Sitemap: http://вашсайт.ru/sitemap.xml
User-agent: Yandex
Disallow: /admin/
Disallow: /lightbox/
Disallow: /scripts/
Disallow: /amazon_payments/
Disallow: /images/
Disallow: /cron_jobs/
Disallow: /img/
Disallow: /store_templates/
Disallow: /auction_print.php
Disallow: /bulk_categories.php
Disallow: /bulk_categories_new.php
Disallow: /chek_username.php
Disallow: /currency_converter.php
Disallow: /invoice_print.php
Disallow: /online_users.txt
Disallow: /payment_completed.php
Disallow: /payment_filed.php
Disallow: /payment_process.php
Disallow: /payment_processing.php
Disallow: /pbulk.php
Disallow: /pbulkconfig.php
Disallow: /pbulkupdate.php
Disallow: /popup_bank_details.php
Disallow: /pp_alertpay
Disallow: /pp_amazon.php
Disallow: /pp_authnet.php
Disallow: /pp_balance.php
Disallow: /pp_chekout.php
Disallow: /pp_gc.php
Disallow: /pp_ikobo.php
Disallow: /pp_moneybookers.php
Disallow: /pp_nochex.php
Disallow: /pp_paymate.php
Disallow: /pp_paypal.php
Disallow: /pp_protx.php
Disallow: /pp_robox.php
Disallow: /pp_smscoin.php
Disallow: /pp_testmode.php
Disallow: /pp_wm.php
Disallow: /pp_worldpay.php
Disallow: /pp_zpayment.php
Disallow: /reverse_print.php
Disallow: /robox_success.php
Disallow: /rss.php
Disallow: /ruppmods.php
Disallow: /shipping_locations_select.php
Disallow: /shop.php
Disallow: /stores.php
Disallow: /update_categories.php
Disallow: /wm_success.php
Disallow: /zpayment_success.php
Sitemap: http://вашсайт.ru/sitemap.xml
Host: вашсайт.ru

Предложенное – не догма, а рекомендации. Вы вполне можете вносить исправления и дополнения в предложенный вариант, исходя из вашего понимания и потребностей конкретного сайта.

Коротко о сайте.

Блог meganfoxstar.ru поможет вам в Установке и настройке cms Vamshop, PHPProBid, Esyndicat, закрепит и расширит имеющиеся знания. Создание сайтов, продвижение сайтов, оптимизация информации. Теория и практика seo. CSS-верстка, веб-мастеринг, интернет-технологии, манимейкинги – все это и намного больше вы сможете найти на страницах нашего проекта!.

Основной        Дополнит         Twitter
RSS фид основной    RSS фид дополнительный    Всего Фолловеров блога
1006
RSSПодписка на обновления по RSS

Обновления блога по почтеОбновления блога на почтовый ящик