Общие положения

Файл robots.txt предназначен для оповещения всех поисковых роботов об особенностях индексирования сайта и требует неукоснительного выполнения перечисленных в нем директив.

Файл robots.txt должен соответствовать специальным требованиям предъявляемым к его созданию.Не верное выполнение требований приводит к ошибкам считывания роботами поисковых систем либо к неработоспособности файла инструкций, что в конечном итоге ведет к ошибкам индексирования сайта, появления в поиске служебной либо дублированной информации. Первое, что ищут роботы на сайте и к чему обращаются чаще всего – это файл robots.txt.

Ознакомиться с инструкциями и требованиями к файлу – help.yandex.ru/webmaster/?id=996567. Проверить созданный robots так же можно в панели Яндекс вебмастер.

Рекомендации для Php pro bid

Пример, как рекомендация, для размещения файла robots.txt на вашем сайте, созданном на скрипте php pro bid.

В стандартной поставке скрипта такого файла нет. Предлагаемый пример создан исходя из представлений, что конкретно не стоило бы индексировать и выкладывать в широкий доступ.

Юзер агенты разделены на * (всех) и конкретно для Yandex (Яндекс) бота, так как есть некоторые различия в директивах, и стоило бы разделить их для конкретных роботов-поисковиков.

Записи «Disallow» содержат предписания, которые указывают поисковым роботам какие файлы и каталоги запрещены к индексированию. В общем случае, не стоит выкладывать в открытый доступ папки admin, lightbox, scripts, cron_jobs и некоторые другие вместе с общеслужебными файлами системы.

Запись «host» использует только система Яндекс. Общее ее предназначение – это уведомить робота Яндекс поиска о том, какое основное зеркало сайта. Зеркало сайта – это его полная или частичная копия. Пример – site.ru и www.site.ru в общем случае два зеркала одного и того же сайта. Яндекс, конечно, может и сам определить для вашего сайта основное зеркало и запретит к индексации прочие зеркала. Но стоит ли это того? Рекомендуется самим выбирать основное зеркало и указывать в Host .

User-agent: *
Disallow: /admin/
Disallow: /lightbox/
Disallow: /scripts/
Disallow: /amazon_payments/
Disallow: /images/
Disallow: /cron_jobs/
Disallow: /img/
Disallow: /store_templates/
Disallow: /auction_print.php
Disallow: /bulk_categories.php
Disallow: /bulk_categories_new.php
Disallow: /currency_converter.php
Disallow: /invoice_print.php
Disallow: /online_users.txt
Disallow: /payment_completed.php
Disallow: /payment_filed.php
Disallow: /payment_process.php
Disallow: /payment_processing.php
Disallow: /pbulk.php
Disallow: /pbulkconfig.php
Disallow: /pbulkupdate.php
Disallow: /popup_bank_details.php
Disallow: /popup_edit_public_question.php
Disallow: /pp_alertpay
Disallow: /pp_amazon.php
Disallow: /pp_authnet.php
Disallow: /pp_balance.php
Disallow: /pp_chekout.php
Disallow: /pp_gc.php
Disallow: /pp_ikobo.php
Disallow: /pp_moneybookers.php
Disallow: /pp_nochex.php
Disallow: /pp_paymate.php
Disallow: /pp_paypal.php
Disallow: /pp_protx.php
Disallow: /pp_robox.php
Disallow: /pp_smscoin.php
Disallow: /pp_testmode.php
Disallow: /pp_wm.php
Disallow: /pp_worldpay.php
Disallow: /pp_zpayment.php
Disallow: /reverse_print.php
Disallow: /robox_success.php
Disallow: /rss.php
Disallow: /ruppmods.php
Disallow: /shipping_locations_select.php
Disallow: /shop.php
Disallow: /stores.php
Disallow: /update_categories.php
Disallow: /wm_success.php
Disallow: /zpayment_success.php
Sitemap: http://вашсайт.ru/sitemap.xml
User-agent: Yandex
Disallow: /admin/
Disallow: /lightbox/
Disallow: /scripts/
Disallow: /amazon_payments/
Disallow: /images/
Disallow: /cron_jobs/
Disallow: /img/
Disallow: /store_templates/
Disallow: /auction_print.php
Disallow: /bulk_categories.php
Disallow: /bulk_categories_new.php
Disallow: /chek_username.php
Disallow: /currency_converter.php
Disallow: /invoice_print.php
Disallow: /online_users.txt
Disallow: /payment_completed.php
Disallow: /payment_filed.php
Disallow: /payment_process.php
Disallow: /payment_processing.php
Disallow: /pbulk.php
Disallow: /pbulkconfig.php
Disallow: /pbulkupdate.php
Disallow: /popup_bank_details.php
Disallow: /pp_alertpay
Disallow: /pp_amazon.php
Disallow: /pp_authnet.php
Disallow: /pp_balance.php
Disallow: /pp_chekout.php
Disallow: /pp_gc.php
Disallow: /pp_ikobo.php
Disallow: /pp_moneybookers.php
Disallow: /pp_nochex.php
Disallow: /pp_paymate.php
Disallow: /pp_paypal.php
Disallow: /pp_protx.php
Disallow: /pp_robox.php
Disallow: /pp_smscoin.php
Disallow: /pp_testmode.php
Disallow: /pp_wm.php
Disallow: /pp_worldpay.php
Disallow: /pp_zpayment.php
Disallow: /reverse_print.php
Disallow: /robox_success.php
Disallow: /rss.php
Disallow: /ruppmods.php
Disallow: /shipping_locations_select.php
Disallow: /shop.php
Disallow: /stores.php
Disallow: /update_categories.php
Disallow: /wm_success.php
Disallow: /zpayment_success.php
Sitemap: http://вашсайт.ru/sitemap.xml
Host: вашсайт.ru

Предложенное – не догма, а рекомендации. Вы вполне можете вносить исправления и дополнения в предложенный вариант, исходя из вашего понимания и потребностей конкретного сайта.