robots.txt

# $ИД: robots.txt,в 1.9.2.1 2008/12/10 20:12:19 гобу Ехр $
#
# robots.txt
#
# Этот файл является предотвращение сканирования и индексирования отдельных частей
# из вашего сайта, поисковые роботы и пауки бегут сайты, как Yahoo!
# и Google. Рассказывая эти "роботы", где не заходить на ваш сайт,
# вам экономить трафик и ресурсы сервера.
#
# Этот файл будет проигнорирован, если он находится в корне вашего хоста:
# Используется: http://example.com/robots.txt
# Игнорируется: http://example.cом/сайта/роботы.тХВ
#
# Для получения дополнительной информации об robots.txt стандарт, см:
# http://www.robotstxt.org/wc/robots.html
#
# Для проверки синтаксиса см.:
# http://www.sxw.oРГ.Великобритания/вычислительных/robots/check.htmл
Пользователь-агент: *
Ползать-задержка: 10
# Каталоги
Запретить: /включает в себя/
Запретить: /смешанная/
Запретить: /модули/
Запретить: /профилей/
Запретить: /скрипты/
Запретить: /сайты/
Запретить: /темами/
# Файлы
Запретить: /CHANGELOG.txt
Запретить: /cron.php
Запретить: /установить.с MySQL.тХВ
Запретить: /установить.список pgsql.тХВ
Запретить: /install.php
Запретить: /INSTALL.txt
Запретить: /LICENSE.txt
Запретить: /MAINTAINERS.txt
Запретить: /update.php
Запретить: /UPGRADE.txt
Запретить: /xmlrpc.php
# Пути (чистые урлы)
Запретить: /админ/
Запретить: /Комментариев нет/ответ/
Запретить: /контакта/
Запретить: /выхода/
Запретить: /узел/добавить/
Запретить: /поиск/
Запретить: /пользователь/Регистрация/
Запретить: /пользователь/пароль/
Запретить: /пользователь/логин/
# Пути (не чистые урлы)
Запретить: /?вопрос=админ/
Запретить: /?вопрос=комментарий/садовые ножницы.г/
Запретить: /?компания Q=контакт/
Запретить: /?Q в=выход/
Запретить: /?вопрос=узел/добавить/
Запретить: /?компания Q=поиск/
Запретить: /?вопрос=пользователь/passworд/
Запретить: /?вопрос=пользователь/ЕГРЮЛ, решилар/
Запретить: /?вопрос=пользователь/логин/

Управляемый iana Зарезервированные домены
Некоторые домены откладываются в сторону, и номинально зарегистрированы в “Яна”, для конкретных политических или технических целей.
Пример доменов
Как описано в документе RFC 2606 и в RFC 6761ряд доменов, таких как example.com иexample.org ведутся для целей документирования. Эти домены могут быть использованы в качестве иллюстративных примеров в документах без предварительного согласования с нами. Они не доступны для регистрации или передачи.
Тест для idn доменов верхнего уровня
Эти домены были временно делегированы организацией iana для ИДН Оценка проводится в ICANN.
ДоменДомен (a-метка)ЯзыкСценарийإختبارхы--kgbechtvАрабскийАрабскийآزمایشیхы--hgbk6aj7f53bbaПерсидскийАрабский测试хы--0zwm56dКитайскийХан (упрощенный вариант)測試хы--g6w251dКитайскийХан (традиционный вариант)испытаниехы--80akhbyknj4fРусскийКириллицаपरीक्षाхы--11b5bs3a9aj6gХиндиДеванагари (Нагари)δοκιμήхы--jxalpdlpГреческий Современный (1453-)Греческий테스트хы--9t4b11yi5aКорейскийХангыль (Hangŭl, Хангыль)טעסטхы--deba0adИдишИврит???хы--zckzahЯпонскийКатаканаபரிட்சைхы--hlcj6aya9esc7aТамилТамил
Политика-зарезервированные домены
Мы действуем как оба администратора и регистратора для ряда доменов, которые были зарезервированы под политическим соображениям. Эти исключения, как правило, указывается в технических стандартах (документах RFC), или договорные ограничения.
Домены, которые описаны как зарегистрированные iana или ICANN по политическим соображениям не доступны для регистрации или передачи, за исключениемстраны-имя.информация о доменах. Эти домены доступны для освобождения исполнителя правительственный консультативный Комитет иканн Секретариата.
Специализированных Доменов
Есть Дополнительно специальные-используются доменные имена специального реестра документирование-использовать домены, назначенные техническим стандартам. Для получения дополнительной информации, см. специальная-использовать доменные имена (документ RFC 6761).