Robotto 1.0
Robotto бесплатный robots.txt инструмент мониторинга.
Просто создайте учетную запись и добавить домены, которые вы хотите отслеживать. Каждый раз, когда файл robots.txt обновляется, вы получите письмо с подробностями, что изменилось.
Robotto также...
Рекомендуемое программное обеспечение для Web