robots.js 0.9.4
Может быть использован, чтобы вытащить данные из файла robots.txt и кормить его в другие приложения или статистических инструментов.Будет извлечь целевой URL, причина для доступа к данным и состояния Что нового В этом выпуске:. Ручки HTTP (S )...