Spidr

Скрипт может работать на одной странице, веб-сайт, несколько доменов или даже нон-стоп.
SPIDR предназначен для быстрой и простой в использовании

Особенности :.

• Восстановление очередь пауков и историю с предыдущей сессии .
• Пользовательские строки User-Agent.
• Пользовательские настройки прокси-сервера.
• Поддержка HTTPS.


• следующим образом:
• тегов.
• IFrame теги.
• теги кадров.
• Cookie охраняемых ссылки.
• HTTP 300, 301, 302, 303 и 307 перенаправлений.
• Мета-Обновить перенаправления.
• HTTP Basic Auth охраняемых ссылки.


• Черный список или белый список URL-адресов, основанные на:
• схема URL-адресов.
• Имя хоста
• Номер порта
• Полная связь
• Расширение URL

<класс Li = "bbli"> Обеспечивает вызовов защитники для:
• Каждый посетили страницу.
• Каждый посетили URL.
• Каждый посетили URL, который соответствует заданному шаблону.
• Каждый происхождения и назначения URI звена.
• Каждый URL, который не удалось посетить.

<класс Li = "bbli"> Предоставляет методы действий, чтобы:
• Пауза робот-паук.
• Перейти обработку страниц.
• Перейти обработки ссылок.

Что нового В этом выпуске:

• Поймать OpenSSL :: SSL :: исключения SSLError, когда по инициативе HTTPS Сессии.