PHPCrawl

Может быть использован в письменной форме поиска сканеры (пауки), что веб-страницы минных различной информации.
PHPCrawl приобретает информацию, был настроен для загрузки и передает его на более мощные приложения для дальнейшей обработки

Особенности :.

• Фильтры для URL и Content-Type данные
• Define способы обработки печенье
• Define способы обработки файлов robots.txt
• Ограничить свою деятельность в различных способов

Режимы
• Multi-Processing

Что нового В этом выпуске:

• Исправлены ошибки:
• Ссылки, которые частично urlencoded и частично не получить восстановлению / закодирован корректно.
• Удален ненужный отладки var_dump () из PHPCrawlerRobotsTxtParser.class.php
• имя-сервера-указание в TLS / SSL работает корректно.
• & Quot; базовый HREF & Quot;. -tags в сайты интерпретируются правильно теперь снова

Что нового в версии 0.80 бета:

• Код полностью переработан, портирована на PHP5-оо- был переписан код и много кода.
• Добавлена ​​возможность использовать использование нескольких процессов паук веб-сайта. Метод & Quot; goMultiProcessed () & Quot; добавил.
• Новый метод переопределение & Quot; initChildProcess () & Quot; добавлены для начала детей-процессов при использовании искателя в мульти-технологических режиме.
• Implementet альтернативу, внутренняя SQlite кэширования механизм для URL-адресов, что позволяет индексировать большие сайты очень.
• Метод & Quot; setUrlCacheType () & Quot; добавил.
• Новый метод setWorkingDirectory () добавлен для определения местоположения сканеры временного рабочего каталога вручную. Therefor метод и Quot; setTmpFile () & Quot; помечается как устаревшим (не имеет функции больше).
• Новый метод и Quot; addContentTypeReceiveRule () и Quot; заменяет старый метод и Quot; addReceiveContentType () & Quot;.
• Функция & Quot; addReceiveContentType () & Quot; еще присутствует, но была помечена как устарел.

Требования

• PHP 5 или выше
• PHP с поддержкой OpenSSL