Scrapy

Лоскутная написано 100% в Python и может быть использовано для простого анализа данных, мониторинга страницы, веб-поисковых систем и даже для проверки кода.
SCRAPY не поисковая система в истинном значении этого слова, но он действует как один (без индексации части). Тем не менее SCRAPY может быть отличным инструментом, чтобы построить свой логику поиска двигателя на.
Истинная сила этих рамках полагается универсальность своего сердечника, SCRAPY быть система, на которой строится общие или специальные поисковые пауки (сканерам) на.
Хотя это может показаться очень сложным для нетехнических пользователей, с быстрым взглядом через документации и имеющихся учебных пособий, это довольно просто, чтобы увидеть, как SCRAPY удалось вывезти всю тяжелую-работу из-за этого и уменьшить весь процесс для всего несколько строк кода (для проще, меньшие гусеничные)

Что нового В этом выпуске:.

• Unquote запрос путь прежде чем перейти к FTPClient, это уже бежать пути.
• Включить тесты / с Источник распространение в MANIFEST.in.

Что нового в версии 1.0.1:

• путь запроса Unquote прежде чем перейти к FTPClient, это уже избежать пути.
• Включить тесты / с Источник распространение в MANIFEST.in.

Что нового в версии 0.24.6:

• Добавить UTF8 заголовок кодирования шаблоны
• Telnet консоль в настоящее время связывается с 127.0.0.1 по умолчанию
• Обновление Debian / Ubuntu установить инструкции
• Отключить умные строки в оценках LXML XPath
• Восстановление файловой системы кэш, основанный по умолчанию для HTTP-кэш промежуточного
• Expose текущий сканер в SCRAPY оболочки
• Улучшение Тестов сравнению CSV и XML экспортеров
• Нью-выездные / фильтровали и выездные / домены Статистика
• Поддержка process_links как генератора в CrawlSpider

Что нового в версии 0.24.5:

• Добавить UTF8 заголовок кодирования шаблоны
• Telnet консоль в настоящее время связывается с 127.0.0.1 по умолчанию
• Обновление Debian / Ubuntu установить инструкции
• Отключить умные строки в оценках LXML XPath
• Восстановление файловой системы кэш, основанный по умолчанию для HTTP-кэш промежуточного
• Expose текущий сканер в SCRAPY оболочки
• Улучшение Тестов сравнению CSV и XML экспортеров
• Нью-выездные / фильтровали и выездные / домены Статистика
• Поддержка process_links как генератора в CrawlSpider

Что нового в версии 0.22.0:

• Переименовать scrapy.spider.BaseSpider в scrapy.spider .Spider
• Содействие запуска информацию о настройках и промежуточного уровня в INFO
• Поддержка частичные в get_func_args UTIL
• Разрешить работает indiviual тесты с помощью ToX
• Обновить расширения игнорируются ссылка экстракторов
• Селекторы зарегистрируйтесь EXSLT имен по умолчанию
• Унификация пункт погрузчики, похожие на селекторов переименование
• Сделать класс RFPDupeFilter легко подклассы
• Улучшение тестового покрытия и предстоящая Python 3 поддержка

Что нового в версии 0.20.1:

• include_package_data требуется построить колеса из опубликованных источников.

Что нового в версии 0.18.4:.

• Исправлена ​​AlreadyCalledError замене запрос в команды оболочки
• Исправлена ​​start_requests ленивости и в начале зависает.

Что нового в версии 0.18.1:.

• Удалено дополнительное импорта добавлены вишни взял изменения
• Исправлена ​​ползет испытания в витой предварительной 11.0.0.
• py26 не может отформатировать нулевой длины поля {}.
• Тест PotentiaDataLoss ошибки на несвязанных ответов.
• Лечить ответов без Content-Length или Transfer-Encoding как хорошие отзывы.

не
• Любая не включают ResponseFailed если http11 обработчик не включен.

Требования

• Python 2.7 или выше
• витая 2.5.0 или выше
• libxml2 2.6.28 или выше
• pyOpenSSL