WGet

GNU Wget - бесплатная сетевая утилита для извлечения файлов из World Wide Web с использованием HTTP и FTP, двух наиболее широко используемых интернет-протоколов. Он работает не интерактивно, что позволяет работать в фоновом режиме после выхода из системы.

Поддерживается рекурсивное извлечение HTML-страниц, а также FTP-сайтов - вы можете использовать Wget для создания зеркал архивов и домашних страниц или перемещаться по сети, как WWW-робот (Wget понимает /robots.txt).

Wget работает очень хорошо на медленных или нестабильных соединениях, сохраняя получение документа до его полного восстановления. Повторное получение файлов с того места, где оно остановилось, работает на серверах (как HTTP, так и FTP), которые его поддерживают. Соответствие подстановочных знаков и рекурсивное зеркалирование каталогов доступно при получении через FTP. Как HTTP, так и FTP-запросы могут быть отмечены по времени, поэтому Wget может видеть, изменился ли удаленный файл с момента последнего извлечения и автоматически извлекает новую версию, если она есть.

Wget поддерживает прокси-серверы, которые могут облегчить загрузку сети, ускорить поиск и обеспечить доступ к брандмауэрам. Если вы находитесь за брандмауэром, который требует использования шлюза стиля носков, вы можете получить библиотеку носков и скомпилировать wget с поддержкой носков.

Большинство функций настраиваются либо через параметры командной строки, либо через файл инициализации .wgetrc. Wget позволяет установить глобальный файл запуска (etc / wgetrc по умолчанию) для настроек сайта.

Требования :

GNU