Обзор

GNU Wget - это свободно распространяемая утилита для выгрузки файлов из World Wide Web с использованием протоколов HTTP (протокол передачи гипертекста) и FTP (протокол передачи файлов), являющихся двумя наиболее широко используемыми в Интернете протоколами. Wget имеет много полезных возможностей способствующих облегчению процесса выгрузки, к которым относятся:

• Wget не интерактивен, а это значит, что он может работать в фоне даже в то время, когда пользователь не находится в системе. Это позволяет вам запустить процесс выборки данных и отключится от системы, позволив Wget довершить остальное. В противоположность этому, большинство WWW броузеров требуют от пользователя постоянного присутствия, что представляет большие затруднения при перекачке значительных размеров данных.
• Wget способен рекурсивно спускаться по структуре HTML документов и деревьям каталогов FTP, создавая локальную копию идентичную иерархии удаленного сервера. Эта возможность применима для создания зеркальных копий архивов и домашних страниц или для прочесывания вэб пространства в поисках данных подобно WWW роботу. В этом обличии Wget понимает соглашение "norobots".
• При выгрузке данных через FTP доступны обработка имен файлов по шаблону и рекурсивное зеркалирование каталогов. Wget умеет считывать информацию о времени создания (модификации) файла, предоставляемую HTTP и FTP серверами, и сохранять ее локально. Поэтому Wget может может распознавать какие файлы изменились с момента последнего доступа и автоматически выполнять их выгрузку. Это делает Wget применимым для зеркалирования FTP сайтов и домашних страниц.
• Wget исключительно хорошо работает на медленных или неустойчивых соединениях повторя попытки выгрузки документа до тех пор пока он не будет получен или не будет исчерпано, определяемое пользователем, максимальное количество попыток. В случаях разрыва соединения до момента полного получения файла, Wget будет пытаться продолжить передачу с момента обрыва, используя методы "REST" для FTP и "Range" для HTTP, если удаленный сервер их поддерживает.
• Wget по умолчанию поддерживает использование прокси серверов, которые позволяют снизить загрузку сети, повысить скорость выборки данных и предоставляют доступ из-за брандмауэров. Однако, если вы находитесь за брандмауэром, то это может потребовать использования шлюза класса socks. С этой целью вам буден необходимо взять библиотеку поддержки socks и пересобрать с ней Wget. Кроме этого, Wget так же, как опцию, поддерживает FTP выгрузку в пассивном режиме.
• Имеется встроенный механизм позволяющий осуществлять точную подстройку типов ссылок, которым Wget должен следовать.
• Процесс выгрузки динамически отображается выводом точек, где каждая точка представляет фиксированный объем полученных данных (по умолчанию 1 Кбайт). Это представление может быть изменено по вашему предпочтению.
• Большинство возможностей полностью настраиваемые либо через аргументы командной строки, либо через инициализационный файл ".wgetrc". Wget позволяет вам использовать глобальный конфигурационный файл (по умолчанию /usr/local/etc/wgetrc) для определения общих для всей системы установок.
• И наконец, GNU Wget - свободно распространяемое программное обеспечение. Это значит, что каждый может использовать его, распространять и/или модифицировать в соответствии с лицензией "GNU General Public License" опубликованной "Free Software Foundation".