Wget команды примеры. Команды WGET — параметры загрузки

Указание пустой строки в значении заголовка очистит все определенные пользователем до этого заголовки. ––proxy-user= user ––proxy-passwd= password Определяет имя пользователя user и пароль password для авторизации сервере прокси. Будет использован тип авторизации "basic" . ––referer= url Добавляет заголовок `Referer: url ‘ в запрос HTTP . Используется при загрузке страниц, которые передаются правильно только если сервер знает, с какой страницы вы пришли. -s ––save-headers Сохранять заголовки, отправляемые серверам HTTP . -U agent-string ––user-agent= agent-string Идентифицироваться, как agent-string при запросе на HTTP сервер.Протокол HTTP позволяет определять себя использованием заголовка агента. Wget по умолчанию идентифицируется, как Wget/ version , где version — это версия Wget.Некоторые серверы выдают требуемую информацию только для обозревателей, идентифицирующихся как "Mozilla" или Microsoft "Internet Explorer" . Этот параметр позволяет обмануть такие серверы.

Параметры FTP

По умолчанию использование символов маски разрешено, если URL содержит такие символы.Вы можете также взять URL в кавычки. Это сработает только на серверах Unix FTP (и эмулирующих выход Unix "ls"). ––passive-ftp Включает пассивный режим FTP , когда соединение инициируется клиентом. Используется при наличии firewall. ––retr-symlinks При рекурсивной загрузке папок FTP файлы, на которые указывают символические ссылки, не загружаются. Данный параметр отключает это.Параметр ––retr-symlinks работает сейчас только для файлов, не для папок.Помните, что этот параметр не работает при загрузке одиночного файла.

Параметры рекурсивной загрузки

Параметр -r включает загрузку по умолчанию, параметр -nd отключает создание папок.При указанном параметре ––delete-after будет игнорироваться параметр ––convert-links . -k ––convert-links После завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме. Это касается не только видимых ссылок на другие документы, а ссылок на все внешние локальные файлы.Каждая ссылка изменяется одним из двух способов:

* Ссылки на файлы, загруженные Wget изменяются на соответствующие относительные ссылки.Например: если загруженный файл /foo/doc.html , то ссылка на также загруженный файл /bar/img.gif будет выглядеть, как ../bar/img.gif . Этот способ работает, если есть видимое соотношение между папками одного и другого файла. * Ссылки на файлы, не загруженные Wget будут изменены на абсолютные адреса этих файлов на удаленном сервере.Например: если загруженный файл /foo/doc.html содержит ссылку на /bar/img.gif (или на ../bar/img.gif ), то ссылка в файле doc.html изменится наhttp://host/bar/img.gif . Благодаря этому, возможен автономный просмотр сайта и файлов: если загружен файл, на который есть ссылка, то ссылка будет указывать на него, если нет — то ссылка будет указывать на его адрес в интернет (если такой существует). При конвертировании используются относительные ссылки, значит вы сможете переносить загруженный сайт в другую папку, не меняя его структуру.Только после завершения загрузки Wget знает, какие файлы были загружены. Следовательно, при параметре -k конвертация произойдет только по завершении загрузки. -K ––backup-converted Конвертировать ссылки обратно — убирать расширение .orig . Изменяет поведение опции -N . -m ––mirror Включить параметры для зеркального хранения сайтов. Этот параметр равен нескольким параметрам: -r -N -l inf -nr . Для неприхотливого хранения зеркальных копий сайтов вы можете использовать данный параметр. -p ––page-requisites Загружать все файлы, которые нужны для отображения страниц HTML . Например: рисунки, звук, каскадные стили.По умолчанию такие файлы не загружаются. Параметры -r и -l , указанные вместе могут помочь, но т.к. Wget не различает внешние и внутренние документы, то нет гарантии, что загрузится все требуемое.Например, 1.html содержит тег "" , со ссылкой на 1.gif , и тег "" , ссылающийся на внешний документ 2.html . Страница 2.html аналогична, но ее рисунок — 2.gif и ссылается она на 3.html . Скажем, это продолжается до определенного числа.Если будет дана команда: wget -r -l 2 http://I /1.html

то 1.html , 1.gif , 2.html , 2.gif и 3.html загрузятся. Как видим, 3.html без 3.gif , т.к. Wget просто считает число прыжков, по которым он перешел, доходит до 2 и останавливается. А при параметрах:

Wget -r -l 2 -p http://I /1.html

Все файлы и рисунок 3.gif страницы 3.html загрузятся. Аналогично

Wget -r -l 1 -p http://I /1.html

приведет к загрузке 1.html , 1.gif , 2.html и 2.gif . Чтобы загрузить одну указанную страницу HTML со всеми ее элементами, просто не указывайте -r и -l :

Wget -p http://I /1.html

При этом Wget будет себя вести, как при параметре -r , но будут загружены страница и ее вспомогательные файлы. Если вы хотите, чтобы вспомогательные файлы на других серверах (т.е. через абсолютные ссылки) были загружены, используйте:

Wget -E -H -k -K -p http://I /I

И в завершении, нужно сказать, что для Wget внешняя ссылка — это URL , указанный в тегах "" , "" и "" , кроме "" .

Параметры запрета/разрешения рекурсивной загрузки

Но теперь лучшим параметром для загрузки одной страницы полностью считается ––page-requisites . -H ––span-hosts Разрешает посещать любые сервера, на которые есть ссылка. -L ––relative Следовать только по относительным ссылкам. При этом параметре файлы с других серверов точно не будут загружаться. -I list ––include-directories= list Список папок, разделенных запятыми, из которых разрешено загружать файлы. Элементы списка list -X list ––exclude-directories= list Список папок, разделенных запятыми, исключаемых для загрузки (см. Ограничение по папкам). Элементы списка list могут содержать символы масок. -np ––no-parent Не подниматься выше начального адреса при рекурсивной загрузке.

ПРИМЕРЫ ИСПОЛЬЗОВАНИЯ

Примеры разделены на три категории согласно их сложности.

Просто использование

* Если вам нужно загрузить URL , то введите: wget http://fly.srk.fer.hr/ * Но что же будет, если соединение медленное, а файл длинный? Есть возможность обрыва связи перед завершением загрузки. В этом случае Wget будет продолжать попытки нового соединения, пока не кончится число попыток (по умолчанию 20). Можно изменить это число, например до 45: wget ––tries=45 http://fly.srk.fer.hr/jpg/flyweb.jpg * Теперь оставим Wget работать в фоновом режиме, а его сообщения будем записывать в журнал log . Долго набирать ––tries , так что используем -t . wget -t 45 -o log http://fly.srk.fer.hr/jpg/flyweb.jpg &

Символ амперсанда в конце указывает командному интерпретатору продолжать работу, не дожидаясь завершения работы Wget. Чтобы программа делала повторы бесконечно — используйте -t inf . * Использовать FTP также очень просто. Wget берет на себя все заботы по авторизации.

Wget ftp://gnjilux.srk.fer.hr/welcome.msg * Если вы укажите адрес папки, то Wget загрузит листинг этой папки (т.е. файлы и подкаталоги, содержащиеся в ней) и сконвертирует его в формат HTML . Например: wget ftp://prep.ai.mit.edu/pub/gnu/ links index.html

Расширенное использование

* Если у Вас есть файл с URL, которые вы хотите загрузить, то используйте параметр -i : wget -i I

Если вы укажете — вместо имени файла, то URL будут читаться из стандартного ввода (stdin). * Создать пятиуровневую копию сайта GNU со структурой папок оригинала, с одной попыткой загрузки, сохранить сообщения в gnulog :

Wget -r http://www.gnu.org/ -o gnulog * Как и в примере выше, но с конвертированием ссылки в файлах HTML в локальные, для последующего автономного просмотра: wget ––convert-links -r http://www.gnu.org/ -o gnulog * Загрузить одну страницу HTML и все файлы, требуемые для отображения последней (напр. рисунки, файлы каскадных стилей и т. д.). Также сконвертировать все ссылки на эти файлы: wget -p ––convert-links http://www.server.com/dir/page.html

Страница HTML будет сохранена в www.server.com /dir/page.html и рисунки, каскадные стили и прочее будет сохранено в папке

-r -l1 включает рекурсивную загрузку с максимальной глубиной 1. ––no-parent выключает следование по ссылкам в родительскую папку, имеющую верхний уровень, -A.gif разрешает загружать только файлы с расширением .GIF . -A «*.gif» также будет работать. * Предположим, что во время рекурсивной загрузки вам нужно было срочно выключить/перезагрузить компьютер. Чтобы не загружать уже имеющиеся файлы, используйте:

Wget -nc -r http://www.gnu.org/ * Если вы хотите указать имя пользователя и пароль для сервера HTTP или FTP , используйте соответствующий синтаксис URL : wget ftp://hniksic: /.emacs * Вы хотите, чтобы загружаемые документы шли в стандартный вывод, а не в файлы? wget -O - http://jagor.srce.hr/ http://www.srce.hr/

Если вы хотите устроить конвейер и загрузить все сайты, ссылки на которые указаны на одной странице:

Wget -O - http://cool.list.com/ | wget ––force-html -i -

Профессиональное использование

* Для хранение зеркала страницы (или папки FTP ), то используйте ––mirror (-m ), что заменяет -r -l inf -N . Вы можете добавить Wget в crontab с запросом на проверку обновлений каждое воскресенье: crontab 0 0 * * 0 wget ––mirror http://www.gnu.org/ -o /home/me/weeklog * Вы также хотите, чтобы ссылки конвертировались в локальные. Но после прочтения этого руководства, вы знаете, что при этом не будет работать сравнение по времени. Укажите Wget оставлять резервные копии HTML файлов перед конвертацией. Команда: wget ––mirror ––convert-links ––backup-converted http://www.gnu.org/ -o /home/me/weeklog * А если не работает локальный просмотр файлов HTML с расширением, отличным от .html , например index.cgi , то нужно передать команду на переименование всех таких файлов (content-type = text/html ) в имя.html . wget ––mirror ––convert-links ––backup-converted ––html-extension -o /home/me/weeklog .wgetrc Это свободное программное обеспечение; условия копирования ищите в исходных текстах. НЕ существует никаких гарантий; программа НЕ предназначена для ПРОДАЖ.

Этот учебник призван объяснить достаточное число команд для того, чтобы вы могли с лёгкостью использовать Vim в качестве редактора общего назначения. Вам потребуется приблизительно 25-30 минут на освоение данного учебника в зависимости от того, сколько времени вы потратите на эксперименты.

Случается необходимость скачать сайт, причины на то могут быть самые разные и не будем сейчас об этом. О правовой и моральной стороне своих действий, каждый сам способен рассудить.

Кому-то может показаться, что в мире, где 50% населения активно пользуется компьютерами и привыкли к стильным графическим интерфейсам с богатыми возможностями, нет места для текстовых приложений. Примерно 20 лет назад интерфейс персонального компьютера представлял собой страшную панель черного цвета, на которой не отображалось ничего, кроме набора белых символов. Все управление сводилось к выполнению текстовых команд. Эти команды были уродливы, но при этом весьма надежны и функциональны.

Что такое Wget? Wget – это не интерактивное консольное приложение для работы с веб-страницами и файлами. По сути, это простая программа для скачивания файлов из сети Интернет, которая отличается отсутствием графического интерфейса и рядом особенностей управления, которые нельзя назвать типичными для современных решений. Разработал программу Wget инженер из Хорватии Хрвожи Никшич. Сегодня разработку поддерживает Джузеппе Скривано и сообщество Linux. Первая сборка программы, которая в то время еще называлась GetURL, была представлена в 1996 году. Написана программа была на языке программирования C. Создавалась она по лицензии GNU. Инструмент изначально был выпущен на платформе Linux. Со временем программа была переведена на множество языков. Появились версии для наиболее популярных операционных систем, таких как Windows 7 и более новых. Также можно найти Wget для MacOS. Данная программа не является интерактивной. Это означает, что любой процесс, который был запущен в рамках ее возможностей, нельзя взять под контроль. Можно управлять им только путем обращения к средствам самой операционной системы. Несмотря на то, что в современных браузерах обычно имеется встроенный менеджер загрузок, они все рассчитаны на интерактивное взаимодействие, поэтому работа в ручном режиме оказывается серьезно затруднена. Wget , напротив, дает возможность автоматизировать ряд процессов. Так, например, имеется возможность заранее подготовить текстовый документ с перечнем веб-страниц, используя который можно сразу загрузить несколько страниц и файлов.

Wget: основные функции программы

Прежде всего, стоит отметить, что Wget представляет собой программу для скачивания файлов. Поэтому ее основная функция очевидна. Wget может загружать любые материалы из сети Интернет, будь то исполнительные файлы, документы или целые веб-страницы в формате HTML. Можно также загружать файлы из директорий по протоколу FTP. Клиент может осуществлять рекурсивную загрузку в автоматическом режиме, путем перехода по ссылкам в рамках определенного веб-сайта или нескольких веб-сайтов, восстанавливая при этом изначальную структуру веб-страницы. Существует возможность просмотра загруженных веб-сайтов без доступа к сети. Wget изначально адаптировался под нестабильные и медленные типы подключений. Его важной особенностью является возможность восстановления прерванной загрузки файла. Это оказывается возможным в том случае, если сервер поддерживает заголовки RANGE. Wget также может мониторить состояние серверов для дозагрузки и обновления веб-страницы и файлов. При этом Wget проверяет заголовки файлов и поддерживает самую свежую версию. В программе имеется ряд возможностей, которые являются типичными для так называемых утилит-пауков. Такие утилиты исследуют различные сайты и серверы на предмет наличия определенных файлов.

Wget: поддерживаемые платформы

Как уже должно быть ясно, базой для Wget стал Linux. Как ранее уже было сказано, изначально данная утилита работала только на Linux.Однако она быстро набрала популярность и была адаптирована для использования в других системах. Так, к примеру, можно найти версию Wgetдля операционной системы Windows 7 и более современных операционных систем. Имеются также сборки с графическим интерфейсом. Что же касается операционной системы Linux, то Wget нередко вшивается в дистрибутив. В некоторых сборках операционной системы Linux терминалы изначально поддерживают команды Wget. Такие потребительские дистрибутивы, как Ubuntu, open SUSE, Fedora работают с программой Wget из коробки. Далее мы более подробно рассмотрим программу.

Команды Wget: список основных параметров

К основному списку команд Wget относятся:

— V – позволяет определить версию программы, используемую в данный момент;

— h — показывает наиболее полный список команд для работы с приложением;

— b – дает возможность перевести программу в фоновый режим.

Список параметров сообщений команд Wget дает возможность полностью контролировать всю отображаемую информацию. Приведем примерный список:

— ologfile – создает файл-журнал, в который записывается весь процесс работы приложения;

— alogfile – дает возможность дополнить существующий файл-журнал вместо создания нового журнала;

— d – отображает информацию, необходимую разработчикам и отладчикам, помогать решать проблемы и исправлять ошибки, возникающие в процессе работы клиента;

— q – отвечает за отображение сообщений;

— v – предоставляет подробный отчет обо всех процессах, которые в реальном времени происходят в программе;

— nv – сокращает информацию, которую пользователь получает в сообщениях. В результате остается только необходимая информация и оповещения о возникающих ошибках;

— i-file – команда позволяет выполнить сканирование файла, вычленив из него ссылку, при этом можно использовать файлы различных форматов, в том числе и HTML, однако в случае использования данной команды не стоит в командной строке указывать путь к файлу;

— f – провоцирует программу на чтение файла как HTML. В случае использования данной команды для работы с локальным документом HTML может возникнуть ошибка.

Список параметров загрузки

Приведем базовый перечень команд для работы с загрузкой файлов при помощи программы Wget.

• Bind-address=ADDRESS – эта команда дает возможность передать данные bind в ADDRESS локальной машины. Команда необходима при использовании соединения TCP/IP для точного указания адреса IP или нескольких;
• t-number (необходимо указать число) – позволяет пользователю выбрать количество повторов загрузки. Значение number, чтобы избежать повторов следует указать равным нулю.
• nc – эта команда дает возможность вернуть загружаемый файл в прежнее состояние в том случае, если произошел сбой сети и загрузка был прервана. Если не использовать команды для дозагрузки (-r, -nc, — N), Wget создаст его копию и заново начнет загрузку.
• r – позволяет заменить существующие файлы;
• c – способствует дозагрузке файла при потере соединения и в том случае, если Wget прекратил самостоятельные попытки для восстановления подключения. Перед ссылкой на файл достаточно просто указать данную команду. Если аналогичный файл найдется в используемой директории, то Wget выполнит его идентификацию и примет в автоматическом режиме решение о дозагрузке. Можно использовать команду только на тех серверах, в которых имеется поддержка заголовков RANGE.
• Progress – дает возможность выбрать тип отображения прогресса загрузки. Можно указать progress=dot или progress=bar;
• Spider – заменяет команду загрузки файла на проверку наличия на сервере;
• w – указывает время перерыва между загрузками;
• q – позволяет регулировать размер загружаемых файлов и лимитировать чрезмерный объем. Стоит отметить, что вне зависимости от выставленной квоты один файл будет загружен (то есть, данная опция не будет работать с одним файлом, какой-бы вес он не имел);

Перечень параметров HTTP

— http-user и http-password – дают возможность указать логин и пароль для авторизации на ресурсе, с которого будут загружаться файлы;

— C=on/off – дает возможность включить или отключить кэширование информации на стороне сервера;

— cookies=on/off – то же самое, только для cookies – дает возможность остановить или возобновить обмен данными cookie, которые необходимы серверу для ведения статистики посещений. Данная опция включена по умолчанию, однако cookie-файлы не сохраняются на жестком диске;

— proxy-user и proxy-passwd – дает возможность указать логин и пароль для авторизации на прокси-сервере, если он задействован.

Список параметров FTP

Приведем список более продвинутых параметров для работы с Wget:

— nr – устанавливает запрет на удаление временных файлов из директории listing, которые самопроизвольно генерируются при работе с FTP;

— gon/off – дает утилите возможность использовать специальные символы в директориях FTP;

— passive-ftp – можно использовать данную команду при наличииFirewall, чтобы активировать пассивный режим FTP.

Команды Wget: примеры использования

Самый простой и банальный пример работы с программой Wget – это, конечно же, загрузка файлов. Для того чтобы протестировать команды Wget, можно начать с простого. Достаточно просто найти ссылку на какой-либо файл в сети и ввести в консоль terminal: Wget*ссылка с указанием пути к файлу*. Для того чтобы продолжить загрузку файла, необходимо использовать следующую команду: Wget-c*ссылка с указанием полного и точного пути к файлу*. Если у вас имеется запланированный список со ссылками на документы и файлы, то можно использовать следующую команду: Wget –Ifilelist.txt. Что же касается процесса загрузки веб-страниц, то здесь все немного сложнее. Но и возможностей при этом намного больше. Чтобы каждый раз не вводить параметры, когда возникает необходимость загрузки веб-сайта, можно создать скрипты или прописать все настройки в файле.wgetrc. Чтобы сохранить веб-страницу в виде ссылок, необходимо использовать команду Wget–m*ссылка с указанием точного и полного пути к файлу*. Чтобы страница была доступна для просмотра без подключения к интернету, можно использовать команду Wget-r – 10 – k *ссылка с указанием полного и точного пути к файлу*. Возникновение ошибки типа команда Wget не найдена может означать, что была допущена опечатка или параметр был указан неправильно.

Все мы иногда качаем файлы из интернета. Если для этого использовать программы с графическим интерфейсом, то всё оказывается предельно просто. Однако, при работе в командной строке Linux дело несколько усложняется. Особенно - для тех, кто не знаком с подходящими инструментами. Один из таких инструментов - чрезвычайно мощная утилита wget, которая подходит для выполнения всех видов загрузок. Предлагаем вашему вниманию двенадцать примеров, разобрав которые, можно освоить основные возможности wget.

$ wget https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia
После ввода такой команды начнётся скачивание Nagios Core. В ходе этого процесса можно будет видеть данные о загрузке, например - сведения о том, какой объём данных уже загружен, текущую скорость, и то, сколько времени осталось до конца загрузки.

2. Загрузка файла и сохранение его с новым именем

$ wget -O nagios_latest https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia
При таком подходе загруженный файл будет сохранён под именем nagios_latest .

3. Ограничение скорости загрузки файлов

$ wget ––limit-rate=500K https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia
Здесь задано ограничение скорости загрузки, равное 500 Кб/с.

4. Завершение прерванной загрузки

$ wget –c https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia
Если этот параметр не использовать, то загрузка недокачанного файла начнётся сначала.

$ wget –b https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

$ vi url.txt
В этот файл нужно поместить адреса - по одному в каждой строке. Далее, осталось лишь запустить wget , передав этой утилите только что созданный файл со списком загрузок:

$ wget –I url.txt
Выполнение этой команды приведёт к поочерёдной загрузке всех файлов из списка.

7. Увеличение общего числа попыток загрузки файла

Wget ––tries=100 https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

$ wget FTP-URL
Если для доступа к файлу требуются имя пользователя и пароль, то команда примет такой вид:

$ wget –-ftp-user=dan ––ftp-password=********* FTP-URL

9. Создание локальной копии веб-сайта

$ wget --mirror -p --convert-links -P /home/dan xyz.com
Обратите внимание на дополнительные параметры командной строки:

• -p: производится загрузка всех файлов, необходимых для корректного отображения HTML-страниц.
• --convert-links: ссылки в документах будут преобразованы для целей локального просмотра сайта.
• -P /home/dan: материалы будут сохранены в папку /home/dan .

10. Загрузка с сайта только файлов определённого типа

$ wget -r -A.txt Website_url

11. Пропуск файлов определённого типа

$ wget --reject=png Website_url

12. Загрузка с использованием собственного.log-файла

$ wget -o wgetfile.log https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r=&ts=1489637334&use_mirror=excellmedia

Итоги

Уважаемые читатели! Пользуетесь ли вы инструментами командной строки Linux для загрузки файлов? Если да - просим о них рассказать.