Wget-команди: приклади. Консольна програма для завантаження файлів по мережі Wget

Якщо ви вкажете — замість імені файлу, то URL будуть читатися зі стандартного вводу (stdin). * Створити пятиуровневую копію сайту GNU зі структурою папок оригіналу, з однією спробою завантаження, зберегти повідомлення в gnulog:

Wget -r http://www.gnu.org/ -o gnulog * Як і в прикладі вище, але з конвертацією посилання в файлах HTML в локальні, для подальшого автономного перегляду: wget --convert-links -r http: // www.gnu.org/ -o gnulog * Завантажити одну сторінку HTML і всі файли, необхідні для відображення останньої (напр. малюнки, файли каскадних стилів і т. д.). Також конвертувати всі посилання на ці файли: wget -p --convert-links http://www.server.com/dir/page.html

Сторінка HTML буде збережена в www.server.com/dir/page.html і малюнки, каскадні таблиці стилів та інше буде збережено в папці www.server.com/, Крім випадку, коли файли будуть завантажуватися з інших серверів. * Як і в прикладі вище, але без папки www.server.com/. також усе файли будуть збережені в підпапках download /.

Wget -p --convert-links -nH -nd -Pdownload http://www.server.com/dir/page.html * Завантажити index.html з www.lycos.com, Відображаючи заголовки сервера: wget -S http://www.lycos.com/ * Зберегти заголовки в файл для подальшого використання. wget -s http://www.lycos.com/ more index.html * Завантажити дві вищі рівня wuarchive.wustl.edu в / tmp. wget -r -l2 -P / tmp ftp://wuarchive.wustl.edu/ * Завантажити файли GIF папки на HTTP сервері. команда wget http://www.server.com/dir/*.gif не працюватиме, тому що маскувальні символи не підтримуються при завантаженні по протоколу HTTP. Використовуйте: wget -r -l1 --no-parent -A.gif http://www.server.com/dir/

-r -l1 включає рекурсивне отримання з максимальною глибиною 1. --no-parent вимикає проходження по посиланнях в батьківську папку, що має верхній рівень, -A.gif дозволяє завантажувати тільки файли з розширенням .GIF. -A «* .gif» також буде працювати. * Припустимо, що під час рекурсивної завантаження вам потрібно було терміново вимкнути / перезавантажити комп'ютер. Щоб не завантажувати вже наявні файли, використовуйте:

Wget -nc -r http://www.gnu.org/ * Якщо ви хочете вказати ім'я користувача і пароль для сервера HTTP або FTP, використовуйте відповідний синтаксис URL: wget ftp: // hniksic: /.emacs * Ви хочете, щоб завантажуються документи йшли в стандартний висновок, а не в файли? wget -O - http://jagor.srce.hr/ http://www.srce.hr/

Якщо ви хочете влаштувати конвеєр і завантажити всі сайти, посилання на які вказані на одній сторінці:

Wget -O - ttp: //cool.list.com/ | wget --force-html -i -

професійне використання

З короткими аналогами команд:

Wget -m -k -K -E http://www.gnu.org/ -o / home / me / weeklog

ФАЙЛИ

ПОМИЛКИ

Ви можете відправляти звіти про помилки в GNU Wget на адресу< " " > (англійською).
Перед відправкою:

1. Переконайтеся, що поведінка програми дійсно помилково. Якщо Wget «вилітає», то це помилка. Якщо поведінка Wget не відповідає документації, то це помилка. Якщо все працює дивно, але ви не впевнені, як воно повинно працювати насправді, то це теж може бути помилкою. 2. Спробуйте повторити ситуацію з видачею помилки за мінімальну кількість действій.Не поспішайте відправляти .wgetrc, Спробуйте виконати всі дії, що призвели до помилки з іншим файлом налаштувань (або взагалі без нього). 3. Запустіть Wget з параметром -d і відправте журнал (або його частини). набагато легше відшукувати помилки при наявності таких журналів. 4. Якщо Wget видав помилку, то спробуйте запустити його в відладчик, наприклад "gdb` which wget` core "і введіть" where "для отримання зворотного трасування.

СМ. ТАКОЖ

GNU Info для wget.

АВТОРИ

ПЕРЕКЛАД

АВТОРСЬКІ ПРАВА

Copyright (c) 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003, 2004,
2005, 2006, 2007, 2008, 2009, 2010, 2011 Free Software Foundation, Inc.
Це вільне програмне забезпечення; умови копіювання шукайте в початкових текстах. НЕ існує ніяких гарантій; програма НЕ призначена для ПРОДАЖ.

Здавалося б, в світі, де половина населення планети активно користується комп'ютерами і звикла до стильним графічним інтерфейсам і багатим можливостям такого, вже немає місця для текстових додатків. Якихось 20 років тому інтерфейс комп'ютера був страшну чорну панель, яка відображала нічого, крім набору білих символів, а все управління здійснювалося за рахунок текстових команд. Дивно, але наскільки ці програми потворні, настільки ж вони функціональні і надійні.

Що таке Wget?

Wget (яка також називається GNU Wget Linux) є консольне, що не інтерактивне додаток для роботи з файлами і веб-сторінками. По суті, це програма для скачування файлів з мережі Інтернет, що відрізняється відсутністю графічного інтерфейсу і рядом особливостей в управлінні, нетипових для більш сучасних рішень.

Програма була розроблена інженером з Хорватії Хрвожі Нікшич, а нині розробку підтримує Джузеппе Скрівано і співтовариство Linux. Перша збірка утиліти (тоді ще під назвою GetURL) була представлена \u200b\u200bв січні 1996 року. Програма була написана на мові програмування Сі та видавалася за ліцензією GNU. Спочатку інструмент був випущений на платформі Linux. Згодом утиліта була переведена на безліч мов і перенести на всі популярні платформи, включаючи Wget для Windows 7 (і новіше), Wget для MacOS і так далі.

Дана програма - не інтерактивні, а значить, будь-який процес, запущеної в рамках її можливостей, неможливо взяти під контроль, їм можна управляти, звернувшись до засобів управління самої операційної системи.

Незважаючи на те що сучасні браузери зазвичай мають вбудований вони все ж розраховані на інтерактивне взаємодія, тому робота в ручному режимі стає скрутною. Wget ж, навпаки, дозволяє ряд процесів автоматизувати. Наприклад, існує можливість заздалегідь підготувати текстовий документ зі списком веб-сторінок, використовуючи який можна завантажити відразу кілька файлів і сторінок.

Основні функції програми

Все ж в першу чергу це програма для скачування файлів, з чого слід очевидність її головної функції.

Wget може завантажувати будь-які матеріали з мережі Інтернет, будь то документи, виконавчі файли або цілі веб-сторінки в форматі HTML (з використанням різних протоколів). Файли можуть бути завантажені з директорій по

Клієнт може виконувати рекурсивне отримання, в автоматичному режимі переходячи по посиланнях в рамках певного веб-сайту (або кількох веб-сайтів), при цьому відновлюючи початкову структуру веб-сторінки. Є можливість переглядати завантажені веб-сайти без доступу до мережі (за замовчуванням завантажується у вигляді адрес для онлайн-перегляду).

Спочатку Wget адаптувався під повільні і нестабільні типи підключень, тому його важливою особливість є можливість відновити перервану завантаження файлу (це можливо, якщо сервер підтримує заголовки RANGE). Також Wget може моніторити стан серверів (їх доступність) для дозавантаження і поновлення (Wget перевіряє заголовки файлів і підтримує найсвіжішу версію) файлів і веб-сторінки.

Програма також має ряд можливостей, типових для так званих утиліт-павуків, які досліджують різні веб-сайти і сервери на предмет наявності на них певних файлів.

Підтримувані платформи

Wget Linux став базою для даного продукту. Як вже було сказано вище, спочатку утиліта працювала лише на Linux, але швидко набрала популярність і була адаптована під інші системи. Наприклад, можна відшукати версію Wget для Windows 7 і більше сучасних ОС, причому є збірки з графічним інтерфейсом. Що стосується Linux, то там програма нерідко вшивається в дистрибутив. Термінали в деяких збірках Linux спочатку підтримують Wget-команди. Ubuntu, Fedora, openSUSE і інші споживчі дистрибутиви працюють з програмою, що називається, з коробки. Далі розглянемо програму більш докладно.

Wget-команди: список основних параметрів

У базовий список команд входять:

• -V - дозволяє дізнатися, яка версія програми використовується в даний момент;
• -h - показує найбільш повний список команд для роботи з додатком;
• -b - дозволяє перевести програму в фоновий режим;

Список параметрів повідомлень

Wget-команди дозволяють повністю контролювати наведену інформацію. Ось їх список:

• -o logfile - створює файл-журнал, в який записується весь процес роботи програми;
• -a logfile - дозволяє доповнити існуючий файл-журнал замість створення нового;
• -d - відображає необхідну розробникам і отладчиком інформацію (допомагає вирішувати проблеми і виправляти помилки в роботі клієнта);
• -q - відключає відображення повідомлень;
• -v - дана опція включена за замовчуванням, надає докладний звіт про всі процеси, що відбуваються в програмі (в реальному часі);
• -nv - значно скорочує інформацію, що отримується користувачем в повідомленнях. Залишаються лише найнеобхідніші дані та оповіщення про помилки;
• -i file (із зазначенням шляху до файлу) - команда дозволяє просканувати файл, виокремивши з нього посилання і виконати завантаження; можна використовувати файли різних форматів, в тому числі HTML, але в разі використання даної команди не варто вказувати шлях до файлу в командному рядку;
• -f - провокує програму на читання файлу як HTML; при використанні цієї команди для роботи з локальним HTML документом, може статися помилка, щоб її уникнути, достатньо вказати в документі .

Список параметрів завантаження

Основні команди для роботи з з допомогу Wget. Ось їх базовий набір:

• --bind-address \u003d ADDRESS - дана команда дозволяє передати дані bind в ADDRESS локальної машини. При використанні з'єднання TCP / IP, команда необхідна для точного зазначення IP-адреси (якщо їх декілька).
• -t number (потрібно вказати число) - дозволяє користувачеві вибрати кількість повторів завантаження. Щоб уникнути повторів слід вказати значення number рівне нулю.
• -nc - дана команда дозволяє повернути попередній стан завантаження в тому випадку, якщо стався збій в мережі, і завантаження перервалася. Якщо не використовувати одну з команд для дозавантаження (-N, -nc, -r), то Wget створить його копію і почне завантаження заново. Параметр -r дозволяє замінити існуючі файли.
• -с - також сприяє дозавантаження файлу, в разі втрати з'єднання (і коли Wget припинив самостійні спроби відновлення підключення). Досить перед посиланням на файл вказати дану команду. Якщо у використовуваній директорії знайдеться аналогічний файл, то Wget проведе його ідентифікацію і в автоматичному режимі прийме рішення про його дозавантаження. Команду можна використовувати лише на тих серверах, де є підтримка заголовків RANGE.

• --progress - дозволяє вибрати тип відображення прогресу завантаження. Можна вказати -progress \u003d bar або progress \u003d dot.
• --spider - замінює команду завантаження файлу на перевірку його наявності на сервері;
• -w (в секундах) - вказує час перерви між завантаженнями.
• -q (вказується в кількості кілобайт або мегабайт) - дозволяє чітко регулювати розмір завантажуваних даних і лімітувати надмірні обсяги. Проте варто зауважити, що один файл буде завантажений незалежно від виставленої квоти (чи то пак з одним файлом ця опція працювати не буде, якийсь би він не був важкий).

Список параметрів HTTP

• --http-user \u003d і --http-passwd \u003d - дозволяють вказати логін і пароль для авторизації на веб-ресурсі, з якого будуть розвантажуватися файли.
• -C \u003d on / off - дозволяє включити або вимкнути кешування даних на стороні сервера.
• --cookies \u003d on / off - те ж саме, що і для cache, тільки для cookies. Дозволяє або зупинити, або відновити обмін даними cookie, необхідними сервера для ведення статистики відвідувань. За замовчуванням опція включена, але cookie-файли не зберігаються на жорсткий диск.
• --save-cookies - дозволяє зберегти файли cookie (тільки свіжі дані).
• --proxy-user та -proxy-passwd - дозволяє вказати логін і пароль для авторизації на проксі-сервері (якщо такий задіяний).

Список параметрів FTP

Просунуті параметри для роботи з Wget. Команди FTP:

• -nr - забороняє видаляти тимчасові файли з діректоріі.listing, які мимовільно генеруються при роботі з FTP;
• -g on / off - дозволяє використовувати утиліту спеціальні символи в директоріях FTP;
• --passive-ftp - дану команду можна використовувати при наявності firewall'а, щоб активувати пасивний режим FTP (коли користувач сам відповідає за установку з'єднання з сервером).

Wget-команди: приклади використання

Найпростішим і банальним прикладом для роботи з програмою є, звичайно, завантаження файлів. Щоб протестувати Wget-команди, можна почати з простого, знайти посилання на який-небудь файл в мережі і ввести в консоль / terminal: Wget * посилання із зазначенням точного і повного шляху до файлу *.

Щоб продовжити завантаження файлу, використовується: Wget -c * посилання із зазначенням точного і повного шляху до файлу *.

Що стосується завантаження веб-сторінок, тут все дещо складніше, але при цьому і кількість можливостей значно зростає. Щоб не вводити параметри заново кожен раз, коли виникла необхідність завантажити веб-сайт, можна створити скрипти або прописати всі налаштування в файл.wgetrc.

Щоб ця ж сторінка виявилася доступною для перегляду без підключення до мережі Інтернет, можна використовувати команду Wget -r -10 -k * посилання із зазначенням точного і повного шляху до файлу *.

Помилка формату Wget команда не знайдена може означати будь-яку друкарську помилку і неправильно вказаний параметр.

Всі ми іноді качаємо файли з інтернету. Якщо для цього використовувати програми з графічним інтерфейсом, то все виявляється гранично просто. Однак, при роботі в командному рядку Linux справа дещо ускладнюється. Особливо - для тих, хто не знайомий з відповідними інструментами. Один з таких інструментів - надзвичайно потужна утиліта wget, яка підходить для виконання всіх видів завантажень. Пропонуємо вашій увазі дванадцять прикладів, розібравши які, можна освоїти основні можливості wget.

$ Wget https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r\u003d&ts\u003d1489637334&use_mirror\u003dexcellmedia
Після введення такої команди почнеться скачування Nagios Core. В ході цього процесу можна буде бачити дані про завантаження, наприклад - відомості про те, який обсяг даних вже завантажений, поточну швидкість, і то, скільки часу залишилося до кінця завантаження.

2. Завантаження файлу і збереження його з новим ім'ям

$ Wget -O nagios_latest https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r\u003d&ts\u003d1489637334&use_mirror\u003dexcellmedia
При такому підході долучення буде збережений під ім'ям nagios_latest.

3. Обмеження швидкості завантаження файлів

$ Wget --limit-rate \u003d 500K https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r\u003d&ts\u003d1489637334&use_mirror \u003d excellmedia
Тут задано обмеження швидкості завантаження, рівне 500 Кб / с.

4. Завершення перерваного завантаження

$ Wget -c https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r\u003d&ts\u003d1489637334&use_mirror\u003dexcellmedia
Якщо цей параметр не використовувати, то завантаження повністю завантажених файлів почнеться спочатку.

$ Wget -b https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r\u003d&ts\u003d1489637334&use_mirror\u003dexcellmedia

$ Vi url.txt
У цей файл потрібно помістити адреси - по одному в кожному рядку. Далі, залишилося лише запустити wget, передавши цю утиліту щойно створений файл зі списком завантажень:

$ Wget -I url.txt
Виконання цієї команди приведе до почергової завантаженні всіх файлів зі списку.

7. Збільшення загального числа спроб завантаження файлу

Wget --tries \u003d 100 https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r\u003d&ts\u003d1489637334&use_mirror\u003dexcellmedia

$ Wget FTP-URL
Якщо для доступу до файлу потрібне ім'я користувача та пароль, то команда прийме такий вигляд:

$ Wget --ftp-user \u003d dan --ftp-password \u003d ********* FTP-URL

9. Створення локальної копії веб-сайту

$ Wget --mirror -p --convert-links -P / home / dan xyz.com
Зверніть увагу на додаткові параметри командного рядка:

• -p: проводиться завантаження всіх файлів, необхідних для коректного відображення HTML-сторінок.
• --convert-links: посилання в документах будуть перетворені для цілей локального перегляду сайту.
• -P / home / dan: матеріали будуть збережені в папку / home / dan.

10. Завантаження з сайту тільки файлів певного типу

$ Wget -r -A.txt Website_url

11. Пропуск файлів певного типу

$ Wget --reject \u003d png Website_url

12. Завантаження з використанням собственного.log-файлу

$ Wget -o wgetfile.log https://downloads.sourceforge.net/project/nagios/nagios-4.x/nagios-4.3.1/nagios-4.3.1.tar.gz?r\u003d&ts\u003d1489637334&use_mirror\u003dexcellmedia

підсумки

Шановні читачі! Чи користуєтеся ви інструментами командного рядка Linux для завантаження файлів? Якщо так - просимо про них розповісти.

GNU Wget - вільна неінтерактивному консольна програма для завантаження файлів по мережі. Підтримує протоколи HTTP, FTP і HTTPS, а також підтримує роботу через HTTP проксі-сервер. Програма включена майже в усі дистрибутиви GNU / Linux.

GNU Wget є неінтерактивної програмою. Це означає, що після її запуску користувач може вплинути на її роботу лише з допомогою засобів управління процесами самої операційної системи. Як правило для цього використовуються поєднання клавіш Ctrl + C при необхідності переривання роботи програми і Ctrl + Z для переведення поточного завдання в фон.

Сучасні браузери як правило мають функцію закачування файлів, однак так як браузер розрахований на інтерактивний режим роботи, то скачування великої кількості файлів вручну може бути виснажливим. Браузери, як правило, не надають коштів для автоматизації подібних завдань. GNU Wget ж, наприклад, підтримує завантаження URL, зазначених у файлі. Таким чином можна скласти список файлів, а в будь-який зручний час завантажити їх за допомогою GNU Wget.

Інтерфейс командного рядка дозволяє управляти GNU Wget з інших програм і скриптів, що використовується при автоматизації завантаження файлів (регулярні оновлення, моніторинг доступності сервера і т. Д.).

GNU Wget дозволяє завантажувати будь-які файли у всесвітній павутині (в тому числі і (X) HTML-сторінки) за протоколами HTTP і HTTPS, а також файли і списки директорій по протоколу FTP.

Файли можна завантажувати рекурсивно по посиланнях в HTML-сторінках, як з одного сайту з певною глибиною проходження по посиланнях, так і з декількох. Крім цього, при завантаженні по FTP файли можна завантажувати "по масці" імені (тобто можна задавати за допомогою "*" групу файлів).

Також GNU Wget підтримує докачку файлу в разі обриву з'єднання.

Introduction to GNU Wget

GNU Wget is a free software package for retrieving files using HTTP, HTTPS, FTP and FTPS the most widely-used Internet protocols. It is a non-interactive commandline tool, so it may easily be called from scripts, jobs, terminals without X-Windows support, etc.

GNU Wget has many features to make retrieving large files or mirroring entire web or FTP sites easy, including:

• Can resume aborted downloads, using and
• Can use filename wild cards and recursively mirror directories
• NLS-based message files for many different languages
• Optionally converts absolute links in downloaded documents to relative, so that downloaded documents may link to each other locally
• Runs on most UNIX-like operating systems as well as Microsoft Windows
• Supports HTTP proxies
• Supports HTTP cookies
• Supports persistent HTTP connections
• Unattended / background operation
• Uses local file timestamps to determine whether documents need to be re-downloaded when mirroring
• GNU Wget is distributed under the GNU General Public License.

The source code for GNU Wget can be found on here or on our mirrors.
For more download options, see the FAQ.

Documentation

GNU Wget documentation can be found here.
For manuals of other GNU packages, please see www.gnu.org.

Additional Information

Currently GNU Wget2 is being developed.
Please help us if you can with testing, docs, organization, development, ... see you at Wget2 collaboration site

Maintainer

GNU Wget is currently being maintained by Tim Rühsen, Darshit Shah and Giuseppe Scrivano.
The original author of GNU Wget is Hrvoje Nikšić.
Please do not directly contact either of these individuals with bug reports, or requests for help with Wget: that is what the mailing list is for; please use it instead.

Donators

We thank the TYPO3 & Magento partner AOE media for donating to the wget project.

wget - ПОВЕЛИТЕЛЬ закачувань
(ЗАВАНТАЖЕННЯ Фото І САЙТІВ З ІНТЕРНЕТУ В GNU / LINUX)

Про любов wget так багато пісень заспівано,
Я заспіваю, тобі заспіваю, ще одну ...

Романс з к / ф «Три друга»

завдання: хочеться Teleport Pro і FlashGet для Лінукс, качати сайти і файли.

Рішення: відкрийте для себе wget - це все в одному флаконі і навіть більше.

Часто шукають перш за все безліч графічних програм з декількома кнопками - але є одна утиліта, здатна замінити їх і надає можливості, яких більше ніде немає.

це wget і все, що на ньому грунтується. Освоєння цієї утиліти вимагає деяких зусиль і хоча б побіжного прочитання керівництва, але натомість ви отримуєте потужну утиліту, яка буде економити ваш час і трафік.

Варто сказати, що man wget при першому погляді справляє нищівної враження, проте потім розумієш, що далеко не всі опції потрібні при повсякденному використанні. Нижче наводяться найбільш часто використовувані мною опції.

Використання а-ля «FlashGet for Linux»

Потрібно просто завантажити файл і / або продовжити закачування, яка обірвалася. Це дуже і дуже легко зробити, написавши в терміналі кілька рядків.

Просто завантажити файл wget-ом:

$ Wget ftp://vasya.pupkin.com/film.avi

Ще варіант: частина файлу завантажена, закачка обірвалася.

Для продовження закачування файлу пишемо:

$ Wget -c ftp://vasya.pupkin.com/film.avi або $ wget -continue ftp://vasya.pupkin.com/film.avi

Замість -з можна написати -continue, так як кожен ключ має коротку і довгу форми: довгі ключі простіше запам'ятати, але довше писати. Можна легко змішувати різні форми написання.

Щоб викачати файли зі списку, що містить прямі посилання:

$ Wget -i pupkinlist або $ wget -input-file \u003d pupkinlist

Тут вказується тільки файл, В якому містяться посилання. Файл може так само бути html-сторінкою, в якій є посилання.

Windows. Установка wget в Windows XP / 7/8 / 8.1 / 10

Вони будуть викачані зазначеної вище командою.

Використання а-ля «Teleport Pro for Linux»

При скачуванні веб-сайтів можливостей більше, і тому потрібно більше ключів. Знову-таки, запам'ятовувати їх все не обов'язково, можна зробити скрипт (а краще кілька - під різні випадки) і викликати їх.

Віддзеркалення сайтів на локальну машину:

$ Wget -m http://www.vasyapupkin.com/

Копіювання сайту для локального перегляду:

$ Wget -r -l0 -np -k http://www.vasyapupkin.com/

При цьому буде включена рекурсивна вивантаження (ключ -r, -recursive), тобто не тільки файли з головної сторінки, але і всі інші, на які ведуть посилання (ключ -l0 нескінченна вкладеність посилань).

Імена посилань будуть переконвертовані в локальні для зручності перегляду (ключ -k). Так само за допомогою ключа -np (no-parrent) можна заборонити wget підніматися вище початкової адреси при рекурсивної завантаженні, тобто якщо ви копіюєте http://home.vasyapupkin.com/ то по посиланнях з основного сайту http: // www. vasyapupkin.com/ скопійовані не будуть.

Кілька корисних ключів

Включення і виключення файлів при завантаженні:

A acclist або -accept acclist -R rejlist або -reject rejlist

Задає розділяються комами шаблони імен файлів, які слід завантажувати (acclist) або ігнорувати (rejlist).

K або -convert-links

Перетворює абсолютні посилання (типу http: // www ...) в відносні (типу file /// home / vasya / www / index.html) для зручності локального перегляду. Щоб локально в браузері переглянути скачаний сайт, відкриваєте файл index.html в браузері і ходите по посиланнях точно так же, як якщо б ви були підключені до інтернету.

H або -span-hosts

Дозволяє wget завантажувати дані з будь-якої адреси, на який є посилання в запитуваній документі.

P або -page-requisites

Завантажує всі файли, які потрібні для відображення сторінок html. Наприклад: малюнки, звук і каскадні таблиці стилів. Після завершення завантаження конвертує посилання в документі для перегляду в автономному режимі. Це стосується не тільки видимих \u200b\u200bпосилань на інші документи, а посилань на всі зовнішні локальні файли.

siteget - простий скрипт для скачування сайтів

Якщо вам набридли всі ці премудрості з ключами wget і потрібно просто завантажити сайт, то siteget вам дійсно сподобається. Це досить простий скрипт з необхідними параметрами для завантаження сайту.

Завантажити скрипт можна звідси. Після закачування на комп'ютер має сенс скопіювати його в режимі суперкористувача в одну з директорій, прописаних в змінній $ PATH: операційна система автоматично переглядає їх у пошуках виконуваних файлів. Наприклад, в директорію / User / local / bin:

# Cp (директорія, де знаходиться скрипт) / siteget / user / local / bin / siteget

Скрипту також необхідно присвоїти атрибут виконуваного файлу:

# Chmod a + x / usr / local / bin / siteget

Використання siteget дуже просте:

$ Siteget http://www.vasyapupkin.com/

Кафедра біблеїстики МДА, 2008.
Останнє оновлення:
Адреса в інтернеті: http://www.bible-mda.ru/soft/wget/wget.html

просто завантажити файл wget-ом:

wget ftp://vasya.pupkin.com/film.avi

для продовження обірвалося закачування пишемо:

wget -c ftp://vasya.pupkin.com/film.avi

wget -continue ftp://vasya.pupkin.com/film.avi

Як і в інших програмах, ключі мають коротку і довгу форми, і замість можна написати. Довгі ключі простіше запам'ятати, але довше писати. Можна легко змішувати різні форми написання.

щоб викачати файли зі списку, Що містить прямі посилання:

wget -i pupkinlist.txt

wget -input-file \u003d pupkinlist.txt

Тут вказується тільки файл, в якому містяться посилання. Файл може так само бути -Сторінка, в якій є посилання. Вони будуть викачані зазначеної вище командою.

Використання а-ля «Teleport Pro for Linux».

При скачуванні веб-сайтів можливостей більше, і тому потрібно більше ключів.

Знову-таки, запам'ятовувати їх все не обов'язково, можна зробити скрипт (а краще кілька - під різні випадки) і викликати їх.

Так ось, якщо є веб-сайт, і хотілося б мати його локальну копію на комп'ютері, щоб, відключилися від мережі, можна було не поспішаючи його почитати.

Віддзеркалення сайтів на локальну машину:

wget -m http://www.vasyapupkin.com/

еквівалентно, ці опції описані нижче.

Копіювання сайту для локального перегляду (з заміною інтернет-посилань на локальні адреси завантажених сторінок):

wget -r -l0 -k http://www.vasyapupkin.com/

При цьому буде включена рекурсивна вивантаження (ключ -r, -recursive),

У wget є велика кількість корисних опцій - побільше, ніж у Teleport "а прапорців. Будучи загорнутим в скрипт, наприклад, і покладеним на чільне місце (вказане в), маємо зручність застосування і багатство налаштувань.

Чи не підніматися вище початкової адреси при рекурсивної завантаженні.

Включити рекурсивний перегляд каталогів і підкаталогів на віддаленому сервері.

Визначити максимальну глибину рекурсії рівній depth при перегляді каталогів на віддаленому сервері. За замовчуванням depth \u003d 5.

Чи не переходити в батьківський каталог під час пошуку файлів. Це дуже корисна властивість, оскільки воно гарантує, що будуть копіюватися лише ті файли, які розташовані нижче певної ієрархії.

Список імен файлів, розділених комами, які слід (accept) чи не слід (reject) завантажувати. Дозволяється завдання імен файлів по масці.

Wget для Windows. Установка і використання.

Перетворити абсолютні посилання в документі в відносні посилання. Перетворенню піддадуться тільки ті посилання, які вказують на реально завантажені сторінки; інші не будуть перетворюватися. Зауважимо, що лише в кінці роботи wget зможе дізнатися які сторінки були реально завантажені. Отже, лише в кінці роботи wget буде виконуватися остаточне перетворення.

Вказати ім'я користувача і пароль на сервер.

Дозволяє відвідувати будь-які сервера, на які є посилання.

Завантажувати всі файли, які потрібні для відображення сторінок. Наприклад: малюнки, звук, каскадні таблиці стилів (). За замовчуванням такі файли не завантажуються. Параметри і, зазначені разом можуть допомогти, але тому що wget не розрізняє зовнішні та внутрішні документи, то немає гарантії, що завантажиться все необхідне.

посилання

Інформація про програму

Wget це консольна утиліта для завантаження файлів з використанням HTTP, FTP протоколів і проксі-з'єднання.

wget для Windows

Програма дозволяє копіювати прості html сайти зі збереженням структури каталогів. Дозволяє знаходити і обробляти дані robots.txt, вміє конвертувати посилання для подальшого оффлайн доступу. Містить інструмент в порівнянні заголовків файлів для завантаження нових версій і створення дзеркальних копій.

Додаток підтримує відновлення роботи при виникненні помилки або обриві зв'язку, рекурсивную стрибка із зазначенням маски імені і глибини переходу по посиланнях. Вміє авторизуватися на FTP сервері, підключатися в фоновому режимі до захищених https сайтів.

Програма здатна вести докладний лог, є оптимальним засобом для створення дзеркал віддалених сховищ або веб-ресурсів, поточного копіювання даних з FTP серверів.

Завантажити безкоштовно повну російську версію Wget з офіційного сайту без реєстрації і смс.

Системні вимоги

• Підтримувані ОС: Windows XP, 7, 10, 8, Vista, 8.1
• Розрядність: 32 bit, x86, 64 bit

Wget - консольний завантажувач для скачування сайтів і його використання в Windows

wget - консольна утиліта для скачування файлів / сайтів, вміє викачувати файли рекурсивно, слідуючи по посиланнях автоматично.

Приклад використання для скачування документації Django:

• - ходимо по посиланнях (рекурсивне завантажування)
• - перетворюємо посилання до локального виду
• - скачування ресурсів необхідних для відображення html-сторінки (стилі, картинки і т.д.)
• - глибина скачування, 0 - нескінченна вкладеність посилань
• - Чи не перезаписувати існуючі файли
• - не підніматися вище початкової адреси при рекурсивної завантаженні

часто використовувані wget параметри можна винести в ~ / .wgetrc.

curl - консольна утиліта для передачі даних використовуючи URL-синтаксис, підтримуються протоколи DICT, FILE, FTP, FTPS, Gopher, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, Telnet і TFTP.

додаткове чтиво