wget - скачиваем сайт

Появилась нужда выкачать локальный сайт, у каждого из Вас своя причина конечно, например оффлайн-версия сайта, но не суть, главное как это делать.

Для себя я выбрал следующие параметры, но для начала пример:

wget -c -p -r -l0 -np -N -k -nv -R zip,tar,tgz,gz,rar,z,exe,mov,mpg,mpeg,avi,asf,mp3,mp2,rm,wav,vob,qt,vid,ac3,wma,wmv,mp4,mkv http://site.ru

Описание применяемых параметров:

-c - Продолжение закачки частично скачанного файла.
-p - Устанавливает корневой каталог в prefix. Корневой каталог - это каталог, куда будут сохранены все файлы и подкаталоги, т.е. вершина скачиваемого дерева. По умолчанию . (текущий каталог).
-r - Включить рекурсивную загрузку.
-np - Не подниматься выше начального адреса при рекурсивной загрузке.
-N - Включить сравнение по дате.
-k - После завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме. Это касается не только видимых ссылок на другие документы, а ссылок на все внешние локальные файлы.
-nv - Исопльзовать сокращенные сообщения (чтобы выключить сообщения, см. -q). Сообщения об ошибках и основная информация будут отображаться.
-R - запрещенные расширения файлов (которые не нужно скачивать)
-l (это н i) Загружать все файлы, которые нужны для отображения страниц HTML. Например: рисунки, звук, каскадные стили.

С авторизацией

Если вдруг Вам понадобится скачать сайт, который доступен только авторизованному пользователю, то для этого Вам понадобится:

1. Авторизоваться в браузере на сайте, посмотреть какие cookies Вам установились

2. Посмотреть адрес ссылки, которая может Вас деавторизовать при скачиваниии

3. Указать эти данные в запросе, например так:

wget -c -p -r -l0 -np -N -k -nv -R "*logout*" --reject zip,tar,tgz \
--header='Cookie: JSESSIONID=3AD37; seraph.confluence=40075273%3A0fe7' \
http://site.ru/dashboard.action

Как видите, параметром -R "*logout*" я указал часть адреса страницы, которая деавторизует пользователя, в моем случае это страница http://site.ru/logout.action

Однако, если Вы решите выкачать сайт по-серьезному, то советую использовать для этого программу httrack »

Оцени публикацию:
  • 2,7
Оценили человек: 2
Теги : wget

Похожие статьи:


Предложения и пожелания:
Ваше имя:
Ваш E-mail:
Сколько будет Οдин + Τри
Главная
X

youtube.com/watch?v=7hFivbgIEqk

При полном или частичном использовании материалов данного сайта, ссылка на сайт "yapro.ru" обязательна как на источник информации.
Автоматический импорт материалов и информации с сайта запрещен.
Copyrights © 2007 - 2019 YaPro.Ru

Главная » Веб-мастеру » Программы »