wget - скачиваем сайт

Появилась нужда выкачать локальный сайт, у каждого из Вас своя причина конечно, например оффлайн-версия сайта, но не суть, главное как это делать.

Для себя я выбрал следующие параметры, но для начала пример:

wget -c -p -r -l0 -np -N -k -nv -R zip,tar,tgz,gz,rar,z,exe,mov,mpg,mpeg,avi,asf,mp3,mp2,rm,wav,vob,qt,vid,ac3,wma,wmv,mp4,mkv http://site.ru

Описание применяемых параметров:

-c - Продолжение закачки частично скачанного файла.
-p - Устанавливает корневой каталог в prefix. Корневой каталог - это каталог, куда будут сохранены все файлы и подкаталоги, т.е. вершина скачиваемого дерева. По умолчанию . (текущий каталог).
-r - Включить рекурсивную загрузку.
-np - Не подниматься выше начального адреса при рекурсивной загрузке.
-N - Включить сравнение по дате.
-k - После завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме. Это касается не только видимых ссылок на другие документы, а ссылок на все внешние локальные файлы.
-nv - Исопльзовать сокращенные сообщения (чтобы выключить сообщения, см. -q). Сообщения об ошибках и основная информация будут отображаться.
-R - запрещенные расширения файлов (которые не нужно скачивать)
-l (это н i) Загружать все файлы, которые нужны для отображения страниц HTML. Например: рисунки, звук, каскадные стили.

С авторизацией

Если вдруг Вам понадобится скачать сайт, который доступен только авторизованному пользователю, то для этого Вам понадобится:

1. Авторизоваться в браузере на сайте, посмотреть какие cookies Вам установились

2. Посмотреть адрес ссылки, которая может Вас деавторизовать при скачиваниии

3. Указать эти данные в запросе, например так:

wget -c -p -r -l0 -np -N -k -nv -R "*logout*" --reject zip,tar,tgz \
--header='Cookie: JSESSIONID=3AD37; seraph.confluence=40075273%3A0fe7' \
http://site.ru/dashboard.action

Как видите, параметром -R "*logout*" я указал часть адреса страницы, которая деавторизует пользователя, в моем случае это страница http://site.ru/logout.action

Однако, если Вы решите выкачать сайт по-серьезному, то советую использовать для этого программу httrack »

Оцени публикацию:
  • 2,7
Оценили человек: 2
Теги : wget

Похожие статьи:


Предложения и пожелания:
Ваше имя:
Ваш E-mail:
Сколько будет Οдин + Τри
Главная
X

Новые заметки:

Про что мы забываем когда делаем оценку задачи по времени

Список вопросов для собеседования разработчика по телефону

Symfony2 авторизация без Doctrine2 для чайника

Phpstorm7 LiveEdit

Жесткий хабр или не хабр, тогда кто?

Яндекс.Деньги мошенничество

Как узнать какие страницы в поиске яндекса или это секрет

Последние комменты:

Yapro CMS:

Здравствуйте, Гость | Войти | Регистрация | Карта сайта | RSS ленты | Ошибка в тексте? Выделите её мышкой и нажмите: Ctrl + Enter

youtube.com/watch?v=7hFivbgIEqk

При полном или частичном использовании материалов данного сайта, ссылка на сайт "yapro.ru" обязательна как на источник информации.
Автоматический импорт материалов и информации с сайта запрещен.
Copyrights © 2007 - 2018 YaPro.Ru

Главная » Веб-мастеру » Программы »