httrack - работа из консоли

Задался я целью, выкачать себе на диск несколько локальных сайтов и попробовав wget, понял что он мне не подходит.

Все подробности опишу ниже, а пока что хочу показать варианты настроек, после чего у Вас в папке окажется сайт оптимизированный под поисковые системы.

Скачиваем сайт arch.multilocal.ru

httrack -qiC1%P0x%q0u655350%s%u%I0dH0%kf2o0%c10#L10000000%f#f -N "%h%p/%[genre_id:/:::]%[country_id:/:::]%[page:/:::]%[year:/:::]%[char:/:::]%[director_id:/:::]%[what:/:::]%[id:/:::]Film.%t" -F "Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)" -%F "" -%l "ru, en, *" http://arch.multilocal.ru/ -O1 "C:\\local\\arch\\files" +*.css +*.js -mime:application/foobar -*.mov -*.mpg -*.mpeg -*.avi -*.asf -*.mp3 -*.mp2 -*.rm -*.wav -*.vob -*.qt -*.vid -*.ac3 -*.wma -*.wmv -*.zip -*.tar -*.tgz -*.gz -*.rar -*.z -*.exe +*.gif +*.jpg +*.png +*.tif +*.bmp -*.mp4 -*.mkv

Скачиваем сайт anime.mega-files.ru

httrack -qiC1%P0x%q0u655350%s%u%I0dH0%kf2o0%c10#L10000000%f#f -N "%h%p/%[action:/:::]%[show:/:::]%[gid:/:::]%[an_id:/:::]%[id:/:::]%[len:/:::]%[page:/:::]Anime.%t" -F "Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)" -%F "" -%l "ru, en, *" http://anime.mega-files.ru/ -O1 "C:\\local\\anime\\files" +*.css +*.js -mime:application/foobar -*.mov -*.mpg -*.mpeg -*.avi -*.asf -*.mp3 -*.mp2 -*.rm -*.wav -*.vob -*.qt -*.vid -*.ac3 -*.wma -*.wmv -*.zip -*.tar -*.tgz -*.gz -*.rar -*.z -*.exe +*.gif +*.jpg +*.png +*.tif +*.bmp -*.mp4 -*.mkv

Скачиваем сайт games.multilocal.ru

httrack -qiC1%P0x%q0u655350%s%u%I0dH0%kf2o0%c10#L10000000%f#f -N "%h%p/%[page:/:::]%[m:/:::]%[order:/:::]%[query:/:::]%[x:/:::]%[y:/:::]Game.%t" -F "Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)" -%F "" -%l "ru, en, *" http://games.multilocal.ru/ -O1 "C:\\local\\games\\files" +*.css +*.js -mime:application/foobar -*.mov -*.mpg -*.mpeg -*.avi -*.asf -*.mp3 -*.mp2 -*.rm -*.wav -*.vob -*.qt -*.vid -*.ac3 -*.wma -*.wmv -*.zip -*.tar -*.tgz -*.gz -*.rar -*.z -*.exe +*.gif +*.jpg +*.png +*.tif +*.bmp -*.mp4 -*.mkv

Скачиваем сайт camelot.userlan.ru

httrack -qiC1%P0x%q0u655350%s%u%I0dH0%kf2o0%c10#L10000000%f#f -F "Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)" -%F "" -%l "ru, en, *" http://camelot.userlan.ru/ -O1 "F:\\local\\camelot\\files" +*.css +*.js -mime:application/foobar -*.mov -*.mpg -*.mpeg -*.avi -*.asf -*.mp3 -*.mp2 -*.rm -*.wav -*.vob -*.qt -*.vid -*.ac3 -*.wma -*.wmv -*.zip -*.tar -*.tgz -*.gz -*.rar -*.z -*.exe +*.gif +*.jpg +*.png +*.tif +*.bmp -*.mp4 -*.mkv

Скачиваем сайт video.userlan.ru

httrack -qiC1%Px%q0u655350%s%u%I0dH0%kf2o0%c10#L10000000%f#f -N "%h%p/%[flm_mode:/:::]%[genre_id:/:::]%[film_id:/:::]%[image_id:/:::]%[director:/:::]%[year:/:::]%[actors:/:::]film.%t" -F "Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)" -%F "" -%l "ru, en, *" http://video.userlan.ru/films.php -O1 "C:\\local\\video\\files" +*.css +*.js -mime:application/foobar -*.mov -*.mpg -*.mpeg -*.avi -*.asf -*.mp3 -*.mp2 -*.rm -*.wav -*.vob -*.qt -*.vid -*.ac3 -*.wma -*.wmv -*.zip -*.tar -*.tgz -*.gz -*.rar -*.z -*.exe +*.gif +*.jpg +*.png +*.tif +*.bmp -*.mp4 -*.mkv

Скачиваем сайт video.multilocal.ru

httrack -qiC1%P0x%q0u655350%s%u%I0dH0%kf2o0%c10#L10000000%f#f -N "%h%p/%[mode:/:::]%[name:/:::]%[order:/:::]%[year:/:::]%[actor:/:::]%[page:/:::]%[director:/:::]%[act:/:::]%[CODE:/:::]Film.%t" -F "Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)" -%F "" -%l "ru, en, *" http://video.multilocal.ru/ -O1 "C:\\local\\video2\\files" +*.css +*.js -mime:application/foobar -*.mov -*.mpg -*.mpeg -*.avi -*.asf -*.mp3 -*.mp2 -*.rm -*.wav -*.vob -*.qt -*.vid -*.ac3 -*.wma -*.wmv -*.zip -*.tar -*.tgz -*.gz -*.rar -*.z -*.exe +*.gif +*.jpg +*.png +*.tif +*.bmp -*.mp4 -*.mkv

как альтернативу, для создания красивых урл, можно применить такую регулярку:

%[genre_id:/:::]%[country_id:/:::]%[orderby:/:::]%[page:/:::]%[year:/:::]%[char:/:::]%[director_id:/:::]%[id:/:::]%[what:/:::]%[where:/:::]

Параметры - то, что применяется после httrack

Опишу их в последовательности их применения на примере сайта video.multilocal.ru:

-q - говорим о том, что дальше идут параметры

i - continue an interrupted mirror using the cache

C - create/use a cache for updates and retries (C0 no cache,C1 cache is prioritary,* C2 test update before)

%P - стараться определять все URL (даже в неопознанных тегах/скриптах)

%P0 - НЕ стараться определять все URL (даже в неопознанных тегах/скриптах)

%q *include query string for local files (information only) (%q0 don't include)

u655350 - Wait time (сколько времени ждать, пока сервер ответит)

%s использовать различные хаки, чтобы избежать повторной передачи при обновлении

%u check document type if unknown (cgi,asp..) (u0 don't check, * u1 check but /, u2 check always) (--check-type[=N])

%I make an searchable index for this mirror (* %I0 don't make) (--search-index)

d - оставаться на одной и той же основной домен

H - debug HTTP headers in logfile (--debug-headers)

kf2o0 -

%cN - maximum number of connections/seconds (*%c10) ( количество одновременных соединений )

#L Maximum number of links (-#L1000000)

%f *use proxy for ftp (f0 don't use) (--httpproxy-ftp[=N])

#f Always flush log files

Не используемые, но интересные параметры:

-B URL
--base=URL
    При чтении URL из файла (-F) определяет URL, добавляемый к относительным адресам файла, указанного параметром -i.

l - остаться на том же домене (например,.com)

-F
--force-html
    При чтении URL из файла, включает чтение файла как HTML. Для предотвращения ошибок в случае локального файла HTML добавьте в файл "<base href="url">" или введите параметр командной строки --base.

x replace external html links by error pages

Обновление:

C  create/use a cache for updates and retries (C0 no cache,C1 cache is prioritary,* C2 test update before)
X *purge old files after update (X0 keep delete)
%s  update hacks: various hacks to limit re-transfers when updating (identical size, bogus response..) (--updatehack)
--update   update a mirror, without confirmation (-iC2)

*R1 количество попыток, в случае тайм-аута или не фатальные ошибки (*R1) (--retries[=N]) пример: HTTrack http://ya.com-O / TMP / shoesizes-R5
D *можно только спуститься в подкаталогах
a *пребывание на тот же адрес
l остаться на том же домене (например,.com)
cN количество одновременных соединений (*c8)
--update обновление зеркала без подтверждения (-iC2) пример:httrack -%L linkfile -O /tmp/shoesizes -B --update
 --max-rate[=1048576] неизвестно как применять

Статья получилась сырая, зато с примерами, если будут вопросы, пишите в комментариях, попробую помочь, удачки!

Оцени публикацию:
  • 0,0
Оценили человек: 0
Теги : httrack

Похожие статьи:


Предложения и пожелания:
Ваше имя:
Ваш E-mail:
Сколько будет Οдин + Τри
Главная
X

youtube.com/watch?v=7hFivbgIEqk

При полном или частичном использовании материалов данного сайта, ссылка на сайт "yapro.ru" обязательна как на источник информации.
Автоматический импорт материалов и информации с сайта запрещен.
Copyrights © 2007 - 2017 YaPro.Ru

Главная » Веб-мастеру » Программы »