tcpdump — помощник грабера

Захотелось мне как-то сграбить эфир с сайта moskva.fm, почесав репу, решил наконец разобраться с утилитой tcpdump, потому что именно она нам и поможет.

Давайте возьмем прямой вывод tcpdump-а, например так:

tcpdump -i eth0 -nn -s0 -A -l > /var/log/lebnik-tcpdump.log

Eсли немного посмотреть на получившийся контент, то мы увидим непонятную кашу :) но можно заметить, что среди каши появляются параметры заголовков, например:

E..4Z.@.@.X....y...P...Po....'.....s.......
.G..|...
15:36:24.145034 IP 172.16.4.121.59049 > 185.17.30.80.80: Flags [P.], seq 1:390, ack 1, win 115, options [nop,nop,TS val 55034296 ecr 2094329990], length 389
E...Z.@.@.W>...y...P...Po....'.....s.......
.G..|...GET /stream/4002/1398186168?format=flv HTTP/1.1
Host: 185.17.30.80/stream/4002/1398186168?format=flv
Connection: keep-alive
Referer: http://css.moskva.fm/f/MoskvaPlayerDark.swf?20140627113228
User-Agent: Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/34.0.1847.116 Chrome/34.0.1847.116 Safari/537.36
Accept-Encoding: gzip,deflate,sdch
Accept-Language: en-US,en;q=0.8,ru;q=0.6

15:36:24.147535 IP 185.17.30.80.80 > 172.16.4.121.59049: Flags [.], ack 390, win 122, options [nop,nop,TS val 2094329991 ecr 55034296], length 0
E..4~<@.9.;....P...y.P...'..o..2...z.K.....
|....G..

Согласен, набор букв, и я не предлагаю на это ориентироваться, но для себя выношу один момент, сначала мы видим GET-переменную, а потом Host. А дальше, давайте посмотрим, куда мы постоянно подключаемся:

tcpdump -i eth0 -nn -s0 -A -l|grep --line-buffered "Host: \|GET " -m 15

и получаем последних 15 обращений:

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
Host: smsdesign.com.ua
Host: www.moskva.fm
|...GET /stream/4002/1398188568?format=flv HTTP/1.1
Host: 185.17.30.80
Host: smsdesign.com.ua
.I..lv..GET /player_xml.html?startat=1398175200&rnd=0%2E5591348479501903&time=1398175200&delay=78301%2E502&type=full&station=4002&realtime=1398174168&v=3 HTTP/1.1
Host: www.moskva.fm
.I....S.GET /uimg/artists/72x72/cf/cf68c34167c27cddd013d1f5040ecf46.jpeg HTTP/1.1
Host: t1.moskva.fm
.I..|...GET /stream/4002/1398187452?format=flv HTTP/1.1
Host: 185.17.30.80
Host: smsdesign.com.ua
Host: www.moskva.fm
.I..|...GET /stream/4002/1398187272?format=flv HTTP/1.1
Host: 185.17.30.80
209 packets captured
212 packets received by filter
0 packets dropped by kernel

И чего тут только нет, но явно выделяется flv-формат, который постоянно запрашивается, а под ним указан Host, откуда он запрашивается. Все, адресок пойман, теперь можно сграбить поток:

wget http://185.17.30.80/stream/4002/1398186168?format=flv

Ура, поток записан и теперь его можно конвертнуть в MP3, с помощью например этого »

Оказалось, скачать с moskva.fm не так уж сложно. Удачки.

Источники: 1 - 2 - 3

Похожие статьи: