TORoRAM. Форум ни о чём

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.

Вы здесь » TORoRAM. Форум ни о чём » Фиолетовое настроение » wget --user-agent='Mozilla/5.0' -r -l 10 -k -p sitename.ru

wget --user-agent='Mozilla/5.0' -r -l 10 -k -p sitename.ru

Страница: 1

Сообщений 1 страница 2 из 2

1

  • Автор: Mozilla/5.0
  • Гость

wget --user-agent='Mozilla/5.0' -r -l 10 -k -o log-file.txt -p example.org

-r, --recursive включение рекурсивной загрузки
-l, --level=ЧИСЛО глубина рекурсии (inf и 0 - бесконечность)
-k, --convert-links делать ссылки локальными в загруженном HTML или CSS
-o, --output-file=ФАЙЛ записывать сообщения (логи) в ФАЙЛ
-p, --page-requisites загрузить все изображения и проч., необходимые для отображения HTML-страницы
-m, --mirror короткий параметр, эквивалентный -N -r -l inf --no-remove-listing.

2

  • Автор: wget ошибка 403 Forbidden
  • Гость

сайт применяет защиту от скачивания

... но данный сайт применяет защиту от скачивания. Я перепробовал уже несколько методов использования wget, в конечном итоге либо получаю ошибку 403 Forbidden, либо скачивается только индексная страница...

.....
В общем я эту сволочь достебал (простите). Сайт проверяет кучу заголовков, прежде чем отдаёт контент. Чтобы всё не писать в командной строке, создал ~/.wgetrc следующего содержания:

root@srv1-msk:/tmp/test# cat ~/.wgetrc

Код:
header = Accept-Language: ru,en-US;q=0.8,en;q=0.6
header = Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
header = Connection: keep-alive
header = Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
header = Accept-Encoding: gzip, deflate, sdch
user_agent = Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.99 Safari/537.36
referer = /
robots = off

и после этого запустил закачку

Страница: 1

Вы здесь » TORoRAM. Форум ни о чём » Фиолетовое настроение » wget --user-agent='Mozilla/5.0' -r -l 10 -k -p sitename.ru