Есть свой сайт. На нем при входе выходит форма с именем и паролем. Я смог скачать только только 1 страничку. Пробовал рекурсивно, не выходит.
Как закачать мне его весь?
>Есть свой сайт. На нем при входе выходит форма с именем и
>паролем. Я смог скачать только только 1 страничку. Пробовал рекурсивно, не
>выходит.
>Как закачать мне его весь?
man wget
--http-user=user
--http-passwd=password
>>Есть свой сайт. На нем при входе выходит форма с именем и
>>паролем. Я смог скачать только только 1 страничку. Пробовал рекурсивно, не
>>выходит.
>>Как закачать мне его весь?
>man wget
>--http-user=user
>--http-passwd=password
так не пройдет, это для basic паролей. У меня форма и в ней имя и пароль.
>так не пройдет, это для basic паролей. У меня форма и в
>ней имя и пароль.
Тогда вариант сохранить кукисы и подсунуть их wget'u.
В кукисах сессия зарегистрирована, скорее всего.
>Тогда вариант сохранить кукисы и подсунуть их wget'u.
>В кукисах сессия зарегистрирована, скорее всего.
пробовал, куки пустые.
первая страничка сохраняется такая
coreu?skey=e07dec43e28308c07a55600ef2b404ec&cmd=reports
затем идут ссылки в ней типа
coreu?cmd=user_reports_traffic&skey=e07dec43e28308c07a55600ef2b404ec"
до них и не могу достучатся.skey всегда разный.
>>так не пройдет, это для basic паролей. У меня форма и в
>>ней имя и пароль.
>Тогда вариант сохранить кукисы и подсунуть их wget'u.
>В кукисах сессия зарегистрирована, скорее всего.
Да не. Надо еще раз man wget почитать на предмет --post-data, ну и, конечно, --save-cookies/--load-cookies
>Да не. Надо еще раз man wget почитать на предмет --post-data, ну
>и, конечно, --save-cookies/--load-cookies
вот такой скрипт
wget --save-cookies cookies.txt \
--post-data 'login=1&password=123&cmd=login' \
http://test/cgi-bin/core.exe
wget --load-cookies cookies.txt --recursive \
-p http://test/cgi-bin/coreu?cmd=user_reports
cookies.txt
# HTTP cookie file.
# Generated by Wget on 2006-02-10 18:49:51.
# Edit at your own risk.
и все.
Вот такой файл только на выходе
coreu?skey=e07dec43e28308c07a55600ef2b404ec&cmd=user_reports
дальше не идет.
Правильно. Откуда wget узнает, что надо выкачивать?
Рекурсивное выкачивание подразумевает переход по ссылкам на стартовой странице, потом по ссылкам на скаченных страницах и так далее.А если тебе отдается страничка без ссылок, куда wget'у идти дальше?
>Правильно. Откуда wget узнает, что надо выкачивать?
>Рекурсивное выкачивание подразумевает переход по ссылкам на стартовой странице, потом по ссылкам
>на скаченных страницах и так далее.
>
>А если тебе отдается страничка без ссылок, куда wget'у идти дальше?ссылки есть, в том то и дело.
>>Правильно. Откуда wget узнает, что надо выкачивать?
>>Рекурсивное выкачивание подразумевает переход по ссылкам на стартовой странице, потом по ссылкам
>>на скаченных страницах и так далее.
>>
>>А если тебе отдается страничка без ссылок, куда wget'у идти дальше?
>
>ссылки есть, в том то и дело.А, вот как...
Тогда попробуй опцию --keep-session-cookies.
Если не поможет, тогда смотри в сторону curl. Насколько я понял, у wget проблемы с HTTP/1.1. По крайней мере мне не удавалось замутить что-либо сложное, если сервер требует HTTP/1.1
>А, вот как...
>Тогда попробуй опцию --keep-session-cookies.
>Если не поможет, тогда смотри в сторону curl. Насколько я понял, у
>wget проблемы с HTTP/1.1. По крайней мере мне не удавалось замутить
>что-либо сложное, если сервер требует HTTP/1.1
Пробовал так, куки пустые. Все сложнее или проше, к каждой ссылке добавляется код из 28 символов, и все ссылки на него завязаны, он в конце добавляется.