форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение		[Проследить за развитием треда]

"Скачать запороленый сайт  wgetом"

Сообщение от AD (ok) on 10-Фев-06, 14:07

Есть свой сайт. На нем при входе выходит форма с именем и паролем. Я смог скачать только только 1 страничку. Пробовал рекурсивно, не выходит. Как закачать мне его весь?

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

Сообщения по теме

[Сортировка по времени, UBB]

1. "Скачать запороленый сайт  wgetом"

Сообщение от idle (ok) on 10-Фев-06, 14:34

>Есть свой сайт. На нем при входе выходит форма с именем и >паролем. Я смог скачать только только 1 страничку. Пробовал рекурсивно, не >выходит. >Как закачать мне его весь? man wget --http-user=user --http-passwd=password

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

	2. "Скачать запороленый сайт  wgetом"
	Сообщение от AD (ok) on 10-Фев-06, 14:41
	>>Есть свой сайт. На нем при входе выходит форма с именем и >>паролем. Я смог скачать только только 1 страничку. Пробовал рекурсивно, не >>выходит. >>Как закачать мне его весь? >man wget >--http-user=user >--http-passwd=password так не пройдет, это для basic паролей. У меня форма и в ней имя и пароль.
	Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

	3. "Скачать запороленый сайт  wgetом"
	Сообщение от vvvua (ok) on 10-Фев-06, 14:52
	>так не пройдет, это для basic паролей. У меня форма и в >ней имя и пароль. Тогда вариант сохранить кукисы и подсунуть их wget'u. В кукисах сессия зарегистрирована, скорее всего.
	Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

	4. "Скачать запороленый сайт  wgetом"
	Сообщение от AD (ok) on 10-Фев-06, 15:01
	>Тогда вариант сохранить кукисы и подсунуть их wget'u. >В кукисах сессия зарегистрирована, скорее всего. пробовал, куки пустые. первая страничка сохраняется такая coreu?skey=e07dec43e28308c07a55600ef2b404ec&cmd=reports затем идут ссылки в ней типа coreu?cmd=user_reports_traffic&skey=e07dec43e28308c07a55600ef2b404ec" до них и не могу достучатся.skey всегда разный.
	Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

	5. "Скачать запороленый сайт  wgetом"
	Сообщение от madskull (ok) on 10-Фев-06, 18:20
	>>так не пройдет, это для basic паролей. У меня форма и в >>ней имя и пароль. >Тогда вариант сохранить кукисы и подсунуть их wget'u. >В кукисах сессия зарегистрирована, скорее всего. Да не. Надо еще раз man wget почитать на предмет --post-data, ну и, конечно, --save-cookies/--load-cookies
	Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

	6. "Скачать запороленый сайт  wgetом"
	Сообщение от AD (ok) on 10-Фев-06, 19:52
	>Да не. Надо еще раз man wget почитать на предмет --post-data, ну >и, конечно, --save-cookies/--load-cookies вот такой скрипт wget  --save-cookies cookies.txt \       --post-data 'login=1&password=123&cmd=login' \       http://test/cgi-bin/core.exe wget --load-cookies cookies.txt --recursive \      -p http://test/cgi-bin/coreu?cmd=user_reports cookies.txt # HTTP cookie file. # Generated by Wget on 2006-02-10 18:49:51. # Edit at your own risk. и все. Вот такой файл только на выходе coreu?skey=e07dec43e28308c07a55600ef2b404ec&cmd=user_reports дальше не идет.
	Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

	7. "Скачать запороленый сайт  wgetом"
	Сообщение от madskull (ok) on 13-Фев-06, 11:32
	Правильно. Откуда wget узнает, что надо выкачивать? Рекурсивное выкачивание подразумевает переход по ссылкам на стартовой странице, потом по ссылкам на скаченных страницах и так далее. А если тебе отдается страничка без ссылок, куда wget'у идти дальше?
	Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

	8. "Скачать запороленый сайт  wgetом"
	Сообщение от AD (ok) on 13-Фев-06, 12:51
	>Правильно. Откуда wget узнает, что надо выкачивать? >Рекурсивное выкачивание подразумевает переход по ссылкам на стартовой странице, потом по ссылкам >на скаченных страницах и так далее. > >А если тебе отдается страничка без ссылок, куда wget'у идти дальше? ссылки есть, в том то и дело.
	Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

	9. "Скачать запороленый сайт  wgetом"
	Сообщение от madskull (ok) on 13-Фев-06, 13:52
	>>Правильно. Откуда wget узнает, что надо выкачивать? >>Рекурсивное выкачивание подразумевает переход по ссылкам на стартовой странице, потом по ссылкам >>на скаченных страницах и так далее. >> >>А если тебе отдается страничка без ссылок, куда wget'у идти дальше? > >ссылки есть, в том то и дело. А, вот как... Тогда попробуй опцию --keep-session-cookies. Если не поможет, тогда смотри в сторону curl. Насколько я понял, у wget проблемы с HTTP/1.1. По крайней мере мне не удавалось замутить что-либо сложное, если сервер требует HTTP/1.1
	Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

	10. "Скачать запороленый сайт  wgetом"
	Сообщение от AD (ok) on 13-Фев-06, 14:02
	>А, вот как... >Тогда попробуй опцию --keep-session-cookies. >Если не поможет, тогда смотри в сторону curl. Насколько я понял, у >wget проблемы с HTTP/1.1. По крайней мере мне не удавалось замутить >что-либо сложное, если сервер требует HTTP/1.1 Пробовал так, куки пустые. Все сложнее или проше, к каждой ссылке добавляется код из 28 символов, и все ссылки на него завязаны, он в конце добавляется.
	Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]