Всем доброго времени суток!Решаю одну исследовательскую задачку, в которой требуется список (не менее 100.000) доменов.
Не подскажете где можно скачать базу доменных имен (очень желательно живых)?
А еще мне в голову пришла шальная мысль, нельзя ли слить весь кэш доменных имен с DNS сервера?Если кто-нибудь сталкивался с подобной задачей - помогите инфой...
Заранее огромный сенькс!!!
А "исследовать" работу dns и сделать выводы - не?...google.ru + site:opennet.ru список доменов dns + ENTER
---Павел Андреевич, 8-O Вы {Хацкер,спамер,шпиён,Большой Учёный}? ---Видишь ли, Юра...|на (п)равах пародии
>Всем доброго времени суток!
>
>Решаю одну исследовательскую задачку, в которой требуется список (не менее 100.000) доменов.
>
>Не подскажете где можно скачать базу доменных имен (очень желательно живых)?
>А еще мне в голову пришла шальная мысль, нельзя ли слить весь
>кэш доменных имен с DNS сервера?со своего можно.
в bind - rndc dumpdb -cache с последующей доработкой , например>
>Если кто-нибудь сталкивался с подобной задачей - помогите инфой...
>
>Заранее огромный сенькс!!!
>[оверквотинг удален]
>>А еще мне в голову пришла шальная мысль, нельзя ли слить весь
>>кэш доменных имен с DNS сервера?
>
>со своего можно.
>в bind - rndc dumpdb -cache с последующей доработкой , например
>
>>
>>Если кто-нибудь сталкивался с подобной задачей - помогите инфой...
>>
>>Заранее огромный сенькс!!!Прошу прощения, можно ли подробнее или реальный пример, я новичек в этом деле)
>[оверквотинг удален]
>>со своего можно.
>>в bind - rndc dumpdb -cache с последующей доработкой , например
>>
>>>
>>>Если кто-нибудь сталкивался с подобной задачей - помогите инфой...
>>>
>>>Заранее огромный сенькс!!!
>
>Прошу прощения, можно ли подробнее или реальный пример, я новичек в этом
>деле)в named.conf в options пишите куда сбрасывать кеш.
dump-file "/var/log/cache_dump.db";
при этом про chroot не забывайте, если используете.
настраиваете остальное, запускаете и пусть пользуются.
потом rndc dumpdb -cache и в cache_dump.db получаете кеш своего DNS.
>[оверквотинг удален]
>>Прошу прощения, можно ли подробнее или реальный пример, я новичек в этом
>>деле)
>
>в named.conf в options пишите куда сбрасывать кеш.
>
>dump-file "/var/log/cache_dump.db";
>
>при этом про chroot не забывайте, если используете.
>настраиваете остальное, запускаете и пусть пользуются.
>потом rndc dumpdb -cache и в cache_dump.db получаете кеш своего DNS.В этом случае мы получим кэш локальных DNS запросов.
Я наверное несколько неточно описал мою задачу.
На самом деле думал про кэш всех DNS записей, а если выражаться еще точнее, в сухом остатке я хотел получить список всех зарегестрированных имен хостов, во всех зонах.
Вот что-то подобное реально?
>[оверквотинг удален]
>>
>>при этом про chroot не забывайте, если используете.
>>настраиваете остальное, запускаете и пусть пользуются.
>>потом rndc dumpdb -cache и в cache_dump.db получаете кеш своего DNS.
>
>В этом случае мы получим кэш локальных DNS запросов.
>Я наверное несколько неточно описал мою задачу.
>На самом деле думал про кэш всех DNS записей, а если выражаться
>еще точнее, в сухом остатке я хотел получить список всех зарегестрированных
>имен хостов, во всех зонах.Думали про кэш - кэш и получили. Вы хотя бы представляете себе порядок количества _всех_ зон ?
>Вот что-то подобное реально?
Конечно реально, только вы посильнее постарайтесь...
>представляете себе порядок количества _всех_ зон ?Примерно предствляю, в пределах 50 гигов.
Поскольку мне нужны только имена хостов.>
>Конечно реально, только вы посильнее постарайтесь...Дык я и стараюсь, но никто не хочет поделиться способом получения базы DNS, может быть есть скрипт или утилита при помощи которой можно заполучить вожделенную базу?
>Примерно предствляю, в пределах 50 гигов.Любопытно узнать откуда такая цифра
>никто не хочет поделиться способом получения базы DNS
Вы сначала вопрос правильно задайте, а уже потом рассчитывайте на адекватную помощь. Совершенно непонятно что вы подразумеваете под "кэш всех DNS записей". Сдается вы не знаете ни принципов работы DNS, ни значения слова кэш.
Если вы хотите получить большой список dns записей, не имея dns сервера, который бы их хранил, то вариантов три:
1. Найти человека, работающего с крупным хостером, регистраром, спамером, анти-спамером итд. И каким либо образом уговорить его дать вам список доменов из их БД
2. Воспользоваться поисковиками.
3. Сгенерировать каким-либо образом список потенциальных доменных имен и попытаться все их отрезолвить для выявления существующих.
>[оверквотинг удален]
>вы не знаете ни принципов работы DNS, ни значения слова кэш.
>
>Если вы хотите получить большой список dns записей, не имея dns сервера,
>который бы их хранил, то вариантов три:
>1. Найти человека, работающего с крупным хостером, регистраром, спамером, анти-спамером итд. И
>каким либо образом уговорить его дать вам список доменов из их
>БД
>2. Воспользоваться поисковиками.
>3. Сгенерировать каким-либо образом список потенциальных доменных имен и попытаться все их
>отрезолвить для выявления существующих.Зачем же так критично, принцип работы DNS не слишком-то сложен, про кэш вообще молчу.
1. Не попадались мне пока "реальные" люди.
2. Как можно сформировать список ВСЕХ СУЩЕСТВУЮЩИХ доменных имен при помощи поисковика, а???
3. Вообще мало реально, хотя конечно можно при помощи брутфорсера сгенерить список доменных имен и написать небольшую утилиту проверяющую имя хоста на DNS сервере на наличие записи. В связи с чем возникают вопросы:
3.1 Время на перебор (какой-нибудь год, два...)?
3.2 Не забанит ли вообще DNS сервер такого клиента (количество+частота запросов)?
3.3 Собственно КПД такого подхода, ведь количество реальных хостов будет в явном меньшенстве относительно "мосора"?
4.А может быть кто-нибудь знает где в нете можно тупо купить такой список?P.S. Люди, будьте добрее, а за неточную формулироку задачи - сорри!
>
>Зачем же так критично, принцип работы DNS не слишком-то сложен, про кэш
>вообще молчу.Только вы так и не можете его полностью понять (с учетом особенностей архитектуры).
>Зачем же так критично, принцип работы DNS не слишком-то сложен, про кэш
>вообще молчу.и тем не менее PavelR как обычно прав :)
>1. Не попадались мне пока "реальные" люди.
Ну например мне приходилось работать на трех из четырех указанных мной. Другое дело, что моя профессиональная этика мне не позволяет такой информацией делится.
>2. Как можно сформировать список ВСЕХ СУЩЕСТВУЮЩИХ доменных имен при помощи поисковика,
>а???Ваш четвертый пункт. Совсем всех конечно не получится, но хотя бы второго уровня для каких-то tld можно пытаться найти.
>3. Вообще мало реально, хотя конечно можно при помощи брутфорсера сгенерить список
>доменных имен и написать небольшую утилиту проверяющую имя хоста на DNS
>сервере на наличие записи. В связи с чем возникают вопросы:
>3.1 Время на перебор (какой-нибудь год, два...)?Для вашей цифры часы или в худшем случае дни, подробней см. 3.3. Скрипт собственно перебора при знании perl пишется за несколько минут после изучения http://search.cpan.org/~shevek/Net-DNS-Async-1.07/lib/Net/DN.... Разумеется и на других языках можно.
>3.2 Не забанит ли вообще DNS сервер такого клиента (количество+частота запросов)?
Смотрите выше про ваше понимание DNS. Скорость перебора обычно ограничена шириной канала. Вот whois базы это другое дело, там реально на такое наткнутся даже при 10 запросах в секунду.
>3.3 Собственно КПД такого подхода, ведь количество реальных хостов будет в явном
>меньшенстве относительно "мосора"?И что из этого? Важно количество попаданий в секунду, а не количество промахов.
Кстати, имена доменов часто генерируются подобным образом, особенно спамерами. Также замечу что где-то до 5-6 букв можно идти почти(с учетом звучащего сочетания гласных/согласных) полным перебором. Попробуйте запарковать короткий домен в com зоне и увидите насколько это сложно из-за наличия уже почти всех вариантов. Для более длинных лучше вариации словарных переборов.>4.А может быть кто-нибудь знает где в нете можно тупо купить такой
>список?Нам подобные задачи не нужны, как следствие это вам мучать поисковики.
>P.S. Люди, будьте добрее, а за неточную формулироку задачи - сорри!
Да вроде совсем не злые, просто отвечать при всем желании можно лишь в пределах точности вопроса.
P.S. Поймите, нет какого-то единого DNS сервера, который бы за все отвечал. DNS как и сам internet это распределенная система, которая должна выжить при повреждении значительной части узлов, все-таки проектировалось изначально на случай ядерной войны :)