Легенда:
 новое сообщение
 закрытая нитка
 новое сообщение
 в закрытой нитке
 старое сообщение
|
- Напоминаю, что масса вопросов по функционированию форума снимается после прочтения его описания.
- Новичкам также крайне полезно ознакомиться с данным документом.
| | | |
Спасиьо,дошло.А насчёт скрипта,где бы посмотреть примеры,аналоги и пр.? и хостер разрешает ли такое ? 19.01.05 00:15 Число просмотров: 2615
Автор: qqq Статус: Незарегистрированный пользователь
|
|
|
|
<hacking>
|
Как бы сделать или найти готовую прогу типа LinkGrabber ? суть такова : 15.01.05 17:19
Автор: qqq Статус: Незарегистрированный пользователь
|
|
У меня есть много адресов страниц и надо с каждого урла надо скопировать все линки и занести в базу.Подскажите может уже есть похожая прога ? Я пробовал тупо грузить каждый урл в IE ,но даже используя проксимитрон в качестве фильтра , получался суммарно огромный трафик ! Мож есть какие способы ??? Ведь как я понимаю эти принципы используют боты ,черви и пр.
|
|
Я юы поступил следующим образом: написал бы скрипт, который... 16.01.05 23:47
Автор: Ilich Статус: Незарегистрированный пользователь
|
|
Я юы поступил следующим образом: написал бы скрипт, который бы коннектлся по линкам, которые, предположим, храняться в базе даннных, затем бы закачивал страницы и парсил бы их каким-нить XML парсером, выдирал бы ссылки (<A HREF ....> </A>) и пихал бы их в базу. Потом этот скрипт надо было бы повесить на каком-нить хосте и запустить. Через некоторое время можно быдет слить базу с линками.
|
| |
А нет ли чё готового какиъх-то аналогов потому как 18.01.05 23:30
Автор: qqq Статус: Незарегистрированный пользователь
|
> Я юы поступил следующим образом: написал бы скрипт, который
Я не очень силён ,может какие есть примеры ентого ?
> бы коннектлся по линкам, которые, предположим, храняться в
> базе даннных, затем бы закачивал страницы
Дык ,тут то и траф большой выходит-то .
По сути я и так ,счас закачиваю себе на комп обычнвм браузером ,ну потом собираю.
|
| | |
про траф было четко написано 18.01.05 23:39
Автор: LLL <Алексей> Статус: Member
Отредактировано 18.01.05 23:42 Количество правок: 1
|
"Потом этот скрипт надо было бы повесить на каком-нить хосте и запустить. Через некоторое время можно быдет слить базу с линками."
Ясно, что из-за объема трафика речь идет о хосте, где трафик не считают.
А не скачивая страницы целиком, ни одна программа не сможет искать в них ссылки (по-моему, это очевидно), ибо http-протокол не предусматривает возможности в запросах указывать регулярные выражения для выборки каких-то кусков страниц не по смещению, а по содержимому.
|
| | | |
Спасиьо,дошло.А насчёт скрипта,где бы посмотреть примеры,аналоги и пр.? и хостер разрешает ли такое ? 19.01.05 00:15
Автор: qqq Статус: Незарегистрированный пользователь
|
|
|
| | | | |
Хостер то разрешит, главное, чтобы траффика было не очень... 19.01.05 11:35
Автор: Ilich Статус: Незарегистрированный пользователь
|
|
Хостер то разрешит, главное, чтобы траффика было не очень много и ресурсов скрипт много не занимал. Главное, чтобы хостер разрешал юзать скрипты (например, PHP, Perl и т.п.)Инфу по написанию посмотри в манах с описанем языка. Меня, например, устраивают маны по PHP, там все довольно прозрачно описано, даже есть перевод на русский.
|
|
|
подробно о проекте
Анализ криптографических сетевых...
