информационная безопасность
без паники и всерьез
 подробно о проектеRambler's Top100
Страшный баг в WindowsВсе любят медСетевые кракеры и правда о деле Левина
BugTraq.Ru
Русский BugTraq
 Анализ криптографических сетевых... 
 Модель надежности двухузлового... 
 Специальные марковские модели надежности... 
 Три миллиона электронных замков... 
 Doom на газонокосилках 
 Умер Никлаус Вирт 
главная обзор RSN блог библиотека закон бред форум dnet о проекте
bugtraq.ru / форум / hacking
Имя Пароль
ФОРУМ
если вы видите этот текст, отключите в настройках форума использование JavaScript
регистрация





Легенда:
  новое сообщение
  закрытая нитка
  новое сообщение
  в закрытой нитке
  старое сообщение
  • Напоминаю, что масса вопросов по функционированию форума снимается после прочтения его описания.
  • Новичкам также крайне полезно ознакомиться с данным документом.
Я юы поступил следующим образом: написал бы скрипт, который... 16.01.05 23:47  Число просмотров: 2485
Автор: Ilich Статус: Незарегистрированный пользователь
<"чистая" ссылка>
Я юы поступил следующим образом: написал бы скрипт, который бы коннектлся по линкам, которые, предположим, храняться в базе даннных, затем бы закачивал страницы и парсил бы их каким-нить XML парсером, выдирал бы ссылки (<A HREF ....> </A>) и пихал бы их в базу. Потом этот скрипт надо было бы повесить на каком-нить хосте и запустить. Через некоторое время можно быдет слить базу с линками.
<hacking>
Как бы сделать или найти готовую прогу типа LinkGrabber ? суть такова : 15.01.05 17:19  
Автор: qqq Статус: Незарегистрированный пользователь
<"чистая" ссылка>
У меня есть много адресов страниц и надо с каждого урла надо скопировать все линки и занести в базу.Подскажите может уже есть похожая прога ? Я пробовал тупо грузить каждый урл в IE ,но даже используя проксимитрон в качестве фильтра , получался суммарно огромный трафик ! Мож есть какие способы ??? Ведь как я понимаю эти принципы используют боты ,черви и пр.
Я юы поступил следующим образом: написал бы скрипт, который... 16.01.05 23:47  
Автор: Ilich Статус: Незарегистрированный пользователь
<"чистая" ссылка>
Я юы поступил следующим образом: написал бы скрипт, который бы коннектлся по линкам, которые, предположим, храняться в базе даннных, затем бы закачивал страницы и парсил бы их каким-нить XML парсером, выдирал бы ссылки (<A HREF ....> </A>) и пихал бы их в базу. Потом этот скрипт надо было бы повесить на каком-нить хосте и запустить. Через некоторое время можно быдет слить базу с линками.
А нет ли чё готового какиъх-то аналогов потому как 18.01.05 23:30  
Автор: qqq Статус: Незарегистрированный пользователь
<"чистая" ссылка>
> Я юы поступил следующим образом: написал бы скрипт, который

Я не очень силён ,может какие есть примеры ентого ?

> бы коннектлся по линкам, которые, предположим, храняться в
> базе даннных, затем бы закачивал страницы

Дык ,тут то и траф большой выходит-то .
По сути я и так ,счас закачиваю себе на комп обычнвм браузером ,ну потом собираю.
про траф было четко написано 18.01.05 23:39  
Автор: LLL <Алексей> Статус: Member
Отредактировано 18.01.05 23:42  Количество правок: 1
<"чистая" ссылка>
"Потом этот скрипт надо было бы повесить на каком-нить хосте и запустить. Через некоторое время можно быдет слить базу с линками."
Ясно, что из-за объема трафика речь идет о хосте, где трафик не считают.
А не скачивая страницы целиком, ни одна программа не сможет искать в них ссылки (по-моему, это очевидно), ибо http-протокол не предусматривает возможности в запросах указывать регулярные выражения для выборки каких-то кусков страниц не по смещению, а по содержимому.
Спасиьо,дошло.А насчёт скрипта,где бы посмотреть примеры,аналоги и пр.? и хостер разрешает ли такое ? 19.01.05 00:15  
Автор: qqq Статус: Незарегистрированный пользователь
<"чистая" ссылка>
Хостер то разрешит, главное, чтобы траффика было не очень... 19.01.05 11:35  
Автор: Ilich Статус: Незарегистрированный пользователь
<"чистая" ссылка>
Хостер то разрешит, главное, чтобы траффика было не очень много и ресурсов скрипт много не занимал. Главное, чтобы хостер разрешал юзать скрипты (например, PHP, Perl и т.п.)Инфу по написанию посмотри в манах с описанем языка. Меня, например, устраивают маны по PHP, там все довольно прозрачно описано, даже есть перевод на русский.
1




Rambler's Top100
Рейтинг@Mail.ru


  Copyright © 2001-2024 Dmitry Leonov   Page build time: 0 s   Design: Vadim Derkach