информационная безопасность
без паники и всерьез
 подробно о проектеRambler's Top100
Где водятся OGRыСтрашный баг в WindowsПортрет посетителя
BugTraq.Ru
Русский BugTraq
 Анализ криптографических сетевых... 
 Модель надежности двухузлового... 
 Специальные марковские модели надежности... 
 Утечка сертификатов GitHub Desktop... 
 С наступающим 
 Очередной взлом LastPass: все хуже,... 
главная обзор RSN блог библиотека закон бред форум dnet о проекте
bugtraq.ru / форум / hacking
Имя Пароль
ФОРУМ
если вы видите этот текст, отключите в настройках форума использование JavaScript
регистрация





Легенда:
  новое сообщение
  закрытая нитка
  новое сообщение
  в закрытой нитке
  старое сообщение
  • Напоминаю, что масса вопросов по функционированию форума снимается после прочтения его описания.
  • Новичкам также крайне полезно ознакомиться с данным документом.
Как бы сделать или найти готовую прогу типа LinkGrabber ? суть такова : 15.01.05 17:19  
Автор: qqq Статус: Незарегистрированный пользователь
<"чистая" ссылка>
У меня есть много адресов страниц и надо с каждого урла надо скопировать все линки и занести в базу.Подскажите может уже есть похожая прога ? Я пробовал тупо грузить каждый урл в IE ,но даже используя проксимитрон в качестве фильтра , получался суммарно огромный трафик ! Мож есть какие способы ??? Ведь как я понимаю эти принципы используют боты ,черви и пр.
Я юы поступил следующим образом: написал бы скрипт, который... 16.01.05 23:47  
Автор: Ilich Статус: Незарегистрированный пользователь
<"чистая" ссылка>
Я юы поступил следующим образом: написал бы скрипт, который бы коннектлся по линкам, которые, предположим, храняться в базе даннных, затем бы закачивал страницы и парсил бы их каким-нить XML парсером, выдирал бы ссылки (<A HREF ....> </A>) и пихал бы их в базу. Потом этот скрипт надо было бы повесить на каком-нить хосте и запустить. Через некоторое время можно быдет слить базу с линками.
А нет ли чё готового какиъх-то аналогов потому как 18.01.05 23:30  
Автор: qqq Статус: Незарегистрированный пользователь
<"чистая" ссылка>
> Я юы поступил следующим образом: написал бы скрипт, который

Я не очень силён ,может какие есть примеры ентого ?

> бы коннектлся по линкам, которые, предположим, храняться в
> базе даннных, затем бы закачивал страницы

Дык ,тут то и траф большой выходит-то .
По сути я и так ,счас закачиваю себе на комп обычнвм браузером ,ну потом собираю.
про траф было четко написано 18.01.05 23:39  
Автор: LLL <Алексей> Статус: Member
Отредактировано 18.01.05 23:42  Количество правок: 1
<"чистая" ссылка>
"Потом этот скрипт надо было бы повесить на каком-нить хосте и запустить. Через некоторое время можно быдет слить базу с линками."
Ясно, что из-за объема трафика речь идет о хосте, где трафик не считают.
А не скачивая страницы целиком, ни одна программа не сможет искать в них ссылки (по-моему, это очевидно), ибо http-протокол не предусматривает возможности в запросах указывать регулярные выражения для выборки каких-то кусков страниц не по смещению, а по содержимому.
Спасиьо,дошло.А насчёт скрипта,где бы посмотреть примеры,аналоги и пр.? и хостер разрешает ли такое ? 19.01.05 00:15  
Автор: qqq Статус: Незарегистрированный пользователь
<"чистая" ссылка>
Хостер то разрешит, главное, чтобы траффика было не очень... 19.01.05 11:35  
Автор: Ilich Статус: Незарегистрированный пользователь
<"чистая" ссылка>
Хостер то разрешит, главное, чтобы траффика было не очень много и ресурсов скрипт много не занимал. Главное, чтобы хостер разрешал юзать скрипты (например, PHP, Perl и т.п.)Инфу по написанию посмотри в манах с описанем языка. Меня, например, устраивают маны по PHP, там все довольно прозрачно описано, даже есть перевод на русский.
1




Rambler's Top100
Рейтинг@Mail.ru


  Copyright © 2001-2023 Dmitry Leonov   Page build time: 0 s   Design: Vadim Derkach