У меня есть много адресов страниц и надо с каждого урла надо скопировать все линки и занести в базу.Подскажите может уже есть похожая прога ? Я пробовал тупо грузить каждый урл в IE ,но даже используя проксимитрон в качестве фильтра , получался суммарно огромный трафик ! Мож есть какие способы ??? Ведь как я понимаю эти принципы используют боты ,черви и пр.
Я юы поступил следующим образом: написал бы скрипт, который...16.01.05 23:47 Автор: Ilich Статус: Незарегистрированный пользователь
Я юы поступил следующим образом: написал бы скрипт, который бы коннектлся по линкам, которые, предположим, храняться в базе даннных, затем бы закачивал страницы и парсил бы их каким-нить XML парсером, выдирал бы ссылки (<A HREF ....> </A>) и пихал бы их в базу. Потом этот скрипт надо было бы повесить на каком-нить хосте и запустить. Через некоторое время можно быдет слить базу с линками.
А нет ли чё готового какиъх-то аналогов потому как18.01.05 23:30 Автор: qqq Статус: Незарегистрированный пользователь
"Потом этот скрипт надо было бы повесить на каком-нить хосте и запустить. Через некоторое время можно быдет слить базу с линками."
Ясно, что из-за объема трафика речь идет о хосте, где трафик не считают.
А не скачивая страницы целиком, ни одна программа не сможет искать в них ссылки (по-моему, это очевидно), ибо http-протокол не предусматривает возможности в запросах указывать регулярные выражения для выборки каких-то кусков страниц не по смещению, а по содержимому.
Спасиьо,дошло.А насчёт скрипта,где бы посмотреть примеры,аналоги и пр.? и хостер разрешает ли такое ?19.01.05 00:15 Автор: qqq Статус: Незарегистрированный пользователь
Хостер то разрешит, главное, чтобы траффика было не очень много и ресурсов скрипт много не занимал. Главное, чтобы хостер разрешал юзать скрипты (например, PHP, Perl и т.п.)Инфу по написанию посмотри в манах с описанем языка. Меня, например, устраивают маны по PHP, там все довольно прозрачно описано, даже есть перевод на русский.