Легенда:
новое сообщение
закрытая нитка
новое сообщение
в закрытой нитке
старое сообщение
|
- Напоминаю, что масса вопросов по функционированию форума снимается после прочтения его описания.
- Новичкам также крайне полезно ознакомиться с данным документом.
Господа, будьте снисходительны, не бросайтесь сразу штрафовать за, как вам кажется, глупые вопросы - beginners на то и beginners.
|
можно, например, скачивать wget'ом 06.07.04 12:53 Число просмотров: 1419
Автор: _йцукенг_ Статус: Незарегистрированный пользователь
|
можно, например, из перлового скрипта запускать для скачивания wget, а в конфиге wget'а написать
robots = off
|
<beginners>
|
Как обмануть robots.txt? 06.07.04 12:46
Автор: Cherry Статус: Незарегистрированный пользователь
|
Люди, как написать (на Perl) программу, которая скачивает URL, прописанные в robots.txt как запрещённые?
|
|
можно, например, скачивать wget'ом 06.07.04 12:53
Автор: _йцукенг_ Статус: Незарегистрированный пользователь
|
можно, например, из перлового скрипта запускать для скачивания wget, а в конфиге wget'а написать
robots = off
|
|
|