Легенда:
 новое сообщение
 закрытая нитка
 новое сообщение
 в закрытой нитке
 старое сообщение
|
- Напоминаю, что масса вопросов по функционированию форума снимается после прочтения его описания.
- Новичкам также крайне полезно ознакомиться с данным документом.
| |
еще бы знать перл/пхп :))))))) 28.04.04 15:40 Число просмотров: 1360
Автор: mentat[bugtraq.ru] <Александр> Статус: Elderman
|
|
|
|
<sysadmin>
|
Как бы правильнее ускорить процесс получения логов сквида? 28.04.04 14:41
Автор: mentat[bugtraq.ru] <Александр> Статус: Elderman
|
сейчас настроено так, скриптик в 23:59 каждый день делает cat лога и мылит его мне . в итоге я получаю в мыло файлик около 10Мб который потом сохраняю как .тхт и скармливаю своему логаналайзеру.
делается так потому что логаналайзер написан мною, под мои нужды под винды, для МС СКуЛя. так надо.
проблема в том что все это занимает очень много времени. фря мылит логи не аттачем, а прямым текстом. TheBat автоматом умеет только аттачи сохранять :( приходится самому открывать письмо (120 секунд думает Бат), сохранять письмо(еще 120 секунд думает БАТ, ну есссено, 10Мб все таки, а если 17Мб, то ваще зависает на минут 10), потом еще на Скуль закачиваю эти .тхт столько же. вот посчитайте теперь сколько времени займет у меня закачка логов за месяц :))) вообщем целый рабочий день. Оптимальный вариант конечно был бы ФТП.. но как-то неохота мне на проксе ФТП поднимать... и так там дофига всего крутится :(, может есть какие-нибудь еще варианты как бы мне автоматизировать и ускорить процесс закачки логов в Скуль? может быть БАТ все же умеет автоматом текст письма сохранять? еще бы и без шапки :)) Скуль вроде как можно настроить чтобы он сам забирал файлы, это я разберусь... но вот как их из мыла выкачать быстро?
|
|
А почему нельзя данные из сквида сбрасывать сразу в MsSQL... 29.04.04 14:53
Автор: voi Статус: Незарегистрированный пользователь
|
> сейчас настроено так, скриптик в 23:59 каждый день делает
> cat лога и мылит его мне . в итоге я получаю в мыло файлик
> около 10Мб который потом сохраняю как .тхт и скармливаю
> своему логаналайзеру.
> делается так потому что логаналайзер написан мною, под мои
> нужды под винды, для МС СКуЛя. так надо.
А почему нельзя данные из сквида сбрасывать сразу в MsSQL через ODBC?
Имеется ввиду тот же парсер, например на perl?
|
|
Вобщем и целом, проблему тупо в лоб решить можно примерно... 29.04.04 14:06
Автор: tanushka Статус: Незарегистрированный пользователь
|
Вобщем и целом, проблему тупо в лоб решить можно примерно так (понадобится mutt):
#!/bin/sh
LPATH=<путь к логу squid>
BIN=<путь к бинарнику squid>
FNAME=$LPATH/access.log
TGZNAME=<имя архива - удобно $(date -v-1d +%Y%m%d).tgz, к примеру>
TXT=<текст для тела письма>
MAILTO=some@domain.ru
tar -czvf $TGZNAME $FNAME
mutt -a $TGZNAME -s "SQUID's logfile for $(date -v-1d +%Y%m%d)" $MAILTO < $TXT
killall -9 squid
rm -rf $FNAME && touch $FNAME && chmod -R <права> $FNAME && chown -R squid:squid $FNAME
$BIN/squid -D
---
На коленке написать - 10 минут + 10 минут на установку mutt (учтено время на поиск и скачивание ;-)) на прокси-сервер... В TheBAT (при установленном параметре "Хранить приложенные файлы в отдельной директории") аттач откусится и сложится в директорию, на которую потом натравливается SQL-процедура прицепки в базу txt-файлов...
Вопросы можно на ICQ UIN #59150607
|
| |
ага, я так и сделал впринципе.... только проще 30.04.04 13:27
Автор: mentat[bugtraq.ru] <Александр> Статус: Elderman
Отредактировано 30.04.04 13:32 Количество правок: 1
|
собственно я нашел то о чем спрашивал. там же рядом где аттачи сограняет бат, есть сохранять тело письма.
короче делаем просто, приходит мыло от сквида, бат его сохраняет в .тхт, отрезая заголовок, каждый день, новое письмо дописывает в конец .тхт файла.
лог аналайзер по шедулеру запускается раз в месяц, берет это файло и закачивает егов таблицу Сикуля раскидывая по полям. все. задача решена. потом я уже когда мне надо получаю нужный мне отчет.
|
| | |
Расскажи pls
04.05.04 15:24
Автор: exses Статус: Незарегистрированный пользователь
|
> аттачи сограняет бат, есть сохранять тело письма.
> короче делаем просто, приходит мыло от сквида, бат его
> сохраняет в .тхт, отрезая заголовок, каждый день, новое
> письмо дописывает в конец .тхт файла.
> лог аналайзер по шедулеру запускается раз в месяц, берет
Расскажи pls
1. Почему анализатор написан тобой? Чем тебя не устраивает, к примеру, calamaris ?
2. Почему для пересылки используется smtp? Не проще ли это сделать via ftp or smb?
3. Зачем ты объединяешь log файлы?
4. access.log после squid -k rotate становится access.0.log без возможной потери нескольких строчек при cat access.log. Почему ты выбрал такой вариант?
Спасибо за внимание
|
| | | |
Расскажи pls 12.05.04 12:15
Автор: mentat[bugtraq.ru] <Александр> Статус: Elderman
|
> > аттачи сограняет бат, есть сохранять тело письма.
> > короче делаем просто, приходит мыло от сквида, бат его
> > сохраняет в .тхт, отрезая заголовок, каждый день,
> новое
> > письмо дописывает в конец .тхт файла.
>
> > лог аналайзер по шедулеру запускается раз в месяц,
> берет
>
> Расскажи pls
> 1. Почему анализатор написан тобой? Чем тебя не устраивает,
> к примеру, calamaris ?
ну потому что когда я спрашивал какой выбрать анализатор мне никто ничего не посоветовал, проще было написать чем экспериментами перебирать все существующие.
> 2. Почему для пересылки используется smtp? Не проще ли это
> сделать via ftp or smb?
проще. но неохота на проксе поднимать фтп и смб - лишние сервисы=лишние уязвимости
> 3. Зачем ты объединяешь log файлы?
бат умеет только так.
> 4. access.log после squid -k rotate становится access.0.log
> без возможной потери нескольких строчек при cat access.log.
> Почему ты выбрал такой вариант?
как я понял mail аттач не может послать, поэтому сат. или я ошибаюсь.
> Спасибо за внимание
P.S. все сделано не оптимально по той причине что я только учусь :) ламер я, ламер.
|
| | | | |
В задачу прокси никогда не входило поддерживать "фтп и смб"... 13.05.04 02:51
Автор: void <Grebnev Valery> Статус: Elderman
|
> проще. но неохота на проксе поднимать фтп и смб - лишние сервисы=лишние уязвимости
В задачу прокси никогда не входило поддерживать "фтп и смб". В задачу прокси входило всего лишь "представление от своего имени" сервисов и клиентов на других хостах.
|
|
Т.е. задача, по сути, заключается в перегонке сквидовых... 29.04.04 08:56
Автор: cybervlad <cybervlad> Статус: Elderman
|
> сейчас настроено так, скриптик в 23:59 каждый день делает
> cat лога и мылит его мне . в итоге я получаю в мыло файлик
> около 10Мб который потом сохраняю как .тхт и скармливаю
> своему логаналайзеру.
> делается так потому что логаналайзер написан мною, под мои
> нужды под винды, для МС СКуЛя. так надо.
Т.е. задача, по сути, заключается в перегонке сквидовых логов в sql-базу?
Подобная задача уже решалась. Правда, на mysql, но суть та же:
http://east-ua.kharkov.ru/modules.php?op=modload&name=News&file=article&sid=400
Кстати, насколько принципиально требование использования именно самописного логаналайзера?
Есть неплохое решение под названием SARG:
http://sarg.sourceforge.net/
Юзаем несколько лет, очень довольны. Отчеты (дневной, недельный, месячный) в онлайн через http, плюс каждый понедельник начальникам по мылу красивые html-отчеты на его подчиненных ;)
|
|
На мой взгляд, иногда более "сложное" решение, например,... 29.04.04 01:16
Автор: void <Grebnev Valery> Статус: Elderman
|
На мой взгляд, иногда более "сложное" решение, например, требуещее программирования, на круг может оказаться более простым. Возможно это ваш случай. Тогда можно посмотреть топики по upload данных в инет. Кто знает, в Вашем случае программирование - копеешное:
1) если передаётся только текстовая инфа, то это можно было б делать и по хттп. Разумеется клиента (что будет делать PUT ) надо написать. Предполагается, что www у вас имеется
2)по мне, так проще написать сервис для upload, который будет биндиться к тому порту, который Вы захотите. Если Вы не программируете то, по программер это сделает за день-два.
ПС. Посмотрите в разделе прграммирование этого же форума. Схожая тематика обсуждалась.
|
|
нашел 2 варианта решения. в бате есть действительно в фильтрах 28.04.04 16:06
Автор: mentat[bugtraq.ru] <Александр> Статус: Elderman
|
а заголовок выбирается в темплейтах, можно его совсем убрать.
2-й вариант в аутлук грузить и оттуда скриптом в Скуль его выдирать
|
|
кстати в бате 28.04.04 16:01
Автор: dron <Ivanov Andrey> Статус: Member
|
> может быть БАТ все
> же умеет автоматом текст письма сохранять? еще бы и без
> шапки :)) Скуль вроде как можно настроить чтобы он сам
> забирал файлы, это я разберусь... но вот как их из мыла
> выкачать быстро?
Если повозиться с фильтрами мона заставить его импортировать письмо в текстовый файл, но вот тока заголовок имхо все же будет...
А также мона еще логи ужимать gzip или bzip, 70-80 мегов сквидовских логов ужимались где-то в 10 (gzip - порядка 12), винрар понимает оба формата, вот тока как енто сделать автоматом....
|
|
оптимальнее всего 28.04.04 15:32
Автор: ZaDNiCa <indeed ZaDNiCa> Статус: Elderman
|
переписать лог анализатор на perl/php и класть логи в MSSQL
а иначе получается бессмысленная возня с пересылкой логов
а насчет наксколько это будет долго, вот пример: обработка логов за месяц (размер логов сквида ~ 300Мб) скриптом на перле и закачка все нужой инфы в MySQL занимает около 6-8 часов
|
| |
еще бы знать перл/пхп :))))))) 28.04.04 15:40
Автор: mentat[bugtraq.ru] <Александр> Статус: Elderman
|
|
|
| | |
Если знаешь C, то знаешь и PHP 28.04.04 15:47
Автор: Yurii <Юрий> Статус: Elderman
|
|
|
|
|
подробно о проекте
Анализ криптографических сетевых...
