> сейчас настроено так, скриптик в 23:59 каждый день делает > cat лога и мылит его мне . в итоге я получаю в мыло файлик > около 10Мб который потом сохраняю как .тхт и скармливаю > своему логаналайзеру. > делается так потому что логаналайзер написан мною, под мои > нужды под винды, для МС СКуЛя. так надо. А почему нельзя данные из сквида сбрасывать сразу в MsSQL через ODBC?
Имеется ввиду тот же парсер, например на perl?
сейчас настроено так, скриптик в 23:59 каждый день делает cat лога и мылит его мне . в итоге я получаю в мыло файлик около 10Мб который потом сохраняю как .тхт и скармливаю своему логаналайзеру.
делается так потому что логаналайзер написан мною, под мои нужды под винды, для МС СКуЛя. так надо.
проблема в том что все это занимает очень много времени. фря мылит логи не аттачем, а прямым текстом. TheBat автоматом умеет только аттачи сохранять :( приходится самому открывать письмо (120 секунд думает Бат), сохранять письмо(еще 120 секунд думает БАТ, ну есссено, 10Мб все таки, а если 17Мб, то ваще зависает на минут 10), потом еще на Скуль закачиваю эти .тхт столько же. вот посчитайте теперь сколько времени займет у меня закачка логов за месяц :))) вообщем целый рабочий день. Оптимальный вариант конечно был бы ФТП.. но как-то неохота мне на проксе ФТП поднимать... и так там дофига всего крутится :(, может есть какие-нибудь еще варианты как бы мне автоматизировать и ускорить процесс закачки логов в Скуль? может быть БАТ все же умеет автоматом текст письма сохранять? еще бы и без шапки :)) Скуль вроде как можно настроить чтобы он сам забирал файлы, это я разберусь... но вот как их из мыла выкачать быстро?
А почему нельзя данные из сквида сбрасывать сразу в MsSQL...29.04.04 14:53 Автор: voi Статус: Незарегистрированный пользователь
> сейчас настроено так, скриптик в 23:59 каждый день делает > cat лога и мылит его мне . в итоге я получаю в мыло файлик > около 10Мб который потом сохраняю как .тхт и скармливаю > своему логаналайзеру. > делается так потому что логаналайзер написан мною, под мои > нужды под винды, для МС СКуЛя. так надо. А почему нельзя данные из сквида сбрасывать сразу в MsSQL через ODBC?
Имеется ввиду тот же парсер, например на perl?
Вобщем и целом, проблему тупо в лоб решить можно примерно...29.04.04 14:06 Автор: tanushka Статус: Незарегистрированный пользователь
Вобщем и целом, проблему тупо в лоб решить можно примерно так (понадобится mutt):
#!/bin/sh
LPATH=<путь к логу squid>
BIN=<путь к бинарнику squid>
FNAME=$LPATH/access.log
TGZNAME=<имя архива - удобно $(date -v-1d +%Y%m%d).tgz, к примеру>
TXT=<текст для тела письма>
MAILTO=some@domain.ru
tar -czvf $TGZNAME $FNAME
mutt -a $TGZNAME -s "SQUID's logfile for $(date -v-1d +%Y%m%d)" $MAILTO < $TXT
killall -9 squid
rm -rf $FNAME && touch $FNAME && chmod -R <права> $FNAME && chown -R squid:squid $FNAME
$BIN/squid -D
---
На коленке написать - 10 минут + 10 минут на установку mutt (учтено время на поиск и скачивание ;-)) на прокси-сервер... В TheBAT (при установленном параметре "Хранить приложенные файлы в отдельной директории") аттач откусится и сложится в директорию, на которую потом натравливается SQL-процедура прицепки в базу txt-файлов...
Вопросы можно на ICQ UIN #59150607
ага, я так и сделал впринципе.... только проще30.04.04 13:27 Автор: mentat[bugtraq.ru] <Александр> Статус: Elderman Отредактировано 30.04.04 13:32 Количество правок: 1
собственно я нашел то о чем спрашивал. там же рядом где аттачи сограняет бат, есть сохранять тело письма.
короче делаем просто, приходит мыло от сквида, бат его сохраняет в .тхт, отрезая заголовок, каждый день, новое письмо дописывает в конец .тхт файла.
лог аналайзер по шедулеру запускается раз в месяц, берет это файло и закачивает егов таблицу Сикуля раскидывая по полям. все. задача решена. потом я уже когда мне надо получаю нужный мне отчет.
> аттачи сограняет бат, есть сохранять тело письма. > короче делаем просто, приходит мыло от сквида, бат его > сохраняет в .тхт, отрезая заголовок, каждый день, новое > письмо дописывает в конец .тхт файла.
> лог аналайзер по шедулеру запускается раз в месяц, берет
Расскажи pls
1. Почему анализатор написан тобой? Чем тебя не устраивает, к примеру, calamaris ?
2. Почему для пересылки используется smtp? Не проще ли это сделать via ftp or smb?
3. Зачем ты объединяешь log файлы?
4. access.log после squid -k rotate становится access.0.log без возможной потери нескольких строчек при cat access.log. Почему ты выбрал такой вариант?
> > аттачи сограняет бат, есть сохранять тело письма. > > короче делаем просто, приходит мыло от сквида, бат его > > сохраняет в .тхт, отрезая заголовок, каждый день, > новое > > письмо дописывает в конец .тхт файла. > > > лог аналайзер по шедулеру запускается раз в месяц, > берет > > Расскажи pls > 1. Почему анализатор написан тобой? Чем тебя не устраивает, > к примеру, calamaris ?
ну потому что когда я спрашивал какой выбрать анализатор мне никто ничего не посоветовал, проще было написать чем экспериментами перебирать все существующие.
> 2. Почему для пересылки используется smtp? Не проще ли это > сделать via ftp or smb?
проще. но неохота на проксе поднимать фтп и смб - лишние сервисы=лишние уязвимости
> 3. Зачем ты объединяешь log файлы?
бат умеет только так.
> 4. access.log после squid -k rotate становится access.0.log > без возможной потери нескольких строчек при cat access.log. > Почему ты выбрал такой вариант?
как я понял mail аттач не может послать, поэтому сат. или я ошибаюсь.
> Спасибо за внимание
P.S. все сделано не оптимально по той причине что я только учусь :) ламер я, ламер.
В задачу прокси никогда не входило поддерживать "фтп и смб"...13.05.04 02:51 Автор: void <Grebnev Valery> Статус: Elderman
> проще. но неохота на проксе поднимать фтп и смб - лишние сервисы=лишние уязвимости В задачу прокси никогда не входило поддерживать "фтп и смб". В задачу прокси входило всего лишь "представление от своего имени" сервисов и клиентов на других хостах.
Т.е. задача, по сути, заключается в перегонке сквидовых...29.04.04 08:56 Автор: cybervlad <cybervlad> Статус: Elderman
> сейчас настроено так, скриптик в 23:59 каждый день делает > cat лога и мылит его мне . в итоге я получаю в мыло файлик > около 10Мб который потом сохраняю как .тхт и скармливаю > своему логаналайзеру. > делается так потому что логаналайзер написан мною, под мои > нужды под винды, для МС СКуЛя. так надо. Т.е. задача, по сути, заключается в перегонке сквидовых логов в sql-базу?
Подобная задача уже решалась. Правда, на mysql, но суть та же:
http://east-ua.kharkov.ru/modules.php?op=modload&name=News&file=article&sid=400
Кстати, насколько принципиально требование использования именно самописного логаналайзера?
Есть неплохое решение под названием SARG:
http://sarg.sourceforge.net/ Юзаем несколько лет, очень довольны. Отчеты (дневной, недельный, месячный) в онлайн через http, плюс каждый понедельник начальникам по мылу красивые html-отчеты на его подчиненных ;)
На мой взгляд, иногда более "сложное" решение, например,...29.04.04 01:16 Автор: void <Grebnev Valery> Статус: Elderman
На мой взгляд, иногда более "сложное" решение, например, требуещее программирования, на круг может оказаться более простым. Возможно это ваш случай. Тогда можно посмотреть топики по upload данных в инет. Кто знает, в Вашем случае программирование - копеешное:
1) если передаётся только текстовая инфа, то это можно было б делать и по хттп. Разумеется клиента (что будет делать PUT ) надо написать. Предполагается, что www у вас имеется
2)по мне, так проще написать сервис для upload, который будет биндиться к тому порту, который Вы захотите. Если Вы не программируете то, по программер это сделает за день-два.
ПС. Посмотрите в разделе прграммирование этого же форума. Схожая тематика обсуждалась.
нашел 2 варианта решения. в бате есть действительно в фильтрах28.04.04 16:06 Автор: mentat[bugtraq.ru] <Александр> Статус: Elderman
> может быть БАТ все > же умеет автоматом текст письма сохранять? еще бы и без > шапки :)) Скуль вроде как можно настроить чтобы он сам > забирал файлы, это я разберусь... но вот как их из мыла > выкачать быстро?
Если повозиться с фильтрами мона заставить его импортировать письмо в текстовый файл, но вот тока заголовок имхо все же будет...
А также мона еще логи ужимать gzip или bzip, 70-80 мегов сквидовских логов ужимались где-то в 10 (gzip - порядка 12), винрар понимает оба формата, вот тока как енто сделать автоматом....
переписать лог анализатор на perl/php и класть логи в MSSQL
а иначе получается бессмысленная возня с пересылкой логов
а насчет наксколько это будет долго, вот пример: обработка логов за месяц (размер логов сквида ~ 300Мб) скриптом на перле и закачка все нужой инфы в MySQL занимает около 6-8 часов
еще бы знать перл/пхп :)))))))28.04.04 15:40 Автор: mentat[bugtraq.ru] <Александр> Статус: Elderman
подробно о проекте
Анализ криптографических сетевых...
новое сообщение
закрытая нитка
новое сообщение
в закрытой нитке
старое сообщение
