Легенда:
   новое сообщение
    закрытая нитка
    новое сообщение
    в закрытой нитке
    старое сообщение
         
		 | 
- Напоминаю, что масса вопросов по функционированию форума снимается после прочтения его описания.
 - Новичкам также крайне полезно ознакомиться с данным документом.
   
  |   |   |   |   |   |   |   | 
Насчет Excel просвет есть, вроде Excel 2007 миллион с...  26.09.08 19:54  Число просмотров: 3639
 Автор: ncoder Статус: Незарегистрированный пользователь
 | 
 
Насчет Excel просвет есть, вроде Excel 2007 миллион с лихвой
 строк открывает, щас установлю потестю, можт хватит....
 | 
 
| 
<sysadmin>
 |  
 
В ответ на запрос логов провайдер прислал не пойми че...  23.09.08 19:12   [Ustin]
 Автор: ncoder Статус: Незарегистрированный пользователь
 | 
 
В общем ситуация следующая, в конторе где я бываю набегами увеличился траф... Заказали детализацию по одному конкретному дню (там 590 метров было накачано), ждали 2 дня, в итоге провайдер прислал почтой два файла, оба с расширением .bin (Untitled.bin - около 5 мегабайт и Untitled2.bin - около 150 килобайт).
 
 Это шутка такая или их чем то можно посмотреть, кроме дизассемблера? :-\
 
 Идея такая была - сравнить логи с хистори на юзерских компах, чтобы выяснить, юзеры это или хакеры инет пользуют. К слову, когда я эту контору принял, там была вирусня и масс-мейлеры везде напиханы, везде поставил Каспера 2009 с файрволом, поприбивал заразу, вроде сетевая активность улеглась...
 
 Если ничего не удасться выяснить, вижу решение лишь поставить на выделенный комп Traffic Inspector и через прокси логи проверять потом, или может еще что посоветуете...
 | 
 
 
  | 
Возможно дамп снифера. Попробуй открыть файлик wireshark'ом  27.09.08 00:38  
 Автор: Killer{R} <Dmitry> Статус: Elderman
 | 
 
Возможно дамп снифера. Попробуй открыть файлик wireshark'ом
 Если ниче не поможет - ищи в бинарнике последовательности соответствующие мак адресам имеющимся в вашей локалке. Кого будет больше всего - тот и жрет трафик)
 Структура ethernet заголовка (если интересно):
 typedef struct eth_hdr_
 {
     unsigned char dst[ETH_ALEN];
     unsigned char src[ETH_ALEN];
     unsigned short ftype;
 }eth_hdr;
 
 Для IP - сразу после eth_hdr следует :
 typedef struct ip_hdr
 {
     unsigned char  ip_verlen;        // IP version & length
     unsigned char  ip_tos;           // IP type of service
     unsigned short ip_totallength;   // Total length
     unsigned short ip_id;            // Unique identifier 
     unsigned short ip_offset;        // Fragment offset field
     unsigned char  ip_ttl;           // Time to live
     unsigned char  ip_protocol;      // Protocol(TCP, UDP, etc.)
     unsigned short ip_checksum;      // IP checksum
     unsigned int   ip_srcaddr;       // Source address
     unsigned int   ip_destaddr;      // Destination address
 
 } IP_HDR; 
 
 Для TCP конекшнов ip_protocol будет выставлен в 6
 перлом или С разгрести дамп трафика с этими данными будет несложно даже без стороннего софта)
 | 
 
 
  |   | 
Это логи pf  27.09.08 10:55  
 Автор: Ustin <Ustin> Статус: Elderman
 | 
 
| 
 | 
 
 
  |   | 
Wireshark анализирует пакеты, насколько я понял из описания  27.09.08 08:18  
 Автор: ncoder Статус: Незарегистрированный пользователь
 | 
 
А мне надо анализ логов сделать. С каких IP адресов получено наибольшее количество траффика. Файл то уже вытащил (см. ниже).
 Пока решение не нашел, поскольку ни excel ни access толком не знаю, чтобы выборки правильно написать... :(
 | 
 
 
  |   |   | 
wireshark умеет сохранять собранный лог траффика и...  27.09.08 15:13  
 Автор: Killer{R} <Dmitry> Статус: Elderman
 | 
 
| 
wireshark умеет сохранять собранный лог траффика и соответственно открывать потом для анализа. Причем умеет открывать кучу разных форматов.
 | 
 
 
  | 
Тупик полный...  25.09.08 19:18  
 Автор: ncoder Статус: Незарегистрированный пользователь
 | 
 
Тупик полный...
 Нашел чем соединить, какая то  Easy File Joiner...
 Пока файлы раздельно, трюк со сменой расширения первого на .eml работет нормально, имеем письмо с коцаным .zip.
 После склейки и смены расширения на .eml опять открывается не как письмо... а вот так
 From: "xxxxxxxxxx">
 
 To: <xxxxxxxxxx>
 
 Subject: =?koi8-r?B?/M7Gz9LUwSwgxMXUwczJ2sHDydE=?=
 
 Date: Wed, 24 Sep 2008 15:11:37 +0700
 
 MIME-Version: 1.0
 
 Content-Type: multipart/mixed;
 
 	boundary="----=_NextPart_000_004A_01C91E57.D79F7730"
 
 X-Priority: 3
 
 X-MSMail-Priority: Normal
 
 X-Mailer: Microsoft Outlook Express 6.00.2900.3028
 
 Disposition-Notification-To: "HelpDesk Enforta" <hd@oms.enforta.com>
 
 X-MimeOLE: Produced By Microsoft MimeOLE V6.00.2900.3028
 
 
 
 This is a multi-part message in MIME format.
 
 
 
 ------=_NextPart_000_004A_01C91E57.D79F7730
 
 Content-Type: multipart/alternative;
 
 	boundary="----=_NextPart_001_004B_01C91E57.D79F7730"
 
 
 
 
 
 ------=_NextPart_001_004B_01C91E57.D79F7730
 
 Content-Type: text/plain;
 
 	charset="koi8-r"
 
 Content-Transfer-Encoding: quoted-printable
 
 
 
 
 
       14.08.2008 =F7=C8=CF=C4=D1=DD=C9=CA =F7=CE=C5=DB=CE=C9=CA 702.079=20
 
 
 
 
 
 
 
 
 
 =EE=C1=C9=C2=CF=CC=D8=DB=C9=CA =D7=C8=CF=C4=D1=DD=C9=CA =
 
 =D4=D2=C1=C6=C9=CB =D7 =C1=D7=C7=D5=D3=D4=C5 =C2=D9=CC 14=C7=CF =
 
 =DE=C9=D3=CC=C1 702 =ED=C2
 
 
 
 
 
 
 
 =F0=D2=C9=CE=C1=C4=CC=C5=D6=CE=CF=D3=D4=D8 IP =C1=C4=D2=C5=D3=C1 =
 
 =CD=CF=D6=CE=CF =D5=DA=CE=C1=D4=D8 =CE=C1 =D3=C1=CA=D4=C5 =
 
 http://lg.transtk.ru/, =D7=D7=CF=C4=D1 =
 
 =C9=CE=D4=C5=D2=C5=D3=D5=C0=DD=C9=CA =D7=C1=D3 IP =C1=C4=D2=C5=D3 =D7 =
 
 =D0=CF=CC=C5 whois =20
 
 
 
  =20
 
 пойду выпью йаду наверное... :-(((
 | 
 
 
  |   | 
Похоже у вас банальные зомбоботы в сети. Рассылают спам и...  27.09.08 00:40  
 Автор: Killer{R} <Dmitry> Статус: Elderman
 | 
 
| 
Похоже у вас банальные зомбоботы в сети. Рассылают спам и вирей :)
 | 
 
 
  |   |   | 
Да не совсем похоже... во первых исходящий траф не...  27.09.08 08:00  
 Автор: ncoder Статус: Незарегистрированный пользователь
 | 
 
> Похоже у вас банальные зомбоботы в сети. Рассылают спам и > вирей :) 
 Да не совсем похоже... во первых исходящий траф не тарифицируется, во вторых пролечили все Каспером 2009 Internet Security, файрволл включен.
 Но надо проверить, конечно.
 | 
 
 
  | 
Продолжение страшной истории!  25.09.08 18:53  
 Автор: ncoder Статус: Незарегистрированный пользователь
 | 
 
Ничего не добившись от бинарников, наш герой навестил провайдера, где ему на флешку была записана детализация. Как потом оказалось, не та которая требовалась, за 1 день, где было много трафика.... а за весь месяц.
 Причем в виде ip адресов, количества полученных байт, протоколов и портов. Мечты проверить history юзеров накрылись медью.
 
 Но герой не пал духом и попросил прислать все таки детализацию за самый "трафный" день, уже на его почовый ящик. Тут пролилось немного света на бренную землю. Он таки получил искомое письмо... но в ужасном виде.
 Вот название 1го письма:
 Детализация 08_14_2008_000000_08_14_2008_235959_371_1.zip [1/2]
 а это второго:
 Детализация 08_14_2008_000000_08_14_2008_235959_371_1.zip [2/2]
 получено MozThunderbird'ом.
 Внутри обох нет текста, только файл с названием attachment без расширение.
 Размер 1-го письма - 5001 kb, второго - 1749 kb.
 Насколько удалось понять, чей то почтовый сервер режет таким способом письма более 5 mb.
 На сей раз сохранение файла attachment из первого письма и переименование его в .eml увенчалось успехом! При открытии тандером
 получилось письмо с текстом и аттачем.zip. Но архив не открывается, похоже вторая часть отрезана.
 А теперь вопрос... чем соединить два одинаковых файла attachment в один, чтобы потом окрылось полноценное письмо, а не обрубок?
 | 
 
 
  |   | 
И так, на всякий случай, чтобы потом велосипед не изобретать,...  26.09.08 09:24  
 Автор: Winer <Виктор С.> Статус: Member Отредактировано 26.09.08 09:25  Количество правок: 2
 | 
 
> А теперь вопрос... чем соединить два одинаковых файла > attachment в один, чтобы потом окрылось полноценное письмо, > а не обрубок? И так, на всякий случай, чтобы потом велосипед не изобретать, родная виндовая copy вполне себе  умеет склеивать N файлов в один. copy /?
 | 
 
 
  |   |   | 
Позор на мою седую голову, забыл первоисточники. Ешкин кот,...  26.09.08 19:32  
 Автор: ncoder Статус: Незарегистрированный пользователь
 | 
 
> И так, на всякий случай, чтобы потом велосипед не > изобретать, родная виндовая copy вполне себе  умеет > склеивать N файлов в один. copy /? 
 Позор на мою седую голову, забыл первоисточники. Ешкин кот, это ж надо.
 Развеж про DOS можно забывать :))
 Виноват. Просто когда все мозги нацелишь в одну точку, очевидного иногда не замечаешь... что весь инструментарий то под рукой, оказывается.
 | 
 
 
  |   |   | 
ну так это ж пальцами надо нажимать  26.09.08 10:50  
 Автор: ZloyShaman <ZloyShaman> Статус: Elderman
 | 
 
| 
 | 
 
 
  |   | 
Попробуй просто конкатенировать. Например, тотал коммандер умеет.  25.09.08 19:18  
 Автор: ZloyShaman <ZloyShaman> Статус: Elderman
 | 
 
| 
 | 
 
 
  |   |   | 
Окончание страшной истории.  25.09.08 20:51  
 Автор: ncoder Статус: Незарегистрированный пользователь
 | 
 
Итог: в результате проделанной бесполезной работы получили бесполезный результат.
 Total Commander зарулил!
 Меню File>Combine решает!
 
 В итоге получен 40-мегабайтный (в распакованном виде) CSV файл, который excel полностью открыть не может. А то что может, представляет мало ценности. Ибо выглядит так:
 datetime(YYYY-mm-dd HH:MM:SS)	src IP addr	src_port	input ifidx	dst IP addr	dst_port	output if idx	protocol	bytes
 14.08.2008 0:00	89.96.249.130	24829	15	87.241.221.30	137	19	udp	234
 
 На одну минуту присходит до 1000 событий начиная с 9 утра. Ночью тоже меленько капает траф, очевидно служебная информация.
 Проверять каждый IP через WHOIS - извините, еще не совсем болен.
 Однако судя по тому, что ночью активности фактически нет, радиоканал не взломан, значит офис скорее всего реально столько выкачивает. В этот день было 790 метров. Найти виновных найти не удасться, буду срочно ставить Traffic Inspector и пускать всех через него, потом смотреть логи.
 
 Всем спасибо за помощь!
 
 ps: долой помегабайтные тарифы! 12000 за интернет в месяц это что то...
 | 
 
 
  |   |   |   | 
Решение  27.09.08 10:51  
 Автор: Ustin <Ustin> Статус: Elderman Отредактировано 27.09.08 11:12  Количество правок: 1
 | 
 
Пусть логи лежат в файле log.bin
 Тогда:
 1) Ищешь (хоть поиском по форуму) и ставишь unxutils 
 2) Создаёшь в каталоге файл logproc.bat
 
@echo off
set tmpfl=fl.tmp
cat %1|gawk "{print $3}"|sort -T %temp% > %tmpfl%
cat %1|gawk "{print $6}"|sort -T %temp% >> %tmpfl%
cat %tmpfl%|sort -T %temp% -u > %tmpfl%2 
for /f %%q in (%tmpfl%2) do (
echo %%q
cat %1 |grep %%q|gawk "{sum+=$10} END {print sum}"
)
del %tmpfl%*
 ---
 3) запускаешь из командной строки logproc.bat log.bin >1.txt и просматриваешь 1.txt
 Там будут строки 
 122.141.76.3
 3716
 ...
 202.99.11.99
 808
 , они значат что с адресом 122.141.76.3 происходил обмен 3176 байт (и вход и выход), а с 202.99.11.99 - 808 байт.
 Если почитаешь мануалы, поймёшь как посчитать отдельно входящий и отдельно исходящий трафик, а также разобрать по протоколам и портам.
 PS: тему в бегиннерс
 | 
 
 
  |   |   |   | 
Почему найти не удастся?  25.09.08 22:19  
 Автор: amirul <Serge> Статус: The Elderman
 | 
 
> На одну минуту присходит до 1000 событий начиная с 9 утра. > Ночью тоже меленько капает траф, очевидно служебная > информация. > Проверять каждый IP через WHOIS - извините, еще не совсем > болен. 
 Можно написать простенькую прогу, которая распарсит лог и отсортирует по объему трафика с группировкой по IP-шникам.
 
 > Однако судя по тому, что ночью активности фактически нет, > радиоканал не взломан, значит офис скорее всего реально 
 Ночью "хакиры" тоже могут спать. Не стоит сбрасывать со счетов взлом радиоканала (если вообще такое подозрение было). Этот трафик может генерить не бот, а человек (порнуху качает нахаляву). А ночью человеки спят. Хотя может и червь, а ночью нет трафика потому, что комп на ночь выключают
 
 > столько выкачивает. В этот день было 790 метров. Найти > виновных найти не удасться, буду срочно ставить Traffic > Inspector и пускать всех через него, потом смотреть логи. 
 > Всем спасибо за помощь! >  > ps: долой помегабайтные тарифы! 12000 за интернет в месяц > это что то... 
 12 гиг на помегабайтном тарифе? Круто :-)
 А вообще да, анлимиты сейчас очень доступные
 | 
 
 
  |   |   |   |   | 
Не, 12000 рублей отдали за месяц за инет...  25.09.08 22:49  
 Автор: ncoder Статус: Незарегистрированный пользователь
 | 
 
Не, 12000 рублей отдали за месяц за инет...
 Радиоканал вряд ли взломан, точка доступа провайдерская (Энфорта), канал ноутбуком не виден. Прогу бы написал, только последний мой опыт программирования был еще на спектрумовском ассемблере... а нет, вру, еще visual basic маленько пробовал лет 5 назад. Если есть желание, могу выслать файл :-)
 Да думаю, че теперь крайних искать, народ никто не ограничивал, вот и распоясались. Надо делать контроль, лучше пусть контора TI купит за 5 тыщ рублев чем по 10-12 тыщ каждый месяц отваливать за  трафик.
 
 Единственно просьба - можт посоветует кто че, трафик инспектор с отдельным компом-шлюзом недорогим - правильный вариант, или получше можно придумать?
 Задачи - желательно наглядно видеть, какие сайты с какого компа посещаются, помимо собственно объема полученной информации.
 К точке доступа провайдер ключи не даст, там ниче нельзя будет настроить, только шлюзом ее указать.
 | 
 
 
  |   |   |   |   |   | 
Файл не надо. Если он однородный просто запость сюда...  26.09.08 00:54  
 Автор: amirul <Serge> Статус: The Elderman
 | 
 
> Не, 12000 рублей отдали за месяц за инет... > Радиоканал вряд ли взломан, точка доступа провайдерская > (Энфорта), канал ноутбуком не виден. Прогу бы написал, > только последний мой опыт программирования был еще на > спектрумовском ассемблере... а нет, вру, еще visual basic > маленько пробовал лет 5 назад. Если есть желание, могу > выслать файл :-) 
 Файл не надо. Если он однородный просто запость сюда несколько строк - приду домой сделаю (если не забуду :-) ). Там не должно быть сложно.
 
 > Да думаю, че теперь крайних искать, народ никто не > ограничивал, вот и распоясались. Надо делать контроль, 
 А ну если не ограничивал, то и искать незачем. Или хотя бы просто ради интереса?
 
 > лучше пусть контора TI купит за 5 тыщ рублев чем по 10-12 > тыщ каждый месяц отваливать за	трафик. 
 Ага.
 
 > Единственно просьба - можт посоветует кто че, трафик > инспектор с отдельным компом-шлюзом недорогим - правильный > вариант, или получше можно придумать? > Задачи - желательно наглядно видеть, какие сайты с какого > компа посещаются, помимо собственно объема полученной > информации. 
 Может лучше винроут какой нибудь поставить? Все ж таки изначально заточен на разлив инета и сбор статистики.
 
 > К точке доступа провайдер ключи не даст, там ниче нельзя > будет настроить, только шлюзом ее указать. 
 Ее можно сбросить в дефолт и поставить что нибудь свое :-)
 | 
 
 
  |   |   |   |   |   |   | 
Тут правда таблица не отобразится, но в общем колонок там 8...  26.09.08 19:45  
 Автор: ncoder Статус: Незарегистрированный пользователь
 | 
 
> Файл не надо. Если он однородный просто запость сюда > несколько строк - приду домой сделаю (если не забуду :-) ). > Там не должно быть сложно. 
 Тут правда таблица не отобразится, но в общем колонок там 8 - от A до I.
 datetime(YYYY-mm-dd HH:MM:SS)	src IP addr	src_port	input ifidx	dst IP addr	dst_port	output if idx	protocol	bytes
 14.08.2008 0:00	89.96.249.130	24829	15	87.241.221.30	137	19	udp	234
 14.08.2008 0:00	89.96.249.130	24829	19	87.241.221.30	137	0	udp	234
 14.08.2008 0:10	218.6.8.227	6000	15	87.241.221.30	135	19	tcp	40
 14.08.2008 0:10	218.6.8.227	6000	19	87.241.221.30	135	0	tcp	40
 14.08.2008 0:20	87.216.55.59	1478	15	87.241.221.30	135	19	tcp	48
 14.08.2008 0:20	87.216.55.59	1478	19	87.241.221.30	135	0	tcp	48
 14.08.2008 0:30	122.141.76.3	43562	15	87.241.221.30	1026	19	udp	929
 14.08.2008 0:30	122.141.76.3	43563	15	87.241.221.30	1027	19	udp	929
 14.08.2008 0:30	122.141.76.3	43562	19	87.241.221.30	1026	0	udp	929
 14.08.2008 0:30	122.141.76.3	43563	19	87.241.221.30	1027	0	udp	929
 14.08.2008 0:40	77.221.137.186	62988	15	87.241.221.30	32946	19	udp	1428
 14.08.2008 0:40	77.221.137.186	62988	19	87.241.221.30	32946	0	udp	1428
 14.08.2008 0:40	202.99.11.99	1231	15	87.241.221.30	1434	19	udp	404
 14.08.2008 0:40	202.99.11.99	1231	19	87.241.221.30	1434	0	udp	404
 14.08.2008 0:50	87.229.38.216	4195	15	87.241.221.30	135	19	tcp	48
 14.08.2008 0:50	87.229.38.216	4195	19	87.241.221.30	135	0	tcp	48
  
 однако это будет иметь смысл, если Excel сможет открыть весь файл, а пока он ругается на ограничение по количеству строк, процентов 5 файла открывает.
 
 > А ну если не ограничивал, то и искать незачем. Или хотя бы > просто ради интереса? 
 Почему, польза будет! Надо знать кто там самый матерый качала... мне ж их дальше админить, порядок придется наводить. Плюс уже можно прикидывать, на какие адреса контент-фильтры применять. Не ограничивали народ потому что траф был в пределах нормы, в 5-8 тыс. руб. укладывались, а теперь второй месяц счет на 10-12 тыр. идет, директор не очень то счастлив, а мужик неплохой, обижать не стоит.
 
 > Может лучше винроут какой нибудь поставить? Все ж таки > изначально заточен на разлив инета и сбор статистики. 
 У винроута логи тож не самые внятные, хотя говорят их можно другой прогой в порядок приводить, Intenet Access Monitor вроде. Разбираться придется глубоко...
  
 > Ее можно сбросить в дефолт и поставить что нибудь свое :-) Только от инета остануться рожки да ножки :-)
 | 
 
 
  |   |   |   |   |   |   |   | 
Насчет Excel просвет есть, вроде Excel 2007 миллион с...  26.09.08 19:54  
 Автор: ncoder Статус: Незарегистрированный пользователь
 | 
 
Насчет Excel просвет есть, вроде Excel 2007 миллион с лихвой
 строк открывает, щас установлю потестю, можт хватит....
 | 
 
 
  
 
 | 
 |