Легенда:
 новое сообщение
 закрытая нитка
 новое сообщение
 в закрытой нитке
 старое сообщение
|
- Напоминаю, что масса вопросов по функционированию форума снимается после прочтения его описания.
- Новичкам также крайне полезно ознакомиться с данным документом.
Господа, будьте снисходительны, не бросайтесь сразу штрафовать за, как вам кажется, глупые вопросы - beginners на то и beginners.
| | | | | | | | | | | |
В хорошие РАИД контроллеры ставят хорошую логику. 15.05.08 15:11 Число просмотров: 1830
Автор: DPP <Dmitry P. Pimenov> Статус: The Elderman
Отредактировано 15.05.08 15:17 Количество правок: 3
|
> Надо оговориться, что при использовании RAID 5, по
> сравнению с единичным диском с таким же же
> тех.характеристиками, как диски массива, ощутимого прироста
> не получается из-за не слишком простой и быстрой логики
> обработки дискового массива данного типа.
В хорошие РАИД контроллеры ставят хорошую логику.
Во первых при чтении массив 5 уровня представляется как массив 0 уровня на количестве дисков N-1.
Обращение к диску с избыточностью будет только в том случае, если требуется считануть данные с диска, который в данный момент неисправен. Да, в этом случае скорость сильно упадет.
Если в контроллере стоит 4 килобитная логика, то вычисление контрольной суммы произойдет за один такт. Это конечно гипотетическая ситуация, но 64 битная логика - факт, да еще может быть многопоточная (многоядерная). В худшем случае вычисления - 64 такта. Поскольку на гигагерцовых процессорах один такт во много раз короче шинного цикла интерфейса, получаем задержку на обработку (которая при чтении даже не выполняется) эквивалентную передаче нескольких байт по интерфейсу. При записи корректировака контрольных сумм легко встает в очередь (кеш с отложеной записью) и не мешает основным запросам - суммарная пропускная способность большого количества дисков намного больше скорости PCI шины так что контроллер всегда успеет посчитать и скинуть ее.
> При использовании RAID 1 "зеркало" условно возможен прирост
> производительности только при чтении (зависит от конкретной
> реализации).
При чтении во столько раз больше, сколько дисков установлено в зеркале. Если два, то четные блоки читаем с первого, нечетные со второго. Двухкратный прирост скорости. Скорость записи, как на один, поскольку запись на второй диск происходит одновременно с записью на первый.
> Максимальный по производительности, а также максимальный по
> ненадежности (ненадежность пропорциональна кол-ву дисков в
> массиве) - массив RAID 0 "чередование".
И максимальная экономическая эффективность в деньгах за гигабайт.
Скорость РАИДа в предположении того, что он будет стоять на серваке следует считать, учитывая многопоточность. Предположим, что несколько запросов приходят с интервалом в наносекунду и они с определенной вероятностью могут быть удовлетворены считыванием с разних физических дисков. Первый с первого, второй со второго, третий с третьего, четвертый с первого. Тогда второй и третий запрос могут быть удовлетворены сразу же и им не надо ждать окончания первого (и второго для третьего запроса), а четвертому не нужно ожидать второй и третий, а только первый. В результате интенсивной работы трх человек с серваком, у которого три диска в нулевом массиве или четыре в четвертом или пятом, могут слишком интенсивно работать с серваком и не ощущать интенсивной работы других пользователей. Если диск один, то запросы к серваку могут начать поступать быстрее, чем он может их удовлетворить и с точки зрения пользователей сервак встает в ступор.
|
|
<beginners>
|
Будет ли рабочая станция на базе Opteron или Xeon производительней, чем обычный супернаворочаный комп? 13.05.08 08:43
Автор: Fighter <Vladimir> Статус: Elderman
|
|
|
|
Навороченный, это который с процом Extreme Edition? ;) 13.05.08 13:43
Автор: Den <Денис Т.> Статус: The Elderman
|
|
|
|
Рисовальщики спецэфектов одно из каналов первой кнопки субъективно оценивают АМД как лучший для рендеринга - майя/3дмакс. 13.05.08 12:03
Автор: Garick <Yuriy> Статус: Elderman
|
|
|
|
Если в "обычном" стоит одноядерный Целерон, а в "станции" будет стоять многоядерный проц на новом ядре с кучей кеша, то будет по любому. 13.05.08 09:49
Автор: DPP <Dmitry P. Pimenov> Статус: The Elderman
Отредактировано 13.05.08 09:50 Количество правок: 1
|
|
|
| |
"Обычный супернаворочаный" - это и есть многоядерный проц на новом ядре с кучей кеша. Плюс дорогая мать с кучей всего на борту+много памяти+... 13.05.08 10:04
Автор: Fighter <Vladimir> Статус: Elderman
|
|
|
| | |
P4 не будут пароваться. Да и под Р4 серверные платы только начального уровня с ограничениями по размеру памяти, контроллеров PCI. Определись - тебе рабочая станция или сервер? 13.05.08 11:58
Автор: Garick <Yuriy> Статус: Elderman
|
|
ИМХО у первых есть возможность безболезненно установить продвинутую видеокарта (а то и две и более). Сервера расчитаны на удаленное управление (ну кому прийдет в голову работать около нехило шумящей серверной/сетевой стойки и при некомфортной температуре) и сложнее подобрать карту, проще дистанционный KVM модуль.
|
| | |
Тогда расходы на проц могут не покрыть прирост... 13.05.08 10:23
Автор: DPP <Dmitry P. Pimenov> Статус: The Elderman
|
Тогда расходы на проц могут не покрыть прирост производительности.
Запускал я как-то числодробилку на четвертом пне 2.8 и на зеоне 3.0 разница была более чем в полтора раза в пользу последнего. Первый был, конечно, не Коре, но загадка осталась - почему при 10% приросте частоты и одинаковых (почти) все прочих условиях выигрыш производительности оказался таким значительным. Ту же задачку (вспомнил, кажись перекодировка фильма или подбиралка пароля по хешу) запускал дома на НБ пень мобильный 1.8 - разницы с пнем 2.8 почти не было. Точнее была в пользу четвертого пня, но маленькая, порядка 10%.
|
| | | |
Т.е. рабочая станция Xeon'е получается быстрее? 13.05.08 10:36
Автор: Fighter <Vladimir> Статус: Elderman
|
|
|
| | | | |
Получилось, что так. 13.05.08 17:21
Автор: DPP <Dmitry P. Pimenov> Статус: The Elderman
Отредактировано 13.05.08 17:23 Количество правок: 1
|
Получилось, что так.
Пень какой-то из относительно старых, хоть и многочастотный, но даже без гипертрейдинга - выглядит как одноядерник. Полагаю, что одно ядро КореДуо, хоть и на чуть меньшей частоте, но сделало бы его. ХЕОН выглядит четырехядерником (сервак). Похоже там два двухядерника или гипертрейдинга стоят.
Задачки явно под одно ядро и не требовательны к огромному кешу.
Могу поиграться - в виндовом калькуляторе 100.000 факториал посчитать и время засечь. Практически аналог многим прогам - не использует многоядерности и не требовательна ни к памяти, ни к объему кеша. В отличии от каких-нибудь последних версий фотошопов, которые и ядрами попользуются и много кеша любят, поскольку многомегабайтными массивами оперируют.
Большой прирост производительности бы дало использование 64 разрядности, которая свойственна последним процам, но как правило имеем прогу, заточеную под ИА-32, и ничего с ней сделать не можем.
|
| | | | | |
Если не сложно - интересно было бы сравнить Хеон и С2Д 13.05.08 18:46
Автор: Fighter <Vladimir> Статус: Elderman
|
> Получилось, что так.
> Пень какой-то из относительно старых, хоть и
> многочастотный, но даже без гипертрейдинга - выглядит как
> одноядерник. Полагаю, что одно ядро КореДуо, хоть и на чуть
> меньшей частоте, но сделало бы его. ХЕОН выглядит
> четырехядерником (сервак). Похоже там два двухядерника или
> гипертрейдинга стоят.
> Задачки явно под одно ядро и не требовательны к огромному
> кешу.
>
> Могу поиграться - в виндовом калькуляторе 100.000 факториал
> посчитать и время засечь. Практически аналог многим прогам
Если не сложно - интересно было бы сравнить Хеон и С2Д
> - не использует многоядерности и не требовательна ни к
> памяти, ни к объему кеша. В отличии от каких-нибудь
> последних версий фотошопов, которые и ядрами попользуются и
> много кеша любят, поскольку многомегабайтными массивами
> оперируют.
Фотошопы там тоже будут работать.
>
> Большой прирост производительности бы дало использование 64
> разрядности, которая свойственна последним процам, но как
> правило имеем прогу, заточеную под ИА-32, и ничего с ней
> сделать не можем.
|
| | | | | | |
Ну что там с факториалом? ПОлучилось? 14.05.08 17:13
Автор: Fighter <Vladimir> Статус: Elderman
|
|
|
| | | | | | | |
Ах да, крнечно. Сначала результаты: 14.05.08 18:17
Автор: DPP <Dmitry P. Pimenov> Статус: The Elderman
Отредактировано 14.05.08 18:26 Количество правок: 4
|
Ах да, крнечно. Сначала результаты:
P-IV 2.4 : 110, 220
P-IV 2.8 : 98
P-Xe 3.0 : 110 125 175
P-Xe 3.2 : 85 105 135
Потом комменты:
Это 4 разных компа. Первый видится как двухпроцовый, но особенно после тестов я полагаю, что он гипертрейдинговый. Частоты брал их "Свойства моего компьютера". Числа 110 и 220 соответственно время вычисления факториала 100.000 в секундах, для одновременно считающего одного и двух калькуляторов. Нет повода не доверять, что видятся 2 ядра, но удвоение времени - НТ однозначно. Может если б два потока, один -целочисленный, другой сопроцессорный, то и не было бы влияния... Второй - одноядерник. Третий и четвертый видятся четырехядерниками, но скорее всего двухкамневые. Стало быть могут быть как двухядерниками, так и НТ (если ХЕОНы таковами бывали). Времена соответственно для 1, 2 и 3 одновременно считающих калькуляторов. Более трех запускать не хотелось - первый был уже загружен на 30%, а второй на 10%, но для прояснения картинки этого достаточно. При полной нагрузке утилизация первого достигла 100%, а второго 90%. Приоритеты калькуляторов понижал, чтоб не мешать основным приложениям. Поскольку калькуляторы на одном ядре явно мешают друг другу, а распределение между камнями может носить неопределенный характер, при запуске двух калькуляторов мы могли бы получить увеличение времени в двое (если они будут выполняться на одном камне) или не увидеть увеличения времени, если на разных камнях. Поскольку время уполторашилось при запуске трех калькуляторов, да и почему то увеличилось при двух - полагаю, что это два НТ камня.
Хорошо помню, как 10 лет назад ставил эксперимент на экзотическом тогда серваке на базе второго пня с четырьмя камнями и имел счастье наблюдать, как запуск очередного калькулятора не влиял на время вычисления других, пока количество калькуляторов не превысило количество камней. Отсюда и напрашивается вывод в целесообразности и области применения многоядерных систем.
Что-то поблизости не нашел Корешнего проца, но в этом плане может помочь любой форумянин, у которого есть подходящий комп под рукой.
Поскольку мне запомнилась другая картинка - ощутимый выигрыш ХЕОНа, видать тестил не на калькуляторе, а на скорее всего перекодировщике (ВиртуалДубе) у него есть возможности автодетекта и соответственно использования FPU, MMX, SSE-x и т.п. Надо попробовать что-либо более существенное, а не калькулятор. Однако хотелось бы распространенное и вседоступное.
Прелесть ХЕОНов может и не в том, что они быстрее при той же частоте, а в том, что у них обычно больше встроенного кеша, они имеют 36 разрядную внешнюю шину адреса, что позволяет прицепить к ним до 64 гигабайт памяти. Одной задаче, естетсвенно более 4 не будет выделяться, но в сумме пожалуста.
|
| | | | | | | | |
@#$ня какая-то... Получается, что рабочие станции на Хеонах - разводняк. 14.05.08 19:52
Автор: Fighter <Vladimir> Статус: Elderman
|
> Ах да, крнечно. Сначала результаты:
> P-IV 2.4 : 110, 220
> P-IV 2.8 : 98
> P-Xe 3.0 : 110 125 175
> P-Xe 3.2 : 85 105 135
Запустил калькулятор на домашней машине (100000!, в фоне SETI считает+WinAmp+Опера+Каспер чего-то копошится+в трее еще десяток значков болтается - фаервол, ATI CCC, ). Результат следующий: 60 60 88. С приоритетом "низкий"(idle): 61 62 92. Комп С2Д 6850 (2 ядра, 3 ГГц), мать P5R-WS, 2 гига ДДР2-800, два винта с разнесенной системой - подкачкой, Radeon 3870. ВыньХР. Комент в заголовке.
> Потом комменты:
> Это 4 разных компа. Первый видится как двухпроцовый, но
> особенно после тестов я полагаю, что он гипертрейдинговый.
> Частоты брал их "Свойства моего компьютера". Числа 110 и
> 220 соответственно время вычисления факториала 100.000 в
> секундах, для одновременно считающего одного и двух
> калькуляторов. Нет повода не доверять, что видятся 2 ядра,
> но удвоение времени - НТ однозначно. Может если б два
> потока, один -целочисленный, другой сопроцессорный, то и не
> было бы влияния... Второй - одноядерник. Третий и четвертый
> видятся четырехядерниками, но скорее всего двухкамневые.
> Стало быть могут быть как двухядерниками, так и НТ (если
> ХЕОНы таковами бывали). Времена соответственно для 1, 2 и 3
> одновременно считающих калькуляторов. Более трех запускать
> не хотелось - первый был уже загружен на 30%, а второй на
> 10%, но для прояснения картинки этого достаточно. При
> полной нагрузке утилизация первого достигла 100%, а второго
> 90%. Приоритеты калькуляторов понижал, чтоб не мешать
> основным приложениям. Поскольку калькуляторы на одном ядре
> явно мешают друг другу, а распределение между камнями может
> носить неопределенный характер, при запуске двух
> калькуляторов мы могли бы получить увеличение времени в
> двое (если они будут выполняться на одном камне) или не
> увидеть увеличения времени, если на разных камнях.
> Поскольку время уполторашилось при запуске трех
> калькуляторов, да и почему то увеличилось при двух -
> полагаю, что это два НТ камня.
> Хорошо помню, как 10 лет назад ставил эксперимент на
> экзотическом тогда серваке на базе второго пня с четырьмя
> камнями и имел счастье наблюдать, как запуск очередного
> калькулятора не влиял на время вычисления других, пока
> количество калькуляторов не превысило количество камней.
> Отсюда и напрашивается вывод в целесообразности и области
> применения многоядерных систем.
> Что-то поблизости не нашел Корешнего проца, но в этом плане
> может помочь любой форумянин, у которого есть подходящий
> комп под рукой.
> Поскольку мне запомнилась другая картинка - ощутимый
> выигрыш ХЕОНа, видать тестил не на калькуляторе, а на
> скорее всего перекодировщике (ВиртуалДубе) у него есть
> возможности автодетекта и соответственно использования FPU,
> MMX, SSE-x и т.п. Надо попробовать что-либо более
> существенное, а не калькулятор. Однако хотелось бы
> распространенное и вседоступное.
> Прелесть ХЕОНов может и не в том, что они быстрее при той
> же частоте, а в том, что у них обычно больше встроенного
> кеша, они имеют 36 разрядную внешнюю шину адреса, что
> позволяет прицепить к ним до 64 гигабайт памяти. Одной
> задаче, естетсвенно более 4 не будет выделяться, но в сумме
> пожалуста.
|
| | | | | | | | | |
Ну вы блин считатели -)) 17.05.08 08:51
Автор: HandleX <Александр М.> Статус: The Elderman
Отредактировано 17.05.08 08:57 Количество правок: 2
|
Поставьте какой-нить хороший попугайметр навроде SiSoft Sandra (она незарегистрированная всё равно работает), там есть сравнения теста конкретного проца с другими процами. Там и найдёте все ваши ксеоны, EE, и проч, И К АМД ПРИСМОТРИТЕСЬ!!! -))))))
Она меряет и с потоками, и SSE c MMXами и 3DNow меряет всяко, и куча других настроек для теста проца. Но ваще достаточно тупо нажать на кнопку тестирования -))
http://www.sisoftware.net/
|
| | | | | | | | | | |
Да, уж. Прекрасная программа. У меня где-то до сих пор две... 19.05.08 12:40
Автор: DPP <Dmitry P. Pimenov> Статус: The Elderman
Отредактировано 19.05.08 12:41 Количество правок: 1
|
> Поставьте какой-нить хороший попугайметр навроде SiSoft
> Sandra (она незарегистрированная всё равно работает), там
Да, уж. Прекрасная программа. У меня где-то до сих пор две версии валяются. Особенно мне понравилось, как она память бенчмарчит. Одна версия одно значение выдает, вторая - другое. Или у них "попугаи" меняются от версии к версии.
Если в кратце, то запускаю старенькую версию, измеряю производительность памяти (не помню, зачем нужно было) типа ДДР3200 и получаю не 3.2 гига в секунду, а раза в два меньше. Сам написал прогу, измеряю, точно так. Беру посвежее версию Сандры, ту, которая была написана после того, как ДДР память уже в продаже появилась. Новая пишет, как часы - 3.2 гига в секунду. Не знаю что там программисты намудрили, может какой-нибудь поправочный коэффициент ввели.
|
| | | | | | | | | | | |
А уменя она компутер вусмерть вешает... 19.05.08 19:11
Автор: Fighter <Vladimir> Статус: Elderman
|
|
|
| | | | | | | | | |
Если факториалы считать, то возможно. Калькулятор использует... 15.05.08 11:46
Автор: DPP <Dmitry P. Pimenov> Статус: The Elderman
Отредактировано 15.05.08 11:49 Количество правок: 2
|
> Запустил калькулятор на домашней машине (100000!, в фоне
> SETI считает+WinAmp+Опера+Каспер чего-то копошится+в трее
> еще десяток значков болтается - фаервол, ATI CCC, ).
> Результат следующий: 60 60 88. С приоритетом
> "низкий"(idle): 61 62 92. Комп С2Д 6850 (2 ядра, 3 ГГц),
> мать P5R-WS, 2 гига ДДР2-800, два винта с разнесенной
> системой - подкачкой, Radeon 3870. ВыньХР. Комент в
> заголовке.
Если факториалы считать, то возможно. Калькулятор использует довольно ограниченый набор инструкций и практически не зависит от размера кеша, поскольку оперирует с малым объемом памяти (~1кб), который поместится в кеше первого уровня. Все прелести могут выползти, когда обрабатываемый массив достигнет нескольких мегабайт.
Хорошо бы тест погонять на ФПУ. Можно было бы фильмец поконвертать, но чтоб создать равные условия для теста нудно взять один и тот же видеофрагмент и кодеки. В пределах одного офиса это не сложно, а на других копах погонять, уже сложности. Например в офисе нет Оптеронов.
Не хотелось, но все-таки придется чуть отклонится от темы. РАИД массивы в основном используются для повышения надежности дисковой системы, но их побочным эффектом является повышение ее быстродействия. Так вот ощутить этот прирост на тестах не так уж и просто, потому что не просто создать условия, аналогичные серверным. На отдельно взятой тачке, конечно тоже прирост можно получить, но если на серваке выполняется несколько задач и каждая занимается работой с диском или по сети идет много запросов к разным файлам от разных рабочих станций, то такие потоки легко параллелятся вплоть до того, что каждый поток обращается к отдельному диску. За счет параллелизма количество обрабатываемых потоков, которые не будут влиять (тормозить) друг на друга ожидая своей очереди, время обработки отдельного запроса резко сокращается, стало быть скорость сильно растет.
Полагаю, что подобное может иметь место быть и с процессорами.
|
| | | | | | | | | | |
Надо оговориться, что при использовании RAID 5, по сравнению... 15.05.08 12:18
Автор: Den <Денис Т.> Статус: The Elderman
Отредактировано 15.05.08 12:19 Количество правок: 1
|
> Не хотелось, но все-таки придется чуть отклонится от темы.
> РАИД массивы в основном используются для повышения
> надежности дисковой системы, но их побочным эффектом
> является повышение ее быстродействия. Так вот ощутить этот
> прирост на тестах не так уж и просто, потому что не просто
> создать условия, аналогичные серверным. На отдельно взятой
> тачке, конечно тоже прирост можно получить, но если на
> серваке выполняется несколько задач и каждая занимается
> работой с диском или по сети идет много запросов к разным
> файлам от разных рабочих станций, то такие потоки легко
> параллелятся вплоть до того, что каждый поток обращается к
> отдельному диску. За счет параллелизма количество
> обрабатываемых потоков, которые не будут влиять (тормозить)
> друг на друга ожидая своей очереди, время обработки
> отдельного запроса резко сокращается, стало быть скорость
> сильно растет.
> Полагаю, что подобное может иметь место быть и с
> процессорами.
Надо оговориться, что при использовании RAID 5, по сравнению с единичным диском с таким же же тех.характеристиками, как диски массива, ощутимого прироста не получается из-за не слишком простой и быстрой логики обработки дискового массива данного типа.
При использовании RAID 1 "зеркало" условно возможен прирост производительности только при чтении (зависит от конкретной реализации).
Максимальный по производительности, а также максимальный по ненадежности (ненадежность пропорциональна кол-ву дисков в массиве) - массив RAID 0 "чередование".
Если используются продукты, обрабатывающие гигабайтные файлы графических данных, то можно порекомендовать RAID 0 в качестве временного хранения исходных и результирующих файлов, а также для хранения кеша, своп файла и т.п.
Производительность RAID 0 увеличивается пропорционально кол-ву дисков, но не до бесконечности, т.к. ограничена пропускной способностью интерфеса, контроллеров, памяти.
|
| | | | | | | | | | | |
В хорошие РАИД контроллеры ставят хорошую логику. 15.05.08 15:11
Автор: DPP <Dmitry P. Pimenov> Статус: The Elderman
Отредактировано 15.05.08 15:17 Количество правок: 3
|
> Надо оговориться, что при использовании RAID 5, по
> сравнению с единичным диском с таким же же
> тех.характеристиками, как диски массива, ощутимого прироста
> не получается из-за не слишком простой и быстрой логики
> обработки дискового массива данного типа.
В хорошие РАИД контроллеры ставят хорошую логику.
Во первых при чтении массив 5 уровня представляется как массив 0 уровня на количестве дисков N-1.
Обращение к диску с избыточностью будет только в том случае, если требуется считануть данные с диска, который в данный момент неисправен. Да, в этом случае скорость сильно упадет.
Если в контроллере стоит 4 килобитная логика, то вычисление контрольной суммы произойдет за один такт. Это конечно гипотетическая ситуация, но 64 битная логика - факт, да еще может быть многопоточная (многоядерная). В худшем случае вычисления - 64 такта. Поскольку на гигагерцовых процессорах один такт во много раз короче шинного цикла интерфейса, получаем задержку на обработку (которая при чтении даже не выполняется) эквивалентную передаче нескольких байт по интерфейсу. При записи корректировака контрольных сумм легко встает в очередь (кеш с отложеной записью) и не мешает основным запросам - суммарная пропускная способность большого количества дисков намного больше скорости PCI шины так что контроллер всегда успеет посчитать и скинуть ее.
> При использовании RAID 1 "зеркало" условно возможен прирост
> производительности только при чтении (зависит от конкретной
> реализации).
При чтении во столько раз больше, сколько дисков установлено в зеркале. Если два, то четные блоки читаем с первого, нечетные со второго. Двухкратный прирост скорости. Скорость записи, как на один, поскольку запись на второй диск происходит одновременно с записью на первый.
> Максимальный по производительности, а также максимальный по
> ненадежности (ненадежность пропорциональна кол-ву дисков в
> массиве) - массив RAID 0 "чередование".
И максимальная экономическая эффективность в деньгах за гигабайт.
Скорость РАИДа в предположении того, что он будет стоять на серваке следует считать, учитывая многопоточность. Предположим, что несколько запросов приходят с интервалом в наносекунду и они с определенной вероятностью могут быть удовлетворены считыванием с разних физических дисков. Первый с первого, второй со второго, третий с третьего, четвертый с первого. Тогда второй и третий запрос могут быть удовлетворены сразу же и им не надо ждать окончания первого (и второго для третьего запроса), а четвертому не нужно ожидать второй и третий, а только первый. В результате интенсивной работы трх человек с серваком, у которого три диска в нулевом массиве или четыре в четвертом или пятом, могут слишком интенсивно работать с серваком и не ощущать интенсивной работы других пользователей. Если диск один, то запросы к серваку могут начать поступать быстрее, чем он может их удовлетворить и с точки зрения пользователей сервак встает в ступор.
|
| | | | | | | | | |
Не думай о ксеонах и серверных матерях. Смотри в сторону Hi-end perfomance матерей и проца Extreme Edition 14.05.08 22:09
Автор: Den <Денис Т.> Статус: The Elderman
|
|
|
|
|
подробно о проекте
Анализ криптографических сетевых...
