Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

2 Страницы12>
Опции
К последнему сообщению К первому непрочитанному
Offline Panda  
#1 Оставлено : 23 июля 2016 г. 12:55:17(UTC)
Panda


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 19.06.2016(UTC)
Сообщений: 182
Мужчина
Российская Федерация
Откуда: St.Petersburg

Сказал «Спасибо»: 169 раз
Поблагодарили: 116 раз в 68 постах
Радостная новость для команды: параллельно с Московским кластером Shmya-1, будет собираться Shmya-2, но уже в Петербурге.

1)На данный момент в состав кластера входят: 2 cpu i5-3317u + 12 gb ram (одновременно узлы управления)
2 fx-8320e + 3 gb ram

2)Все узлы кластера будут работать в первую очередь на проект Gerasim.

3)Кластер создается с целью дополнить возможности Shmya-1.

4)На создание Shmya-2 не будут собираться деньги, так как первоочередной целью является развитие Shmya-1

5)В перспективе планируется увеличить количество узлов до 10-ти. Узлы будут собираться на базе amd fx и xeon e5-2670. Каждый узел будет снабжен 4 гб RAM.
thanks 6 пользователей поблагодарили Panda за этот пост.
hoarfrost оставлено 23.07.2016(UTC), Yura12 оставлено 23.07.2016(UTC), Argut оставлено 24.07.2016(UTC), evatutin оставлено 24.07.2016(UTC), Sergey0011 оставлено 24.07.2016(UTC), Шмяка оставлено 09.01.2017(UTC)
Offline hoarfrost  
#2 Оставлено : 23 июля 2016 г. 12:57:23(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,099
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1131 раз
Поблагодарили: 1545 раз в 989 постах
Panda, здорово! Успехов! Ждём фотографий и результатов!
UserPostedImage
thanks 1 пользователь поблагодарил hoarfrost за этот пост.
Panda оставлено 26.07.2016(UTC)
Offline Panda  
#3 Оставлено : 26 июля 2016 г. 18:38:52(UTC)
Panda


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 19.06.2016(UTC)
Сообщений: 182
Мужчина
Российская Федерация
Откуда: St.Petersburg

Сказал «Спасибо»: 169 раз
Поблагодарили: 116 раз в 68 постах
Первые фотографии двух узлов на amd fx-8300
Вложение(я):
image.jpeg (1,398kb) загружен 52 раз(а).
image.jpeg (1,653kb) загружен 34 раз(а).
thanks 5 пользователей поблагодарили Panda за этот пост.
Yura12 оставлено 26.07.2016(UTC), Sergey0011 оставлено 26.07.2016(UTC), hoarfrost оставлено 26.07.2016(UTC), evatutin оставлено 27.07.2016(UTC), Шмяка оставлено 09.01.2017(UTC)
Offline Panda  
#4 Оставлено : 31 июля 2016 г. 20:53:47(UTC)
Panda


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 19.06.2016(UTC)
Сообщений: 182
Мужчина
Российская Федерация
Откуда: St.Petersburg

Сказал «Спасибо»: 169 раз
Поблагодарили: 116 раз в 68 постах
Хотел поинтересоваться у форумчан:
1) а есть ли смысл делать кластер из 10-ти процессоров amd fx-8300?

2)не будет ли лучшим вариантом закупить 5 xeon e5 2670?

3)никак не могу понять - есть ли заявляемое производителем 2-х кратное превосходство процессоров intel при выполнении заданий в boinc? (насчет Герасима чудеса идут: fx-8300 идет наравне по rac с i7-6700k/6700
Offline 256Ghz  
#5 Оставлено : 31 июля 2016 г. 23:19:33(UTC)
256Ghz


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 29.06.2016(UTC)
Сообщений: 252
Российская Федерация

Сказал(а) «Спасибо»: 33 раз
Поблагодарили: 150 раз в 83 постах
Задайте начальные условия поточнее пожалуйста.
Электричество? (халявное, нехалявное, коммерческое, домашнее)
Задачи? Боинк очень разный и собираемая архитектура может быть в корне не верна, крайний пример - одна видеокарта 280х с двойной точностью под 800 может уделать все эти процессоры.
Ответ есть.(Увидел выше, Герасим)
Климатический пояс? Отвод тепла и влажность, пыль наполовину убила мой предыдущий кластер, вовремя остановился.
Где это будет находится? серверная, балкон, комната итд итп. FX8300 нежилец на балконе и солнечной стороне smile

Отредактировано пользователем 1 августа 2016 г. 0:31:24(UTC)  | Причина: Не указана

thanks 1 пользователь поблагодарил 256Ghz за этот пост.
Panda оставлено 01.08.2016(UTC)
Offline Panda  
#6 Оставлено : 1 августа 2016 г. 1:04:45(UTC)
Panda


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 19.06.2016(UTC)
Сообщений: 182
Мужчина
Российская Федерация
Откуда: St.Petersburg

Сказал «Спасибо»: 169 раз
Поблагодарили: 116 раз в 68 постах
Автор: 256Ghz Перейти к цитате
Задайте начальные условия поточнее пожалуйста.
Электричество? (халявное, нехалявное, коммерческое, домашнее)
Задачи? Боинк очень разный и собираемая архитектура может быть в корне не верна, крайний пример - одна видеокарта 280х с двойной точностью под 800 может уделать все эти процессоры.
Ответ есть.(Увидел выше, Герасим)
Климатический пояс? Отвод тепла и влажность, пыль наполовину убила мой предыдущий кластер, вовремя остановился.
Где это будет находится? серверная, балкон, комната итд итп. FX8300 нежилец на балконе и солнечной стороне smile


1) Домашнее по 2,7 руб/кВт
2) Для Герасима собираем кластер + на каждый узел при необходимости/желании можно установить по одной видеокарте
3)Климатический пояс - Санкт-Петербург. Влажность 70%, отвод тепла через вентиляцию/кондиционер в гараже дома. Каждый узел кластера в корпусе находится (с противопылевыми фильтрами)
4)Будет находится в гараже. Температура: +10 зимой, +20 летом
Offline hoarfrost  
#7 Оставлено : 2 августа 2016 г. 8:23:11(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,099
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1131 раз
Поблагодарили: 1545 раз в 989 постах
Автор: Panda Перейти к цитате
Хотел поинтересоваться у форумчан:
1) а есть ли смысл делать кластер из 10-ти процессоров amd fx-8300?

2)не будет ли лучшим вариантом закупить 5 xeon e5 2670?

3)никак не могу понять - есть ли заявляемое производителем 2-х кратное превосходство процессоров intel при выполнении заданий в boinc? (насчет Герасима чудеса идут: fx-8300 идет наравне по rac с i7-6700k/6700


Один FX 8300 примерно равен 4-ядерному Core i5 SandyBridge не запредельной частоты. А где-то - и лучше будет.
В переводе на ядра Xeon 2670 - от 4 до 6 его ядер. 5 Xeon-ов - это 40 ядер, 10 FX 8300 - 80 ядер.
Думаю, что в некоторых случаях Xeon-чики будут побыстрее, в основном - паритет или FX-ы будут чуток побыстрее, а в некоторых случаях - FX могут быть значительно быстрее.
Кроме этого, их можно разогнать, причём необязательно сильно. Так как ядер у них будет в 2 раза больше, то даже несильный разгон может дать заметный эффект.

В Ситилинке
AMD FX-8300 стоит 8610 р.
Intel Xeon E5-2670 - 47 470 р.

На eBay, наверное Xeon-чик будет значительно дешевле, но это может быть очень не новый CPU:
Launch Date - Q1'2012
Expected Discontinuance - Q2'2015
Status - End of Life

Правда и AMD 8300 / 8320 - выпущены в 2012 году, но в конце.
UserPostedImage
thanks 1 пользователь поблагодарил hoarfrost за этот пост.
Panda оставлено 03.08.2016(UTC)
Offline hoarfrost  
#8 Оставлено : 3 августа 2016 г. 8:35:52(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,099
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1131 раз
Поблагодарили: 1545 раз в 989 постах
И у Эдуарда Ватутина есть интересная статистика по производительности CPU в различных проектах - Performance of CPU BOINC projects. На мой взгляд, она вцелом хорошо показывает относительную производительность процессоров.
UserPostedImage
thanks 1 пользователь поблагодарил hoarfrost за этот пост.
Panda оставлено 03.08.2016(UTC)
Offline Panda  
#9 Оставлено : 4 августа 2016 г. 12:18:18(UTC)
Panda


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 19.06.2016(UTC)
Сообщений: 182
Мужчина
Российская Федерация
Откуда: St.Petersburg

Сказал «Спасибо»: 169 раз
Поблагодарили: 116 раз в 68 постах
Автор: hoarfrost Перейти к цитате
Автор: Panda Перейти к цитате
Хотел поинтересоваться у форумчан:
1) а есть ли смысл делать кластер из 10-ти процессоров amd fx-8300?

2)не будет ли лучшим вариантом закупить 5 xeon e5 2670?

3)никак не могу понять - есть ли заявляемое производителем 2-х кратное превосходство процессоров intel при выполнении заданий в boinc? (насчет Герасима чудеса идут: fx-8300 идет наравне по rac с i7-6700k/6700


Один FX 8300 примерно равен 4-ядерному Core i5 SandyBridge не запредельной частоты. А где-то - и лучше будет.
В переводе на ядра Xeon 2670 - от 4 до 6 его ядер. 5 Xeon-ов - это 40 ядер, 10 FX 8300 - 80 ядер.
Думаю, что в некоторых случаях Xeon-чики будут побыстрее, в основном - паритет или FX-ы будут чуток побыстрее, а в некоторых случаях - FX могут быть значительно быстрее.
Кроме этого, их можно разогнать, причём необязательно сильно. Так как ядер у них будет в 2 раза больше, то даже несильный разгон может дать заметный эффект.

В Ситилинке
AMD FX-8300 стоит 8610 р.
Intel Xeon E5-2670 - 47 470 р.

На eBay, наверное Xeon-чик будет значительно дешевле, но это может быть очень не новый CPU:
Launch Date - Q1'2012
Expected Discontinuance - Q2'2015
Status - End of Life

Правда и AMD 8300 / 8320 - выпущены в 2012 году, но в конце.


У e5-2670 есть HT и он может в 16 потоков работать.

Есть одна проблема - материнские платы под lga 2011 стоят 15-18 тыс. руб и более. Есть смысл брать только двухпроцессорные матплаты.

P.s.: Скоро приедут еще 2 процессора fx-8300. В начале сентября оборудую новое помещение, и туда перевезу всю технику с дачи. Как сказали при приеме помещения: 15 кВт мощности - ваши, используйте их как хотите smile

Почитав советы hoarfrost, изучив графики evatutin'a, пришел к выводу: для сравнения размещу 2 fx-8300 и 2 е5-2670, а дальше посмотрим как оно пойдет.
Offline Panda  
#10 Оставлено : 15 января 2017 г. 0:56:18(UTC)
Panda


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 19.06.2016(UTC)
Сообщений: 182
Мужчина
Российская Федерация
Откуда: St.Petersburg

Сказал «Спасибо»: 169 раз
Поблагодарили: 116 раз в 68 постах
Приехала первая из 4-х radeon rx 460....

Сегодня установил в один из компьютеров
Вложение(я):
IMG_2399.JPG (1,320kb) загружен 30 раз(а).
IMG_2401.JPG (1,221kb) загружен 26 раз(а).
thanks 1 пользователь поблагодарил Panda за этот пост.
Шмяка оставлено 15.01.2017(UTC)
Offline Шмяка  
#11 Оставлено : 15 января 2017 г. 3:07:36(UTC)
Шмяка


Статус: Старожил

Медали: Роза: Девчатам от доброго сердца

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2012(UTC)
Сообщений: 1,862
Женщина
Российская Федерация
Откуда: Везде, куда ни занесет

Сказала «Спасибо»: 841 раз
Поблагодарили: 438 раз в 238 постах
лет несколько назад даже фиг бы смогла подумать что "заимею" аж целых два "именных" высичлительных кластера)))

и что при этом почти не на что будет пожрать...
◕‿‿◕ Мяяяяяу!!! ◕‿‿◕ godville.net/gods/Шмяка ◕‿‿◕ MIUKA.mybrute.com ◕‿‿◕

UserPostedImage

Offline SerVal  
#12 Оставлено : 15 января 2017 г. 19:13:33(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
Panda написал:
Приехала первая из 4-х radeon rx 460....
Сегодня установил в один из компьютеров

Какбэ непонятно. Посмотрел на фотки материнских плат - на них уже есть встроенный видеоадаптер.
Зачем тогда Radeon RX 460? Да ещё 4 штуки!

RX 460: 7 430 руб.
Число универсальных процессоров 896.
Шина памяти (разрядность) 128 бит

Radeon RX 470: 12 110 руб.
Число универсальных процессоров 2048
Шина памяти (разрядность) 256 бит
******
Итого: один RX 470 быстрее 3-х RX 460!
На самом деле, RX 460 вообще не считает, а только делает вид.
А уж RX 480 - скорее всего обскачет все 4 штуки RX 460.
thanks 1 пользователь поблагодарил SerVal за этот пост.
Panda оставлено 15.01.2017(UTC)
Offline Panda  
#13 Оставлено : 15 января 2017 г. 20:32:48(UTC)
Panda


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 19.06.2016(UTC)
Сообщений: 182
Мужчина
Российская Федерация
Откуда: St.Petersburg

Сказал «Спасибо»: 169 раз
Поблагодарили: 116 раз в 68 постах
Автор: SerVal Перейти к цитате
Panda написал:
Приехала первая из 4-х radeon rx 460....
Сегодня установил в один из компьютеров

Какбэ непонятно. Посмотрел на фотки материнских плат - на них уже есть встроенный видеоадаптер.
Зачем тогда Radeon RX 460? Да ещё 4 штуки!

RX 460: 7 430 руб.
Число универсальных процессоров 896.
Шина памяти (разрядность) 128 бит

Radeon RX 470: 12 110 руб.
Число универсальных процессоров 2048
Шина памяти (разрядность) 256 бит
******
Итого: один RX 470 быстрее 3-х RX 460!
На самом деле, RX 460 вообще не считает, а только делает вид.
А уж RX 480 - скорее всего обскачет все 4 штуки RX 460.


Три причины: 1) rx 460 достались с 50% скидкой, так как на них нет гарантии
2) имеющеюся блоки питания не потянут rx 470
3) встроенный видеоадаптер даже при обычном режиме работы греется до 80*С.

P.s.: за 12 110 rx 470 еще не видел sad
Offline SerVal  
#14 Оставлено : 15 января 2017 г. 20:48:58(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
Ну, ладно. Ребятки, а у кого есть RX 460, RX 470, RX 480 ?
Запустите бенчмарк PrimeSearch.exe:
Код:

D:\aProjects\PrimeSearch\x64\Release>PrimeSearch.exe
Usage:
PrimeSearch.exe -cpu
PrimeSearch.exe -ati
PrimeSearch.exe -nvidia
PrimeSearch.exe -intel
PrimeSearch.exe -show_devices


Результаты:
Вложение(я):
PrimeSearch.rar (20kb) загружен 13 раз(а).
thanks 2 пользователей поблагодарили SerVal за этот пост.
Panda оставлено 15.01.2017(UTC), Yura12 оставлено 15.01.2017(UTC)
Offline Yura12  
#15 Оставлено : 15 января 2017 г. 21:33:42(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 846
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 470 раз
Поблагодарили: 123 раз в 84 постах

Судя по тесту, приведённому в спойлере в предыдущем сообщении, - центральный процессор обогнал обе видеокарты!
Offline SerVal  
#16 Оставлено : 15 января 2017 г. 21:50:06(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
Автор: Yura12 Перейти к цитате

Судя по тесту, приведённому в спойлере в предыдущем сообщении, - центральный процессор обогнал обе видеокарты!

У центрального процессора - решето Эратосфена. smile
А на видеокарте тупая проверка каждого числа на простоту. (для бенчмарка пойдёт)
Эффективно реализовать решето Эратосфена на видеокарте не получается.(будет ещё медленнее).
thanks 2 пользователей поблагодарили SerVal за этот пост.
Yura12 оставлено 15.01.2017(UTC), Panda оставлено 16.01.2017(UTC)
Offline Panda  
#17 Оставлено : 16 января 2017 г. 14:10:14(UTC)
Panda


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 19.06.2016(UTC)
Сообщений: 182
Мужчина
Российская Федерация
Откуда: St.Petersburg

Сказал «Спасибо»: 169 раз
Поблагодарили: 116 раз в 68 постах
Автор: SerVal Перейти к цитате
Ну, ладно. Ребятки, а у кого есть RX 460, RX 470, RX 480 ?
Запустите бенчмарк PrimeSearch.exe:
Код:

D:\aProjects\PrimeSearch\x64\Release>PrimeSearch.exe
Usage:
PrimeSearch.exe -cpu
PrimeSearch.exe -ati
PrimeSearch.exe -nvidia
PrimeSearch.exe -intel
PrimeSearch.exe -show_devices


Результаты:


Все бы ничего, только не хочет запускаться приложение. Нет файла ...120.dll


P.s.: 1) насчет производительности rx 460 - 97567 очков за первый день в Einstein. Два потока. Hd 6950 - 35,000/сут.

2) производительность на 30% выше, чем r9 380

Отредактировано пользователем 16 января 2017 г. 15:35:54(UTC)  | Причина: Не указана

Offline SerVal  
#18 Оставлено : 16 января 2017 г. 20:57:43(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
Panda написал:
Все бы ничего, только не хочет запускаться приложение. Нет файла ...120.dll

Да, надо установить Visual C++ 2013 Redistributable Package(для 64 бит Виндовс).
Ищется в Гугле и бесплатно скачивается с Микрософт.
*****
Маленько оптимизировал вычисление на видеоадаптере.
Результаты на древнем кваде 3.0 GHz и GTX 460:

Отредактировано пользователем 16 января 2017 г. 22:38:30(UTC)  | Причина: Не указана

Вложение(я):
PrimeSearch.rar (22kb) загружен 8 раз(а).
thanks 1 пользователь поблагодарил SerVal за этот пост.
Panda оставлено 16.01.2017(UTC)
Offline 256Ghz  
#19 Оставлено : 16 января 2017 г. 22:25:10(UTC)
256Ghz


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 29.06.2016(UTC)
Сообщений: 252
Российская Федерация

Сказал(а) «Спасибо»: 33 раз
Поблагодарили: 150 раз в 83 постах
z:\1>PrimeSearch.exe -nvidia

Prime search: 1000000000 .. 4000000000
Accelerator: NVIDIA GeForce GTX 1080
Found : 139114278
First prime : 1000000007
Last prime : 3999999979
=============
Exec time : 4.57 seconds.
Primes/sec : 30437211

z:\1>PrimeSearch.exe -cpu

Prime search: 1000000000 .. 4000000000
Accelerator: CPU
Found : 139114278
First prime : 0
Last prime : 0
=============
Exec time : 19.2 seconds.
Primes/sec : 7248864

z:\1>
thanks 1 пользователь поблагодарил 256Ghz за этот пост.
SerVal оставлено 16.01.2017(UTC)
Offline SerVal  
#20 Оставлено : 16 января 2017 г. 23:03:52(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
256Ghz написал:

Код:

z:\1>PrimeSearch.exe -nvidia

Prime search: 1000000000 .. 4000000000
Accelerator: NVIDIA GeForce GTX 1080
Found : 139114278
First prime : 1000000007
Last prime : 3999999979
=============
Exec time : 4.57 seconds.
Primes/sec : 30437211


Да, уж... GTX 1080 впечатляет.
Но за её цену можно купить 3 шт. RX 470. А это 2048*3 = 6144 ! шейдерных процессоров.
"Вчера были мелкие.. по три. А сегодня крупные.. прям звери.. Но по пять.."(с) smile
*****
Интересно, проверить RX 470 и RX 480.
Думаю, по соотношению цена/производительность RX 470 всех обскачет.
*****
p.s.
В Эйнштейне на карточке с 1 GB памяти(GTX 460), два задания уже не запустишь.
Одно задание отъедает ~700 мегабайт на видеокарте. sad

Отредактировано пользователем 16 января 2017 г. 23:28:23(UTC)  | Причина: Не указана

Пользователи, просматривающие эту тему
Guest
2 Страницы12>
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

AlexA theme. Created by AlexA
Форум YAF 2.1.1 | YAF © 2003-2017, Yet Another Forum.NET
Страница сгенерирована за 0.301 секунды.