Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

13 Страницы«<10111213>
Опции
К последнему сообщению К первому непрочитанному
Offline Шмяка  
#221 Оставлено : 30 октября 2015 г. 11:15:55(UTC)
Шмяка


Статус: Старожил

Медали: Роза: Девчатам от доброго сердца

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2012(UTC)
Сообщений: 1,862
Женщина
Российская Федерация
Откуда: Везде, куда ни занесет

Сказала «Спасибо»: 841 раз
Поблагодарили: 438 раз в 238 постах
скоро всех переплюнем )))
◕‿‿◕ Мяяяяяу!!! ◕‿‿◕ godville.net/gods/Шмяка ◕‿‿◕ MIUKA.mybrute.com ◕‿‿◕

UserPostedImage

Offline hoarfrost  
#222 Оставлено : 30 октября 2015 г. 13:17:35(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,380
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1236 раз
Поблагодарили: 1690 раз в 1072 постах
Хорошая crunch system!
bud
UserPostedImage
Offline Sakhalin_Cat  
#223 Оставлено : 30 октября 2015 г. 17:03:42(UTC)
Sakhalin_Cat


Статус: Частенько заглядывает

Группы: Editors, Member
Зарегистрирован: 23.10.2013(UTC)
Сообщений: 101
Мужчина
Российская Федерация
Откуда: Южно-Сахалинск

Поблагодарили: 11 раз в 6 постах
Автор: Шмяка Перейти к цитате
скоро всех переплюнем )))

Стебёшси.. smile .... Моя умничка....
Я я вот нашел себе нормальную писюлькомерилку... Только вот опытные товарищи по команде почему-то помочь в настройке этой пиписьки для оптимальной её работы в копилку команды, ну.... Стесняются что ли...
Я даже забил на работу, просидел перечитал факу аглицкую, даже на Русский кё перевёл..... Проверил... Многие тонкости.. Не помогает нифига. Думаю, дай к более опытным людям с вопросам обращусь, вдруг помогут...
А вот... КУЙ железо тебе пока хочется... Толи никто нифига не шарит в вопросе которым они якобы долго и упорно занимаются, ну прям как гуру, то-ли в тупую боинк ставят...


А теперь прикрой ушки пожалуйста, я к мальчикам обращусь....


Как "-----ПИИИИИК----" вылизать ситстему для расчетов ? ГРЕБАН----РОТ.... Быть вам пловцами, тоариши?

Отредактировано пользователем 30 октября 2015 г. 17:18:56(UTC)  | Причина: Не указана

UserPostedImage
Offline hoarfrost  
#224 Оставлено : 30 октября 2015 г. 17:19:26(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,380
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1236 раз
Поблагодарили: 1690 раз в 1072 постах
Трёх видеокарт в системниках ни у кого нет, насколько я понимаю. По две - бывало.
Поэтому и смоделировать подобную ситуацию - сложно. Да ещё и проекты разные.
smile

Обычно, как мне кажется, они просто разносятся по разным системникам, либо оставляется один проект. (Или остаются оба, но между ними через какое-то время переключаются вручную).

100% нагрузку на видеокарты иногда бывает сложно достичь - это не столь гибкое устройство как CPU. Да иногда и заканчивается это плохо...
UserPostedImage
Offline Sakhalin_Cat  
#225 Оставлено : 30 октября 2015 г. 17:28:54(UTC)
Sakhalin_Cat


Статус: Частенько заглядывает

Группы: Editors, Member
Зарегистрирован: 23.10.2013(UTC)
Сообщений: 101
Мужчина
Российская Федерация
Откуда: Южно-Сахалинск

Поблагодарили: 11 раз в 6 постах
Автор: hoarfrost Перейти к цитате
Да иногда и заканчивается это плохо...


Давайте дрючить их по полной, пока они на гарантии. Их уже 6 штук... Это потрачено 320тыс рублей на ГПУ расчеты, они просто обязанны работать на благо общества.... связки по 3шт.
Причем там 2 связки асус и гигабайт Можно статистику снять бует по сдыханию. Правда скоро водянка на все компв приедет, это статистике в минус пойдет.
UserPostedImage
Offline hoarfrost  
#226 Оставлено : 30 октября 2015 г. 17:38:19(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,380
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1236 раз
Поблагодарили: 1690 раз в 1072 постах
А пробовал оставить только Einstein@Home (удалять остальные - не обязательно, просто досчитать задания), выставить по 0.33 в настройках проекта, 100% - в BOINC, удалить/переместить cc_config.xml и app_info.xml и посмотреть, как будут считаться задания несколько циклов?
UserPostedImage
Offline Sakhalin_Cat  
#227 Оставлено : 30 октября 2015 г. 17:55:07(UTC)
Sakhalin_Cat


Статус: Частенько заглядывает

Группы: Editors, Member
Зарегистрирован: 23.10.2013(UTC)
Сообщений: 101
Мужчина
Российская Федерация
Откуда: Южно-Сахалинск

Поблагодарили: 11 раз в 6 постах
Я не знаю как с эти Говно-софтом разбираться. Он сцуко стянул 600+ заданий на 3 дня и пишет в ответку что считать их будет 134 дня, так еще эта курва их считает на ЦПУ.. Уродский огрызок гребанного кода...
Фото во вложении..
UserPostedImage

UserPostedImage


Бесит уже это протезное угрёбише обьктно ориентрованных кодогрызов.

ЗЫЖ Прошу прощения за мой французский...
UserPostedImage
Offline hoarfrost  
#228 Оставлено : 30 октября 2015 г. 17:59:54(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,380
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1236 раз
Поблагодарили: 1690 раз в 1072 постах
Пускай досчитает. На CPU ему тоже надо кое-что считать, не всё можно посчитать на GPU.
Планировщик - это вечная проблема при регулярно (часы/дни) меняемой конфигурации проектов, но если подумать, то универсального и безпроблемного алгоритма на все случаи жизни - пожалуй и нет.

IMHO - надо досчитать то, что есть, оставить Einstein@Home и попробовать с ним поработать.
UserPostedImage
Offline Sakhalin_Cat  
#229 Оставлено : 30 октября 2015 г. 18:04:28(UTC)
Sakhalin_Cat


Статус: Частенько заглядывает

Группы: Editors, Member
Зарегистрирован: 23.10.2013(UTC)
Сообщений: 101
Мужчина
Российская Федерация
Откуда: Южно-Сахалинск

Поблагодарили: 11 раз в 6 постах
Автор: hoarfrost Перейти к цитате
Пускай досчитает. На CPU ему тоже надо кое-что считать, не всё можно посчитать на GPU.

Я понимаю, Ваше мнение... НО, я считаю, что эта хрень, под названием БОИНК должна грызть на картах безостановочно. За эти видюхи я в течении недели отдал 300 с лишним тысяч рублей и я просто хочу, чтоб они грызли грёбвнные задачи без остановки. Меня это вымораживает нафиг, лучше бы я эти бабки в снегоход вкинул в новый.... Ввалил в видюхт триста штук а они стоят.
Я даже 2012R2 лицензию под этот огрызок софта купил специаьно дабы всё правильно было.... Бесит блин. Суммарно мной вкинуто в расчеты за 16 дней 1,2 млн рублей.... Имел я все эти "пусть досчитаетттт". Это блин уже заморочка команды... ВСЁ ЭТО железо должно работать на износ со 100% заагрузкой. Иначе нафиг вообще такие расчеты.


Кто имеет контакты с разработчиками, надо решить данный вопрос.
UserPostedImage
Offline hoarfrost  
#230 Оставлено : 30 октября 2015 г. 18:14:02(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,380
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1236 раз
Поблагодарили: 1690 раз в 1072 постах
Это софтина, которую делают в свободное от работы время.
smile

Работать без простоя - это правильно. Но надо понять как это делать.
Если посмотреть список TOP-компьютеров Einstein@Home, то очень похоже на то, что народ всё-таки собирает машины под проект. Если нужно два проекта - берётся ещё одна машина и в неё вставляются карты. Да и тут народ делал примерно то же самое.

Лучше сначала сделать систему поменьше и понять, как оно будет работать, а потом - расширять её.
Брать именно под расчёты сервера - нет никакого смысла. Под это намного лучше подходят обычные desktop-ы (прежде всего по стоимости и отношению цена/производительность). Другое дело, что сервера выполняют свои рабочие функции - но тогда это уже сервера под рабочий функционал.
UserPostedImage
Offline Sakhalin_Cat  
#231 Оставлено : 30 октября 2015 г. 18:43:55(UTC)
Sakhalin_Cat


Статус: Частенько заглядывает

Группы: Editors, Member
Зарегистрирован: 23.10.2013(UTC)
Сообщений: 101
Мужчина
Российская Федерация
Откуда: Южно-Сахалинск

Поблагодарили: 11 раз в 6 постах
Автор: hoarfrost Перейти к цитате
Это софтина, которую делают в свободное от работы время.


Поясняю: У компов которые я беру под расчеты Боинк - 100% свободного времени... Они только под БОИНК и берутся...

Автор: hoarfrost Перейти к цитате
Э
Брать именно под расчёты сервера - нет никакого смысла. Под это намного лучше подходят обычные desktop-ы


Я вообще задаю вопросы не о своём "здравом" (я уже начал в нем сомневаться, спасибо...) смысле... и не о формфакторе своих решений составляющем вычислительный ресурс отданный команде.

И тут дело не в серверах или десктопах, ТУТ ДЕЛО В ПРОСТАИВАЮЩИХ РЕСУРСАХ на которые я трачу свои деньги.

Мой домашний комп обошолся мне в 525тыся рублей, он десктоп. Брал я его для расчетов БОИНК. И купил я его вчера... В чем тут противоречие? У серваков точно такая-же конфигурация, только проц+1 и видюхи стоят точно такие-же как и на новом домашнем.... Значит и эта хрень за полляма будет так-же простаивать на 70% ресурса как и сервера.. А брал я его что бы он грыз без остановки.
Вот и вопрошаю, как заставить эту хрень(Боинк) использовать 100% ресурса машины на которую его постаили.

Я вообще удивлен... Офигенно удивлен... В состав и расчеты команды вкинули три офигенных машины и сейчас руководство этой команды меня убеждает, что эти машины считать не должны, они типа просто должны воздух в корпусах гонять.... Я с вас товариши просто охуепикаю...

Вы по году собираете деньги на задроченную машинку для команды и тупо не хотите помочь человеку в настройке готовых и серьезных машин, которые считают в копилку команды.

Русские Мля, такие-же лентяи как и я...

Отредактировано пользователем 30 октября 2015 г. 19:02:51(UTC)  | Причина: Не указана

UserPostedImage
Offline hoarfrost  
#232 Оставлено : 30 октября 2015 г. 19:05:57(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,380
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1236 раз
Поблагодарили: 1690 раз в 1072 постах
Под десктопом я имею ввиду, конечно, не исполнение корпуса и не размещение, а класс железа.
Если мы не берём Xeon-ы почти эквивалентные обычным i3-i5, а повыше - то их стоимость непропорциональна производительности. Именно это я и имел ввиду.
Считающее железо - это, конечно, намного лучше, чем простаивающее. Если бы по взмаху волшебной палочки его можно было бы заставить работать оптимально - то ей бы уже давно взмахнули. Но такой палочки, увы, нет. Поэтому остаётся разбираться.

И, опять-таки, если вы понимаете, что тратите слишком много (а у каждого эта планка своя) - то лучше остановиться на том, что есть. Лучше получить 100% с одного девайса и 5 лет, чем 50% с четырёх и полгода.
UserPostedImage
Offline Sakhalin_Cat  
#233 Оставлено : 30 октября 2015 г. 19:22:01(UTC)
Sakhalin_Cat


Статус: Частенько заглядывает

Группы: Editors, Member
Зарегистрирован: 23.10.2013(UTC)
Сообщений: 101
Мужчина
Российская Федерация
Откуда: Южно-Сахалинск

Поблагодарили: 11 раз в 6 постах
Всё, что я прошу, это - помочь мне настроить ресурс который я привнес в команду, так, чтобы он был загружен на 100%. Любым решением пусть это будут отдельные виртуалки на каждый проект, либо отдельные задачи под него же.
Но оборудование должно быит загружено на 100%. ВСЁ оборудование а не 2\3 процессора и не "пусть постоит посчитает, вдруг очнется".

Может я и жестко насел, но я просто не умею заниматься сексом на полшишечки и если я вкладываю ресурс в команду, то я хочу чтобы этот ресурс работал на все 100%.

А ваши "Лучше получить 100% с одного девайса и 5 лет, чем 50% с четырёх и полгода." я если честно совсем не понял. Вам в команде "шашечки надо? или ехать?"
Если ехать, то юзайте ресурс и какая вам нафиг разница сколько он прослужит? А если шашечки, то так и напишите - Идите вы Константин со своими боинк расчетами нафиг, мы тут просто ходим-бродим на этом сайте "коитус орально - церебральный" совершаем и нафиг нам эти ваши расчеты не нужны...

Я уже дебилом начинаю себя чувствовать, что полез из одиночных расчетов в -"ВАШИ КОМАНДНЫЕ РАСЧЕТЫ", может я чего то не понимаю?

Отредактировано пользователем 30 октября 2015 г. 19:41:44(UTC)  | Причина: Не указана

UserPostedImage
Offline hoarfrost  
#234 Оставлено : 30 октября 2015 г. 20:51:42(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,380
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1236 раз
Поблагодарили: 1690 раз в 1072 постах
О-о-о-о-тставить панику на нижней палубе!
hammer

Слушай мой команду:
1. Т.к. хостов у тебя много, то выложи конфигурацию проблемного хоста и его идентификатор в твоей учётной записи в Einstein@Home;
2. Запрети получения заданий по всем проектам. Досчитай все задания. Если заданий слишком много, а ждать - не хочется - придётся их прибить, как это ни печально;
3. После того, как список заданий опустел - останови BOINC и убери в другую папку (подальше) cc_config.xml и app_info.xml и какие-либо другие файлы настроек, влияющие на вычисления, если они создавались;
4. Затем - запуск BOINC, выставление использования ресурсов CPU на 100%. Получение заданий - ещё не включаем!;
5. Далее - в учётную запись в Einstein@Home, в настройки Einstein@Home - галочку Use CPU - убрать;
6. Проверить что использование NVIDIA GPU - включено;
7. Включить получение заданий Eintein@Home! Смотрим на то, сколько потоков считается на GPU и какую нагрузку они создают. Если нагрузка - маленькая - заходим во всё те же настройки Einstein@Home в учётке и уменьшаем параметры GPU utilization factor (все три нижних) и делаем Project update. CPU-заданий в это время считаться не должно вообще. Здесь важно понять насколько в принципе эти видюхи можно нагрузить.

О исполнении шагов - писать тут.

P.S. И тут корабль с дисциплиной, ругаться не принято!

Отредактировано пользователем 30 октября 2015 г. 21:53:24(UTC)  | Причина: Не указана

UserPostedImage
Offline Freddykrug  
#235 Оставлено : 30 октября 2015 г. 22:47:31(UTC)
Freddykrug


Статус: Старожил

Группы: Member, Модератор Astronomy.Ru Forum
Зарегистрирован: 30.05.2010(UTC)
Сообщений: 2,874
Мужчина
Российская Федерация
Откуда: г. Томск

Сказал «Спасибо»: 740 раз
Поблагодарили: 494 раз в 313 постах
Автор: hoarfrost Перейти к цитате
О-о-о-о-тставить панику на нижней палубе!
4. Затем - запуск BOINC, выставление использования ресурсов CPU на 100%.
По моему опыту, хотя бы один процессор надо оставить свободным. Как ни странно, скорость расчетов от этого уменьшается.

3 Gb Radeon 7950, i-5 2400, 16 Gb ОЗУ Astronomy.Ru Forum

Offline hoarfrost  
#236 Оставлено : 30 октября 2015 г. 23:01:51(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,380
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1236 раз
Поблагодарили: 1690 раз в 1072 постах
Автор: Freddykrug Перейти к цитате
Автор: hoarfrost Перейти к цитате
О-о-о-о-тставить панику на нижней палубе!
4. Затем - запуск BOINC, выставление использования ресурсов CPU на 100%.
По моему опыту, хотя бы один процессор надо оставить свободным. Как ни странно, скорость расчетов от этого уменьшается.

Если у CPU включен HT то снижение нагрузки на одно из ядер может привести к тому, что задачи на остальных потоках начнут "прыгать" по разным ядрам и вычищать из их кэшей нужные им данные.

Если говорить про данный случай, то идея в том, чтобы с одной стороны - снять любые ограничения на использование CPU, а с другой - на стороне проекта заблокировать CPU-задания, чтобы никакой процесс не мог помешать GPU-заданиям получать свои кванты времени на CPU, которые им тоже необходимы, а иногда - критичны.
Результат покажет, над чем думать дальше.

Отредактировано пользователем 31 октября 2015 г. 0:35:29(UTC)  | Причина: Не указана

UserPostedImage
Offline Шмяка  
#237 Оставлено : 31 октября 2015 г. 1:05:37(UTC)
Шмяка


Статус: Старожил

Медали: Роза: Девчатам от доброго сердца

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2012(UTC)
Сообщений: 1,862
Женщина
Российская Федерация
Откуда: Везде, куда ни занесет

Сказала «Спасибо»: 841 раз
Поблагодарили: 438 раз в 238 постах
Автор: Sakhalin_Cat Перейти к цитате
Стебёшси.. smile


отнюдь. новым машинкам радуюсь. именно радуюсь.

Цитата:
... Только вот опытные товарищи по команде почему-то помочь в настройке этой пиписьки для оптимальной её работы в копилку команды, ну.... Стесняются что ли...


помогают чем могут вспоминая весь свой опыт. стараются. НО: у каждой железки свои особенности. у каждого проекта свои особенности. и когда в одном ящике оказывается целый букет РАЗНЫХ железок и проектов -- предсказать сходу поведение этого букета врядли кто сможет. вот и приходится разбираться шаг за шагом, пробовать то одно то другое. ктото одни опции хорошо знает ктото другие.

я в этих конфигах ващще не понимяу ни чего -- только и могу что подбадривать... но и это тоже нужное дело же ведь?




так что не вешай хвост)))
UserPostedImage
всё обязательно наладится
◕‿‿◕ Мяяяяяу!!! ◕‿‿◕ godville.net/gods/Шмяка ◕‿‿◕ MIUKA.mybrute.com ◕‿‿◕

UserPostedImage

Offline ЧАТланин Баг  
#238 Оставлено : 1 ноября 2015 г. 19:43:00(UTC)
ЧАТланин Баг


Статус: Старожил

Группы: Member, Russia Team Group
Зарегистрирован: 02.07.2008(UTC)
Сообщений: 1,403
Мужчина
Российская Федерация
Откуда: Мос. область

Сказал «Спасибо»: 189 раз
Поблагодарили: 155 раз в 122 постах
Самое время саму Лину поподбадривать -- избавляется от аппендицита... Так что несколько дней придётся без ней потусоваться.
Ку! UserPostedImage
Таблица видюх -- http://b23.ru/c8xx
Offline AlexA  
#239 Оставлено : 1 ноября 2015 г. 19:52:55(UTC)
AlexA


Статус: Administration

Медали: Переводчику: За помощь в создании сайта

Группы: Editors, Member, Administration, Russia Team Group, Moderators
Зарегистрирован: 02.10.2007(UTC)
Сообщений: 6,139
Мужчина
Российская Федерация
Откуда: "Russia Team"

Сказал «Спасибо»: 1249 раз
Поблагодарили: 1515 раз в 837 постах
Автор: ЧАТланин Баг Перейти к цитате
Самое время саму Лину поподбадривать -- избавляется от аппендицита... Так что несколько дней придётся без ней потусоваться.

Подбодрим, конечно. Пусть быстрее поправляется. И пусть радуется, что по молодости избавилась - легче и спокойнее жить дальше будет.
thanks 1 пользователь поблагодарил AlexA за этот пост.
Шмяка оставлено 05.11.2015(UTC)
Offline hoarfrost  
#240 Оставлено : 1 ноября 2015 г. 20:17:45(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,380
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1236 раз
Поблагодарили: 1690 раз в 1072 постах
Лина, выздравливай!
UserPostedImage
thanks 1 пользователь поблагодарил hoarfrost за этот пост.
Шмяка оставлено 05.11.2015(UTC)
Пользователи, просматривающие эту тему
Guest (2)
13 Страницы«<10111213>
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

AlexA theme. Created by AlexA
Форум YAF 2.1.1 | YAF © 2003-2018, Yet Another Forum.NET
Страница сгенерирована за 0.241 секунды.