Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

6 Страницы«<3456>
Опции
К последнему сообщению К первому непрочитанному
Offline el_teniente  
#81 Оставлено : 13 июля 2017 г. 12:49:56(UTC)
el_teniente


Статус: Новичок

Группы: Member
Зарегистрирован: 11.04.2017(UTC)
Сообщений: 3
Российская Федерация

Сказал(а) «Спасибо»: 2 раз
поддержу проект потому что он наш(хотя почему-то на иноземном хостинге)blink2

но есть вопрос, который меня мучает с того самого времени, как я впервые принял участие в BOINC: почему так мало сала дает проект? Collatz & Co дают аж в 30 раз больше сала за минуту работы ГПУblink2 кто это регламентирует?
Спасибо!
Offline Vlad  
#82 Оставлено : 13 июля 2017 г. 22:01:40(UTC)
Vlad


Статус: Интересующийся

Медали: Разработчику: Автор проекта

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 54
Российская Федерация

Сказал(а) «Спасибо»: 5 раз
Поблагодарили: 103 раз в 33 постах
Автор: el_teniente Перейти к цитате
поддержу проект потому что он наш(хотя почему-то на иноземном хостинге)blink2

но есть вопрос, который меня мучает с того самого времени, как я впервые принял участие в BOINC: почему так мало сала дает проект? Collatz & Co дают аж в 30 раз больше сала за минуту работы ГПУblink2 кто это регламентирует?
Спасибо!

По умолчанию начисление кредитов регламентируется BOINC. Разработчики BOINC несколько раз меняли способ их начисления. Историю этих изменений можно посмотреть здесь. Если очень грубо, то на количество начисленных кредитов влияет производительность хоста (CPU или GPU) и время выполнения задания.

Создатели проектов могут ввести свой собственный механизм начисления кредитов, хотя опций не очень много. Вот тут можно посмотреть, какие есть альтернативы.

Насколько я понимаю, в Collatz достаточно легко посчитать точное число математических операций, которое выполняется в каждом задании, поэтому там можно, например, давать определенное число кредитов за каждое конкретное WU. В XANSONS for COD так сделать, к сожалению, нельзя, поэтому там используется дефолтовый способ начисления кредитов, который введен создателями BOINC.
thanks 3 пользователей поблагодарили Vlad за этот пост.
AlexA оставлено 14.07.2017(UTC), el_teniente оставлено 14.07.2017(UTC), Disel оставлено 16.07.2017(UTC)
Offline Disel  
#83 Оставлено : 16 июля 2017 г. 3:13:13(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Vlad, а на данный момент какой процент работы выполнен? Я думаю сейчас уже можно сдлать примерную оценку общего времени, которое потребуется.

А вообще проект мне кажется очень интересным. В связи с этим вопрос - как будут использоваться расчитываемые дифрактограммы, в чем именно они помогут материаловедению?
Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline Vlad  
#84 Оставлено : 16 июля 2017 г. 15:40:54(UTC)
Vlad


Статус: Интересующийся

Медали: Разработчику: Автор проекта

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 54
Российская Федерация

Сказал(а) «Спасибо»: 5 раз
Поблагодарили: 103 раз в 33 постах
Автор: Disel Перейти к цитате
Vlad, а на данный момент какой процент работы выполнен? Я думаю сейчас уже можно сдлать примерную оценку общего времени, которое потребуется.

А вообще проект мне кажется очень интересным. В связи с этим вопрос - как будут использоваться расчитываемые дифрактограммы, в чем именно они помогут материаловедению?

Сейчас дифрактограммы посчитаны примерно для 22% структур. Я постараюсь добавить информацию о завершенности вычислений на страницу статуса проекта. Скорее всего, вычисления закончим в октябре. После этого проект не будет закрыт, а перейдет в пассивную фазу. Так как Crystallography Open Database (COD) почти ежедневно пополняется, надо будет досчитывать дифрактограммы для новых структур, но заданий, конечно, будет очень-очень мало.

Как раз вчера мне на форуме проекта задали вопрос о том, что даст база данных дифрактограмм.

Как минимум, экспериментаторы, которые снимают порошковые дифрактограммы исследуемых материалов, смогут свериться с модельными данными без необходимости самим делать расчеты (разумеется, если исследуемый материал уже добавлен в COD). Кстати говоря, поскольку нейтронные дифрактограммы используются гораздо реже рентгеновских (потому что для их получения нужен мощный источник нейтронов, например, исследовательский ядерный реактор), то и данных по ним в сети гораздо меньше, а в нашей базе данных они будут.

Те, кто исследуют именно нанокристаллические образцы, смогут определить размер кристаллита в своем образце, используя нашу базу данных, потому что дифрактограммы в ней дифференцированы по размеру нанокристаллита.

Для всех материалов из COD появится возможность установить зависимость величины уширения дифракционных пиков от размера нанокристаллита.

Как максимум, на основе базы данных можно будет сделать автоматический сервис обработки экспериментальных дифрактограмм и поиска структурного состава исследуемого образца, аналогичный Full Profile Search Match (FPSM), но с дифференциацией по размеру кристаллита в образце. Причем, если сделать такой сервис полностью независимым от FPSM достаточно сложно, то сделать сервис, уточняющий результат после того, как структурный состав нанокристаллического образца примерно определен с помощью FPSM, больших усилий не потребует. И, опять же, FPSM работает только с рентгеновскими дифрактограммами, но не с нейтронными.
thanks 3 пользователей поблагодарили Vlad за этот пост.
AlexA оставлено 16.07.2017(UTC), Disel оставлено 17.07.2017(UTC), Zabaikalec2010 оставлено 18.07.2017(UTC)
Offline hoarfrost  
#85 Оставлено : 27 июля 2017 г. 22:35:35(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,184
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1160 раз
Поблагодарили: 1577 раз в 1011 постах
Vlad, имеет ли смысл читать проект на CPU?
UserPostedImage
Offline Vlad  
#86 Оставлено : 28 июля 2017 г. 1:29:04(UTC)
Vlad


Статус: Интересующийся

Медали: Разработчику: Автор проекта

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 54
Российская Федерация

Сказал(а) «Спасибо»: 5 раз
Поблагодарили: 103 раз в 33 постах
Автор: hoarfrost Перейти к цитате
Vlad, имеет ли смысл читать проект на CPU?

За секунду работы топового CPU Вы будете получать примерно в 50 - 100 раз меньше кредитов, чем за секунду работы топовой GPU. Это не очень справедливо с точки зрения затрат на электроэнергию, но BOINC оценивает только производительность. Поэтому с точки зрения соревнования, если Вы уже считаете на GPU, дополнительно считать еще и на CPU особого смысла не имеет. В основном сейчас на CPU считают хосты со слабыми GPU, или вообще без GPU.
thanks 1 пользователь поблагодарил Vlad за этот пост.
hoarfrost оставлено 28.07.2017(UTC)
Offline hoarfrost  
#87 Оставлено : 28 июля 2017 г. 6:41:52(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,184
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1160 раз
Поблагодарили: 1577 раз в 1011 постах
Автор: Vlad Перейти к цитате
Автор: hoarfrost Перейти к цитате
Vlad, имеет ли смысл читать проект на CPU?

За секунду работы топового CPU Вы будете получать примерно в 50 - 100 раз меньше кредитов, чем за секунду работы топовой GPU. Это не очень справедливо с точки зрения затрат на электроэнергию, но BOINC оценивает только производительность. Поэтому с точки зрения соревнования, если Вы уже считаете на GPU, дополнительно считать еще и на CPU особого смысла не имеет. В основном сейчас на CPU считают хосты со слабыми GPU, или вообще без GPU.

А в разрезе именно научно-технической составляющей? Выполняют ли CPU-задания роль проверочных для некоторых GPU? Или вопросов к точности вычислений на GPU нет и это просто два параллельных потока заданий?
UserPostedImage
Offline Vlad  
#88 Оставлено : 28 июля 2017 г. 18:15:54(UTC)
Vlad


Статус: Интересующийся

Медали: Разработчику: Автор проекта

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 54
Российская Федерация

Сказал(а) «Спасибо»: 5 раз
Поблагодарили: 103 раз в 33 постах
Автор: hoarfrost Перейти к цитате

А в разрезе именно научно-технической составляющей? Выполняют ли CPU-задания роль проверочных для некоторых GPU? Или вопросов к точности вычислений на GPU нет и это просто два параллельных потока заданий?

Анализ точности GPU, а именно встроенных тригонометрических функций, конкретно для вычисления дифрактограмм проводился задолго до запуска проекта, и не только мной (например, вот эта работа). Точности достаточно, так что проверять задания на CPU для уже проверенного кода смысла нет. В очередь для CPU идут самые короткие задания, которые нецелесообразно считать на GPU. Если более детально, то для каждой структуры из COD для данного типа источника (рентген или нейтроны) в общем случае создается 18 заданий. Из них 4 самых коротких будут отправлены только на CPU, 9 самых длинных - только на GPU, остальные могут быть отправлены или на CPU или на GPU в зависимости от текущего состояния очередей. Если очередь для CPU намного короче очереди для GPU, тогда туда пойдет больше заданий, и наоборот.
thanks 2 пользователей поблагодарили Vlad за этот пост.
AlexA оставлено 28.07.2017(UTC), hoarfrost оставлено 29.07.2017(UTC)
Offline Disel  
#89 Оставлено : 1 августа 2017 г. 15:52:27(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Vlad, попытался запустить Ваш проект на виртуальной удаленной машине под Ubuntu-server 16.04 (64 бит). Задания заканчиваются результатом "Ошибка при расчете" с временем выполнения 0 секунд. У сервера 1 Gb памяти (занято системой около 100 Мб, остальная память свободна), процессор Intel(R) Xeon(R) CPU E5-2658A v3 @ 2.20GHz, но арендуется только 1 ядро. Подозреваю, что возможно дело как раз в этом, так как на странице с описанием задания нашел такую строку (про xansons_boinc_OMP_1.05)

Код:

Текст протокола

<core_client_version>7.6.31</core_client_version>
<![CDATA[
<message>
process exited with code 127 (0x7f, -129)
</message>
<stderr_txt>
../../projects/xansons4cod.com_xansons4cod/xansons_boinc_OMP_1.05: error while loading shared libraries: libgomp.so.1: cannot open shared object file: No such file or directory

</stderr_txt>
]]>


Полный скрин страницы во вложенном файле.

Не подскажете, в чем дело? И как сделать, что бы проект считался на 1-м ядре (если в этом дело).





ps Здесь нашел Ваш пост о том, как заставить считать на 1 ядре:

Цитата:
Для CPU версии в app_config.xml можно добавить:

Код:

<app_version>
<app_name>xansons_cpu</app_name>
<plan_class>mt_windows</plan_class>
<cmdline>--nthreads 1</cmdline>
<avg_ncpus>1</avg_ncpus>
</app_version>


но файл app_config.xml я во всей системе не нахожу, ищу командой find / -name "app_config.*" -print

Отредактировано пользователем 1 августа 2017 г. 16:26:09(UTC)  | Причина: Не указана

Вложение(я):
Xandros.png.zip (64kb) загружен 3 раз(а).
Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline Sid  
#90 Оставлено : 1 августа 2017 г. 16:25:18(UTC)
Sid


Статус: Давно уж тут

Группы: Member
Зарегистрирован: 26.09.2013(UTC)
Сообщений: 448

Сказал(а) «Спасибо»: 10 раз
Поблагодарили: 75 раз в 48 постах
Автор: Disel Перейти к цитате
Vlad, попытался запустить Ваш проект на виртуальной удаленной машине под Ubuntu-server 16.04 (64 бит). Задания заканчиваются результатом "Ошибка при расчете" с временем выполнения 0 секунд. У сервера 1 Gb памяти (занято системой около 100 Мб, остальная память свободна), процессор Intel(R) Xeon(R) CPU E5-2658A v3 @ 2.20GHz, но арендуется только 1 ядро. Подозреваю, что возможно дело как раз в этом, так как на странице с описанием задания нашел такую строку (про xansons_boinc_OMP_1.05)

Код:

Текст протокола

<core_client_version>7.6.31</core_client_version>
<![CDATA[
<message>
process exited with code 127 (0x7f, -129)
</message>
<stderr_txt>
../../projects/xansons4cod.com_xansons4cod/xansons_boinc_OMP_1.05: error while loading shared libraries: libgomp.so.1: cannot open shared object file: No such file or directory

</stderr_txt>
]]>


Полный скрин страницы во вложенном файле.

Не подскажете, в чем дело? И как сделать, что бы проект считался на 1-м ядре (если в этом дело).



sudo apt-get install libgomp1 ?
Offline Disel  
#91 Оставлено : 1 августа 2017 г. 16:30:37(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Автор: Sid Перейти к цитате

sudo apt-get install libgomp1 ?


Похоже, что не в этом дело

Цитата:

apt-get install libgomp1
Reading package lists... Done
Building dependency tree
Reading state information... Done
libgomp1 is already the newest version (5.4.0-6ubuntu1~16.04.4).
The following packages were automatically installed and are no longer required:
linux-headers-4.4.0-31 linux-headers-4.4.0-31-generic linux-image-4.4.0-31-generic linux-image-extra-4.4.0-31-generic snap-confine
Use 'apt autoremove' to remove them.
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.


ps Установил gcc, g++ и gfortran, похоже пошло. Жду результатов. Отпишусь.

Отредактировано пользователем 1 августа 2017 г. 17:35:28(UTC)  | Причина: Не указана

Пользователь Disel прикрепил следующие файлы:
Xandros-2.png
Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline Disel  
#92 Оставлено : 1 августа 2017 г. 18:01:16(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Да, первые задания выполнены успешно! Наблюдаем дальше, теперь нужно проверить как будет осуществляться работа с подзагрузкой новых заданий. Если все будет успешно, возможно добавлю процессоров.
Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline Vlad  
#93 Оставлено : 2 августа 2017 г. 0:06:52(UTC)
Vlad


Статус: Интересующийся

Медали: Разработчику: Автор проекта

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 54
Российская Федерация

Сказал(а) «Спасибо»: 5 раз
Поблагодарили: 103 раз в 33 постах
Автор: Disel Перейти к цитате

ps Установил gcc, g++ и gfortran, похоже пошло. Жду результатов. Отпишусь.


Рад, что Вы разобрались. GCC было достаточно. Наверное, надо было мне все-таки libgomp статически линковать, чтобы такого не было.
По поводу 1 GB памяти на машине, это нормально, но только если Вы не будете несколько заданий параллельно запускать, иначе есть риск, что не хватит.
Offline Disel  
#94 Оставлено : 3 августа 2017 г. 17:03:18(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Добавил 1 процессор. Но по статистике времени сервера увидел, что есть перерывы в работе. Либо это связано с тем, что Boinc запрашивает задания реже, чем выполняется предыдущая пачка заданий, либо есть промежутки времени, когда на сервере проекта нет задач на раздачу (обнаружил перерыв загрузки процессора в несколько часов).
Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline Vlad  
#95 Оставлено : 3 августа 2017 г. 20:06:34(UTC)
Vlad


Статус: Интересующийся

Медали: Разработчику: Автор проекта

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 54
Российская Федерация

Сказал(а) «Спасибо»: 5 раз
Поблагодарили: 103 раз в 33 постах
Автор: Disel Перейти к цитате
Добавил 1 процессор. Но по статистике времени сервера увидел, что есть перерывы в работе. Либо это связано с тем, что Boinc запрашивает задания реже, чем выполняется предыдущая пачка заданий, либо есть промежутки времени, когда на сервере проекта нет задач на раздачу (обнаружил перерыв загрузки процессора в несколько часов).

Очередь заданий для CPU выглядит нормальной, 6 раз за сутки опустошалась до нуля, но не дольше, чем на 5 минут. Между 2 и 3 часами ночи по Москве сервер был недоступен примерно в течении 40 минут по вине провайдера.

Offline PDW-OCUK  
#96 Оставлено : 3 августа 2017 г. 20:29:36(UTC)
PDW-OCUK


Статус: Я тут не впервой

Группы: Member
Зарегистрирован: 12.01.2015(UTC)
Сообщений: 22
Великобритания
Откуда: UK

Сказал(а) «Спасибо»: 7 раз
Поблагодарили: 5 раз в 4 постах
Автор: Vlad Перейти к цитате
Очередь заданий для CPU выглядит нормальной, 6 раз за сутки опустошалась до нуля, но не дольше, чем на 5 минут. Между 2 и 3 часами ночи по Москве сервер был недоступен примерно в течении 40 минут по вине провайдера.



Это было достаточно долго, чтобы завершить работу над графическим процессором, а затем проект отступил на большинстве машин. Boo hoo!

[It was long enough to complete the work on the GPU, and then the project backed off on most machines.]
Offline Vlad  
#97 Оставлено : 4 августа 2017 г. 18:26:59(UTC)
Vlad


Статус: Интересующийся

Медали: Разработчику: Автор проекта

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 54
Российская Федерация

Сказал(а) «Спасибо»: 5 раз
Поблагодарили: 103 раз в 33 постах
Наконец-то добавил бейджи. Будут выдаваться за общее количество очков, набранных пользователем или командой, и количество разных структур из COD, для которых пользователь посчитал дифрактограммы (рентгеновские или нейтронные).

Уровни достижений для общего количества набранных очков:
  • 10 000 (графит)
  • 100 000 (бронза)
  • 1 000 000 (серебро)
  • 10 000 000 (золото)
  • 100 000 000 (алмаз)

Для количества разных структур:
  • 1 000, 2 000, …, 9 000 (бронза)
  • 10 000, 20 000, …, 90 000 (серебро)
  • 100 000, 200 000, 300 000 (золото)

На самих бейджах изображены порошковые рентгеновские дифрактограммы соответствующих материалов. Для обычного золота и серебра дифрактограммы почти одинаковые (так как очень близкие параметры решетки), поэтому для золота я взял дифрактограмму искусственного материала - наноструктурированных золотых пленок.
thanks 7 пользователей поблагодарили Vlad за этот пост.
AlexA оставлено 04.08.2017(UTC), Pushok оставлено 04.08.2017(UTC), ReaDy оставлено 04.08.2017(UTC), Disel оставлено 05.08.2017(UTC), Arahaez оставлено 05.08.2017(UTC), Horror245 оставлено 05.08.2017(UTC), hoarfrost оставлено 11.08.2017(UTC)
Offline Disel  
#98 Оставлено : 11 августа 2017 г. 2:46:41(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Удаленная машина неплохо приносит очки, хотя и всего на 1-м ядре. Жду первый бейджик smile

***
ps. В этой теме разместил предложение организовать соревнование в проекте.
Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline Yura12  
#99 Оставлено : 15 августа 2017 г. 20:10:58(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 869
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 500 раз
Поблагодарили: 127 раз в 86 постах
Так а что, проект закрывается в октябре? После октября уже вообще новых заданий не будет?
Offline Vlad  
#100 Оставлено : 15 августа 2017 г. 21:20:59(UTC)
Vlad


Статус: Интересующийся

Медали: Разработчику: Автор проекта

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 54
Российская Федерация

Сказал(а) «Спасибо»: 5 раз
Поблагодарили: 103 раз в 33 постах
Автор: Yura12 Перейти к цитате
Так а что, проект закрывается в октябре? После октября уже вообще новых заданий не будет?

Когда будут обработаны все материалы, которые доступны в базе COD на данный момент (это произойдет ориентировочно в октябре), основные расчеты будут завершены, и проект начнет обрабатывать новые материалы, которые ежедневно добавляются в COD. Число новых заданий за день упадет больше чем в 100 раз, то есть большинство пользователей останется без заданий. Есть идея, отобрать несколько добровольцев, которые будут целенаправленно получать задания от сервера после завершения основных расчетов, тем самым поддерживая базу данных дифрактограмм в актуальном состоянии. Но даже для них задания будут поступать очень нерегулярно.
thanks 1 пользователь поблагодарил Vlad за этот пост.
Yura12 оставлено 16.08.2017(UTC)
Пользователи, просматривающие эту тему
Guest
6 Страницы«<3456>
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

Boinc.ru theme. Boinc.ru
Форум YAF 2.1.1 | YAF © 2003-2017, Yet Another Forum.NET
Страница сгенерирована за 0.295 секунды.