Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

5 Страницы<12345>
Опции
К последнему сообщению К первому непрочитанному
Offline ReaDy  
#41 Оставлено : 25 ноября 2016 г. 1:44:36(UTC)
ReaDy


Статус: Старожил

Группы: Member
Зарегистрирован: 03.08.2013(UTC)
Сообщений: 518
Российская Федерация

Сказал(а) «Спасибо»: 190 раз
Поблагодарили: 211 раз в 153 постах
Автор: Vlad Перейти к цитате
Мне будет нужен только новый TestJob_neut_1D.txt.

Спасибо!

Готово.

6419*2^1351093+1 is prime!
thanks 1 пользователь поблагодарил ReaDy за этот пост.
Vlad оставлено 25.11.2016(UTC)
Offline Vlad  
#42 Оставлено : 25 ноября 2016 г. 8:49:31(UTC)
Vlad


Статус: Я тут не впервой

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 35
Российская Федерация

Сказал(а) «Спасибо»: 2 раз
Поблагодарили: 67 раз в 21 постах
Автор: ReaDy Перейти к цитате
Автор: Vlad Перейти к цитате
Мне будет нужен только новый TestJob_neut_1D.txt.

Спасибо!

Готово.


Спасибо! А вот теперь все правильно посчиталось! Я отключу использование unified memory для интегрированных AMD. Разбираться, почему это не работает, буду уже потом.
Offline AlexA  
#43 Оставлено : 25 ноября 2016 г. 22:18:33(UTC)
AlexA


Статус: Administration

Медали: Переводчику: За помощь в создании сайта

Группы: Editors, Member, Administration, Russia Team Group, Moderators
Зарегистрирован: 02.10.2007(UTC)
Сообщений: 6,100
Мужчина
Российская Федерация
Откуда: "Russia Team"

Сказал «Спасибо»: 1195 раз
Поблагодарили: 1501 раз в 828 постах
Владислав.
У меня "крутится" вот такой вопрос. Хотел в личку задать, а потом решил, что вопрос для всех интересный.

А почему, собственно, BOINC-проект? Как Вы к этому пришли? Была ли возможность посчитать задачу на кластере или суперкомпьютере?
И, как сами говорите проект не очень большой. Теоретически можно "зарядить" пару-тройку видеокарт и за несколько месяцв посчитать то, что нужно.

А тут: сервер городить надо, выслушивать "нытье" пользователей smile и т.п.

В чем Вы видите ПЛЮС? Ведь, если бы этого плюса не было, то и проекта не было бы.

Или нет?
thanks 2 пользователей поблагодарили AlexA за этот пост.
Yura12 оставлено 26.11.2016(UTC), dimych оставлено 26.11.2016(UTC)
Offline Vlad  
#44 Оставлено : 26 ноября 2016 г. 14:38:55(UTC)
Vlad


Статус: Я тут не впервой

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 35
Российская Федерация

Сказал(а) «Спасибо»: 2 раз
Поблагодарили: 67 раз в 21 постах
Автор: AlexA Перейти к цитате
Владислав.
У меня "крутится" вот такой вопрос. Хотел в личку задать, а потом решил, что вопрос для всех интересный.

А почему, собственно, BOINC-проект? Как Вы к этому пришли? Была ли возможность посчитать задачу на кластере или суперкомпьютере?
И, как сами говорите проект не очень большой. Теоретически можно "зарядить" пару-тройку видеокарт и за несколько месяцв посчитать то, что нужно.

А тут: сервер городить надо, выслушивать "нытье" пользователей smile и т.п.

В чем Вы видите ПЛЮС? Ведь, если бы этого плюса не было, то и проекта не было бы.

Или нет?

Пока идет backup проекта, появилось время ответить. Дело в том, конечно, что мне было интересно делать именно BOINC проект.

О BOINC я узнал от mposypkin еще в 2011. Он был руководителем секции на одной IT конференции и рассказывал о создаваемом тогда optima@home (впрочем, с Михаилом я был знаком еще раньше, так как мы с моим научным руководителем взаимодействовали по одной задаче с математиками из ИСА РАН).

Я постепенно улучшал код и в какой-то момент понял, что им можно сделать поставленную задачу. Подал заявку в РФФИ в полной уверенности, что ее отклонят, но проект утвердили.

Вы правильно написали, что на GPU кластере поставленную цель – создание базы данных дифрактограмм нанокристаллов – можно было бы выполнить и проще, и быстрее, и дешевле, но тогда:
  • не было бы кросс-платформенного open source приложения с поддержкой и CUDA и OpenCL и работающего на любых современных GPU (а было бы только CUDA, да и то, уверенно работало бы только на ускорителях вычислений);
  • я так и не освоил бы BOINC).

Минусов для себя пока что не вижу, а все замечания волонтеров – по делу. Некоторые еще и помогают отлаживать код.

Есть, конечно, проблемы со временем, например, достаточно сложно объяснить иностранным волонтерам, что я никак не смогу доделать проект быстрее, чем за полгода, потому что основная работа у меня вообще в физике плазмы. Не понимают они особенностей национальной науки).

Отредактировано пользователем 26 ноября 2016 г. 14:56:21(UTC)  | Причина: Не указана

thanks 3 пользователей поблагодарили Vlad за этот пост.
Panda оставлено 26.11.2016(UTC), AlexA оставлено 26.11.2016(UTC), Yura12 оставлено 26.11.2016(UTC)
Offline sojourner  
#45 Оставлено : 26 ноября 2016 г. 15:10:39(UTC)
sojourner


Статус: Интересующийся

Группы: Member
Зарегистрирован: 31.07.2015(UTC)
Сообщений: 60
Российская Федерация
Откуда: Свердловск

Сказал(а) «Спасибо»: 11 раз
Поблагодарили: 10 раз в 6 постах
Новые задания так и не пошли, ферма простаивает
Offline Vlad  
#46 Оставлено : 26 ноября 2016 г. 15:54:08(UTC)
Vlad


Статус: Я тут не впервой

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 35
Российская Федерация

Сказал(а) «Спасибо»: 2 раз
Поблагодарили: 67 раз в 21 постах
Автор: sojourner Перейти к цитате
Новые задания так и не пошли, ферма простаивает

Backup перед апгрейдом затянулся, еще 2-3 часа где-то. Я не могу перезапускать сервер предварительно не скопировав все, что там насчиталось. Вдруг что-то не получится.
Offline AlexA  
#47 Оставлено : 26 ноября 2016 г. 17:07:08(UTC)
AlexA


Статус: Administration

Медали: Переводчику: За помощь в создании сайта

Группы: Editors, Member, Administration, Russia Team Group, Moderators
Зарегистрирован: 02.10.2007(UTC)
Сообщений: 6,100
Мужчина
Российская Федерация
Откуда: "Russia Team"

Сказал «Спасибо»: 1195 раз
Поблагодарили: 1501 раз в 828 постах
Автор: Vlad Перейти к цитате
Автор: AlexA Перейти к цитате
Владислав.
У меня "крутится" вот такой вопрос. Хотел в личку задать, а потом решил, что вопрос для всех интересный.

А почему, собственно, BOINC-проект? Как Вы к этому пришли? Была ли возможность посчитать задачу на кластере или суперкомпьютере?
И, как сами говорите проект не очень большой. Теоретически можно "зарядить" пару-тройку видеокарт и за несколько месяцв посчитать то, что нужно.

А тут: сервер городить надо, выслушивать "нытье" пользователей smile и т.п.

В чем Вы видите ПЛЮС? Ведь, если бы этого плюса не было, то и проекта не было бы.

Или нет?

Пока идет backup проекта, появилось время ответить. Дело в том, конечно, что мне было интересно делать именно BOINC проект.

О BOINC я узнал от mposypkin еще в 2011. Он был руководителем секции на одной IT конференции и рассказывал о создаваемом тогда optima@home (впрочем, с Михаилом я был знаком еще раньше, так как мы с моим научным руководителем взаимодействовали по одной задаче с математиками из ИСА РАН).

Я постепенно улучшал код и в какой-то момент понял, что им можно сделать поставленную задачу. Подал заявку в РФФИ в полной уверенности, что ее отклонят, но проект утвердили.

Вы правильно написали, что на GPU кластере поставленную цель – создание базы данных дифрактограмм нанокристаллов – можно было бы выполнить и проще, и быстрее, и дешевле, но тогда:
  • не было бы кросс-платформенного open source приложения с поддержкой и CUDA и OpenCL и работающего на любых современных GPU (а было бы только CUDA, да и то, уверенно работало бы только на ускорителях вычислений);
  • я так и не освоил бы BOINC).

Минусов для себя пока что не вижу, а все замечания волонтеров – по делу. Некоторые еще и помогают отлаживать код.

Есть, конечно, проблемы со временем, например, достаточно сложно объяснить иностранным волонтерам, что я никак не смогу доделать проект быстрее, чем за полгода, потому что основная работа у меня вообще в физике плазмы. Не понимают они особенностей национальной науки).

Спасибо, огромное за ответ.
У меня от этого двойственные впечатления:
1. Я рад, как "фанат" РВ, что появляются энтузиасты, готовые ради "спортивного интереса" заниматься менее эффективным делом. Для нас это ПЛЮС.
2. С другой стороны печалит то, что "спортивным интересом" привлечь к BOINC-платформе довольно сложно. Вы сами признаете, что
Цитата:
на GPU кластере поставленную цель ... можно было бы выполнить и проще, и быстрее, и дешевле,

Для большинства это определяющие факторы.
И тем не менее - огромная благодарность, что Ваш проект )пусть недолгий и небольшой) состоялся. Мы его обязательно доведем до логического завершения. И, на мой взгляд, основная ценность этого проекта не в его результатах (которые можно было бы получить и другим путем), а в самом его появлении, работе и завершении, которое однозначно будет удачным.

Offline Vlad  
#48 Оставлено : 26 ноября 2016 г. 20:01:15(UTC)
Vlad


Статус: Я тут не впервой

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 35
Российская Федерация

Сказал(а) «Спасибо»: 2 раз
Поблагодарили: 67 раз в 21 постах
Апгрейд сервера прошел удачно. Потенциальное число новый WU в единицу времени увеличено в 10 раз (реальное число зависит от количества неотправленных WU). Мне пока не очень нравится, как работает size_regulator, который управляет числом доступных WU каждого размера. Возможно, я запустил его с неоптимальными параметрами.
thanks 2 пользователей поблагодарили Vlad за этот пост.
ReaDy оставлено 26.11.2016(UTC), dimych оставлено 27.11.2016(UTC)
Offline ReaDy  
#49 Оставлено : 26 ноября 2016 г. 22:26:49(UTC)
ReaDy


Статус: Старожил

Группы: Member
Зарегистрирован: 03.08.2013(UTC)
Сообщений: 518
Российская Федерация

Сказал(а) «Спасибо»: 190 раз
Поблагодарили: 211 раз в 153 постах
В отличии от предыдущих версий, приложение opencl_ati_102_windows от 25 ноября уже не дает нагрузку на cpu!:alphat:
6419*2^1351093+1 is prime!
Offline Vlad  
#50 Оставлено : 26 ноября 2016 г. 22:53:13(UTC)
Vlad


Статус: Я тут не впервой

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 35
Российская Федерация

Сказал(а) «Спасибо»: 2 раз
Поблагодарили: 67 раз в 21 постах
Автор: ReaDy Перейти к цитате
В отличии от предыдущих версий, приложение opencl_ati_102_windows от 25 ноября уже не дает нагрузку на cpu!:alphat:

Честно говоря, я несколько озадачен). Во всех последних версиях для GPU я снизил целевое время выполнения кёрнела (шейдера, если так привычнее) до 20 мс, если на видеокарте работает дисплей. Это нужно, чтобы работать на компе без лагов (примерно 50 кадров в секунду) параллельно с расчетами. Но нагрузку на CPU это только увеличивает, так как чаще вызывается синхронизация GPU<-->CPU, да и циклы стали длиннее.
Offline dimych  
#51 Оставлено : 27 ноября 2016 г. 3:54:07(UTC)
dimych


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2011(UTC)
Сообщений: 1,834
Мужчина
Российская Федерация
Откуда: Смоленск

Сказал «Спасибо»: 445 раз
Поблагодарили: 211 раз в 170 постах
насчет размера ВУшек, и для печки и для атишки ВУшки летят все подряд, с ожидаемым временем расчета от 1 до 63 сек. так что наверно алгоритм, рассылающий жирные задания на топовые видяшки и тощие ВУшки на слабые карты, работает не очень хорошо.
ASUS P9X79 WS/I7-3930K@3.2 GHz/32 GB DDR3-1600 MHz/MSI R7950 Twin Frozr 3GD5 V2/OC 3 Gb (880/5000 MHz)
Offline Yura12  
#52 Оставлено : 27 ноября 2016 г. 8:41:07(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 828
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 442 раз
Поблагодарили: 119 раз в 82 постах

Интересное наблюдение - у меня в настройках BOINC указано использовать 3 потока (75 процентов процессоров), а когда приходят процессорные задания для XANSONS for COD - то используется вместо трёх целых 5 потоков, см. приложенную к сообщению картинку:

Пользователь Yura12 прикрепил следующие файлы:
processor.png
Offline Vlad  
#53 Оставлено : 27 ноября 2016 г. 11:05:43(UTC)
Vlad


Статус: Я тут не впервой

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 35
Российская Федерация

Сказал(а) «Спасибо»: 2 раз
Поблагодарили: 67 раз в 21 постах
Автор: Yura12 Перейти к цитате

Интересное наблюдение - у меня в настройках BOINC указано использовать 3 потока (75 процентов процессоров), а когда приходят процессорные задания для XANSONS for COD - то используется вместо трёх целых 5 потоков, см. приложенную к сообщению картинку:

Многопоточное приложение запрашивает число потоков у клиента. Если в настройках указано использовать 75% - то на 4х-ядерной машине приложение получит 3 потока. Почему клиент не проверяет, что два потока уже заняты другими приложениями, и выделить надо только 1 поток, я точно не знаю. Может быть, дело в том, что у меня в настройках plan class не задан параметр avg_ncpus. Попробую поставить его равным 1. Это должно означать, насколько я понимаю, что один поток нагружает ядро на 100%.

Update: Еще раз прочитал wiki и понял, что лучше этого не делать. Может быть Вы попробуете поставить <avg_ncpus>1</avg_ncpus> в app_info.xml? Кстати говоря, а в других проектах с многопоточными приложениями Вы такое замечали?
thanks 1 пользователь поблагодарил Vlad за этот пост.
Yura12 оставлено 27.11.2016(UTC)
Offline Vlad  
#54 Оставлено : 27 ноября 2016 г. 11:38:57(UTC)
Vlad


Статус: Я тут не впервой

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 35
Российская Федерация

Сказал(а) «Спасибо»: 2 раз
Поблагодарили: 67 раз в 21 постах
Автор: dimych Перейти к цитате
насчет размера ВУшек, и для печки и для атишки ВУшки летят все подряд, с ожидаемым временем расчета от 1 до 63 сек. так что наверно алгоритм, рассылающий жирные задания на топовые видяшки и тощие ВУшки на слабые карты, работает не очень хорошо.

Согласен. MultiSize снижает вероятность получить мелкое задание на быструю GPU, но не гарантирует, что она его не получит. Тем более, что в условиях дефицита заданий, который сохраняется даже сейчас, планировщик посылает не то, что лучше подходит конкретному железу, а то, что осталось. После перезапуска в 2017, приложение будет разделено на 2: для CPU и для GPU (сейчас это одно приложение с разными версиями). Тогда я смогу посылать маленькие задания только на CPU, а большие только на GPU. Наверное, надо будет оставить 2-3 типа промежуточных заданий, которые будут поступать или на CPU, или на GPU в зависимости от размера очередей.
Offline Yura12  
#55 Оставлено : 27 ноября 2016 г. 14:58:51(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 828
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 442 раз
Поблагодарили: 119 раз в 82 постах
Автор: Vlad Перейти к цитате
Может быть Вы попробуете поставить <avg_ncpus>1</avg_ncpus> в app_info.xml? Кстати говоря, а в других проектах с многопоточными приложениями Вы такое замечали?


Хорошо. Попробую.

Ну а насчёт других многопоточных - так их практически нет, YAFU например, - так что не замечал.

Да и с XANSONS for COD сегодня это было только 1 раз. Пока не повторяется.
Offline Yura12  
#56 Оставлено : 27 ноября 2016 г. 15:00:03(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 828
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 442 раз
Поблагодарили: 119 раз в 82 постах
И ещё - сегодня у меня уже целый час висит 1 задание на 100%
Offline Yura12  
#57 Оставлено : 27 ноября 2016 г. 15:31:11(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 828
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 442 раз
Поблагодарили: 119 раз в 82 постах

Дополнение к предыдущему сообщению - а всё, через полтора часа досчиталось! Так что всё нормально.
Offline Disel  
#58 Оставлено : 27 ноября 2016 г. 16:01:44(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,397
Мужчина
Российская Федерация

Сказал «Спасибо»: 438 раз
Поблагодарили: 403 раз в 305 постах
Подключился. Работает одно задание на обоих ядрах процессора. Первый раз такой проект встретился.
Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline Yura12  
#59 Оставлено : 27 ноября 2016 г. 16:19:40(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 828
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 442 раз
Поблагодарили: 119 раз в 82 постах
Автор: Disel Перейти к цитате
Подключился. Работает одно задание на обоих ядрах процессора. Первый раз такой проект встретился.


Ну не первый - так у Folding@Home и ещё несколько лет назад был AQUA@Home
Offline Vlad  
#60 Оставлено : 27 ноября 2016 г. 18:19:44(UTC)
Vlad


Статус: Я тут не впервой

Группы: Member
Зарегистрирован: 20.11.2016(UTC)
Сообщений: 35
Российская Федерация

Сказал(а) «Спасибо»: 2 раз
Поблагодарили: 67 раз в 21 постах
У меня опять проблема. На этот раз с хранилищем. Из-за увеличения числа заданий многократно возросла нагрузка на диск. В результате был израсходован кредит IOPS операций и производительность упала с 3000 IOPS до 90 IOPS. Чуть не упал сервер из-за этого. Вывод: надо было лучше читать амазоновскую документацию. Генерация заданий сейчас приостановлена, потом будет возобновлена, но снова лимитирована (надеюсь, не так жестко, как раньше).

Перед перезапуском в 2017 я присоединю том на 1TB, у него производительность в 3000 IOPS постоянная, за 2 дня до окончания альфа-тестирования это не имеет смысл делать.

В общем, первый блин вышел немного комом, но я теперь хотя бы знаю, как надо будет делать.
thanks 1 пользователь поблагодарил Vlad за этот пост.
AlexA оставлено 27.11.2016(UTC)
Пользователи, просматривающие эту тему
Guest (4)
5 Страницы<12345>
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

Boinc.ru theme. Boinc.ru
Форум YAF 2.1.1 | YAF © 2003-2017, Yet Another Forum.NET
Страница сгенерирована за 0.282 секунды.