Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

30 Страницы«<2627282930>
Опции
К последнему сообщению К первому непрочитанному
Offline RNagibovich  
#541 Оставлено : 2 января 2016 г. 21:43:47(UTC)
RNagibovich


Статус: Частенько заглядывает

Медали: Переводчику: За перевод информации о проектах

Группы: Member
Зарегистрирован: 11.11.2015(UTC)
Сообщений: 160
Мужчина
Беларусь
Откуда: Санкт-Петербург

Сказал «Спасибо»: 92 раз
Поблагодарили: 113 раз в 62 постах
Оборудование пришло, собрал, настроил.

Итого: 10 Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz стоят и ждут систему охлаждения, чтобы вступить в работу.

С новым экспериментом в Герасиме, и как только придет охлаждение, кластер вступит в работу.

Теперь то уж и 300-350 тыс. в день получится выдаватьangry
thanks 4 пользователей поблагодарили RNagibovich за этот пост.
hoarfrost оставлено 02.01.2016(UTC), evatutin оставлено 02.01.2016(UTC), Yura12 оставлено 03.01.2016(UTC), dimych оставлено 03.01.2016(UTC)
Offline hoarfrost  
#542 Оставлено : 2 января 2016 г. 22:26:29(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
Да, большая мощь! Такая подмога и глобально - на уровне проекта будет хорошо видна.
UserPostedImage
Offline hoarfrost  
#543 Оставлено : 3 января 2016 г. 18:56:33(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
Постепенно догоняем уже и коллег из команды Russia:

...
5. Russia 25689515
6. Crystal Dream 21494928
...

Сейчас до них 25689515 - 21494928 = 4194587 CS.
А на 12-м месте активизировались L'Alliance Francophone выдающией уже под 200 000 CS в сутки.
Возможно, эксперимент закончится раньше, чем мы думали!
UserPostedImage
Offline dimych  
#544 Оставлено : 3 января 2016 г. 21:05:28(UTC)
dimych


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2011(UTC)
Сообщений: 1,835
Мужчина
Российская Федерация
Откуда: Смоленск

Сказал «Спасибо»: 445 раз
Поблагодарили: 211 раз в 170 постах
наконец то и у нас настоящий тягач появился, а то один собакоед кореец ванос по 180-200 тыс в сутки свою команду в одно лицо аж на второе место загнал. а так глядишь и мы догоним )))
ого десять двадцатипотоковых ксеонов эт сила. если в режиме 24/7, то тысяч 200 в сутки с них будет, не меньше.
ток на них никаких ВУшек ненапасешся. эксперименты в Герасиме обычно конечные и рано или поздно заканчиваются.
ASUS P9X79 WS/I7-3930K@3.2 GHz/32 GB DDR3-1600 MHz/MSI R7950 Twin Frozr 3GD5 V2/OC 3 Gb (880/5000 MHz)
thanks 1 пользователь поблагодарил dimych за этот пост.
RNagibovich оставлено 04.01.2016(UTC)
Offline Yura12  
#545 Оставлено : 3 января 2016 г. 23:21:47(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 935
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 622 раз
Поблагодарили: 137 раз в 95 постах
Автор: dimych Перейти к цитате
ток на них никаких ВУшек ненапасешся. эксперименты в Герасиме обычно конечные и рано или поздно заканчиваются.


Закончатся в Gerasim так можно будет его на SAT переключить.
thanks 1 пользователь поблагодарил Yura12 за этот пост.
RNagibovich оставлено 03.01.2016(UTC)
Offline RNagibovich  
#546 Оставлено : 4 января 2016 г. 0:19:45(UTC)
RNagibovich


Статус: Частенько заглядывает

Медали: Переводчику: За перевод информации о проектах

Группы: Member
Зарегистрирован: 11.11.2015(UTC)
Сообщений: 160
Мужчина
Беларусь
Откуда: Санкт-Петербург

Сказал «Спасибо»: 92 раз
Поблагодарили: 113 раз в 62 постах
Автор: Yura12 Перейти к цитате
Автор: dimych Перейти к цитате
ток на них никаких ВУшек ненапасешся. эксперименты в Герасиме обычно конечные и рано или поздно заканчиваются.


Закончатся в Gerasim так можно будет его на SAT переключить.


Если разработчики проекта не будут делать большие перерывы между экспериментами, то согласен полностью отдать мощности под проект Gerasim. Я думаю, они тоже заинтересованы как можно больше опытов прогнать в течении года.

При таком подходе WU'шек хватит на все машины
.blink2

В середине года, если не отлучусь надолго в командировку, планирую еще одно расширение/модернизацию - увеличить мощность кластера в 2 раза.
thanks 1 пользователь поблагодарил RNagibovich за этот пост.
Yura12 оставлено 04.01.2016(UTC)
Offline dimych  
#547 Оставлено : 4 января 2016 г. 18:49:49(UTC)
dimych


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2011(UTC)
Сообщений: 1,835
Мужчина
Российская Федерация
Откуда: Смоленск

Сказал «Спасибо»: 445 раз
Поблагодарили: 211 раз в 170 постах
если Ватутин заглянет в нашу тему, он может точно прокомментировать насчет перерывов. я могу только сказать как обычно уже было. обычно между экспериментами перерыв до недели. я так понимаю это время занимает скачка результатов (например нынешний эксперимент более 2 млн заданий по 26 кб каждое, итого 52 гектара, в переводе на мой инет, я столько ток 2 суток качал бы), обработка результатов (компик у руководителя проекта чтото же делает с результатами, я так понимаю строит какие то зависимости) а потом нужно еще нагенерировать заданий на новый эксперимент и вкачать их на сервер. т.к. сервер проекта и его руководитель территориально не в одном месте, на все это надо время. поэтому обычно некоторый перерыв между экспериментами бывает всегда.
ПыСы. нет, я бы 2 млн файлов вообще бы не скачал. я пробовал качать один сайт, хотел сделать автономную архивную копию. установил прогу, все правильно настроил (качать только с основного адреса и все такое) и начал качать. пару ночей все шло хорошо, пока число файлов в подпапках не достигло 700-800 тысяч. а потом прога перестала качать, а только непрерывно шуршала винтом. и так целыми ночами. я пробовал прогу перезапускать, пробовал папку переместить на другой винт, без толку. просто чтобы просмотреть свойства папки, ушло два часа. плюнул я на это дело да и удалил всю папку. кстати часа 2 удалялась. интересно как поступит руководитель проекта со своими почти двумя миллионами файлов результатов.
ASUS P9X79 WS/I7-3930K@3.2 GHz/32 GB DDR3-1600 MHz/MSI R7950 Twin Frozr 3GD5 V2/OC 3 Gb (880/5000 MHz)
Offline UR  
#548 Оставлено : 5 января 2016 г. 1:26:25(UTC)
UR


Статус: Частенько заглядывает

Медали: Первооткрывателю: Результат в проекте SAT@home

Группы: Member, Crystal Dream Group
Зарегистрирован: 18.03.2013(UTC)
Сообщений: 281
Мужчина
Российская Федерация
Откуда: Белгород

Сказал «Спасибо»: 43 раз
Поблагодарили: 23 раз в 18 постах
Автор: dimych Перейти к цитате
если Ватутин заглянет в нашу тему, он может точно прокомментировать насчет перерывов. я могу только сказать как обычно уже было. обычно между экспериментами перерыв до недели. я так понимаю это время занимает скачка результатов (например нынешний эксперимент более 2 млн заданий по 26 кб каждое, итого 52 гектара, в переводе на мой инет, я столько ток 2 суток качал бы), обработка результатов (компик у руководителя проекта чтото же делает с результатами, я так понимаю строит какие то зависимости) а потом нужно еще нагенерировать заданий на новый эксперимент и вкачать их на сервер. т.к. сервер проекта и его руководитель территориально не в одном месте, на все это надо время. поэтому обычно некоторый перерыв между экспериментами бывает всегда.
ПыСы. нет, я бы 2 млн файлов вообще бы не скачал. я пробовал качать один сайт, хотел сделать автономную архивную копию. установил прогу, все правильно настроил (качать только с основного адреса и все такое) и начал качать. пару ночей все шло хорошо, пока число файлов в подпапках не достигло 700-800 тысяч. а потом прога перестала качать, а только непрерывно шуршала винтом. и так целыми ночами. я пробовал прогу перезапускать, пробовал папку переместить на другой винт, без толку. просто чтобы просмотреть свойства папки, ушло два часа. плюнул я на это дело да и удалил всю папку. кстати часа 2 удалялась. интересно как поступит руководитель проекта со своими почти двумя миллионами файлов результатов.


Может виноват FAT32 ?Whistle
Core i7-2600K up to 4.7 GHz, RAM 8Gb, Radeon R9 380X
FX-8350, GeForce 8800GT
Offline dimych  
#549 Оставлено : 5 января 2016 г. 4:13:24(UTC)
dimych


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2011(UTC)
Сообщений: 1,835
Мужчина
Российская Федерация
Откуда: Смоленск

Сказал «Спасибо»: 445 раз
Поблагодарили: 211 раз в 170 постах
насчет ФАТ32 не в курсе, т.к. на компе стоит венда семерка и логично, что винты работают под NTFS. а вот то, что NTFS со своими, вполне реальными задачами явно не справляется, довольно странно. под линухами и ихними EXT я не экспериментировал, т.к. только ради этого ставить линух мне откровенно лень.
ASUS P9X79 WS/I7-3930K@3.2 GHz/32 GB DDR3-1600 MHz/MSI R7950 Twin Frozr 3GD5 V2/OC 3 Gb (880/5000 MHz)
Offline evatutin  
#550 Оставлено : 5 января 2016 г. 11:14:25(UTC)
evatutin


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@homeРазработчику: За организацию проекта Gerasim@home

Группы: Editors, Member
Зарегистрирован: 08.06.2010(UTC)
Сообщений: 3,640
Откуда: Russia, Kursk

Сказал(а) «Спасибо»: 1023 раз
Поблагодарили: 1826 раз в 886 постах
dimych
Все так и есть, как вы написали. В данный момент я, пользуясь паузой в работе, занимаюсь изучением скорости сходимости методов: для этого грид не требуется, расчеты идут в пределах 1-2 суток, с чем моя машина справляется. А вот дальше я хочу попробовать проанализировать качество методов на малом числе итераций (и даже уже начал), но на это уходит много времени и этот процесс распараллеливается на короткие WU'шки (1-10 секунд). За 41,5 ч у меня посчитался самый быстрый Дейкстра (почти 100 000 WU'шек), впереди остальные. Если управлюсь своими силами, посчитаю сам, если в проекте задания закончатся раньше, будем считать там. Потом в пределах месяца я планирую заново обсчитать метод имитации отжига (в нем мне удалось повысить качество решений как минимум на графах малой плотности, надо в этом убедиться). А дальше я планирую обсчет еще одного из итерационных методов в разбиениях, но на это надо время, т.к. при прошлом эксперименте были WU'шки по 80 ч, что не всем удобно. Еще у меня есть мысли об организации экспериментов по метаоптимизации, но это надо сначала закодить

PS. Про NTFS: в экспериментах я сталкивался с той же ситуацией, когда примерно 1 млн. файлов в одной папке приводит к жутким тормозам NTFS (например, создание очередного файла через CreateFile() приводит к тормозам в 5-10 секунд). Поэтому эксперименты я стараюсь проводить партиями в несколько сотен тысяч файлов. При заборе результатов с сервера работает архиватор, который тоже не очень любит мелкие файлы, поэтому там ограничение в пределах 100 тыс. файлов за 1 раз. Вообще при данных файловых операциях система начинает прилично подтормаживать, возможно из-за кэширования, работать за ней в этим моменты неприятно

kvt.kurskstu team founder
Gerasim@home scientist
My numbers are 5056994653507584 and 1835082219864832081920. Why not? smile
thanks 1 пользователь поблагодарил evatutin за этот пост.
RNagibovich оставлено 05.01.2016(UTC)
Offline RNagibovich  
#551 Оставлено : 5 января 2016 г. 15:27:00(UTC)
RNagibovich


Статус: Частенько заглядывает

Медали: Переводчику: За перевод информации о проектах

Группы: Member
Зарегистрирован: 11.11.2015(UTC)
Сообщений: 160
Мужчина
Беларусь
Откуда: Санкт-Петербург

Сказал «Спасибо»: 92 раз
Поблагодарили: 113 раз в 62 постах
Автор: evatutin Перейти к цитате
dimych
Все так и есть, как вы написали. В данный момент я, пользуясь паузой в работе, занимаюсь изучением скорости сходимости методов: для этого грид не требуется, расчеты идут в пределах 1-2 суток, с чем моя машина справляется. А вот дальше я хочу попробовать проанализировать качество методов на малом числе итераций (и даже уже начал), но на это уходит много времени и этот процесс распараллеливается на короткие WU'шки (1-10 секунд). За 41,5 ч у меня посчитался самый быстрый Дейкстра (почти 100 000 WU'шек), впереди остальные. Если управлюсь своими силами, посчитаю сам, если в проекте задания закончатся раньше, будем считать там. Потом в пределах месяца я планирую заново обсчитать метод имитации отжига (в нем мне удалось повысить качество решений как минимум на графах малой плотности, надо в этом убедиться). А дальше я планирую обсчет еще одного из итерационных методов в разбиениях, но на это надо время, т.к. при прошлом эксперименте были WU'шки по 80 ч, что не всем удобно. Еще у меня есть мысли об организации экспериментов по метаоптимизации, но это надо сначала закодить


Думаю, что самое время включиться в расчеты на полную мощность в середине-конце январяbuba
Offline dimych  
#552 Оставлено : 5 января 2016 г. 15:55:54(UTC)
dimych


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2011(UTC)
Сообщений: 1,835
Мужчина
Российская Федерация
Откуда: Смоленск

Сказал «Спасибо»: 445 раз
Поблагодарили: 211 раз в 170 постах
Я не то чтобы против коротких ВУшек, я был против коротких ВУшек лишь потому, что максимальная суточная квота заданий на хост ограничена 8000. если ВУшки начнутся по 10 сек, то (10 сек * 12 потоков = 72 ВУшки в мин * 60 = 4200 ВУшки в час) чуть менее чем за 2 часа суточная норма будет израсходована и компик начнет простаивать. да еще и инет у меня с 3Г модема и глюки - вполне нормальное явление. а так я готов и односекундные считать, если бы не квота. выставлю в CC_config виртуальное число ядер в 64, чтобы на каждом потоке постоянно висело по 5 ВУшек и таким макаром сгладилась загрузка камня и нехай оно хоть по полмиллиона в сутки считает.
насчет самостоятельного расчета небольших экспериментов, я так думаю, что если время их расчета 3-5 суток, то лучше считать самому, т.к. на своих машинах не будет простоев и косяков с "протуханием" ВУшек, что в распределенной сети бывает почти всегда. но если считать самому неделю и больше, наверно лучше это делать сообща, т.к. выигрыш от стабильности расчетов в соло сведется к минимумум.
я как прочитал про "очень долгие 80-ти часовые задания" сразу вспомнил дохлые проект AQUA@home в котором у меня 4 года назад одно мультитридовое задание на 4х потоках считалось больше двух с половиной недель. хорошо чекпоинты там работали и его раза три пришлось считать с продолжения.

Отредактировано пользователем 5 января 2016 г. 16:13:56(UTC)  | Причина: Не указана

ASUS P9X79 WS/I7-3930K@3.2 GHz/32 GB DDR3-1600 MHz/MSI R7950 Twin Frozr 3GD5 V2/OC 3 Gb (880/5000 MHz)
Offline dimych  
#553 Оставлено : 5 января 2016 г. 16:28:27(UTC)
dimych


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2011(UTC)
Сообщений: 1,835
Мужчина
Российская Федерация
Откуда: Смоленск

Сказал «Спасибо»: 445 раз
Поблагодарили: 211 раз в 170 постах
проект то достиг 3 ТФЛОПс по производительности. и то я смотрю, почти 20 тыс ВУшек захомячено и это при том, что нету соревнований. на последних соревнованиях и то больше 12-14 тыс в расчете не было. учитывая, что много за раз захомячить невозможно, очень много новых компиков присоединилось к проекту. если делать перерыв, то он должен быть как можно меньше, а то разбегутся все. идеально вообще без перерыва, чтобы ВУшки по экспериментам перекрывали друг друга.
ASUS P9X79 WS/I7-3930K@3.2 GHz/32 GB DDR3-1600 MHz/MSI R7950 Twin Frozr 3GD5 V2/OC 3 Gb (880/5000 MHz)
Offline hoarfrost  
#554 Оставлено : 6 января 2016 г. 1:43:15(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
До 5-й строчки - 3.95 миллиона CS!
UserPostedImage
Offline hoarfrost  
#555 Оставлено : 13 января 2016 г. 22:12:57(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
Осталось 3.2 миллиона!
...
5. Russia 25936009
6. Crystal Dream 22704558
...

P.S. Перешёл отметку в 1 миллион CS в проекте!
UserPostedImage
Offline dimych  
#556 Оставлено : 13 января 2016 г. 22:43:21(UTC)
dimych


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2011(UTC)
Сообщений: 1,835
Мужчина
Российская Федерация
Откуда: Смоленск

Сказал «Спасибо»: 445 раз
Поблагодарили: 211 раз в 170 постах
ну это если только со следующего эксперимента. тут хоть и жирные ВУшки остались, но с такой толпой и они быстро разойдутся.
ASUS P9X79 WS/I7-3930K@3.2 GHz/32 GB DDR3-1600 MHz/MSI R7950 Twin Frozr 3GD5 V2/OC 3 Gb (880/5000 MHz)
Offline hoarfrost  
#557 Оставлено : 15 февраля 2016 г. 23:10:49(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
С некоторым отставанием, но просоединились к First and Biggest new in Astronomy in last centruy, First Gravitational Wave discovered в Einstein@Home!
UserPostedImage
Offline UR  
#558 Оставлено : 16 февраля 2016 г. 21:24:32(UTC)
UR


Статус: Частенько заглядывает

Медали: Первооткрывателю: Результат в проекте SAT@home

Группы: Member, Crystal Dream Group
Зарегистрирован: 18.03.2013(UTC)
Сообщений: 281
Мужчина
Российская Федерация
Откуда: Белгород

Сказал «Спасибо»: 43 раз
Поблагодарили: 23 раз в 18 постах
Автор: hoarfrost Перейти к цитате
С некоторым отставанием, но просоединились к First and Biggest new in Astronomy in last centruy, First Gravitational Wave discovered в Einstein@Home!


Не рассредоточит ли это наши силы? Ведь мы и в САТе участвуем.
Core i7-2600K up to 4.7 GHz, RAM 8Gb, Radeon R9 380X
FX-8350, GeForce 8800GT
Offline hoarfrost  
#559 Оставлено : 17 февраля 2016 г. 1:10:40(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
Сейчас основной credit в Einstein@Home дают GPU, поэтому и решил зарегистрироваться. Чтобы GPU-шные TFLOPS-ы не пропадали.
smile
UserPostedImage
Offline UR  
#560 Оставлено : 18 февраля 2016 г. 7:59:06(UTC)
UR


Статус: Частенько заглядывает

Медали: Первооткрывателю: Результат в проекте SAT@home

Группы: Member, Crystal Dream Group
Зарегистрирован: 18.03.2013(UTC)
Сообщений: 281
Мужчина
Российская Федерация
Откуда: Белгород

Сказал «Спасибо»: 43 раз
Поблагодарили: 23 раз в 18 постах
Думаю, вклад Сахалинского Кота, выдающего Львиную долю очков в Энштейне, не должен быть незамечен. add add add
Core i7-2600K up to 4.7 GHz, RAM 8Gb, Radeon R9 380X
FX-8350, GeForce 8800GT
Пользователи, просматривающие эту тему
Guest (3)
30 Страницы«<2627282930>
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

AlexA theme. Created by AlexA
Форум YAF 2.1.1 | YAF © 2003-2018, Yet Another Forum.NET
Страница сгенерирована за 0.208 секунды.