Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

Опции
К последнему сообщению К первому непрочитанному
Offline Buzun Sergey  
#1 Оставлено : 5 мая 2016 г. 0:09:48(UTC)
Buzun Sergey


Статус: Интересующийся

Группы: Member
Зарегистрирован: 08.03.2012(UTC)
Сообщений: 91
Мужчина
Откуда: Russia

Сказал «Спасибо»: 18 раз
Поблагодарили: 28 раз в 9 постах
Давно была идея, и вот она стала понемногу воплощаться в металле.
Можно выделить два положительных момента кластеростроительства - получение опыта/удовлетворение интереса и возможность физически сконцентрировать все вычислительные ресурсы в одном месте. Так как приходится жить в квартире на этом этапе жизни, лучшее, что было придумано - установить оборудование на балконе.
Критерии выбора оборудования:
1) Использовать то что есть
2) Использовать однотипное БУ

Перечень оборудования и бюджет:
Монтажная стойка 19' б.у. - 6500р (куплена на avito)
Комплект крепления хаба - 700р из castorama (два алюминиевых уголка и комплект метизов нержавеющая сталь)
Управляемый хаб 48 портов DES-3550 имеется (за сколько был куплен уже не помню)
Материнская плата MSI-7360 1 шт (обменяна на другую мат.п.)
Материнская плата MSI-7360 1 шт 1500р avito
Материнская плата MSI-7360 1 шт 200р avito + ремонт ножек сокета своими силами
Видеокарта Radeon 5970 1шт (10 000р куплена 3 года назад за рубли от биткойнов)
Видеокарта Radeon 5870 3шт (куплены за рубли от биткойнов, цены не помню)
райзер 1шт. 430р


Фото того что уже установлено
UserPostedImage

Основа собрана, теперь можно приступать непосредственно к строительству "кластера"
В планах сделать несколько ригов под ГПУ проекты под управлением windows с администрированием через сеть
и собрать непосредственно Linux кластер с MPI из таких плат и компьютера консоли.

План работ:
май - разработать и создать конструктив выдвижного каркаса для материнских плат и видеокарт с блоками питания, приобрести процессоры INTEL XEON X5450, E5450 для материнских плат, определить какой тип райзеров использовать.

июнь - заказать пробную плату Orange-Pi из китая, разработать и создать панель управления (вкл/выкл, индикация) отдельными компьютерами, подключить стойку к интернету и к питанию, установить в конструктив комплектующие, запустить в работу первую очередь, установить нестандартное охлаждение на видеокарту Radeon 5970.

август - физически собрать linux кластер из двух узлов (консоль и один узел Orange-Pi)

сентябрь - установка ОС, конфигурирование linux кластера, проверка работы, дозаказ дополнительных плат.

Вопросы:
1) Порекомендуйте литературу, ссылки на описание процесса развертки линукса с MPI на консоли.
2) Может ли кто-нибудь удаленно помочь с конфигурированием linux?
3) Требования к консоли по железу, если есть такие.
4) Как ведет себя boinc при недостатке ОЗУ?

По мере продвижения работ буду обновлять информацию, коментарии и советы приветствуются.
p.s. как картинку прикрепить, так и не нашел
16 ядер CPU+2хGF1080ti
thanks 4 пользователей поблагодарили Buzun Sergey за этот пост.
AlexA оставлено 05.05.2016(UTC), ReaDy оставлено 05.05.2016(UTC), evatutin оставлено 05.05.2016(UTC), RNagibovich оставлено 05.05.2016(UTC)
Offline RNagibovich  
#2 Оставлено : 5 мая 2016 г. 1:56:42(UTC)
RNagibovich


Статус: Частенько заглядывает

Медали: Переводчику: За перевод информации о проектах

Группы: Member
Зарегистрирован: 11.11.2015(UTC)
Сообщений: 160
Мужчина
Беларусь
Откуда: Санкт-Петербург

Сказал «Спасибо»: 92 раз
Поблагодарили: 113 раз в 62 постах
Автор: Buzun Sergey Перейти к цитате


Оверклок удален



При недостатке ОЗУ: boinc-менеджер останавливает часть вычислений, до момента освобождения оперативной памяти от других boinc-задач.


А как будете решать проблему излишнего нагрева на балконе летом?

Отредактировано модератором 7 марта 2018 г. 20:27:25(UTC)  | Причина: Не указана

Offline Buzun Sergey  
#3 Оставлено : 5 мая 2016 г. 20:26:23(UTC)
Buzun Sergey


Статус: Интересующийся

Группы: Member
Зарегистрирован: 08.03.2012(UTC)
Сообщений: 91
Мужчина
Откуда: Russia

Сказал «Спасибо»: 18 раз
Поблагодарили: 28 раз в 9 постах
Я думаю что 2-3 киловатта тепла в летнее время можно в открытое восточное окно вентилятором выдуть.
16 ядер CPU+2хGF1080ti
Offline Diplomat  
#4 Оставлено : 5 мая 2016 г. 23:15:12(UTC)
Diplomat


Статус: Частенько заглядывает

Группы: Member, Russia Team Group
Зарегистрирован: 28.02.2015(UTC)
Сообщений: 202
Российская Федерация

Сказал(а) «Спасибо»: 87 раз
Поблагодарили: 51 раз в 30 постах
А коли это балкон/лоджия, то насколько опасны железу минусовые температуры? У нас в регионе, например, зимой свободно может быть -35.. -40 С
UserPostedImage
Offline Sid  
#5 Оставлено : 5 мая 2016 г. 23:30:53(UTC)
Sid


Статус: Давно уж тут

Группы: Member
Зарегистрирован: 26.09.2013(UTC)
Сообщений: 496

Сказал(а) «Спасибо»: 13 раз
Поблагодарили: 90 раз в 59 постах
Автор: Diplomat Перейти к цитате
А коли это балкон/лоджия, то насколько опасны железу минусовые температуры? У нас в регионе, например, зимой свободно может быть -35.. -40 С


Не знаю, как -40, но -15 пофигу. Процы дружно +30С показывают. Видюхи 40-50. Кулеры крутятся без проблем.
Главное, если выключить надолго, то замершее не включать, а занести в тепло и отогреть, не включая. Потом можно назад.
Если занесли в тепло с холода, то часа 2 не включать в тепле.
thanks 2 пользователей поблагодарили Sid за этот пост.
RNagibovich оставлено 05.05.2016(UTC), Diplomat оставлено 06.05.2016(UTC)
Offline tanos  
#6 Оставлено : 6 мая 2016 г. 7:22:20(UTC)
tanos


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@homeМощь и напор: За сильное персональное выступление в соревновании. Донор: За финансовую помощь сайту

Группы: Member
Зарегистрирован: 08.10.2012(UTC)
Сообщений: 1,502
Мужчина
Откуда: Astronomy.Ru Forum

Сказал «Спасибо»: 580 раз
Поблагодарили: 660 раз в 396 постах
Автор: Sid Перейти к цитате
Не знаю, как -40, но -15 пофигу. Процы дружно +30С показывают. Видюхи 40-50. Кулеры крутятся без проблем.
Главное, если выключить надолго, то замершее не включать, а занести в тепло и отогреть, не включая. Потом можно назад.
Если занесли в тепло с холода, то часа 2 не включать в тепле.


Не могу сказать как ведет себя техника при столь низких температурах, расскажу на примере. Зимой при -7 за окном, возникла необходимость провести профилактику системы охлаждения в серверной, в которой на тот момент работало 20 серваков разной мощности + нагрузка разных задач. Штатная система охлаждения поддерживала +16 градусов в помещении. После остановки системы охлаждения, просто приоткрыл окно на 30 см., ipmi - естественно не выключал и не перенастраивал. Через пару-тройку часов, предупреждения о низкой температуре и сопровождающие их "писк", преодолели лень и заставили сходить посмотреть, что творится в помещении. Все серваки до одного, выдавали диагностику на LCD о заниженной температуре, хотя в шатдаун не ушли. Получается аппаратуре не хватало даже собственного тепла. Я не говорю про конденсат и про то, что нард дискам вредны как высокие, так и низкие температуры.

команда Astronomy.Ru Forum - http://vk.com/club53333580
Offline PinkFloyd  
#7 Оставлено : 6 мая 2016 г. 9:42:52(UTC)
PinkFloyd


Статус: Давно уж тут

Группы: Member, Russia Team Group
Зарегистрирован: 24.03.2015(UTC)
Сообщений: 431
Мужчина
Российская Федерация
Откуда: Оренбург

Сказал «Спасибо»: 151 раз
Поблагодарили: 53 раз в 43 постах
Автор: Diplomat Перейти к цитате
А коли это балкон/лоджия, то насколько опасны железу минусовые температуры? У нас в регионе, например, зимой свободно может быть -35.. -40 С

Это в первую очередь может быть критично для узлов, где есть механически подвижные детали, т.е. охлаждение и HDD. Просто банально замерзает смазка.
На самопальных уличных платежных терминалах с этим борятся просто: внутри ящика вешается лампочка на 220 вольт. Ну и естественно ящик утепляется.
thanks 1 пользователь поблагодарил PinkFloyd за этот пост.
Diplomat оставлено 06.05.2016(UTC)
Offline Diplomat  
#8 Оставлено : 6 мая 2016 г. 10:04:43(UTC)
Diplomat


Статус: Частенько заглядывает

Группы: Member, Russia Team Group
Зарегистрирован: 28.02.2015(UTC)
Сообщений: 202
Российская Федерация

Сказал(а) «Спасибо»: 87 раз
Поблагодарили: 51 раз в 30 постах
Автор: PinkFloyd Перейти к цитате
Это в первую очередь может быть критично для узлов, где есть механически подвижные детали, т.е. охлаждение и HDD. Просто банально замерзает смазка.
На самопальных уличных платежных терминалах с этим борятся просто: внутри ящика вешается лампочка на 220 вольт. Ну и естественно ящик утепляется.


Получается рекомендацией на зимний сезон будет стремление не рассеивать тепло, а наоборот его сохранять))

  • Отключение корпусных вентиляторов
  • Закутать корпус в одеяло
  • Эвакуировать, если внутренняя температура падает ниже ??


Допустим с домашней рабочей машины мы видим температурные данные того, что стоит на балконе ЦП/мать/HDD.
Допустим мы не экстремалы и до замораживания дело доводить не хотим

В таком случае какие для нас будут среднесуточные пороговые температуры компонентов? ниже комнатной ~+20,+15,+10?

А что если зная уязвимость HDD к "уличному" режиму, мы ставим любой SSD, насколько меняется наше представление о "пороговой" температуре?

Пороговая температура не должна быть крайним случаем, поскольку мы не можем реагировать моментально. Допустим проснувшись утром и увидев в корпусе зимой +20С, читая прогноз на заморозки, я должен пойти и убрать машину с балкона или привести в действие один из пунктов выше.



Кстати название темы уже можно расширить или детализировать описание к ней.
UserPostedImage
Offline RNagibovich  
#9 Оставлено : 6 мая 2016 г. 11:19:57(UTC)
RNagibovich


Статус: Частенько заглядывает

Медали: Переводчику: За перевод информации о проектах

Группы: Member
Зарегистрирован: 11.11.2015(UTC)
Сообщений: 160
Мужчина
Беларусь
Откуда: Санкт-Петербург

Сказал «Спасибо»: 92 раз
Поблагодарили: 113 раз в 62 постах
Как вариант: утеплить балкон, поставить переносной кондиционер - тогда полностью независимая от погоды система получится.
Offline tanos  
#10 Оставлено : 6 мая 2016 г. 11:23:37(UTC)
tanos


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@homeМощь и напор: За сильное персональное выступление в соревновании. Донор: За финансовую помощь сайту

Группы: Member
Зарегистрирован: 08.10.2012(UTC)
Сообщений: 1,502
Мужчина
Откуда: Astronomy.Ru Forum

Сказал «Спасибо»: 580 раз
Поблагодарили: 660 раз в 396 постах
Если решили все сделать "по науке", есть соответствующие СНиПы и ГОСТы. "Родоначальником" стал американский стандарт для серверных помещений TIA/EIA -569A. Ныне он морально устарел. На смену ему в пришли:

- ГОСТ Р 53246-2008 "Системы кабельные структурированные";
- СНиП 41-01-2003 "Отопление, вентиляция и кондиционирование";
- СН-512 "Инструкция по проектированию зданий и помещений для электронно-вычислительных машин";
- СН 512-78 "Технические требования к зданиям и помещениям для установки средств вычислительной техники".

может чего и еще есть, не знаю. В крайнем случае можно отталкиваться от ТУ производителя оборудования. Например, вот так выглядит рекомендация для интеловских 4-ех процессорных платформ (грубо первел):
Цитата:

- Температура окружающей среды: рабочая от 10°C до 35°C; нерабочая: от -40° C до + 70°C;
- Относительная влажность в нерабочем состоянии: 95%, без конденсации при 25°C до 30°C;
- Электростатических разрядов (ESD) протестировано на уровне ESD до 15 киловольт (кВ)..... и до 8 кВ контактного разряда без физического повреждения....;
- Акустическое звуковое давления: <55C при температуре окружающей среды <28°C +/- 2°C измеряемые в рабочем режиме;
- Звуковая мощность: в рабочем режиме <7,0C при температуре окружающей среды <28°C +/- 2°C....

команда Astronomy.Ru Forum - http://vk.com/club53333580
thanks 1 пользователь поблагодарил tanos за этот пост.
Diplomat оставлено 06.05.2016(UTC)
Offline Sid  
#11 Оставлено : 6 мая 2016 г. 13:13:47(UTC)
Sid


Статус: Давно уж тут

Группы: Member
Зарегистрирован: 26.09.2013(UTC)
Сообщений: 496

Сказал(а) «Спасибо»: 13 раз
Поблагодарили: 90 раз в 59 постах
Автор: tanos Перейти к цитате
Если решили все сделать "по науке", есть соответствующие СНиПы и ГОСТы. "Родоначальником" стал американский стандарт для серверных помещений TIA/EIA -569A. Ныне он морально устарел. На смену ему в пришли:

- ГОСТ Р 53246-2008 "Системы кабельные структурированные";
- СНиП 41-01-2003 "Отопление, вентиляция и кондиционирование";
- СН-512 "Инструкция по проектированию зданий и помещений для электронно-вычислительных машин";
- СН 512-78 "Технические требования к зданиям и помещениям для установки средств вычислительной техники".

может чего и еще есть, не знаю. В крайнем случае можно отталкиваться от ТУ производителя оборудования. Например, вот так выглядит рекомендация для интеловских 4-ех процессорных платформ (грубо первел):
Цитата:

- Температура окружающей среды: рабочая от 10°C до 35°C; нерабочая: от -40° C до + 70°C;
- Относительная влажность в нерабочем состоянии: 95%, без конденсации при 25°C до 30°C;
- Электростатических разрядов (ESD) протестировано на уровне ESD до 15 киловольт (кВ)..... и до 8 кВ контактного разряда без физического повреждения....;
- Акустическое звуковое давления: <55C при температуре окружающей среды <28°C +/- 2°C измеряемые в рабочем режиме;
- Звуковая мощность: в рабочем режиме <7,0C при температуре окружающей среды <28°C +/- 2°C....



Серьезный подход.
Но я бы различал подход к серверной и к домашнему балкону.
Лично я вынес на балкон то, чего не было жалко.smile
Все БУ, если сломается, то не очень жалко. На чем не экономил - блоки питания со всеми защитами.
Offline Buzun Sergey  
#12 Оставлено : 6 мая 2016 г. 21:17:32(UTC)
Buzun Sergey


Статус: Интересующийся

Группы: Member
Зарегистрирован: 08.03.2012(UTC)
Сообщений: 91
Мужчина
Откуда: Russia

Сказал «Спасибо»: 18 раз
Поблагодарили: 28 раз в 9 постах
По поводу тепловых режимов - для Ростовской области переохлаждение на лоджии не актуально, актуален только перегрев, вентиляция и снижение тактовых частот помогают в самые жаркие месяцы избежать перегрева. Было проверено на комплектующих в закрытых системных блоках в аналогичных условиях. Тут более открытая конструкция, так что результат по максимальным температурам должен быть лучше.

upd
блок розеток
добавил блок розеток,
продали за 1000р, по соотношению цена/качество самодельные варианты дистрибьюции питания проигрывают такому решению.

Отредактировано пользователем 11 мая 2016 г. 18:59:24(UTC)  | Причина: Не указана

16 ядер CPU+2хGF1080ti
Offline Buzun Sergey  
#13 Оставлено : 7 июня 2016 г. 22:27:13(UTC)
Buzun Sergey


Статус: Интересующийся

Группы: Member
Зарегистрирован: 08.03.2012(UTC)
Сообщений: 91
Мужчина
Откуда: Russia

Сказал «Спасибо»: 18 раз
Поблагодарили: 28 раз в 9 постах
По прошествии месяца приобретен Intel(R) Xeon(R) CPU E5440 @ 2.83GHz и собран безкорпусный компьютер на линукс, который сейчас считает SAT, конструктив шасси пока не создан. Фотки размещу позже.
16 ядер CPU+2хGF1080ti
thanks 2 пользователей поблагодарили Buzun Sergey за этот пост.
AlexA оставлено 08.06.2016(UTC), hoarfrost оставлено 08.06.2016(UTC)
Offline Buzun Sergey  
#14 Оставлено : 4 декабря 2016 г. 20:46:22(UTC)
Buzun Sergey


Статус: Интересующийся

Группы: Member
Зарегистрирован: 08.03.2012(UTC)
Сообщений: 91
Мужчина
Откуда: Russia

Сказал «Спасибо»: 18 раз
Поблагодарили: 28 раз в 9 постах

Планы строительства кластера продвигаются сравнительно медленно, сейчас собрано 3 узла на процессорах intel xeon 5440, которые считают cosmology@home, World Community Grid, PrimeGrid и Rosetta@Home, сейчас в раздумьях, то ли устанавливать платы на самодельном шасси в стойку, то ли устанавливать их в маленькие корпуса промышленного исполнения.
16 ядер CPU+2хGF1080ti
thanks 3 пользователей поблагодарили Buzun Sergey за этот пост.
AlexA оставлено 04.12.2016(UTC), hoarfrost оставлено 04.12.2016(UTC), ReaDy оставлено 05.12.2016(UTC)
Offline Sid  
#15 Оставлено : 4 декабря 2016 г. 22:16:05(UTC)
Sid


Статус: Давно уж тут

Группы: Member
Зарегистрирован: 26.09.2013(UTC)
Сообщений: 496

Сказал(а) «Спасибо»: 13 раз
Поблагодарили: 90 раз в 59 постах
Автор: Buzun Sergey Перейти к цитате

Планы строительства кластера продвигаются сравнительно медленно, сейчас собрано 3 узла на процессорах intel xeon 5440, которые считают cosmology@home, World Community Grid, PrimeGrid и Rosetta@Home, сейчас в раздумьях, то ли устанавливать платы на самодельном шасси в стойку, то ли устанавливать их в маленькие корпуса промышленного исполнения.


А сколько потребляет один узел?
В раздумьях - 771 процы сейчас дешевые, найти под них серверную 2х процовую мать тоже не очень дорого.
Расматривал материнки на авито - заинтересовало, почему память с радиаторами. Оказывается 8 Гб памяти потребляют около 40 ватт.

Тогда может все это только кажется дешевым, если учесть потребление электроэнергии, и выделяемое тепло, которое тоже надо куда то девать?
Offline Buzun Sergey  
#16 Оставлено : 6 декабря 2016 г. 20:15:59(UTC)
Buzun Sergey


Статус: Интересующийся

Группы: Member
Зарегистрирован: 08.03.2012(UTC)
Сообщений: 91
Мужчина
Откуда: Russia

Сказал «Спасибо»: 18 раз
Поблагодарили: 28 раз в 9 постах
Автор: Sid Перейти к цитате

А сколько потребляет один узел?


Померить сейчас нечем, по моим прикидкам около 150-200 Вт (процессор 80Вт, все остальное суммарно столько же).
По энергоэффективности существенный разрыв будет только при использовании многоядерных процессоров I7 и выше. Но за их цену можно несколько лет счета за электричество оплачивать.
16 ядер CPU+2хGF1080ti
Пользователи, просматривающие эту тему
Guest
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

Boinc.ru theme. Boinc.ru
Форум YAF 2.1.1 | YAF © 2003-2018, Yet Another Forum.NET
Страница сгенерирована за 0.266 секунды.