Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

3 Страницы123>
Опции
К последнему сообщению К первому непрочитанному
Offline pazzl  
#1 Оставлено : 1 апреля 2012 г. 18:59:31(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
krasbars тут показал веселый кластер из двух материнок,
меня заинтересовало как соединить несколько машин в кластер,
желательно максимально просто

возможно, есть решение, которое поможет кранчерам собрать топхост?
= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
Offline hoarfrost  
#2 Оставлено : 1 апреля 2012 г. 19:50:24(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,488
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1302 раз
Поблагодарили: 1777 раз в 1113 постах
Кластер из обычных компьютеров обычно называют Beowulf-кластером. Такой из можно создать при помощи ряда Linux-инструметов.
Но, насколько я понимаю, это не поможет. Логику работы BOINC Manager-а - не изменить. Задача лежит в иной плоскости - раздавания запросов на обработку заданий от некоторого центрального хоста - другим.
Поможет саморучно сделанный "BOINC-сервер наоборот" - некий хост, на котором будет развёрнуто ПО, отвечающее на запросы BOINC Manager-ов внутренней сети и указанное для них, как эдакий BOINC-проект. Только вместо самостоятельной генерации заданий, он будет запрашивать их у настоящего сервера проектов, а ответ передавать хосту. Но простая передача вопросов и ответов - не поможет. Её надо дополнительно обрабатывать на промежуточном хосте.
UserPostedImage
Offline bronevik  
#3 Оставлено : 1 апреля 2012 г. 20:18:03(UTC)
bronevik


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@home

Группы: Member
Зарегистрирован: 11.06.2011(UTC)
Сообщений: 1,175
Мужчина
Откуда: Russia Team, Moscow

Сказал «Спасибо»: 159 раз
Поблагодарили: 263 раз в 157 постах
Объясните мне тупому, зачем городить такой огород. 10 компов в рядочек не проще ли поставить?
Мои счастливые числа
1534157809947*2^1290000-1
9889*2^1458018+1

UserPostedImage

Offline MikeVentris  
#4 Оставлено : 1 апреля 2012 г. 20:19:32(UTC)
MikeVentris


Статус: Старожил

Группы: Member
Зарегистрирован: 18.10.2010(UTC)
Сообщений: 512
Мужчина
Откуда: Санкт-Петербург

Сказал «Спасибо»: 79 раз
Поблагодарили: 48 раз в 34 постах
В случае с BOINC действительно проще. Но собрать дома маленький суперкомпьютер - это же так круто smile
Offline pazzl  
#5 Оставлено : 1 апреля 2012 г. 20:26:15(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
а я не понял почему логику boinc нельзя применить на кластере
= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
Offline krasbars  
#6 Оставлено : 1 апреля 2012 г. 20:30:21(UTC)
krasbars


Статус: Старожил

Группы: Editors, Member, Administration, Russia Team Group, Moderators
Зарегистрирован: 14.01.2009(UTC)
Сообщений: 2,728
Мужчина
Российская Федерация
Откуда: Красноярск

Сказал «Спасибо»: 566 раз
Поблагодарили: 486 раз в 356 постах
Автор: pazzl Перейти к цитате
а я не понял почему логику boinc нельзя применить на кластере

Просто потому, что в большинстве BOINC-проектов запускается кол-во однопоточных заданий, равное кол-ву ядер (поскольку эти задания между собой никак не связаны). Смысла в кластере - никакого. Кластер имеет смысл только в случае действительно многопоточных приложений, а так окромя потерь - никакого выигрыша.
i7 2600K@4200MHz + GTX570 (870/1740/3800) + HD5870 (930/4800) + 16Gb DDR III @1600MHz на Win7 x64 SP1 и BOINC x64 7.0.28

Offline pazzl  
#7 Оставлено : 1 апреля 2012 г. 20:33:36(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
ну количество ядер в кластере равно сумме ядер отдельных машин, в чем проблема-то,
топ-хост можно собрать, не?
= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
Offline AlexA  
#8 Оставлено : 1 апреля 2012 г. 20:42:27(UTC)
AlexA


Статус: Administration

Медали: Переводчику: За помощь в создании сайта

Группы: Editors, Member, Administration, Russia Team Group, Moderators
Зарегистрирован: 02.10.2007(UTC)
Сообщений: 6,124
Мужчина
Российская Федерация
Откуда: "Russia Team"

Сказал «Спасибо»: 1253 раз
Поблагодарили: 1538 раз в 846 постах
Автор: MikeVentris Перейти к цитате
В случае с BOINC действительно проще. Но собрать дома маленький суперкомпьютер - это же так круто smile

Двухпроцессорную мамку, в нее 2-3 видюхи, вот и минисуперкомп smile
Offline pazzl  
#9 Оставлено : 1 апреля 2012 г. 20:44:28(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
ну а две однопроцессорные мамки, а в них 4-8 видюх,
холодно и мощно,
я может чего не догоняю?
= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
Offline MikeVentris  
#10 Оставлено : 1 апреля 2012 г. 20:49:30(UTC)
MikeVentris


Статус: Старожил

Группы: Member
Зарегистрирован: 18.10.2010(UTC)
Сообщений: 512
Мужчина
Откуда: Санкт-Петербург

Сказал «Спасибо»: 79 раз
Поблагодарили: 48 раз в 34 постах
Смысла нет из-за того, что сбор кластера - это геморрой. Насколько сильный - зависит от навыков. А конечный профит - нулевой, поскольку боинку без разницы, в одной машине стоят видяшки\камни или в трёх разных.
Offline AlexA  
#11 Оставлено : 1 апреля 2012 г. 20:50:22(UTC)
AlexA


Статус: Administration

Медали: Переводчику: За помощь в создании сайта

Группы: Editors, Member, Administration, Russia Team Group, Moderators
Зарегистрирован: 02.10.2007(UTC)
Сообщений: 6,124
Мужчина
Российская Федерация
Откуда: "Russia Team"

Сказал «Спасибо»: 1253 раз
Поблагодарили: 1538 раз в 846 постах
Автор: pazzl Перейти к цитате
ну а две однопроцессорные мамки, а в них 4-8 видюх,
холодно и мощно,
я может чего не догоняю?

Я так понимаю, что кластер, в отличии от простой кучки машинок в сетке, отличается, в основном ПО, способным считать одну задачу сразу на всех ресурсах. А у нас нет такого ПО. Все считается параллельно, но разное, уже "порезанное". Т.ч. кластер тут как бы и ни к чему.
Или я тоже чего-то не то говорю? Никогда ими не занимался.
Offline pazzl  
#12 Оставлено : 1 апреля 2012 г. 20:54:04(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
вопрос простой: можно собрать кластер-топхост, или нет,
бессмысленность лучше не затрагивать =)
= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
Offline MikeVentris  
#13 Оставлено : 1 апреля 2012 г. 20:55:54(UTC)
MikeVentris


Статус: Старожил

Группы: Member
Зарегистрирован: 18.10.2010(UTC)
Сообщений: 512
Мужчина
Откуда: Санкт-Петербург

Сказал «Спасибо»: 79 раз
Поблагодарили: 48 раз в 34 постах
Автор: pazzl Перейти к цитате
вопрос простой: можно собрать кластер-топхост, или нет,
бессмысленность лучше не затрагивать =)

Если наличие смысла не интересует - то да, можно smile
Offline pazzl  
#14 Оставлено : 1 апреля 2012 г. 20:58:16(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
Цитата:
А у нас нет такого ПО

ну была, к примеру, аква,
или вот есть yafu
= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
Offline MikeVentris  
#15 Оставлено : 1 апреля 2012 г. 21:04:08(UTC)
MikeVentris


Статус: Старожил

Группы: Member
Зарегистрирован: 18.10.2010(UTC)
Сообщений: 512
Мужчина
Откуда: Санкт-Петербург

Сказал «Спасибо»: 79 раз
Поблагодарили: 48 раз в 34 постах
Автор: pazzl Перейти к цитате
Цитата:
А у нас нет такого ПО

ну была, к примеру, аква,
или вот есть yafu

Ещё милка, если считать на CPU, поддерживает многопоточность.
Offline hoarfrost  
#16 Оставлено : 1 апреля 2012 г. 21:08:59(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,488
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1302 раз
Поблагодарили: 1777 раз в 1113 постах
Автор: pazzl Перейти к цитате
а я не понял почему логику boinc нельзя применить на кластере

Её нельзя применить "напрямую". Нельзя потому - что каждый узел кластера - это самостоятельная вычислительная машина, в которой (при обычном подходе) необходимо запускать BOINC Manager, каждый из которых (установленных на узлах) будет сообщать о себе серверу проекта как о самостоятельном хосте.
Чтобы сделать суперхост необходимо, чтобы запрос заданий осуществлялся только одной машиной, а расчёт заданий мог выполняться на других и в обход стандартного фунционала BOINC Manager-а.

Например:
1. Узел A запрашивает задания, все необходимые для расчёта файлы, хранит всю необходимую ему информацию в xml-файлах.
2. При этом, при получении задания, он не начинает вести его расчёт. Вместо этого некая программка должна прочитать информацию о задании из xml-файла и запустить его расчёт на одном из узлов (назовём его B) кластера.
3. После окончания расчёта на узле кластера B, результаты расчёта должны быть скопированы с узла B на узел A, а информация об окончании расчёта - записана в xml-файл.

И всё бы хорошо, но дело в том, что о состоянии заданий BOINC Manager узнаёт, на сколько я понимаю, от boinc.exe, которая в свою очередь, используя определённый программный интерфейс, опрашивает вычислительный модуль о ходе расчётов. Поэтому, видимо, для сокрытия того, что реальные вычисления происходят на узлах кластера, необходима программа - обёртка, которую будет запускать boinc.exe. Но для того, чтобы он её запускал, необходимо, чтобы он знал об этом. А для этого необходим ещё один промежуточный слой - который, по факту и будет принимать задания, затем модифицировать их и отдавать BOINC-у в следующем слое.

P.S. Если в кратце - то можно, но весь функционал клиента BOINC надо будет запрограммировать заново, ориентируясь на раздачу заданий в сетку, а не "городить" описанное выше.
laugh1
UserPostedImage
Offline pazzl  
#17 Оставлено : 1 апреля 2012 г. 21:13:06(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
а если отвлечься от боинка,
допустим, собрали мы кластер на линухе,
поставили на него виртуальную машину и винды,
уверен, есть какие-то ограничения,
сколько, к примеру, семерка, способна увидеть ядер, видях, оперативки,
или кластер это стопудово никсы?

hoarfrost
Цитата:
Чтобы сделать суперхост необходимо, чтобы запрос заданий осуществлялся только одной машиной, а расчёт заданий мог выполняться на других

я так себе представляю, что кластер состоит из нескольких, но действует и программно выглядит как одна машина
= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
Offline MikeVentris  
#18 Оставлено : 1 апреля 2012 г. 21:15:32(UTC)
MikeVentris


Статус: Старожил

Группы: Member
Зарегистрирован: 18.10.2010(UTC)
Сообщений: 512
Мужчина
Откуда: Санкт-Петербург

Сказал «Спасибо»: 79 раз
Поблагодарили: 48 раз в 34 постах
Цитата:
Цитата:
а я не понял почему логику boinc нельзя применить на кластере


Её нельзя применить "напрямую". Нельзя потому - что каждый узел кластера - это самостоятельная вычислительная машина, в которой (при обычном подходе) необходимо запускать BOINC Manager, каждый из которых (установленных на узлах) будет сообщать о себе серверу проекта как о самостоятельном хосте.
Чтобы сделать суперхост необходимо, чтобы запрос заданий осуществлялся только одной машиной, а расчёт заданий мог выполняться на других и в обход стандартного фунционала BOINC Manager-а.

Например:
1. Узел A запрашивает задания, все необходимые для расчёта файлы, хранит всю необходимую ему информацию в xml-файлах.2
2. При этом, при получении задания, он не начинает вести его расчёт. Вместо этого некая программка должна прочитать информацию о задании из xml-файла и запустить его расчёт на одном из узлов (назовём его B) кластера.
3. После окончания расчёта на узле кластера B, результаты расчёта должны быть скопированы с узла B на узел A, а информация об окончании расчёта = записана в xml-файл.

И всё бы хорошо, но дело в том, что о состоянии заданий BOINC Manager узнаёт, на сколько я понимаю, от boinc.exe, которая в свою очередь, используя определённый программный интерфейс, опрашивает вычислительный модуль о ходе расчётов. Поэтому, видимо, для сокрытия того, что реальные вычисления происходят на узлах кластера, необходима программа - обёртка, которую будет запускать boinc.exe. Но для того, чтобы он её запускал, необходимо, чтобы он знал об этом. А для этого необходим ещё один промежуточный слой - который, по факту и будет принимать задания, затем модифицировать их и отдавать BOINC-у в следующем слое.

Зачем всё это? Под unix-ом можно поднять кластер который будет восприниматься как единая машина и число потоков узлов кластера будет восприниматься как число потоков одной единственной машины. Вот и суперхост. Правда тут есть несколько сложностей... ну, а про отсутствие смысла я уже писал.
Offline hoarfrost  
#19 Оставлено : 1 апреля 2012 г. 21:21:02(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,488
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1302 раз
Поблагодарили: 1777 раз в 1113 постах
Автор: pazzl Перейти к цитате
а если отвлечься от боинка,
допустим, собрали мы кластер на линухе,
поставили на него виртуальную машину и винды,
уверен, есть какие-то ограничения,
сколько, к примеру, семерка, способна увидеть ядер, видях, оперативки,
или кластер это стопудово никсы?

Нет, так нельзя. Более того и сам Linux "не увидит" этих ядер вместе.
Любой кластер - это набор независимых вычислительных машин. Степень независимости может быть разной - например число вычислительных узлы, чисто теоретически, могут быть без HDD и загружаться по сети. Но в большинстве случаев, это самые что ни есть "почти обычные" сервера, а то и персональные компьютеры.

ЭВМ, в рамках которых собраны большие вычислительные мощности - например 100 или более ядер, несколько терабайт RAM и т.п. - это так называемые SMP-системы или, "на худой конец" - NUMA-системы. И те и другие - ОЧЕНЬ дорогие. Их использование оправдано только в виде аппаратного обеспечения для больших баз данных.
UserPostedImage
Offline pazzl  
#20 Оставлено : 1 апреля 2012 г. 21:23:17(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
а MikeVentris вот другое говорит, кто не прав?
= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
Пользователи, просматривающие эту тему
Guest
3 Страницы123>
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

Boinc.ru theme. Boinc.ru
Форум YAF 2.1.1 | YAF © 2003-2019, Yet Another Forum.NET
Страница сгенерирована за 0.212 секунды.