Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

3 Страницы<123>
Опции
К последнему сообщению К первому непрочитанному
Offline hoarfrost  
#21 Оставлено : 1 апреля 2012 г. 21:24:12(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,487
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1301 раз
Поблагодарили: 1777 раз в 1113 постах
Автор: MikeVentris Перейти к цитате
Зачем всё это? Под unix-ом можно поднять кластер который будет восприниматься как единая машина и число потоков узлов кластера будет восприниматься как число потоков одной единственной машины. Вот и суперхост. Правда тут есть несколько сложностей... ну, а про отсутствие смысла я уже писал.

А каким образом, если не секрет?
UserPostedImage
Offline MikeVentris  
#22 Оставлено : 1 апреля 2012 г. 21:28:28(UTC)
MikeVentris


Статус: Старожил

Группы: Member
Зарегистрирован: 18.10.2010(UTC)
Сообщений: 512
Мужчина
Откуда: Санкт-Петербург

Сказал «Спасибо»: 79 раз
Поблагодарили: 48 раз в 34 постах
Автор: hoarfrost Перейти к цитате

ЭВМ, в рамках которых собраны большие вычислительные мощности - например 100 или более ядер, несколько терабайт RAM и т.п. - это так называемые SMP-системы или, "на худой конец" - NUMA-системы. И те и другие - ОЧЕНЬ дорогие. Их использование оправдано только в виде аппаратного обеспечения для больших баз данных.

ClusterKnoppix как раз и позволяет создаёт нечто вроде SPM.
thanks 2 пользователей поблагодарили MikeVentris за этот пост.
pazzl оставлено 01.04.2012(UTC), hoarfrost оставлено 01.04.2012(UTC)
Offline pazzl  
#23 Оставлено : 1 апреля 2012 г. 21:34:08(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
я был в гугле 5 секунд
Цитата:
создать вычислительный кластер, просто загрузив несколько машин с CD-диска

респект и уважуха! drinks

10 секунд: полет нормальный
Цитата:
ставишь на головную машину врубаешь в биосе загрузку с сиди, подключаешь остальные компы в них ставишь загрузку по лан и всё.
= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
Offline hoarfrost  
#24 Оставлено : 1 апреля 2012 г. 21:34:37(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,487
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1301 раз
Поблагодарили: 1777 раз в 1113 постах
Автор: MikeVentris Перейти к цитате
Автор: hoarfrost Перейти к цитате

ЭВМ, в рамках которых собраны большие вычислительные мощности - например 100 или более ядер, несколько терабайт RAM и т.п. - это так называемые SMP-системы или, "на худой конец" - NUMA-системы. И те и другие - ОЧЕНЬ дорогие. Их использование оправдано только в виде аппаратного обеспечения для больших баз данных.

ClusterKnoppix как раз и позволяет создаёт нечто вроде SPM.

Но по сути, как я понимаю, ClusterKnoppix это и есть то самое ПО, которое эмулирует наличие ядер, перенося вычисления на другие хосты. Просто оно вынесено в состав загрузчика особой разновидности OS. Узлы кластера как были так и остались самостоятельными машинами. Или у них ещё и адресное пространство памяти становится общим?
UserPostedImage
Offline pazzl  
#25 Оставлено : 1 апреля 2012 г. 21:48:41(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
Цитата:
OpenMosix - расширение ядра Linux, которое наделяет систему весьма необычными свойствами. Несколько компьютеров, соединённых в сеть, работающие под управлением Linux с включенным OpenMosix, автоматически становятся кластером. Один из них, получив задачу, справиться с которой быстро не в состоянии, поделит её на куски и раздаст другим машинам. Вам остаётся лишь пользоваться результатами.

Boo hoo! smile bud
Цитата:
Нужно всего лишь "нарезать" компакт-диск, содержащий ClusterKnoppix, после чего загрузить с него каждую машину (если в BIOS есть поддержка загрузки через сеть, задача ещё более упрощается). Куда девать получившуюся вычислительную мощь - придумайте сами. Взлом криптоключей, поиск внеземных цивилизаций и рендеринг собственных мультфильмов - не самые сумасшедшие идеи.
= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
Offline hoarfrost  
#26 Оставлено : 1 апреля 2012 г. 21:54:35(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,487
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1301 раз
Поблагодарили: 1777 раз в 1113 постах
Автор: pazzl Перейти к цитате
Цитата:
OpenMosix - расширение ядра Linux, которое наделяет систему весьма необычными свойствами. Несколько компьютеров, соединённых в сеть, работающие под управлением Linux с включенным OpenMosix, автоматически становятся кластером. Один из них, получив задачу, справиться с которой быстро не в состоянии, поделит её на куски и раздаст другим машинам. Вам остаётся лишь пользоваться результатами.

Boo hoo! smile bud

Звучит хорошо, но вот как он сделает то самое "..поделит её на куски и раздаст другим машинам."?
Понятно что можно раздать разным хостам расчёт разных заданий BOINC. (Вот для BOINC Superhost - вариант интересный). Но разбить некий единый вычислительный процесс на разные кусочки - нельзя. Для этого сам процесс должен поддерживать некий функционал, позволяющий это делать. Не говоря уже о том, что если вычислительные процессы используют некие общие области памяти и написаны с учётом того, что доступ к ним должен быть доступом к RAM - их расчёт на кластере встанет.

Насколько я понимаю.
smile

P.S. Если бы всё было так просто, то IBM не продавал бы свои мэйнфреймы, а HP - Super Dome I/II. (Хотя, возможно, что от их производства в нынешнем виде он откажется - однако не потому, что их можно заменить кластером).
UserPostedImage
Offline pazzl  
#27 Оставлено : 1 апреля 2012 г. 21:58:48(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
а я не вижу противоречий, особенно в расчетах нескольких задач,
даже на одной машине ядра заняты по-разному,
не знаю, как обстоят дела с шарой памяти,
думается врядли даже самая быстрая сеть заменит северный мост,
но я же не специалист =)
= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
Offline hoarfrost  
#28 Оставлено : 1 апреля 2012 г. 22:06:57(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,487
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1301 раз
Поблагодарили: 1777 раз в 1113 постах
Автор: pazzl Перейти к цитате
а я не вижу противоречий, особенно в расчетах нескольких задач,
даже на одной машине ядра заняты по-разному,
не знаю, как обстоят дела с шарой памяти,
думается врядли даже самая быстрая сеть заменит северный мост,
но я же не специалист =)

"Разбросать" по хостам кластера совершенно независимые расчёты - можно. И тут ClusterKnoppix, быть может, будет хорош. (Хотя пока не попробуешь - не узнаешь). Но как только мы захотим "разбросать" по такому кластеру многопоточный расчёт, с синхронизацией потоков между собой, то вычислительная мощность всего кластера может упасть ниже, чем мощность обычного компьютера.
smile

Т.е. SMP он всё-таки не даст, а BOINC Superhost - может!
bud

P.S. pazzl - если получится - рассказывай! smile
UserPostedImage
Offline pazzl  
#29 Оставлено : 1 апреля 2012 г. 22:20:55(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
хехе, мне и попробовать не на чем,
тема начата идеей, на уровне идей и продолжается =)
Цитата:
Процессорная шина и канал доступа к оперативной памяти - уникальны. Определяются классом процессора и типом памяти.

т.е в многопоточных приложениях кластер не будет быстрее самого медленного звена,
но это должно быть применимо и к другим разношерстным кластерам 8)
= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
Offline hoarfrost  
#30 Оставлено : 1 апреля 2012 г. 22:50:04(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,487
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1301 раз
Поблагодарили: 1777 раз в 1113 постах
Автор: pazzl Перейти к цитате
Цитата:
Процессорная шина и канал доступа к оперативной памяти - уникальны. Определяются классом процессора и типом памяти.

т.е в многопоточных приложениях кластер не будет быстрее самого медленного звена,
но это должно быть применимо и к другим разношерстным кластерам 8)

А вот это зависит от интенсивности взаимодействия. Он может как потерять относительно немного от пиковой мощности, так и стать в N раз медленнее самого медленного узла.

P.S. В любом случае - самый надёжный варианта - брать исходники BOINC Manager-а и делать код суперхоста.
UserPostedImage
Offline pazzl  
#31 Оставлено : 2 апреля 2012 г. 6:56:16(UTC)
pazzl


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 29.05.2010(UTC)
Сообщений: 4,198
Откуда: новая москва

Сказал(а) «Спасибо»: 783 раз
Поблагодарили: 453 раз в 340 постах
не "в любом случае", а "применительно к боинк" wink
но все же кластер более универсален

нашел еще один дистрибутив
http://cluster.linux-ekb.info/QuickStart1.php

Отредактировано пользователем 2 апреля 2012 г. 7:50:54(UTC)  | Причина: Не указана

= работаю укладчиком парашютов, на мою работу еще никто не жаловался =
thanks 1 пользователь поблагодарил pazzl за этот пост.
hoarfrost оставлено 02.04.2012(UTC)
Offline hoarfrost  
#32 Оставлено : 2 апреля 2012 г. 20:21:27(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,487
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1301 раз
Поблагодарили: 1777 раз в 1113 постах
Автор: pazzl Перейти к цитате
нашел еще один дистрибутив
http://cluster.linux-ekb.info/QuickStart1.php

А вообще было бы интересно попробовать. Парочку недорогих плат, FX 8120 на номинале или небольшом разгоне, пара недорогих блоков питания, 4 x 4 Gb RAM, два кулера... и всё! HDD - не нужны, монитор, клавиатура и мышь - одни на все через KVM-переключатель. Один узел может уложиться в 10-12 тысяч.
UserPostedImage
Offline insun  
#33 Оставлено : 7 декабря 2012 г. 6:20:18(UTC)
insun


Статус: Новичок

Группы: Member
Зарегистрирован: 07.12.2012(UTC)
Сообщений: 1
Российская Федерация

Автор: pazzl Перейти к цитате
[b]
меня заинтересовало как соединить несколько машин в кластер,
желательно максимально просто


глянь сюда - оно, нет?
Вроде доходчиво написано.
Offline hoarfrost  
#34 Оставлено : 7 декабря 2012 г. 6:59:06(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,487
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1301 раз
Поблагодарили: 1777 раз в 1113 постах
Автор: insun Перейти к цитате
глянь сюда - оно, нет?
Вроде доходчиво написано.

Осталось подружить BOINC с MPI и всё будет хорошо. smile

UserPostedImage
Offline Lavoler  
#35 Оставлено : 9 декабря 2012 г. 10:47:34(UTC)
Lavoler


Статус: Я тут не впервой

Медали: Первооткрывателю: Результат в проекте SAT@home

Группы: Member, Russia Team Group
Зарегистрирован: 23.05.2011(UTC)
Сообщений: 44
Мужчина
Откуда: Russia

Сказал «Спасибо»: 48 раз
Поблагодарили: 7 раз в 6 постах
Цитата:

глянь сюда - оно, нет?
Вроде доходчиво написано.


Нда, в 2000 году у меня диплом был на тему решения уравнения теплопроводности на кластере.
Как тесен мир.
Был Fortan+MPI + Windows NT + Celeron +512 МБ и целых 12 машин (весь компьютерный класс).
Приходилось гонять любителей Quake 3. Чтобы не занимали компы и не портили статистику. smile

Подружить BOINC и MPI не проблема. Проблема в самом слабом звене такого кластера в людях.
Требования более жесткие для такого BOINC+MPI узла. Постоянный online и гарантировано выделение процессора.
Тут одна паршивая овца всё стадо попортит.
Так что суперкомпьютеры жили и будут жить дальше.
Offline hoarfrost  
#36 Оставлено : 9 декабря 2012 г. 12:53:36(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,487
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1301 раз
Поблагодарили: 1777 раз в 1113 постах
Автор: Lavoler Перейти к цитате
Подружить BOINC и MPI не проблема. Проблема в самом слабом звене такого кластера в людях.
Требования более жесткие для такого BOINC+MPI узла. Постоянный online и гарантировано выделение процессора.

Почему более жёсткие? Если я понимаю правильно, то MPI-задача должна будет просто вызывать и останавливать BOINC по мере необходимости и всё.
Другое дело, что это в принципе неверно и BOINC надо ставить на узлы "напрямую" чтобы он использовал простаивающие ресурсы.
UserPostedImage
Offline Lavoler  
#37 Оставлено : 10 декабря 2012 г. 20:31:30(UTC)
Lavoler


Статус: Я тут не впервой

Медали: Первооткрывателю: Результат в проекте SAT@home

Группы: Member, Russia Team Group
Зарегистрирован: 23.05.2011(UTC)
Сообщений: 44
Мужчина
Откуда: Russia

Сказал «Спасибо»: 48 раз
Поблагодарили: 7 раз в 6 постах
Не понял я совершенно о чём вы говорите.
Попробую описать работу MPI приложения и BOINC.

1. Есть одна Большая Задача и 1000 клиентских машин (MPI узлов) заявивших о готовности её посчитать.
2. Начальные Данные Большой Задачи нарезаются на 1000 неравных частей (в зависимости от производительности каждого узла) и отсылаются BOINC клиентам.
3. BOINC клиент принимает начальные данные для N-го узла и запускает MPI-приложение. Всё теперь BOINC клиент своё дело сделал и теперь ждёт завершение работы MPI приложения.
4. MPI приложение посчитав 1-ю итерацию отсылает данные для N-1 и N+1 узла необходимые для расчета 2-й итерации(напрямую посылает на IP-адреса узлов переданные при начальной загрузке данных). Ну и соответственно ждёт от этих узлов аналогичные данные.
5. Получив данные от соседних узлов считает 2 итерацию и так далее до, например, 10000-ой итерации.
6. Посчитав последнюю 10000-ую итерацию MPI приложение завершает работу.
7. BOINC клиент посылает на сервер итоги работы MPI узла.
8. Сервер собирает из всех результатов Решение Большой Задачи.
9. Вот и получили суперкомп. smile
Текущий BOINC можно даже вообще не менять при таком подходе, вся MPI кухня у MPI приложения. (Можно даже и начальные данные получать не через BOINC)
А вот теперь ложка дёгтя.
Если например на 9999-ой итерации один MPI узел отключился, то все остальные останавливаю расчеты и курят в ожидании данных. Нет данных. Всё финиш. Все результаты на помойку. Начинаем заново.
И это хорошо если например на 10000 итераций нужно 2-3 часа времени работы CPU. А если задача глобальная и итерация 1000000. То шанс провести расчёт до конца стремится к 0.

Отсюда и жесткие условия работы узла:
1. Постоянный онлайн
2. Высокий приоритет MPI задачи и желательно быстрый интернет.

Offline hoarfrost  
#38 Оставлено : 10 декабря 2012 г. 22:42:47(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,487
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1301 раз
Поблагодарили: 1777 раз в 1113 постах
Да, вы поняли совсем не то, что я имел ввиду.
Приложение BOINC создаётся разработчиками проекта и рассылается всем в зависимости от платформы.
Его, конечно можно менять на своей стороне при помощи app_info.xml, но зачем всё это делать, если можно сделать проще и эффективнее:

Вариант I. Самый простой:
1. Устанавливаем BOINC на каждом узле (как вариант - на общем хранилище, но в своём каталоге для каждого из узлов);
2. Каждый экземпляр BOINC запускается на своём узле как на обычном хосте, получает задания от сервера проекта, обрабатывает их и отправляет.

Плюсы - никаких накладных расходов на распараллеливание, не надо ничего делать с приложением, вышло новое приложение - сразу считается. "Просто как топор", "Дёшево и сердито".

Вариант II. Более сложный и непонятно для чего кроме как поддержания любви к MPI нужный:
1. Устанавливаем BOINC на каждом узле (как вариант - на общем хранилище, но в своём каталоге для каждого из узлов);
2. Создаём MPI-приложение как обёртку, которая на самом деле при своём вызове вызывает BOINC, а при завершении работы - его останавливает.

Но зачем даже Вариант II, когда всё великолепно будет работать в самом что ни есть простом и стандартном первом?
UserPostedImage
Offline Peter Gavrik  
#39 Оставлено : 11 декабря 2012 г. 15:58:37(UTC)
Peter Gavrik


Статус: Интересующийся

Группы: Member
Зарегистрирован: 26.02.2012(UTC)
Сообщений: 71
Мужчина
Российская Федерация
Откуда: Черняховск

Сказал «Спасибо»: 9 раз
Поблагодарили: 4 раз в 4 постах
Ну-ка, ну-ка, Господа кла(у)стеролюбители! Распараллельте задачу для ГПУ на ваших виртуальных кластерах!!!199
Хотя, не надо так далеко - сначала постройте реальный кластер на основе комбинаций систем с 32 и 64 bit архитектурами.Applause

Отредактировано пользователем 11 декабря 2012 г. 16:21:18(UTC)  | Причина: Не указана

И сказал Бог: да будет свет. И стал свет.
И увидел Бог свет, что он хорош;
и отделил Бог свет от тьмы.
Бытие (1:3-4)
Offline SerVal  
#40 Оставлено : 11 декабря 2012 г. 17:18:42(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,140
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 333 раз
Поблагодарили: 553 раз в 381 постах
Parallella — проект по созданию модуля параллельных вычислений «для всех»

Проект «Parallella: A Supercomputer For Everyone» предполагает создание интегрированной системы с 16 процессорными ядрами, с суммарной тактовой частотой 13 ГГц и производительностью в 26 гигафлопсов. И всё это за 99 долларов.
Также планируется выпускать 64-ядерную систему тактовой частотой 45 ГГц и производительностью 90 гигафлопсов.
Такая разработка будет стоить 199 долларов.

Для сравнения: производительность одного процессора Intel Core i7-975 XE 3,33 ГГц (2009 года выпуска) — 53,328 гигафлопса.
http://blogs.computerra.ru/41042
*********
А если говорить о домашних условиях, то определяющим фактором будет энергопотребление.
Больше 500 Ватт для домашнего кластера уже много. Если в качестве процессора взять Cortex-A9 ~ 1 Ватт,
то у нашего кластера будет около 400 процессоров(узлов).

А у Radeon 5870 - 1700 процессоров. Правда, программировать трудно. Зато уже сейчас. smile
И потребляет он в 2 раза меньше. Поэтому, не совсем понятно, зачем дома кластер с заведомо меньшей производительностью.

Отредактировано пользователем 11 декабря 2012 г. 17:33:55(UTC)  | Причина: Не указана

Пользователи, просматривающие эту тему
Guest (2)
3 Страницы<123>
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

Boinc.ru theme. Boinc.ru
Форум YAF 2.1.1 | YAF © 2003-2019, Yet Another Forum.NET
Страница сгенерирована за 0.239 секунды.