Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

4 Страницы«<234
Опции
К последнему сообщению К первому непрочитанному
Offline SerVal  
#61 Оставлено : 22 февраля 2013 г. 17:15:44(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,061
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 269 раз
Поблагодарили: 516 раз в 358 постах
zlodeck написал:
Все-таки, SerVal или evatutin ответьте, пожалуйста: что мешает сделать схему валидации, реализованную в большинстве боинк-проектов ?

Потому как неизвестно, как оно там сделано.

zlodeck написал:
минимальный кворум: 2
начальная репликация: 2
макс. # ошибок/всего/успешных заданий: 15, 15, 5

У Герасима есть только макс. # ошибок на задание - по умолчанию = 10

Всего и успешных заданий у него не имеется. А что такое начальная репликация
он и представления не имеет.
Поэтому побитовый валидатор тут вовсе не причём. Эти "15, 15, 5" должны быть изначально заложены в сервер(определены как переменные) и проходить по всему циклу жизни задания, начиная от выдачи. (потом первичный валидатор, вторичный-побитовый и ассимилятор).

* то есть, переделывать надо весь сервер.

zlodeck написал:
Версия используемого боинк-сервера..

Как уже написал AlexA, боинк-сервера в наличии не имеется.
Есть герасим-сервер, который взаимодействует с Боинк Менеджером.
Offline zlodeck  
#62 Оставлено : 22 февраля 2013 г. 18:26:25(UTC)
zlodeck


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 03.06.2012(UTC)
Сообщений: 128
Откуда: Замкадье

Сказал(а) «Спасибо»: 14 раз
Поблагодарили: 51 раз в 26 постах
SerVal

Сейчас ломать сервер смысла нет.


Про побитовый валидатор.

Он действительно сравнивает контент файлов? Или в клиент-модуле генерится хеш контента, записывается куда-нибудь в конец файла, а валидатор сравнивает только хеши?

Вообще про входной контроль (в частности, по NaN) - это немного для другого случая.


Да, а что там со статистикой по отвергнутым юнитам? У Вас же сервер, Вам карты в руки!
Offline SerVal  
#63 Оставлено : 22 февраля 2013 г. 19:13:00(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,061
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 269 раз
Поблагодарили: 516 раз в 358 постах
Автор: zlodeck Перейти к цитате

Про побитовый валидатор.
Он действительно сравнивает контент файлов? Или в клиент-модуле генерится хеш контента, записывается куда-нибудь в конец файла, а валидатор сравнивает только хеши?

Побитовый валидатор сравнивает хэши MD5.
MD5-хэш присылает Боинк Менеджер при передаче результата на сервер. Герасим вычисляет свой MD5-хэш, и если он совпадает с присланным Боинк Менеджером, то записывает результат в базу. Потом эти хэши и сравнивает побитовый валидатор.
Offline Шмяка  
#64 Оставлено : 22 февраля 2013 г. 21:51:59(UTC)
Шмяка


Статус: Старожил

Медали: Роза: Девчатам от доброго сердца

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2012(UTC)
Сообщений: 1,862
Женщина
Российская Федерация
Откуда: Везде, куда ни занесет

Сказала «Спасибо»: 841 раз
Поблагодарили: 437 раз в 237 постах
СКАЖУ-КА Я!!!

Автор: processing-home Перейти к цитате
Я смотрю обсуждение Герасима - "Проверка на кворум" плавно перешло на обсуждение личности processing-home.


Для сравнения - обсужу-ка сейчас Я САМА личность SerVal-a. Подборкой цитат следующих:
1.
Цитата:
...ВЕСЬ ЭТОТ ПРОЕКТ ДЕЛАЕТСЯ B СВОБОДНОЕ ОТ ОСНОВНОЙ РАБОТЫ ВРЕМЯ...

2.
Цитата:
...на общественных, можно сказать, началах...

3.
Цитата:
...Серверная часть самостоятельная, Сергеем сделанная...

4.
Цитата:
Я вот может чего-то не понимаю? Кажется максимально четкий ответ был дан:

Цитата:
В среднем за день в научную базу попадают 5832 задания.
Значит при кворуме=2 сравниваются 5832*2 заданий. Одно или два задания в день бывают с ошибкой.

Аналитическая программа calc.exe позволяет посчитать порядок того, что предлагается оптимизировать: 2/5832 = 0.034%

Если бы у меня в пределах досягаемости какой-нибудь разработчик задумался о трате своего рабочего времени на фикс торможения 0.034% - был бы публично и максимально жестоко казнен.

Оценка риска выхода из строя расчетного узла должна быть сделана минимум с ее вероятностью и стоимостью ошибки? Кто осилит? Больше ли получится риск, чем потеря рабочей БД? Затопление серверной? И кстати, как поможет схема "15, 15, 5" против поломатых хостов? По-моему никак.

5.
Цитата:
...написан единственный в своём роде BOINC-сервер для винды...


Хватит или ещё примеров привести "у кого толще и длиннее"???
◕‿‿◕ Мяяяяяу!!! ◕‿‿◕ godville.net/gods/Шмяка ◕‿‿◕ MIUKA.mybrute.com ◕‿‿◕

UserPostedImage

Offline zlodeck  
#65 Оставлено : 22 февраля 2013 г. 22:38:38(UTC)
zlodeck


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 03.06.2012(UTC)
Сообщений: 128
Откуда: Замкадье

Сказал(а) «Спасибо»: 14 раз
Поблагодарили: 51 раз в 26 постах
La belle mademoiselle, Вы неподражаемы!

Последней фразой мы все убиты. Наповал.
thanks 1 пользователь поблагодарил zlodeck за этот пост.
Шмяка оставлено 22.02.2013(UTC)
Offline zlodeck  
#66 Оставлено : 23 февраля 2013 г. 2:26:19(UTC)
zlodeck


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 03.06.2012(UTC)
Сообщений: 128
Откуда: Замкадье

Сказал(а) «Спасибо»: 14 раз
Поблагодарили: 51 раз в 26 постах
SerVal

Прошу простить великодушно, но я туповат и ленив.
Надо было почитать топик с самого начала, многое прояснилось бы и без вопросов.

Первым делом хотелось спросить про СУБД.
Вижу - MS SQL Server 2008.
Стало быть - реляционная БД. Зер гут.
Судя по размеру - результаты хранятся прямо в ней в виде имиджей. Так?

Черт, надо читать документацию к боинк-серверу. Очень не хочется.
Или качать исходники и собирать.
Но у вас все равно сервак нестандартный, так что неизвестно еще, будет ли с этого толк.

В общем, насколько я понимаю, должно быть две связанных рабочих таблицы - воркюнитов и результатов.
Чтобы попробовать реализовать стандартную схему

1. не хватает полей с дополнительными счетчиками типа "TotalCount" и "SuccessCount" (в дополнение к "ErrorCount" ) в таблице воркюнитов. Добавить - это не проблема, но нужно еще чтобы их кто-то заполнял и мониторил. Менять их должен шедулер и оба валидатора, проверять - наверное, только шедулер.

2. не хватает дополнительных значений статуса в поле "ValidateStatus" в таблице резалтов. Должно быть, наверное, 7: "В работе", "Завершен, ожидание", "Ошибка", "Дедлайн", "Правильный", "Неправильный", "Несовпадение результатов". Сейчас, насколько понимаю, их только 5 (или даже 4 - с дедлайном не знаю как). Статус "Ошибка" или "Завершен, ожидание" устанавливается валидатором первого уровня. Статусы "Правильный", "Неправильный" и "Несовпадение результатов" - валидатором второго уровня. "В работе" и "Дедлайн" - это, наверное, шедулер.

3. для статуса "Несовпадение результатов" валидатор второго уровня должен разрешать дальнейшую раздачу воркюнита. А шедулер по запросу клиента - проверять значение новых счетчиков (если исчерпаны попытки - как-то помечать все резалты, как неправильные и начинать раздачу вушки заново). Мне не очень понятно, в чем здесь проблема: ведь если валидатор первого уровня нашел ошибку вычислений (ненулевой exit code), то раздача вушки возобновляется, значит праймари-валидатор как-то это разрешает. Почему то же самое не может делать битвайз?



Пардон за дилетантский подход. Но чтобы говорить более предметно нужно хотя бы понять структуру БД и серверной части.
Насколько она отличается от стандартной.

Ну, и если считаете, что написавшему данный бред коню в пальто нужно учить матчасть, то так прямо и скажите.
Я толстокожий, меня не сплющит. smile


О-ё, чуть не забыл...

drinks bud drinks Мужики, с праздником !!! drinks bud drinks
Offline SerVal  
#67 Оставлено : 23 февраля 2013 г. 3:53:22(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,061
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 269 раз
Поблагодарили: 516 раз в 358 постах
2 zlodeck:
Вы написали примерно правильно. Однако ж переделывать сервер надо с самого начала.
Даже не с раздачи заданий, а с генератора ВУ-шек и добавления их в базу.

Однако есть и ещё один момент:
Scheduler, UploadServer, DownloadServer, Vilidator, BitwiseValidator и Assimilator - асинхронные подпрограммы.
Поэтому, каждая из них может менять только "свои" переменные в таблице ВУ-шек и заданий. И состояние ВУ-шки и Задания определяется этим набором. Введение дополнительных переменных(полей базы) требует тщательного анализа логики и жизненного цикла ВУ-шки и её Заданий. А это уже не очень просто. sad

Ко всему прочему - клиенты часто выгружают результаты и сообщают о выполненных заданиях для ВУ-шек которых давно нет на сервере. Ну включил товарищ компик месяца через 2-3... Боинк Менеджер выпихивает результаты и радостно сообщает о посчитанных заданиях.. smile
Offline processing-home  
#68 Оставлено : 23 февраля 2013 г. 10:07:41(UTC)
processing-home


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 09.07.2011(UTC)
Сообщений: 217
Откуда: Kamenka(penz.obl)

Сказал(а) «Спасибо»: 61 раз
Поблагодарили: 56 раз в 35 постах
Поздравляю кранчеров с праздником ! Мужики !!!... но пасаран !
SerVal
Ну так и сказали-бы , что облажались с самого начала. (А теперяче цельный сервер переделывать надоть) Что тут такого-то ? Сам Энштейн ошибался и публично извинялся потом. Любой человек может тупануть. Но надо иметь смелость признать это.
Да , у вас не было опыта. Вы не знали "что и как". Но вы самостоятельно сделали свой сервер для проекта РВ. А это достойно уважения ! Снимаю шляпу...

Автор: Шмяка Перейти к цитате
СКАЖУ-КА Я!!!
...
Хватит или ещё примеров привести "у кого толще и длиннее"???

Некоторые умиляются, когда слышат матерную брань из уст ребенка. Некоторые приходят в возбуждение, когда слышат рассуждения о размерах из уст неопытной девушки. Я не отношусь ни к тем, ни к другим. Я считаю - неопытная целомудренная девушка должна стеснятся подобных речевых оборотов. Девушкам приличествует краснеть и смущаться, а не демонстрировать "развязность". Слушайте классическую музыку, а не рэп. Читайте умные книги, а не похабные анекдоты. Может тогда вы поймете народную мудрость : Сколько волка не корми, а у слона все равно толще !Present
Со всем уважением ...


Offline zlodeck  
#69 Оставлено : 23 февраля 2013 г. 11:52:57(UTC)
zlodeck


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 03.06.2012(UTC)
Сообщений: 128
Откуда: Замкадье

Сказал(а) «Спасибо»: 14 раз
Поблагодарили: 51 раз в 26 постах
processing-home

Да никто не облажался!
Такая схема изначально и была сделана в боинке.
Это уже потом (если не ошибаюсь, после 2007 года) ее модифицировали.




SerVal

Цитата:

Вы написали примерно правильно.

Я горд, как индюк! ЧСВ возросло безмерно!! Dancing
К сожалению, у меня почему-то есть уверенность, что Вы и сами все это знаете.
И можете модифицировать. Без всяких "умников" (типа меня).
Просто нужно время и желание. А времени-то, наверное, уж точно нет.

Вот еще какая мысль.
В текущей конфигурации количество заданий без ошибки не может быть больше кворума.
А чтобы иметь возможность (при несовпадении результатов) считать дополнительные вушки, количество успешных заданий должно быть больше кворума. Но если нет счетчиков TotalCount и SuccessCount, то этот процесс (теоретически) может идти до бесконечности. Что недопустимо.

Offline tanos  
#70 Оставлено : 23 февраля 2013 г. 15:55:05(UTC)
tanos


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@homeМощь и напор: За сильное персональное выступление в соревновании. Донор: За финансовую помощь сайту

Группы: Member
Зарегистрирован: 08.10.2012(UTC)
Сообщений: 1,481
Мужчина
Откуда: Astronomy.Ru Forum

Сказал «Спасибо»: 562 раз
Поблагодарили: 650 раз в 392 постах
Автор: processing-home Перейти к цитате


Автор: Шмяка Перейти к цитате
СКАЖУ-КА Я!!!
...
Хватит или ещё примеров привести "у кого толще и длиннее"???

Некоторые умиляются, когда слышат матерную брань из уст ребенка. Некоторые приходят в возбуждение, когда слышат рассуждения о размерах из уст неопытной девушки. Я не отношусь ни к тем, ни к другим. Я считаю - неопытная целомудренная девушка должна стеснятся подобных речевых оборотов. Девушкам приличествует краснеть и смущаться, а не демонстрировать "развязность". Слушайте классическую музыку, а не рэп. Читайте умные книги, а не похабные анекдоты. Может тогда вы поймете народную мудрость : Сколько волка не корми, а у слона все равно толще !Present



Позвольте спросить, а чем Ваша народная мудрость навеяна: чтением книг и прослушиванием классической музыки? И вообще старайтесь придерживаться пословицы "Если женщина не права - попроси у нее прощение...".
Может уберете менторский тон в своих постах и народ к Вам потянется. smile Со всем уважением...

Отредактировано пользователем 23 февраля 2013 г. 22:38:10(UTC)  | Причина: Не указана


команда Astronomy.Ru Forum - http://vk.com/club53333580
thanks 2 пользователей поблагодарили tanos за этот пост.
Шмяка оставлено 23.02.2013(UTC), AlexA оставлено 23.02.2013(UTC)
Offline Freddykrug  
#71 Оставлено : 23 февраля 2013 г. 22:27:07(UTC)
Freddykrug


Статус: Старожил

Группы: Member, Модератор Astronomy.Ru Forum
Зарегистрирован: 30.05.2010(UTC)
Сообщений: 2,842
Мужчина
Российская Федерация
Откуда: г. Томск

Сказал «Спасибо»: 724 раз
Поблагодарили: 486 раз в 308 постах
Автор: tanos Перейти к цитате
И вообще старайтесь придерживаться пословицы "Если женщина не права - попроси у нее прощение...".
?

3 Gb Radeon 7950, i-5 2400, 16 Gb ОЗУ Astronomy.Ru Forum

Offline tanos  
#72 Оставлено : 23 февраля 2013 г. 22:32:00(UTC)
tanos


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@homeМощь и напор: За сильное персональное выступление в соревновании. Донор: За финансовую помощь сайту

Группы: Member
Зарегистрирован: 08.10.2012(UTC)
Сообщений: 1,481
Мужчина
Откуда: Astronomy.Ru Forum

Сказал «Спасибо»: 562 раз
Поблагодарили: 650 раз в 392 постах
Автор: Freddykrug Перейти к цитате
Автор: tanos Перейти к цитате
И вообще старайтесь придерживаться пословицы "Если женщина не права - попроси у нее прощение...".
?



Freddykrug, а что ?. smile Тут вроде всё ясно, чтобы объяснять. Многим не нравяться когда женщины и дети нецензурно выражаются, мне например не нравятся курящие женщины. Но это не повод устраивать публичную выволочку. Отсюда и выражение. Тем более, что девушка на сайте единственная 199 Present.

Отредактировано пользователем 24 февраля 2013 г. 8:55:58(UTC)  | Причина: Не указана


команда Astronomy.Ru Forum - http://vk.com/club53333580
Offline Freddykrug  
#73 Оставлено : 24 февраля 2013 г. 10:16:37(UTC)
Freddykrug


Статус: Старожил

Группы: Member, Модератор Astronomy.Ru Forum
Зарегистрирован: 30.05.2010(UTC)
Сообщений: 2,842
Мужчина
Российская Федерация
Откуда: г. Томск

Сказал «Спасибо»: 724 раз
Поблагодарили: 486 раз в 308 постах
Я просто не понимаю выражения "Если женщина не права - попроси у нее прощение...". Но прекрасно знаю, что женщина будет настаивать на своём, пока на неё не махнут рукой.
Цитата:
Тем более, что девушка на сайте единственная
Была еще одна, кажется, Бетельгейзе, но что-то давно постов её не читал.
3 Gb Radeon 7950, i-5 2400, 16 Gb ОЗУ Astronomy.Ru Forum

Offline Betelgeuse  
#74 Оставлено : 24 февраля 2013 г. 12:42:45(UTC)
Betelgeuse


Статус: Интересующийся

Группы: Member
Зарегистрирован: 18.07.2010(UTC)
Сообщений: 82
Женщина
Откуда: Нижний Новгород

Сказала «Спасибо»: 54 раз
Поблагодарили: 40 раз в 16 постах
Я тут. Просто молчу...
Offline TechnoID  
#75 Оставлено : 24 февраля 2013 г. 14:10:20(UTC)
TechnoID


Статус: Давно уж тут

Группы: Member, Crystal Dream Group
Зарегистрирован: 13.01.2011(UTC)
Сообщений: 488
Мужчина
Откуда: Хабаровский край

Сказал «Спасибо»: 44 раз
Поблагодарили: 122 раз в 74 постах
Автор: tanos Перейти к цитате

Может уберете менторский тон в своих постах и народ к Вам потянется.


+1!
UserPostedImage
thanks 1 пользователь поблагодарил TechnoID за этот пост.
Шмяка оставлено 24.02.2013(UTC)
Offline AlexA  
#76 Оставлено : 24 февраля 2013 г. 14:24:30(UTC)
AlexA


Статус: Administration

Медали: Переводчику: За помощь в создании сайта

Группы: Editors, Member, Administration, Russia Team Group, Moderators
Зарегистрирован: 02.10.2007(UTC)
Сообщений: 6,058
Мужчина
Российская Федерация
Откуда: "Russia Team"

Сказал «Спасибо»: 1170 раз
Поблагодарили: 1489 раз в 822 постах
Автор: Betelgeuse Перейти к цитате
Я тут. Просто молчу...

Ура !!!, Пусть и молча. но она с нами !!!


Offline Deberian  
#77 Оставлено : 24 февраля 2013 г. 16:51:18(UTC)
Deberian


Статус: Старожил

Медали: Переводчику: За помощь в развитии сайтаДонор: За финансовую помощь сайту

Группы: Member, Crystal Dream Group
Зарегистрирован: 04.01.2011(UTC)
Сообщений: 1,111
Откуда: Ростов-на-Дону

Сказал(а) «Спасибо»: 163 раз
Поблагодарили: 90 раз в 74 постах
Автор: Betelgeuse Перейти к цитате
Я тут. Просто молчу...


О, сударыня, моё почтение )
Боец невидимого фронта ::::: Deberian
Нажми на кнопку - получишь результат !Reset>>>
Offline Betelgeuse  
#78 Оставлено : 24 февраля 2013 г. 17:02:27(UTC)
Betelgeuse


Статус: Интересующийся

Группы: Member
Зарегистрирован: 18.07.2010(UTC)
Сообщений: 82
Женщина
Откуда: Нижний Новгород

Сказала «Спасибо»: 54 раз
Поблагодарили: 40 раз в 16 постах
Автор: Deberian Перейти к цитате


О, сударыня, моё почтение )

Здравствуйте, здравствуйте hi

Автор: AlexA Перейти к цитате

Ура !!!, Пусть и молча. но она с нами !!!




Ну, куда ж я без вас)))

Пользователи, просматривающие эту тему
Guest (4)
4 Страницы«<234
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

Boinc.ru theme. Boinc.ru
Форум YAF 2.1.1 | YAF © 2003-2017, Yet Another Forum.NET
Страница сгенерирована за 0.263 секунды.