Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

4 Страницы123>»
Опции
К последнему сообщению К первому непрочитанному
Offline SerVal  
#1 Оставлено : 29 июля 2011 г. 21:54:56(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
Проверка на кворум мне совсем не нравится. По-моему,слишком много результатов не проходят проверку. sad
(хотя тут лучше перебдеть, чем недобдеть).

<bitwise_validator>
<wu_with_quorum>789</wu_with_quorum>
<quorum_success>673</quorum_success>
<quorum_failed>116</quorum_failed>
<start_time>25 Jul 2011 20:3:0</start_time>
<end_time>25 Jul 2011 20:4:18</end_time>
<exec_time>1 minutes, 18 seconds</exec_time>
</bitwise_validator>


Как видите, из 789 посчитанных ВУ - 116 не прошли проверку.redface
Поэтому, хотя за послендние 2-3 дня вычислительная мощность проекта возрасла, число результатов, попадающих в научную базу почти не увеличилось:
http://gerasim.boinc.ru/StatsPage/Assimilator.aspx sad
******************************
Напомню, что сначала результаты проходят простой валидатор -Validator.
Он проверяет не просрочено ли задание, код ошибки выполненного задания,
и наличие бинарной части в присланном результате.

Прошедшие простой валидатор ждут проверки на кворум - BitwiseValidator.
BitwiseValidator сравнивает бинарные части 3-х результатов(при кворуме=3).
Ежели всё Ок - он назначает кредиты, всем посчитавшим ВУ и помечает, воркъюнит,
как готовый к добавлению в научную базу.

Ассимилятор копирует Воркъюнит в научную базу и помечает, что воркъюнт и его результаты можно удалить.
Файл-делетер(File Deleter) сразу не удаляет, а держит Воркъюнит и его результаты в рабочей базе ещё 10 дней, чтобы народ мог на них посмотреть.

Note: Seti@Home держит посчитанные ВУ и результаты в рабочей базе 1 день.
******************************

Сейчам BitwiseValidator пишет в лог только при наличие ошибок. И не видно обшего процента ошибок.
В ближайшее время я добавлю график работы BitwiseValidator-а и посмотрим на ошибки кворума.
Боюсь график не порадует.

И валидатор и битвайз валидатор я неоднократно переделывал и проверял.
Но, кто его знает.. вдруг первый валидатор пропускает плохие результаты для последующего сравнения на кворум ?

Сейчас все наборы WU добавляются с кворумом=3.
Разумеется, для повышения эффективности расчётов, нам бы хотелось уменьшить избыточность.
По окончании расчётов текущего набора, мы добавим и наборы с избыточностью = 2.
То есть, часть заданий будет считаться с кворумом =3, часть заданий - с кворумом =2.
****
Ещё раз хочу поблагодарить всех оказывающих поддержку проекту. Present

Отредактировано пользователем 29 июля 2011 г. 23:18:19(UTC)  | Причина: Не указана

Offline hoarfrost  
#2 Оставлено : 30 июля 2011 г. 9:21:12(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,100
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1131 раз
Поблагодарили: 1545 раз в 989 постах
Автор: SerVal Перейти к цитате
Проверка на кворум мне совсем не нравится. По-моему,слишком много результатов не проходят проверку. sad
(хотя тут лучше перебдеть, чем недобдеть).

<bitwise_validator>
<wu_with_quorum>789</wu_with_quorum>
<quorum_success>673</quorum_success>
<quorum_failed>116</quorum_failed>
<start_time>25 Jul 2011 20:3:0</start_time>
<end_time>25 Jul 2011 20:4:18</end_time>
<exec_time>1 minutes, 18 seconds</exec_time>
</bitwise_validator>


Как видите, из 789 посчитанных ВУ - 116 не прошли проверку.redface
Поэтому, хотя за послендние 2-3 дня вычислительная мощность проекта возрасла, число результатов, попадающих в научную базу почти не увеличилось:
http://gerasim.boinc.ru/StatsPage/Assimilator.aspx sad

Значит на самом деле вычислительная мощность проекта не увеличилась.laugh1
А если серьёзно, то надо посмотреть откуда берутся эти сбойные результаты.
Могут ли они, например, быть результатом читерских попыток?
Могут ли они быть результатом удавшейся "читерской атаки" (когда по какой-то причине задания от одного и того же юнита были отправлены компьютерам одного и того же участника, на которых были просто сгенерены фальшивые ответы).
Может ли на разных OS/CPU расчётный модуль выдавать немножко разные результаты?

Сейчас посмотрел свои результаты - 6 неправильных за последние недели три. С одной стороны - недавно их вообще не было (эти юниты долго сидели в pending-е), с другой стороны - не исключено что это последствия какого-нибудь не совсем корректного завершения сеанса или работы антивируса.
UserPostedImage
Offline evatutin  
#3 Оставлено : 30 июля 2011 г. 9:32:21(UTC)
evatutin


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@homeРазработчику: За организацию проекта Gerasim@home

Группы: Editors, Member
Зарегистрирован: 08.06.2010(UTC)
Сообщений: 3,362
Откуда: Russia, Kursk

Сказал(а) «Спасибо»: 931 раз
Поблагодарили: 1508 раз в 735 постах
Мне не очень нравится то, что просроченные результаты попадают в категорию некорректных — сложно анализировать, т.к. таких у меня большинство. У других проектов для них есть отдельная категория (Valid/Invalid/Waiting/Too Late), нам бы тоже не помешало имхо... У меня сбойные результаты появлялись раньше из-за поражения машины Virut'ом (заражает и шифрует exe'шники) — BOINC Manager ругался на несовпадение CRC и не запускал, сервер проекта соответственно получал код ошибки и отсутствие файла с данными. Подозреваю, что могут быть и другие источники ошибок...

kvt.kurskstu team founder
Gerasim@home scientist
My numbers are 5056994653507584 and 1835082219864832081920. Why not? smile
Offline SerVal  
#4 Оставлено : 30 июля 2011 г. 10:48:51(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
hoarfrost написал:
Значит на самом деле вычислительная мощность проекта не увеличилась.

- кто бы сомневался.. по-вашему, если проект не выдаёт кредиты вообще, то и вычислительная мощность у него равна нулю.
Как Вы сами писали - "по определению кредита" ! smile

hoarfrost написал:
Может ли на разных OS/CPU расчётный модуль выдавать немножко разные результаты?

- не может. Я проверял.

hoarfrost написал:
Могут ли они быть результатом удавшейся "читерской атаки"
- а что в ней удавшегося ? Результаты проверку не прошли. Кредитов нетути.


hoarfrost написал:
Могут ли они, например, быть результатом читерских попыток?

- такие попытки происходят регулярно. Разумеется без успеха.
Копирование на флэшку посчитанных результатов - обычное дело. И папки с Боинком тоже.
При выгрузке результатов Боитк Менеджер не присылает идентификатора компьютера.
То есть посчитаны они могут быть на одном, а отправлены с другого, а подтверждение шедулеру отправлено с третьего.
Однако второй раз одни и те же результаты сервер не примет.

hoarfrost написал:
Сейчас посмотрел свои результаты - 6 неправильных за последние недели три.

- это вовсе не значит, что неправильные именно Ваши.
Просто не прошли проверку на кворум. А чьи были плохими - сказать невозможно.

Цитата:
Мне не очень нравится то, что просроченные результаты попадают в категорию некорректных — сложно анализировать, т.к. таких у меня большинство. У других проектов для них есть отдельная категория (Valid/Invalid/Waiting/Too Late), нам бы тоже не помешало имхо...

Да я понимаю. Нам бы многое бы не помешало. Например, Вэб дизайнер. smile
Но тут ничего не поделаешь. У Герасима только две категории результатов - хорошие и плохие.
Все, которые не хорошие - плохие. Работать с результатами, которые вроде бы как хорошие, но просрочены он не умеет.
То есть, логика у него довольно примитивная. И переделка и отладка займёт не один месяц, а может и год.
********
Сделал статистику работы побитового валидатора(BitwiseValidator) http://gerasim.boinc.ru/...ge/BitwiseValidator.aspx

Посмотрим, сколько уходит в брак при проверки ВУ-шек на кворум. smile
Offline hoarfrost  
#5 Оставлено : 30 июля 2011 г. 11:06:14(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,100
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1131 раз
Поблагодарили: 1545 раз в 989 постах
Автор: SerVal Перейти к цитате
hoarfrost написал:
Значит на самом деле вычислительная мощность проекта не увеличилась.

- кто бы сомневался.. по-вашему, если проект не выдаёт кредиты вообще, то и вычислительная мощность у него равна нулю.
Как Вы сами писали - "по определению кредита" ! smile

Безусловно. Таковы правила игры!

Цитата:
hoarfrost написал:
Сейчас посмотрел свои результаты - 6 неправильных за последние недели три.

- это вовсе не значит, что неправильные именно Ваши.
Просто не прошли проверку на кворум. А чьи были плохими - сказать невозможно.

Да, понимаю. Поэтому было бы интересно посмотреть а чем же различаются результаты в юнитах где есть "хорошие" и "плохие" результаты.
Кстати, с валидацией всё-таки что-то не так. Вот например юнит 4082912.
На данный момент:
1) разослано 6 результатов;
2) результаты оказались разбитыми на 2 категории - первые три отправлены 29 июля и уже помечены как "over, invalid", остальные три - разосланы 30 июля и два из них - "in progress", а один уже посчитан и "waiting quorum validation".

Но если кворума ещё нет, то и помечать полученные результаты как invalid ещё рано (если я помню правильно, то этот момент мы уже обсуждали). Результаты должны набираться до тех пор, пока не будет получен кворум, после чего те, что признаны верными - получают credit, а остальные - центральную часть бублика.
UserPostedImage
Offline SerVal  
#6 Оставлено : 30 июля 2011 г. 11:14:56(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
Я посмотрю на эту ВУ-шку и отпишусь.

hoarfrost написал:
Но если кворума ещё нет, то и помечать полученные результаты как invalid ещё рано

- как это рано ?
Ежели клиент, напрмер, сообщил шедулеру о том, что не может выгрузить посчитанный результат,
или вычисление завершилось с кодом ошибки, ясное дело, что результат тут же помечается как плохой.
Какого, спрашивается, кворума ёщё ждать ?! blink2

Ежели клиент не прислал во-время результат, то на сервере он тут же становится плохой(протух).
Нам такой хоккей результат не нужен !
Offline hoarfrost  
#7 Оставлено : 30 июля 2011 г. 12:42:58(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,100
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1131 раз
Поблагодарили: 1545 раз в 989 постах
Автор: SerVal Перейти к цитате
Я посмотрю на эту ВУ-шку и отпишусь.

hoarfrost написал:
Но если кворума ещё нет, то и помечать полученные результаты как invalid ещё рано

- как это рано ?
Ежели клиент, напрмер, сообщил шедулеру о том, что не может выгрузить посчитанный результат,
или вычисление завершилось с кодом ошибки, ясное дело, что результат тут же помечается как плохой.
Какого, спрашивается, кворума ёщё ждать ?! blink2

Ежели клиент не прислал во-время результат, то на сервере он тут же становится плохой(протух).
Нам такой хоккей результат не нужен !

В данном случае - да. Но тогда бы их надо отмечать как Error while computation или Timeout expired - тогда у тех, кто проверят результаты расчётов, не будет возникать лишних вопросов.
smile
UserPostedImage
thanks 1 пользователь поблагодарил hoarfrost за этот пост.
Vesper оставлено 30.07.2011(UTC)
Offline SerVal  
#8 Оставлено : 30 июля 2011 г. 22:47:32(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
2 hoarfrost:
Посмотрел Ваш воркъюнит. Там всё правильно. Результаты не прошли проверку на кворум.
Сейчас один результат для него посчитал Anonymous, второй - dimych и ещё один в процессе у krasbars-а.

А чтобы было видно почему результат плохой, добавил причину отбраковки - протух(дедлайн превышен), не прошёл кворум, клиент не загрузил задание в течение 24-х часов, итд.

Если показан код ошибки - значит плохой из-за ошибки, сообщённой клиентом.

Вот воркъюнит и его результаты: http://gerasim.boinc.ru/....aspx?WorkunitId=4082912

Отредактировано пользователем 31 июля 2011 г. 3:58:06(UTC)  | Причина: Не указана

Offline hoarfrost  
#9 Оставлено : 31 июля 2011 г. 9:51:02(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,100
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1131 раз
Поблагодарили: 1545 раз в 989 постах
Цитата:
А чтобы было видно почему результат плохой, добавил причину отбраковки - протух(дедлайн превышен), не прошёл кворум, клиент не загрузил задание в течение 24-х часов, итд.

Validation State - это хорошо! smile

Но есть один вопрос - как result мог пройти проверку на несоответствие кворуму, если самого кворума ещё нет? Или же после получения кворума все результаты будут проходить повторную проверку?

Ведь получается следующее: есть результаты {A, B, C} (из первой партии заданий для юнита).
Эти результаты получились все разные. Поэтому планировщик создал ещё одну партию заданий. И с результатами из этой партии заданий один из результатов {A, B, C} может совпасть.

А по хорошему, планировщик должен выдавать дополнительных заданий в числе Q - N, где Q - кворум, а N - мощность максимального множества совпавших результатов.
Т.е. если кворум 3, а среды первых результатов - ни одного совпадения, то получаем 3 - 1 = 2 дополнительных результата.

Интересно было бы посмотреть чем различаются все полученные результаты этого юнита.

UserPostedImage
Offline SerVal  
#10 Оставлено : 31 июля 2011 г. 11:02:19(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
hoarfrost написал:
Но есть один вопрос - как result мог пройти проверку на несоответствие кворуму, если самого кворума ещё нет? Или же после получения кворума все результаты будут проходить повторную проверку?


Кворум у этих результатов уже был. И результаты проверку на кворум не прошли.
Вследствие чего, все трое получили пинка под зад. Это 3 нижних результата: http://gerasim.boinc.ru/....aspx?WorkunitId=4082912

А сервер разослал для этого воркюнита ещё 3 результата.
Итого, для этого WU сейчас - 6 результатов: 3 не прошедших проверку на кворум,
+ 2 ожидают кворума. После чего, можно будет проверить их на кворум.

hoarfrost написал:
А по хорошему, планировщик должен выдавать..
И с результатами из этой партии заданий один из результатов {A, B, C} может совпасть.

- никакого планировщика у Герасима нетути. Результаты у него либо плохие, либо хорошие. Те, что кворум не прошли - плохие.
И на плохие он больше не смотрит. "Умерла, так умерла"(с).

hoarfrost написал:
Интересно было бы посмотреть чем различаются все полученные результаты этого юнита.

Каждый результат ~130 КБайт. Так что не очень посмотришь. Однако эксперименты я проводил - брал 3 одинаковах результата и в одном из них менял один байт редактором.
После чего проверял на кворум. Кворум они не прошли. Так что с проверкой на кворум всё в порядке. smile

evatutin написал:
Мне не очень нравится то, что просроченные результаты попадают в категорию некорректных — сложно анализировать, т.к. таких у меня большинство. У других проектов для них есть отдельная категория (Valid/Invalid/Waiting/Too Late), нам бы тоже не помешало имхо...

Просроченные результаты, разумеется некорректные. Однако, выделить причину попадания в плохие возможно. При просмотре отдельного результата я уже добавил описание, почему результат помечен как плохой.

Поделить плохие результаты на дополнительные категории можно и при просмотре таблиц.
Но тут надо менять и ВЭБ страницу и SQL процедуры-поставщики данных для таблиц.
Лучше к этому приступить, когда заданий уже не будет, а только досчитываются "хвосты".

p.s.
Вот, вроде бы уже видно, что ошибок кворума фактически нет: http://gerasim.boinc.ru/...ge/BitwiseValidator.aspx
Разумеется, будем посмотреть ещё. smile

******
1. Сейчас смотрю пендинг. Что-то мне не нравится его размер. ~200 тыс. кредитов. blink2
Правда я не могу оценить, много это или мало ?

У каких-нибудь проектов есть где посмотреть общий пендинг ?

2. Кто-нибудь знает, сколько дней проекты держат в базе полностью завершённые задания для просмотра участниками ?
Seti@home держит 1 день. Остальные проекты - не знаю.
Герасим держит 10 дней. Тоже хотельсь бы прикинуть долго это или нет.

Отредактировано пользователем 31 июля 2011 г. 12:41:42(UTC)  | Причина: Не указана

Offline hoarfrost  
#11 Оставлено : 31 июля 2011 г. 19:04:39(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,100
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1131 раз
Поблагодарили: 1545 раз в 989 постах
Автор: SerVal Перейти к цитате
hoarfrost написал:
Но есть один вопрос - как result мог пройти проверку на несоответствие кворуму, если самого кворума ещё нет? Или же после получения кворума все результаты будут проходить повторную проверку?


Кворум у этих результатов уже был. И результаты проверку на кворум не прошли.
Вследствие чего, все трое получили пинка под зад. Это 3 нижних результата: http://gerasim.boinc.ru/....aspx?WorkunitId=4082912

Нет, не было там кворума. (Quorum Rules).
Кворум (точнее - минимальный кворум) - это минимально необходимый набор совпадающих результатов. Если результаты из initial replication не дают минимального кворума, то необходимо выдавать новые задания до тех пор, пока этот кворум не образуется. При этом предыдущие результаты тоже должны учитываться. Потому что иначе выходит следующая картина:
1) Разослано три юнита.
2) Два посчитались верно, один - нет.
3) Сервер проекта выбрасывает два верных результата в корзину и начинает всё заново. Расточительно как-то!

Цитата:
hoarfrost написал:
А по хорошему, планировщик должен выдавать..
И с результатами из этой партии заданий один из результатов {A, B, C} может совпасть.

- никакого планировщика у Герасима нетути. Результаты у него либо плохие, либо хорошие. Те, что кворум не прошли - плохие.
И на плохие он больше не смотрит. "Умерла, так умерла"(с).

А надо смотреть. Было бы кстати интересно сравнить все полученные результаты для того юнита.

Цитата:
hoarfrost написал:
Интересно было бы посмотреть чем различаются все полученные результаты этого юнита.

Каждый результат ~130 КБайт. Так что не очень посмотришь. Однако эксперименты я проводил - брал 3 одинаковах результата и в одном из них менял один байт редактором.
После чего проверял на кворум. Кворум они не прошли. Так что с проверкой на кворум всё в порядке. smile

В то, что сравнение работает - это я верю. Интересно то, из-за чего произошло несовпадение (или же то, что оно наоборот было, но с правильными результатами). Ведь одна из целей прогонки расчётов на этой машине - это проверка её стабильности. А с таким валидатором это усложняется, т.к. invalid result не обязательно является следствием сбоя.


Цитата:
evatutin написал:
Мне не очень нравится то, что просроченные результаты попадают в категорию некорректных — сложно анализировать, т.к. таких у меня большинство. У других проектов для них есть отдельная категория (Valid/Invalid/Waiting/Too Late), нам бы тоже не помешало имхо...

Просроченные результаты, разумеется некорректные. Однако, выделить причину попадания в плохие возможно. При просмотре отдельного результата я уже добавил описание, почему результат помечен как плохой.

Кстати в большинстве проектов принято, что если просроченный результат вернут ещё до того, как был получен кворум, то он тоже засчитывается (если, конечно, он составляет кворум).

Цитата:
******
1. Сейчас смотрю пендинг. Что-то мне не нравится его размер. ~200 тыс. кредитов. blink2
Правда я не могу оценить, много это или мало ?

Около 20000 заданий. Вроде бы нормально.

Цитата:
У каких-нибудь проектов есть где посмотреть общий пендинг ?

Иногда это можно вычислить по значениям, приведённым на странице Server Status.

Цитата:
2. Кто-нибудь знает, сколько дней проекты держат в базе полностью завершённые задания для просмотра участниками ?
Seti@home держит 1 день. Остальные проекты - не знаю.
Герасим держит 10 дней. Тоже хотельсь бы прикинуть долго это или нет.

Это нормально.
UserPostedImage
thanks 1 пользователь поблагодарил hoarfrost за этот пост.
krasbars оставлено 31.07.2011(UTC)
Offline SerVal  
#12 Оставлено : 1 августа 2011 г. 1:30:39(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
hoarfrost написал:
Нет, не было там кворума. (Quorum Rules).
Кворум (точнее - минимальный кворум) - это минимально необходимый набор совпадающих результатов.

Кворум, действительно, не состоялся. Результаты-то не совпали !
Поэтому, все участники кворума были посланы далеко и надолго..

hoarfrost написал:

Если результаты из initial replication не дают минимального кворума..

"initial replication" - что ещё за буржуйские словечки ? Ни о каких "initial replication" Герасим понятия не имеет. blink2

hoarfrost написал:

необходимо выдавать новые задания до тех пор, пока этот кворум не образуется.

Совершенно верно. Сервер начинает раздавать новые задания, пока снова не наберётся результатов, достаточных для проверки на кворум.

hoarfrost написал:

При этом предыдущие результаты тоже должны учитываться.Потому что иначе выходит следующая картина:
1) Разослано три юнита.
2) Два посчитались верно, один - нет.
3) Сервер проекта выбрасывает два верных результата в корзину и начинает всё заново. Расточительно как-то!

С чего бы это вдруг предыдущие результаты должны учитываться ? Могут учитываться, а могут и нет.
С описанной Вами теоретической картиной согласен. Практическая же картина показывает, что никакой нужды в подобных заморочках нет !

hoarfrost написал:
Кстати в большинстве проектов принято, что если просроченный результат вернут ещё до того, как был получен кворум, то он тоже засчитывается (если, конечно, он составляет кворум).

- второй свежести у Герасима не бывает. Я уже писал - протухли, так протухли.
*****
Герасим держит в базе полностью завершённые воркъюниты и их результаты для просмотра участниками 10 дней.
Я всё-таки думаю, что это много. Например, сейчас в рабочей базе
14930 завершённых воркъюнитов и 48509 их результатов находятся только для просмотра.
То есть чуть ли не половина базы - только для просмотра(и все они участвуют в select/insert/update выборках).

У Эйнштейна в статусе сервера, вообще какие-то мизерные цифры. Правда, не очень непонятно, что они отражают.
Может быть сократить период просмотра завершённых WU до 5 дней ?

Получится, что незавершённые WU и их результаты находятся в рабочей базу сколь угодно долго, + 5 дней на их просмотр, после того как будут завершены.
*********
Тем временем, вычислительная мощность проекта достигла 936.88 GigaFLOPS.

(причём не в мифических кредитах, а имено в GigaFLOPS.
Впрочем, может со-временем Герасим поумнеет и к приезду начальства будет пересчитывать производительность в кредитах wink ).

Отредактировано пользователем 1 августа 2011 г. 4:22:50(UTC)  | Причина: Не указана

Offline hoarfrost  
#13 Оставлено : 1 августа 2011 г. 19:11:28(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,100
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1131 раз
Поблагодарили: 1545 раз в 989 постах
Автор: SerVal Перейти к цитате
Тем временем, вычислительная мощность проекта достигла 936.88 GigaFLOPS.

(причём не в мифических кредитах, а имено в GigaFLOPS.
Впрочем, может со-временем Герасим поумнеет и к приезду начальства будет пересчитывать производительность в кредитах wink ).

А как эти гигафлопы считаются?
UserPostedImage
Offline bronevik  
#14 Оставлено : 1 августа 2011 г. 21:00:27(UTC)
bronevik


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@home

Группы: Member
Зарегистрирован: 11.06.2011(UTC)
Сообщений: 1,174
Мужчина
Откуда: Russia Team, Moscow

Сказал «Спасибо»: 159 раз
Поблагодарили: 261 раз в 156 постах
Автор: hoarfrost Перейти к цитате

А как эти гигафлопы считаются?


Ну вот в Розетте всё просто:
Credits last 24h: 2,776,891
TeraFLOPS estimate: 27.769

Делим кредиты на 100,000, получаем Терафлопс * день. Но обычно не все так прозрачно Не получается
Мое счастливое число 1534157809947*2^1290000-1

UserPostedImage

Offline SerVal  
#15 Оставлено : 1 августа 2011 г. 21:31:09(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
Цитата:
А как эти гигафлопы считаются?

Очень просто.

Допустим, что в проекте участвует один Ваш компик с производительностью 10 Гигафлопс.

Если он проработал на проект 24 часа, то средняя производительность проекта за 24 часа - 10 Гигафлопс.

На самом же деле, компик сообщил(в присланном результате), что работал на проект не 24 часа, а 2,4 часа(в десять раз меньше).
Тогда средняя производительность проекта за 24 часа будет равна 1 Гигафлопс.(тоже в десять раз меньше).

Поскольку в проекте не один компик, смотрим, сколько каждый работал на проект и суммируем.

p.s.
Компики могут получить большой кредит, а могут и маленький,
но размер кредитов к производительности никакого отношения не имеет.
Offline hoarfrost  
#16 Оставлено : 1 августа 2011 г. 22:40:12(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,100
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1131 раз
Поблагодарили: 1545 раз в 989 постах
Автор: SerVal Перейти к цитате
Цитата:
А как эти гигафлопы считаются?
Допустим, что в проекте участвует один Ваш компик с производительностью 10 Гигафлопс.

Если он проработал на проект 24 часа, то средняя производительность проекта за 24 часа - 10 Гигафлопс.

На самом же деле, компик сообщил(в присланном результате), что работал на проект не 24 часа, а 2,4 часа(в десять раз меньше).
Тогда средняя производительность проекта за 24 часа будет равна 1 Гигафлопс.(тоже в десять раз меньше).

Так это и есть credit в его первоначальном определении, но только без учёта операций с целыми числами и без разделения Claimed Credit и Granted Credit.

Но есть одно различие... Скажите, а если я увеличу ручками бенчмарк компьютера в client_state.xml в 1000 раз, то как это отобразится на производительности проекта?
smile

И что если у мой компьютер с хорошим бенчарком занимается тем, что делает ошибочные расчёты?
Реальных вычислений от него - никаких, а производительность вроде как увеличивается!
smile
UserPostedImage
Offline SerVal  
#17 Оставлено : 1 августа 2011 г. 23:23:38(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
hoarfrost написал:
Так это и есть credit в его первоначальном определении. Но есть одно различие...

Опять 25..
Да причём здесь кредиты ?
Я уже спрашивал: "Производительность компьютера зависит от того, заплатили за результаты или нет ?"
На что Вы ответитили, что ежели не заплатили, то производительность равна нулю.
(сразу видно, что Вы не продавец супер-компьютеров !) .

Я ещё раз говорю, если Ваш компик сутки проработал на проект, производительность проекта равна производительности Вашего компика.
Какая разница, понравились проекту полученные от него результаты или нет ?
hoarfrost написал:

Скажите, а если я увеличу ручками бенчмарк компьютера в client_state.xml в 1000 раз, то как это отобразится на производительности проекта?

А мы здесь обсуждаем каким образом можно начитерить ?
Можно ещё изменить ручками число процессоров, время расчёта, получать результаты на один компик, а считать на другом.. итд..

А если конкретнее, чего тут непонятного ?
Проект вычисляет производительность, исходя от полученных от Боинк Менеджера бенчмарков компьютеров и времени их участия в проекте. Никаких других данных для расчёта производительности нет - Боинк Менеджер не предоставляет.
Поэтому, к вычислительной мощности проекта добавится вычислительная мощность Вашего компика умноженная на 1000.

Так вот, "одно различие" состоит в том, что Герасим учитывает всех кто на него работал.
А пресловутая "производительность в кредитах"(попугаях), зависит от способа вычисления кредита, то есть от их размеров. Чего тут непонятного ?
Не говоря уж о том, что компики, не получившие кредитов вроде бы как стояли выключенными.

p.s.
Вот когда придёт счёт за потреблённое Вашим компиком электричество, Вы так и скажите
- "Ничего не знаю, кредитов мне не начислили, значит мой компик в расчётах не участвовал и электроэнергию не потреблял !"
Offline hoarfrost  
#18 Оставлено : 1 августа 2011 г. 23:29:53(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,100
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1131 раз
Поблагодарили: 1545 раз в 989 постах
Автор: SerVal Перейти к цитате
А если конкретнее, чего тут непонятного ?

Да всё понятно. Я же как раз и говорю, что по сути - это тот же credit времён 2005 года, только выраженный во FLOP-ах, а не CS-ах. (Всякие ненормальности - не учитываем).

Цитата:
p.s.
Вот когда придёт счёт за потреблённое Вашим компиком электричество, Вы так и скажите
- "Ничего не знаю, кредитов мне не начислили, значит мой компик в расчётах не участвовал и электроэнергию не потреблял !"

Точно также можно жаловаться и на то, что мои CPU не столь энергоэффективны, как Gulftown. smile
UserPostedImage
Offline hoarfrost  
#19 Оставлено : 3 февраля 2013 г. 16:51:12(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,100
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1131 раз
Поблагодарили: 1545 раз в 989 постах
А нельзя ли детальнее посмотреть из-за чего попали в список invalid-результатов 7124575 и 7079723?

Спасибо!
UserPostedImage
Offline SerVal  
#20 Оставлено : 3 февраля 2013 г. 18:53:30(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,065
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 284 раз
Поблагодарили: 516 раз в 358 постах
Автор: hoarfrost Перейти к цитате
А нельзя ли детальнее посмотреть из-за чего попали в список invalid-результатов 7124575 и 7079723?
Спасибо!

Так мне видно немногим больше, чем Вам.
Первое задание компик не загрузил для обработки в течение 24-х часов:
Invalid. Not uploaded by the client within 24 hours (not sent).

А второе - правильное, но присланный бинарник не прошёл сравнение с другим.
Был бы кворум = 3, можно было бы посмотреть, совпадают ли какие два бинарника из 3-х.
А при кворуме = 2 (как сейчас), можно только констатировать, что одно из присланных заданий кривое.
(а чьё, сказать не возможно).


Пользователи, просматривающие эту тему
Guest (3)
4 Страницы123>»
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

Boinc.ru theme. Boinc.ru
Форум YAF 2.1.1 | YAF © 2003-2017, Yet Another Forum.NET
Страница сгенерирована за 0.353 секунды.