Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

3 Страницы<123>
Опции
К последнему сообщению К первому непрочитанному
Offline Шмяка  
#21 Оставлено : 1 мая 2015 г. 0:30:09(UTC)
Шмяка


Статус: Старожил

Медали: Роза: Девчатам от доброго сердца

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2012(UTC)
Сообщений: 1,862
Женщина
Российская Федерация
Откуда: Везде, куда ни занесет

Сказала «Спасибо»: 841 раз
Поблагодарили: 438 раз в 238 постах
файлик почти двухмеговый...
◕‿‿◕ Мяяяяяу!!! ◕‿‿◕ godville.net/gods/Шмяка ◕‿‿◕ MIUKA.mybrute.com ◕‿‿◕

UserPostedImage

Offline Евгений Колокольцев  
#22 Оставлено : 1 мая 2015 г. 9:14:55(UTC)
Евгений Колокольцев


Статус: Интересующийся

Группы: Member
Зарегистрирован: 02.06.2014(UTC)
Сообщений: 76
Украина
Откуда: Мексика

Сказал(а) «Спасибо»: 22 раз
Поблагодарили: 15 раз в 8 постах
Автор: Шмяка Перейти к цитате
файлик почти двухмеговый...


angry
Offline hoarfrost  
#23 Оставлено : 1 мая 2015 г. 9:39:24(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
Мне кажется что работать с секцией time_stats из client_state.xml - всё таки проще:
Код:
<time_stats>
<on_frac>0.712954</on_frac>
<connected_frac>0.999753</connected_frac>
<cpu_and_network_available_frac>0.999660</cpu_and_network_available_frac>
<active_frac>0.999891</active_frac>
<gpu_active_frac>0.999891</gpu_active_frac>
<client_start_time>1430457575.695641</client_start_time>
<previous_uptime>41.598108</previous_uptime>
<last_update>1430457616.269692</last_update>
</time_stats>
UserPostedImage
Offline Alexone  
#24 Оставлено : 1 мая 2015 г. 10:28:59(UTC)
Alexone


Статус: Старожил

Медали: Переводчику: За помощь в развитии сайтаПервооткрывателю: Результат в проекте SAT@home

Группы: Editors, Member, Moderator "We wanna HELP"
Зарегистрирован: 21.10.2010(UTC)
Сообщений: 559
Мужчина
Откуда: Самара

Сказал «Спасибо»: 245 раз
Поблагодарили: 173 раз в 105 постах
Единственная настройка которая действительно нужна скедулеру на стороне сервера - это если task(или один result как больше нравиться) стал просроченным по дедлайну, то его не просто поставить первым в очереди на отсылку, а отправить его на хост, который входит в 10% хостов с наименьшим параметром Average turnaround time.

Это позволит быстро закрывать юниты.
Уже даже обдумывал вариант реализации данного функционала, но наткнулся на то что не знаю как добавить новый параметр сортировки в исходный код скедулера боинк сервера.

UserPostedImage
Offline AlexA  
#25 Оставлено : 1 мая 2015 г. 14:51:17(UTC)
AlexA


Статус: Administration

Медали: Переводчику: За помощь в создании сайта

Группы: Editors, Member, Administration, Russia Team Group, Moderators
Зарегистрирован: 02.10.2007(UTC)
Сообщений: 6,140
Мужчина
Российская Федерация
Откуда: "Russia Team"

Сказал «Спасибо»: 1250 раз
Поблагодарили: 1516 раз в 838 постах
Автор: Евгений Колокольцев Перейти к цитате

Ну а возвращаясь к теме планировщика задач на сервере (клиент не особо интересен), мы тут нашли файлец в рабочей папке клиента с тем самым логом который нам нужен. Файл лежит в корне этой папки и называется time_stats_log. В будущем мы сможем его получать автоматически, но т.к. наша сеть ещё маленькая а данные для экспериментов нужны уже сейчас, то этот файлик с ваших клиентов нам мог бы весьма пригодится.


Хм ... Прислать готов, но есть вопрос:
А что этот файл дает полезного?
Цитата:
1427948685.170677 proc_stop
1427948704.901001 power_off
1427948695.587275 power_off
1427952339.058878 platform windows_x86_64
1427952339.058878 version 7.4.42
1427952339.058878 power_on
1427952349.276896 net_not_connected
1427952359.370113 proc_stop
1427952370.180933 proc_start
1427952401.188999 proc_stop
1427952411.329018 proc_start
1427952462.200707 net_connected
1427952462.200707 proc_stop
1427952472.340725 proc_start

Автор: Шмяка Перейти к цитате
файлик почти двухмеговый...

А у меня они какие-то короткие, по несколько кБ Не получается

P.S. А вот на другом компике действительно 5МБ и в нем уже чего-о про проекты пишется.
Вот его и пришлю.

Или что-то не так?

Отредактировано пользователем 1 мая 2015 г. 15:41:22(UTC)  | Причина: Не указана

Offline Евгений Колокольцев  
#26 Оставлено : 1 мая 2015 г. 21:18:11(UTC)
Евгений Колокольцев


Статус: Интересующийся

Группы: Member
Зарегистрирован: 02.06.2014(UTC)
Сообщений: 76
Украина
Откуда: Мексика

Сказал(а) «Спасибо»: 22 раз
Поблагодарили: 15 раз в 8 постах
Автор: hoarfrost Перейти к цитате
Мне кажется что работать с секцией time_stats из client_state.xml - всё таки проще:

В файле client_state.xml слепок текущего состояния клиента. Трейсы включений-выключений он не содержит. Там просто даны средние цифры - сколько времени клиент онлайн и т.п. Конечно тоже полезная информация, на её базе уже можно строить политику шидулинга, но для экспериментов не годится.

Автор: Alexone Перейти к цитате
если task стал просроченным по дедлайну, то его не просто поставить первым в очереди на отсылку, а отправить его на хост...

result.report_deadline выставляется в момент отсылки задания в значение current_time + wu.delay_bound. Т.е. если этот дедлайн наступил то transitioner должен как можно быстрее закрыть результат с ошибкой без каких-либо отсылок. Момент когда transitioner заметит просроченный результат пишется в wu.transition_time и например в момент отсылки задания и выставляется в значение min(curr_transition_time,report_deadline). Ну и думаю что если transitioner прошуршал WU раньше чем report_deadline конкретного результата то он сам себе выставит потом время на ближайшее важное событие... Т.е. просрочки никуда не шлются и должны закрываться transitioner-ом автоматически - либо я не понял мысли.

Автор: AlexA Перейти к цитате

А что этот файл дает полезного?
Цитата:
1427948685.170677 proc_stop
1427948704.901001 power_off
1427948695.587275 power_off
1427952339.058878 platform windows_x86_64
1427952339.058878 version 7.4.42
1427952339.058878 power_on



1427948704 - Linux timestamp = Thu, 02 Apr 2015 04:25:04 GMT
version 7.4.42 - версия менеджера
proc_start/proc_stop - по идее запуск/останов внутренних процессов менеджера (вот в этом не уверен)

Полезное из этого - трасса периодов работы компьютера/менеджера. Планировщик решает какую задачу отдать данному хосту так чтобы в результате, после раздачи N заданий M хостам максимизировать функцию полезности, которая зависит от того какому хосту какая задача пришла. Трасса работы хоста - это самая девственная его характеристика, совершенно не зависящая от того что на этот хост шлёт сервер. Кроме средних величин, которые хранятся в client_state.xml по этим трассам ещё можно вычислять их дисперсию, пытаться делать частотный анализ, решать задачу предсказания когда хост снова включится и проверять свои решения. Также трасса - это единственное чего не хватает чтобы эмитировать работу клиента проверяя надёжность/полезность разрабатывемого планировщика сервера. Например если один компьютер обычно по выходным не работает а другой - работает, то если первый прийдёт за задачей в пятницу, то ему можно дать что-то поменьше а второму что-то по-больше. И т.д. Так вот создавая шидулер который решает задачу оптимизации очень удобно его проверять на реальных трассах пользователей. Конечно для реального эксперимента мы должны брать тысячи таких трасс. Пока что мы ищем кто нам даст эти тысячи а на время разработки вполне достаточно тестироваться на том что вы шлёте. За это вам очень благодарны.


Неравноправный планировщик потоков

Отредактировано пользователем 1 мая 2015 г. 23:55:02(UTC)  | Причина: Не указана

Offline AlexA  
#27 Оставлено : 1 мая 2015 г. 22:14:12(UTC)
AlexA


Статус: Administration

Медали: Переводчику: За помощь в создании сайта

Группы: Editors, Member, Administration, Russia Team Group, Moderators
Зарегистрирован: 02.10.2007(UTC)
Сообщений: 6,140
Мужчина
Российская Федерация
Откуда: "Russia Team"

Сказал «Спасибо»: 1250 раз
Поблагодарили: 1516 раз в 838 постах
Николай, отправил два файла с двух компов. Один - ноут: видно что постоянно включается и выключается (файлик 32кБ), другой - десктоп домашний - там файлик в 5МБ и в нем кроме включений/выключений и другая информация о проектах.
Если для вас без разницы "начинка" файла и польза есть от любых, то пришлю и с остальных и команду попросим это сделать. Просто посмотрел у Колобка - там вообще файлик маленький 1 кб, потмучто его как включили, так и не выключают, а о проектах в нем ничего нетути Не получается Может надо где-то установить чего в файл писать, а чего нет?
Просто чтоб реальная польза была, а не так отправлять - абы чего.
Offline Ymrs  
#28 Оставлено : 1 мая 2015 г. 22:39:36(UTC)
Ymrs


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 30.10.2010(UTC)
Сообщений: 107
Российская Федерация
Откуда: Россия

Сказал(а) «Спасибо»: 13 раз
Поблагодарили: 26 раз в 19 постах
Выслал файлик с отчетом с домашнего пк т.к. это единственный комп который иногда перезагружается.

Посмотрел на никсовых машинах такой статистики просто нет, аптайм по пол года =)

last iso reboot > mystat.log | cat mystat.log
wtmp begins Fri May 1 07:38:16 2015

Offline Шмяка  
#29 Оставлено : 2 мая 2015 г. 1:49:07(UTC)
Шмяка


Статус: Старожил

Медали: Роза: Девчатам от доброго сердца

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2012(UTC)
Сообщений: 1,862
Женщина
Российская Федерация
Откуда: Везде, куда ни занесет

Сказала «Спасибо»: 841 раз
Поблагодарили: 438 раз в 238 постах
а куда посылать то эту файлищу огромную? к личке не цепляется -- тяжеловата...
◕‿‿◕ Мяяяяяу!!! ◕‿‿◕ godville.net/gods/Шмяка ◕‿‿◕ MIUKA.mybrute.com ◕‿‿◕

UserPostedImage

Offline Ymrs  
#30 Оставлено : 2 мая 2015 г. 1:52:34(UTC)
Ymrs


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 30.10.2010(UTC)
Сообщений: 107
Российская Федерация
Откуда: Россия

Сказал(а) «Спасибо»: 13 раз
Поблагодарили: 26 раз в 19 постах
Автор: Шмяка Перейти к цитате
а куда посылать то эту файлищу огромную? к личке не цепляется -- тяжеловата...



Почта указана в начале темы
Offline AlexA  
#31 Оставлено : 2 мая 2015 г. 6:58:22(UTC)
AlexA


Статус: Administration

Медали: Переводчику: За помощь в создании сайта

Группы: Editors, Member, Administration, Russia Team Group, Moderators
Зарегистрирован: 02.10.2007(UTC)
Сообщений: 6,140
Мужчина
Российская Федерация
Откуда: "Russia Team"

Сказал «Спасибо»: 1250 раз
Поблагодарили: 1516 раз в 838 постах
Автор: Ymrs Перейти к цитате
Автор: Шмяка Перейти к цитате
а куда посылать то эту файлищу огромную? к личке не цепляется -- тяжеловата...



Почта указана в начале темы

И архиватор тебе в помощь smile
Offline PinkFloyd  
#32 Оставлено : 2 мая 2015 г. 12:33:04(UTC)
PinkFloyd


Статус: Давно уж тут

Группы: Member, Russia Team Group
Зарегистрирован: 24.03.2015(UTC)
Сообщений: 434
Мужчина
Российская Федерация
Откуда: Оренбург

Сказал «Спасибо»: 152 раз
Поблагодарили: 53 раз в 43 постах
Скинул файлики с трех виндовых машин. После праздников отправлю еще файлик с рабочего ПК.
Offline Шмяка  
#33 Оставлено : 3 мая 2015 г. 0:52:03(UTC)
Шмяка


Статус: Старожил

Медали: Роза: Девчатам от доброго сердца

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2012(UTC)
Сообщений: 1,862
Женщина
Российская Федерация
Откуда: Везде, куда ни занесет

Сказала «Спасибо»: 841 раз
Поблагодарили: 438 раз в 238 постах
скинула файлик от букашки. а в андрое такой файлик есть?
◕‿‿◕ Мяяяяяу!!! ◕‿‿◕ godville.net/gods/Шмяка ◕‿‿◕ MIUKA.mybrute.com ◕‿‿◕

UserPostedImage

Offline Евгений Колокольцев  
#34 Оставлено : 5 мая 2015 г. 2:20:01(UTC)
Евгений Колокольцев


Статус: Интересующийся

Группы: Member
Зарегистрирован: 02.06.2014(UTC)
Сообщений: 76
Украина
Откуда: Мексика

Сказал(а) «Спасибо»: 22 раз
Поблагодарили: 15 раз в 8 постах
Автор: AlexA Перейти к цитате
в нем кроме включений/выключений и другая информация о проектах


Да, в большом файле есть местами куски логов из основного лога клиента. Но они проектно-зависимые и имеют ценность для анализа работы конкретных экзешников конкретного проекта. Нам самое главное информация о включении и выключении самого хоста - это чуть ли не единственное что не зависит от проекта. Так что подойдут любые логи - даже те которые содержат в себе описания решаемых клиентами задач. Основная информация On/Off там везде должна быть.

Как заставить клиент лить в time_stats_log дополнительную информацию я с ходу не нашел. Флага запуска такого вроде как нет (--debug также отсутствует), в настройках GUI тоже не заметно. Так что интересно как это так получилось. Может я просто не заметил чего-то.

Активность одного из высланных нам хорстов в течении ~30 недель (по горизонтали - время = 1 ÷ñÒ1440915681êÖ6õæ÷неделя)
Offline Евгений Колокольцев  
#35 Оставлено : 6 мая 2015 г. 19:57:43(UTC)
Евгений Колокольцев


Статус: Интересующийся

Группы: Member
Зарегистрирован: 02.06.2014(UTC)
Сообщений: 76
Украина
Откуда: Мексика

Сказал(а) «Спасибо»: 22 раз
Поблагодарили: 15 раз в 8 постах
Всем кто слал логи - большое спасибо!!!
Offline Disel  
#36 Оставлено : 6 мая 2015 г. 20:22:33(UTC)
Disel


Статус: Старожил

Медали: Первооткрывателю: Нахождение пар ОДЛК в RakeSearch! Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,603
Мужчина
Российская Федерация

Сказал «Спасибо»: 520 раз
Поблагодарили: 427 раз в 327 постах
А что эта диаграмма отображает? Что по осям?
Ubuntu Linux 18.04 LTS - 64 bit / Boinc 7.9.3(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline Alexone  
#37 Оставлено : 6 мая 2015 г. 21:00:49(UTC)
Alexone


Статус: Старожил

Медали: Переводчику: За помощь в развитии сайтаПервооткрывателю: Результат в проекте SAT@home

Группы: Editors, Member, Moderator "We wanna HELP"
Зарегистрирован: 21.10.2010(UTC)
Сообщений: 559
Мужчина
Откуда: Самара

Сказал «Спасибо»: 245 раз
Поблагодарили: 173 раз в 105 постах
Евгений Колокольцев, сложилось впечатление что Вы пытаетесь с помощью клиентских логов получить следующие цифры и учитывать их для запроса и планирования обработки задания боинк клиентом. Но они насколько видно и так им считаются и учитываются.

А если вы хотите вести свой анализ и прогноз , то не проще ли всю эту статистику получить с БД сервера проекта?
Пользователь Alexone прикрепил следующие файлы:
qwe.PNG

UserPostedImage
Offline Шмяка  
#38 Оставлено : 6 мая 2015 г. 23:37:36(UTC)
Шмяка


Статус: Старожил

Медали: Роза: Девчатам от доброго сердца

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2012(UTC)
Сообщений: 1,862
Женщина
Российская Федерация
Откуда: Везде, куда ни занесет

Сказала «Спасибо»: 841 раз
Поблагодарили: 438 раз в 238 постах
а время НЕПРЕРЫВНОЙ работы в тех БД есть? в "наших" логах -- точно есть.

можно прикидывать какой длины задачи машинке оптимальнее слать. можно чекпоинты прикидывать как часто они нужны. наверное.
◕‿‿◕ Мяяяяяу!!! ◕‿‿◕ godville.net/gods/Шмяка ◕‿‿◕ MIUKA.mybrute.com ◕‿‿◕

UserPostedImage

Offline Евгений Колокольцев  
#39 Оставлено : 7 мая 2015 г. 7:10:41(UTC)
Евгений Колокольцев


Статус: Интересующийся

Группы: Member
Зарегистрирован: 02.06.2014(UTC)
Сообщений: 76
Украина
Откуда: Мексика

Сказал(а) «Спасибо»: 22 раз
Поблагодарили: 15 раз в 8 постах
Автор: Disel Перейти к цитате
А что эта диаграмма отображает? Что по осям?

Это один из файлов, из тех которые вы нам прислали, был нарезан по неделям: по горизонтали Пн - Вс, по вертикали - нарезка (~30 трасс).

Автор: Alexone Перейти к цитате
сложилось впечатление что Вы пытаетесь с помощью клиентских логов получить следующие цифры...

Средние значения нас мало интересуют, к тому же их разброс отлично отображен в литературе.

Автор: Alexone Перейти к цитате
и учитывать их для запроса и планирования обработки задания боинк клиентом. Но они насколько видно и так им считаются и учитываются.

Так я же уже писал и ещн раз повторяю: нас не интересует планировка задач в клиенте, она написана в его исходниках и в литературе. Делается новый планировщик СЕРВЕРА.

Автор: Alexone Перейти к цитате
А если вы хотите вести свой анализ и прогноз, то не проще ли всю эту статистику получить с БД сервера проекта?

В БД сервера есть полезные вещи, мы их используем. Но чего там нет и быть не может - это настоящие трассы периодов работы компьютеров клиентов.

Автор: Шмяка Перейти к цитате
а время НЕПРЕРЫВНОЙ работы в тех БД есть?

Нет, там только интеграьлные данные.

Автор: Шмяка Перейти к цитате
можно прикидывать какой длины задачи машинке оптимальнее слать. можно чекпоинты прикидывать как часто они нужны. наверное.

вот вот вот ))) там очень много чего можно делать такого, чего не входит в дистрибутив BOINC но втихаря используется админами проектов, а также с учётом того что мы делаем свой планировщик, то в нём будут доступны и такие методы управления потоком посылаемых задач, которые в BOINC сделать ну очень уж сложно. Например в BOINC многие параметры не определяются динамически, во время прихода запроса от клиента... Вобщем интересная тема, и ваши советы, внимание и файлы нам помогают, спасибо.
Offline AlexA  
#40 Оставлено : 7 мая 2015 г. 9:02:52(UTC)
AlexA


Статус: Administration

Медали: Переводчику: За помощь в создании сайта

Группы: Editors, Member, Administration, Russia Team Group, Moderators
Зарегистрирован: 02.10.2007(UTC)
Сообщений: 6,140
Мужчина
Российская Федерация
Откуда: "Russia Team"

Сказал «Спасибо»: 1250 раз
Поблагодарили: 1516 раз в 838 постах
Хорошо, что про файлы напомнили. Отправил с двух рабочих компиков.
Пользователи, просматривающие эту тему
Guest
3 Страницы<123>
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

AlexA theme. Created by AlexA
Форум YAF 2.1.1 | YAF © 2003-2018, Yet Another Forum.NET
Страница сгенерирована за 0.276 секунды.