Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

14 Страницы«<89101112>»
Опции
К последнему сообщению К первому непрочитанному
Offline SerVal  
#181 Оставлено : 25 января 2018 г. 17:31:12(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,117
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 314 раз
Поблагодарили: 539 раз в 374 постах
Ну вот.. Генератор RakeSearch сгенерил для меня 20 тыс. диагональных латинских квадратов 9*9(в соответствии с ВУшкой).
Я их проверил и пар с ortho degree = 81 не нашёл.

Поскольку на сайте есть результаты (квадраты, к которым нашлись пары), добавил один квадрат в начало и один квадрат в конец.
Получился файл input_9x9_20002.txt И проверил, найдутся ли эти результаты.
Результаты нашлись. 2 штуки. smile
Код:

Squares passed               : 20002
Generated squares total      : 806480640
Pairs with ortho degree 81   : 2
Program total time           : 36.569 sec.

Теперь дело за малым: сделать свою програмку раз в 20 быстрее, чем RakeSearch.
То есть, "Рабинович уже согласен, осталось уговорить дочку Ротшильда.."
Всем привет и хорошего настроения. Present
Offline hoarfrost  
#182 Оставлено : 25 января 2018 г. 18:28:16(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
Возможно, что перебор множества квадратов, которые гарантированно дают пары - не очень подходит для "бенчмарка".
UserPostedImage
Offline hoarfrost  
#183 Оставлено : 28 января 2018 г. 10:25:35(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
Сегодня, с 09:00 (UTC) и 12:00 (MSK) по 20:00 (UTC) и 23:00 (MSK) сервер проекта может быть периодически недоступен.
Собираемся проводить в нём работы.
smile
UserPostedImage
Offline SerVal  
#184 Оставлено : 28 января 2018 г. 12:00:08(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,117
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 314 раз
Поблагодарили: 539 раз в 374 постах
Сделал обработку квадратиков на ГПУ. smile
Генератор RakeSearch нагенерил мне 100 тас квадратов для проверки, а я их одним хопом их на ГПУ проверил.
С одной стороны, на ГПУ всё работает правильно. С другой строны - как я ни пыжился, ускорение от ГПУ получилось всего в два раза(по сравнению с версией на ГитХабе). Можно и в три раза, но экран начинает притормаживать.

В общем, вполне ожидаемо. Перебор 81-ой клеточки на ЦПУ - явно быстрее.
Ладно, ещё посмотрю, может быть что-нибудь ускорительное придумается.
Всем привет и хорошего настроения. Present

p.s.
Посмотрел ещё как оптимизировал приложение Даниэль.
Оптимизоровл он хорошо. Правда проект из-за ассемблерных вставок перестал компилиться в Визуал Студио...
.. но кого сегодня интересуют такие мелочи?
Кроме ассемблерных вставок с SSE и AVX, Даниэль в качестве массивов признаков использовал - битовый массив.
(с макросами getBit, setBit). Это он сделал здорово!
Предполагаю, что основное ускорение он получил за счёт использования битового массива, а не от SSE и AVX.
Offline hoarfrost  
#185 Оставлено : 29 января 2018 г. 11:23:18(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
Насколько я понимаю оптимизации Daniel-я, они с одной стороны базируются на битовой арифметике, а с другой - на использовании специализированных для них команд (например, нахождения номера первого выставленного бита). И получилось, по мне, так очень красиво.
UserPostedImage
Offline hoarfrost  
#186 Оставлено : 29 января 2018 г. 11:25:37(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
Автор: hoarfrost Перейти к цитате
Сегодня, с 09:00 (UTC) и 12:00 (MSK) по 20:00 (UTC) и 23:00 (MSK) сервер проекта может быть периодически недоступен.
Собираемся проводить в нём работы.
smile

Работы провели, перенесли часть информации об уже давно обработанных заданиях в другую базу. Если всё будет хорошо, то дальнейшую архивацию попробуем проводить без downtime-а.
UserPostedImage
thanks 1 пользователь поблагодарил hoarfrost за этот пост.
Panda оставлено 29.01.2018(UTC)
Offline hoarfrost  
#187 Оставлено : 31 января 2018 г. 8:04:53(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
Позавчера вечером, благодаря Panda обнаружили, что некоторые результаты, пришедшие ещё несколько дней назад - не прошли проверку, несмотря на то, что для их workunit-а пришли уже оба результата. Чтобы решить эту проблему запустили ревалидацию workunit-ов в базе. Но из-за того, что result-ов и workunit-ов в базе накопилось уже много, эта процедура растянулась примерно на 16 часов, во время которых очередь заданий исчерпалась. Во второй половине дня 30 января ситуация нормализовалась и сейчас всё работает хорошо. Удаление очередной партии workunit-ов и result-ов прошло хорошо.
UserPostedImage
thanks 1 пользователь поблагодарил hoarfrost за этот пост.
Panda оставлено 31.01.2018(UTC)
Offline Sergey987  
#188 Оставлено : 7 февраля 2018 г. 12:34:19(UTC)
Sergey987


Статус: Новичок

Группы: Member
Зарегистрирован: 07.02.2018(UTC)
Сообщений: 1
Российская Федерация
Откуда: Тула

Здравствуйте!
Примерно вчера в логах стали появляться сообщения вида "высылаем потерянные задания". А сегодня вместо R9_00204****_* стали прилетать R9_00192****_*. Что случилось? Проект "потерял" результаты более 100 тысяч посчитанных заданий?
Offline hoarfrost  
#189 Оставлено : 7 февраля 2018 г. 21:23:02(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,418
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1254 раз
Поблагодарили: 1698 раз в 1079 постах
Автор: Sergey987 Перейти к цитате
Здравствуйте!
Примерно вчера в логах стали появляться сообщения вида "высылаем потерянные задания". А сегодня вместо R9_00204****_* стали прилетать R9_00192****_*. Что случилось? Проект "потерял" результаты более 100 тысяч посчитанных заданий?

Нет, ничего не потеряно. smile
Сейчас приходится чистить базу, во время запросы на получение новых заданий могут обрабатываться не полностью и ответ - не доходить до компьютера. При следующем запросе сервер высылает эти "потерянные" результаты клиенту. R9_00192* стали приходить после R9_00204* потому что по той же причине были сгенерированы чуть позже остальных - процесс генерации, пересекающийся с удалением - может стопориться и падать. Но поскольку приходящие результаты подвергаются учёту, то этот случай был выявлен и задания - сгенерированы.
smile
UserPostedImage
thanks 1 пользователь поблагодарил hoarfrost за этот пост.
AlexA оставлено 08.02.2018(UTC)
Offline SerVal  
#190 Оставлено : 9 февраля 2018 г. 12:25:20(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,117
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 314 раз
Поблагодарили: 539 раз в 374 постах
Что-то у нас какое-то затишье. smile
Тем временем:
Приложение для ГПУ перешло в стадию тестирования и проверки на пригодность.
Насколько оно быстрее или медленнее пока сказать невозможно, поскольку окончания процесса дождаться не могу.
Но уже чего-то делается, видеокарта загружена, циферки мелькают.. остальных результатов пока не видно.
Код:

Intel(R) Core(TM) i7-3820 CPU @ 3.60GHz
Accelerator : GeForce GTX 980 (device 0)

*** gpu version ***
Tasks in file workunit.txt  : 256
Matrices per generator      : 16384
Matrices generated          : 4194304
Searching pairs             : 4194304
Pairs with ortho degree 81  : 0
Time                        : 27.015
Matrices/sec                : 155258
...

Поставлю-ка её на ночь.. теоретически, должна что-то насчитать.
Всем привет и хорошего настроения. Present
Offline SerVal  
#191 Оставлено : 21 февраля 2018 г. 16:47:47(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,117
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 314 раз
Поблагодарили: 539 раз в 374 постах
Приветствую участников броуновского движения. smile
Тем временем, приложение RakeSearch для ГПУ версии 0.1 почти готово.
Поставил его на ночь считать, но за ночь оно ничего не насчитало.
Поэтому, пришлось его маленько подрихтовать и приделать чекпойнт.

Подсунул приложению ВУшку с 1024 заданиями. И снова запустил считать.
Посмотрим, за сколько подсчитаются 1024 заданий(и досчитаются ли вообще).

Код:

Intel(R) Core(TM) i7-3820 CPU @ 3.60GHz
Accelerator : GeForce GTX 980 (device 0)

*** gpu version ***

Starting from file checkpoint.txt
Tasks in file               : 1024
Reading generator params..
Reading task status..

Matrices total (millions)   : 15711
Matrices/sec                : 296099
Tasks completed             : 0
Pairs with ortho degree 81  : 0
Time  total (minutes)       : 1126.89
...


Всем привет и хорошего настроения. Present
Offline SerVal  
#192 Оставлено : 6 марта 2018 г. 11:47:17(UTC)
SerVal


Статус: Administration

Медали: Донор: За финансовую помощь сайту

Группы: Editors, Administration, Russia Team Group
Зарегистрирован: 28.09.2007(UTC)
Сообщений: 3,117
Мужчина
Откуда: Москва, Ясенево.

Сказал «Спасибо»: 314 раз
Поблагодарили: 539 раз в 374 постах
Тем временем, от приложения RakeSearch для ГПУ получены первые результаты.

Зашёл на Гитхаб Даниэля и взял оттуда тестовую ВУшку.
Подсунул эту ВУшку его же оптимизированному приложению. На ЦПУ задание посчиталаcь за 4 минуты и нашло 1 результат.

Код:

20:25:50 (6024): Can't open init data file - running in standalone mode
20:30:15 (6024): called boinc_finish(0)


Скопировал эту ВУшку 1024 раза в один большой файл. Получилась большая ВУшка, в которой 1024 задания.
И у каждого задания по 1-му результату.

Подсунул большую ВУшку приложению RakeSearch для ГПУ:
Код:

Intel(R) Core(TM) i7-3820 CPU @ 3.60GHz
Accelerator : GeForce GTX 980 (device 0)

*** gpu version ***

Using file workunit.txt
Tasks in file               : 1024
Reading generator params..
...
Matrices total (millions)   : 39493
Matrices/sec                : 1352563
Tasks completed             : 1024
Pairs with ortho degree 81  : 1024
Time  total (minutes)       : 588.909

Ну что ж, все задания посчитались, пары нашлись и записаны в файл result.txt

А теперь подсчитаем, что мы имеем с гуся?

Посчитано 1024 задания и найдено 1024 пары за 589 минут(9,8 часа).
Итого, 589*60/1024 = 35 секунд на задание - в 7 раз быстрее оптимизированного приложения Даниэля.
С одной стороны - не плохо. С другой стороны - в 7 раз - это маловато.

Дело в том, что заданий в 4-5 минут у RakeSearch нетути. В среднем, они считаются 40-50 минут.
Получается, что на ГПУ 1024 таких заданий будут считаться ~100 часов.
Это какбэ не очень весело. Скорее всего, желающих считать не найдётся.

Ладно, подумаю, нельзя ли ещё чего ускорить и подрихтовать.
Всем привет и хорошего настроения. Present

update:
Подрихтовал маленько и перекомпилил.

Код:

Matrices total (millions)   : 39493
Matrices/sec                : 1571251
Tasks completed             : 1024
Pairs with ortho degree 81  : 1024
Time  total (minutes)       : 431.29

H:\LS_Generator>fc result_int32.txt result_int16.txt
Comparing files result_int32.txt and RESULT_INT16.TXT
FC: no differences encountered


Стало чуть побыстрее - 431 минута(7,2 часа) на 1024 задания. Или 25 секунд на задание.
То есть, стало в 9,6 раза быстрее оптимизированного приложения.
(генерится и проверяется ~ 1,5 millions matrices/sec)

Отредактировано пользователем 7 марта 2018 г. 18:08:00(UTC)  | Причина: Не указана

thanks 3 пользователей поблагодарили SerVal за этот пост.
Yura12 оставлено 06.03.2018(UTC), citerra оставлено 06.03.2018(UTC), hoarfrost оставлено 11.03.2018(UTC)
Offline Natalia Nik  
#193 Оставлено : 11 марта 2018 г. 16:31:29(UTC)
Natalia Nik


Статус: Я тут не впервой

Медали: Первооткрывателю: Нахождение пар ОДЛК в RakeSearch! Роза: Наташе - хозяйке BOINC-горы!Разработчику: Автор проекта RakeSearch!

Группы: Member, Crystal Dream Group
Зарегистрирован: 03.09.2017(UTC)
Сообщений: 34
Женщина
Российская Федерация
Откуда: Петрозаводск

Сказала «Спасибо»: 30 раз
Поблагодарили: 59 раз в 17 постах
Дорогие кранчеры!

С началом весны мы празднуем 7 месяцев работы проекта и публикуем новые найденные графы ОДЛК, рисунки 19-27.

Сейчас мы работаем над методами представления и сравнения графов, которые помогут проанализировать результаты проекта. Они также помогут реализовать идею, предложенную товарищем Michael H.W. Weber - отображать индивидуальные находки участника в его аккаунте на сайте проекта.

Спасибо всем за участие, и счастливого кранчинга!
thanks 2 пользователей поблагодарили Natalia Nik за этот пост.
Panda оставлено 11.03.2018(UTC), hoarfrost оставлено 11.03.2018(UTC)
Offline Yura12  
#194 Оставлено : 3 апреля 2018 г. 20:35:52(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 936
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 622 раз
Поблагодарили: 137 раз в 95 постах
На узле boincstats объявлено соревнование по проекту RakeSearch
https://boincstats.com/e...challenge/team/chat/1001

Если есть техническая возможность - подключите пожалуйста, команду Karelia к соревнованию.
Offline Duce H_ K_  
#195 Оставлено : 4 апреля 2018 г. 20:00:54(UTC)
Duce H_ K_


Статус: Интересующийся

Медали: Первооткрывателю: Нахождение пар ОДЛК в RakeSearch!

Группы: Member
Зарегистрирован: 11.02.2017(UTC)
Сообщений: 66
Мужчина
Российская Федерация

Сказал «Спасибо»: 33 раз
Поблагодарили: 9 раз в 6 постах
Подсоблю чем смогу, переключился на Карелию(team id 1). При накоплении заданий, я полагаю, нужно ориентироваться на 2018-04-23?
Есть подозрения, что дедлайн в характеристиках WU не позволит
Присоединяйся к TSC!Russia - самой успешной команде РВ на постсоветском пространстве!
Offline Natalia Nik  
#196 Оставлено : 5 апреля 2018 г. 9:59:38(UTC)
Natalia Nik


Статус: Я тут не впервой

Медали: Первооткрывателю: Нахождение пар ОДЛК в RakeSearch! Роза: Наташе - хозяйке BOINC-горы!Разработчику: Автор проекта RakeSearch!

Группы: Member, Crystal Dream Group
Зарегистрирован: 03.09.2017(UTC)
Сообщений: 34
Женщина
Российская Федерация
Откуда: Петрозаводск

Сказала «Спасибо»: 30 раз
Поблагодарили: 59 раз в 17 постах
Автор: Yura12 Перейти к цитате
На узле boincstats объявлено соревнование по проекту RakeSearch
https://boincstats.com/e...challenge/team/chat/1001

Если есть техническая возможность - подключите пожалуйста, команду Karelia к соревнованию.


Попробую подключить.
Offline Natalia Nik  
#197 Оставлено : 5 апреля 2018 г. 10:09:19(UTC)
Natalia Nik


Статус: Я тут не впервой

Медали: Первооткрывателю: Нахождение пар ОДЛК в RakeSearch! Роза: Наташе - хозяйке BOINC-горы!Разработчику: Автор проекта RakeSearch!

Группы: Member, Crystal Dream Group
Зарегистрирован: 03.09.2017(UTC)
Сообщений: 34
Женщина
Российская Федерация
Откуда: Петрозаводск

Сказала «Спасибо»: 30 раз
Поблагодарили: 59 раз в 17 постах
Не получается - там нужно зарегистрироваться с теми же именем, е-мейлом и паролем, что и в проекте, чтобы он подцепил аккаунт. А имя Natalia там уже занято. Так что передам руководство командой Karelia в хорошие руки.
Offline Yura12  
#198 Оставлено : 5 апреля 2018 г. 11:11:37(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 936
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 622 раз
Поблагодарили: 137 раз в 95 постах
Понятно. Попробуйте мне передать. Вот моя учётная запись, которая зарегистрирована от моего почтового ящика: http://rake.boincfast.ru...how_user.php?userid=2981
thanks 1 пользователь поблагодарил Yura12 за этот пост.
Duce H_ K_ оставлено 05.04.2018(UTC)
Offline Yura12  
#199 Оставлено : 11 апреля 2018 г. 10:00:15(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 936
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 622 раз
Поблагодарили: 137 раз в 95 постах

Итак, прошла уже почти неделя. Но к сожалению, даже став администратором группы Karelia, так и не получается подключить её к соревнованию на boincstats

Это странно. И почта и пароль совпадают.
Offline Duce H_ K_  
#200 Оставлено : 12 апреля 2018 г. 5:30:51(UTC)
Duce H_ K_


Статус: Интересующийся

Медали: Первооткрывателю: Нахождение пар ОДЛК в RakeSearch!

Группы: Member
Зарегистрирован: 11.02.2017(UTC)
Сообщений: 66
Мужчина
Российская Федерация

Сказал «Спасибо»: 33 раз
Поблагодарили: 9 раз в 6 постах
что то не так с идентификацией
https://boincstats.com/en/stats/challenge/team/chat/1001 написал:

Yura12, Founder of team Colombia*


Присоединяйся к TSC!Russia - самой успешной команде РВ на постсоветском пространстве!
Пользователи, просматривающие эту тему
Guest
14 Страницы«<89101112>»
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

Boinc.ru theme. Boinc.ru
Форум YAF 2.1.1 | YAF © 2003-2018, Yet Another Forum.NET
Страница сгенерирована за 0.270 секунды.