Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

3 Страницы123>
Опции
К последнему сообщению К первому непрочитанному
Offline Yura12  
#1 Оставлено : 19 апреля 2013 г. 15:12:21(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 935
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 622 раз
Поблагодарили: 137 раз в 95 постах
Не помню, поднимался ли на этом форуме такой вопрос.

Имеется современный четырёх-ядерный процессор core i3 и там в BIOS есть возможность включить Hyper Threading (тогда получится 8 потоков).

Так а как лучше поступать, если компьютер применяется исключительно для распределённых вычислений?

Как лучше считать - в 4 потока но только на настоящих ядрах.

Или включить 8 логических потоков?

Как лучше?
Offline Мышиный Король  
#2 Оставлено : 19 апреля 2013 г. 15:28:27(UTC)
Мышиный Король


Статус: Старожил

Группы: Member
Зарегистрирован: 01.03.2013(UTC)
Сообщений: 531

Сказал(а) «Спасибо»: 86 раз
Поблагодарили: 44 раз в 40 постах
Я сравнивал скорость расчёта заданий (поиск гравитационных волн для эйнштейна) своего компа с другими. Я заметил, что i7 (и амдшные 8 ядерники) с 8 потоками выполняют их обычно дольше от 1,3 до 2 раз (это приблизительно естественно - на глаз). Т.е. производительность одного потока падает весьма существенно, но в целом она возрастает тоже прилично. Я бы включил.
i5 3550 3.3ГГц/MSI Z77-G45/Kingston 8Гб, 1600МГц/HD 7770 (1150 МГц, 5000 МГц, 1024МБ)
Offline Vesper  
#3 Оставлено : 19 апреля 2013 г. 15:42:32(UTC)
Vesper


Статус: Давно уж тут

Группы: Member, Russia Team Group
Зарегистрирован: 28.03.2011(UTC)
Сообщений: 375
Мужчина
Откуда: Москва

Сказал «Спасибо»: 149 раз
Поблагодарили: 41 раз в 35 постах
Если хватает памяти на удвоенное число потоков ПЛЮС текущие задачи плюс ОС, включать однозначно.
Offline Yura12  
#4 Оставлено : 19 апреля 2013 г. 16:45:37(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 935
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 622 раз
Поблагодарили: 137 раз в 95 постах
в 2005 - 2006 годы, когда были одноядерные процессоры, то производительность Windows XP резко возрастала, что фоновые обновления от WSUS + антивируса забирали 1 поток и не мешали остальному.

Но когда дело касается распределённых вычислений, то вот тут как раз и возникают сомнение. Физически-то ядро ОДНО, ну и что что оно поделится на 2 логических потока, так и на распараллеливании потерять можно. Что в общем и показывали тесты LinX
вот можно сравнить 2 картинки
http://vk.com/photo-11963359_273023046
и
http://vk.com/photo-11963359_273191172
Offline dimych  
#5 Оставлено : 19 апреля 2013 г. 16:46:35(UTC)
dimych


Статус: Старожил

Группы: Member, Crystal Dream Group
Зарегистрирован: 08.02.2011(UTC)
Сообщений: 1,835
Мужчина
Российская Федерация
Откуда: Смоленск

Сказал «Спасибо»: 445 раз
Поблагодарили: 211 раз в 170 постах
я тоже про это спрашивал, возможно даже тему делал. а может и не делал. но тем не менее мои наблюдения, в Герасиме включение НТ дает примерно 30% прирост выхлопа, в САТе похоже нету прироста. если есть то менее 10% на глаз не заметно. но падения мощи нету точно. я так понимаю, есть специальная оптимизация под это. где то она сделана, где то нет
ASUS P9X79 WS/I7-3930K@3.2 GHz/32 GB DDR3-1600 MHz/MSI R7950 Twin Frozr 3GD5 V2/OC 3 Gb (880/5000 MHz)
Offline S@turn  
#6 Оставлено : 19 апреля 2013 г. 19:46:34(UTC)
S@turn


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 19.12.2012(UTC)
Сообщений: 246
Российская Федерация

Сказал(а) «Спасибо»: 43 раз
Поблагодарили: 33 раз в 22 постах
Автор: Yura12 Перейти к цитате
в 2005 - 2006 годы, когда были одноядерные процессоры, то производительность Windows XP резко возрастала, что фоновые обновления от WSUS + антивируса забирали 1 поток и не мешали остальному.

Но когда дело касается распределённых вычислений, то вот тут как раз и возникают сомнение. Физически-то ядро ОДНО, ну и что что оно поделится на 2 логических потока, так и на распараллеливании потерять можно. Что в общем и показывали тесты LinX
вот можно сравнить 2 картинки
http://vk.com/photo-11963359_273023046
и
http://vk.com/photo-11963359_273191172
Не показатель. У меня Прескот 2М 3ГГц с гипертрейдингом показывал 4,5, а разогнаный до 3,5ГГц вообще больше 5.
При этом Преслер без гипертрейдинга показывал на частоте 3,5ГГц 9. И того по 4,5 на ядро.
5-4,5=0,5 Это и есть та разница в производительности от гапертрейдинга. Intel как раз и говорит о 10-30% прироста.

На данный момент считаю на Atome D2550. И недавно ещё считал на Core 2 Duo T6400. По линксу у первого со всеми гипертрейдингами 1.21, а у второго 12.
По факту в BOINC Атом считает процессорные задания в 4 раза дольше, но четырьмя потоками, вместо двух у Core 2 Duo. Получается, что выхлоп меньше всего в 2 раза (но никак не в 10). От проекта не зависит. При работе с операционкой чувствуется то же самое, что особо нет разницы в скорости при работе на этих компах.

Это я к тому, что все синтетические тесты очень далеки от реальности, в том числе и Linx, а дополнительный кэш и гипертрейдинг - это очень хорошо.
Q8300+HD7790/E8200+HD7750
thanks 1 пользователь поблагодарил S@turn за этот пост.
Yura12 оставлено 19.04.2013(UTC)
Offline evatutin  
#7 Оставлено : 19 апреля 2013 г. 21:23:41(UTC)
evatutin


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@homeРазработчику: За организацию проекта Gerasim@home

Группы: Editors, Member
Зарегистрирован: 08.06.2010(UTC)
Сообщений: 3,640
Откуда: Russia, Kursk

Сказал(а) «Спасибо»: 1023 раз
Поблагодарили: 1827 раз в 886 постах
S@turn
Если вам интересно, мои изыскания на тему почти 6-летней давности: http://evatutin.narod.ru...n_opt_05_httdepindep.pdf — видно, что спаривание потоков кода далеко не всегда дает выигрыш, а еще есть в P4 плохо документированный Replay...

kvt.kurskstu team founder
Gerasim@home scientist
My numbers are 5056994653507584 and 1835082219864832081920. Why not? smile
thanks 4 пользователей поблагодарили evatutin за этот пост.
Yura12 оставлено 19.04.2013(UTC), S@turn оставлено 20.04.2013(UTC), Escapist_Russia оставлено 20.04.2013(UTC), tanos оставлено 20.04.2013(UTC)
Offline S@turn  
#8 Оставлено : 20 апреля 2013 г. 1:25:46(UTC)
S@turn


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 19.12.2012(UTC)
Сообщений: 246
Российская Федерация

Сказал(а) «Спасибо»: 43 раз
Поблагодарили: 33 раз в 22 постах
Очень интересная статья. Спасибо.
Я так понимаю, что с тех пор много воды утекло. Стали ли разработчики приложений чаще оптимизировать код под гипертрейдинг? (по ощущениям эта технология даёт хороший прирост в Win7) Изменился ли как-то сам гипретрейдинг? Исправлены ли ошибки прошлого?
У Вас есть подобные статьи ещё? angry
Q8300+HD7790/E8200+HD7750
Offline Мышиный Король  
#9 Оставлено : 20 апреля 2013 г. 2:00:12(UTC)
Мышиный Король


Статус: Старожил

Группы: Member
Зарегистрирован: 01.03.2013(UTC)
Сообщений: 531

Сказал(а) «Спасибо»: 86 раз
Поблагодарили: 44 раз в 40 постах
Вот статья трехлетней давности. Однако ведь РВ лучше всего подходят для многопоточности - по приложению на ядро, что тут оптимизировать (или я в чем-то не очевидном ошибаюсь?). Ну а если такие уж сомнения гложат - просто запомнить время расчёта заданий, включить и сравнить - если оно увеличилось менее чем в два раза - значит всё ок и производительность выросла. Можно даже SIW или Аиду поставить и посчитать энергоэффективность...
i5 3550 3.3ГГц/MSI Z77-G45/Kingston 8Гб, 1600МГц/HD 7770 (1150 МГц, 5000 МГц, 1024МБ)
thanks 1 пользователь поблагодарил Мышиный Король за этот пост.
tanos оставлено 20.04.2013(UTC)
Offline tanos  
#10 Оставлено : 20 апреля 2013 г. 8:42:11(UTC)
tanos


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@homeМощь и напор: За сильное персональное выступление в соревновании. Донор: За финансовую помощь сайту

Группы: Member
Зарегистрирован: 08.10.2012(UTC)
Сообщений: 1,502
Мужчина
Откуда: Astronomy.Ru Forum

Сказал «Спасибо»: 580 раз
Поблагодарили: 660 раз в 396 постах
Включать или не включать HT на примере проекта Sat@Home. Взято два аппаратно идентичных хоста. ПО хостов тоже одинаково за исключением процессов «висящих» в памяти, предположим, что на результаты работы хоста 1 и 2 данные процессы и прочие накладные расходы особого влияние не имеют, думаю, все будет в пределах min погрешности при расчете.

Аппаратная часть: Dell OptiPlex 390, Intel i3-2120; 3,3 Ggz; 4Gb Ram; Программная часть из нагрузочного: Win7 Ultimate x64, антивирус KES 8, +службы.

Производительность:
хост №1 (HT выключен) – 3201 floating point MIPS per CPU, 10718 integer MIPS per CPU
Хост №2 (HT включен) - 3111 floating point MIPS per CPU, 8139 integer MIPS per CPU

Скриншоты:
левый скриншот: хост 1 - HT выключен, правый: хост 2 - HT включен.


Путем нехитрых мат. вычислений, без учёта всего описанного выше получаем прирост производительности от включения HT ≈ 18,9%. Много это или мало, решать Вам. Если все посчитал правильно и не будет замечаний от академической науки в лице Э.Ватутина, hoarfrost`а к прикладнику 199, то чуть позже выложу замеры для проектов Asteroids@Home и theSkyNet Pogs. Хотя для последнего расчитать прирост будет труднее, в отличии от Sat с его «идентичными» поступающими заданиями, у SkyNet Pogs судя по полученным библиотекам и наблюдением за ходом расчета, задания отличаются друг от друга на значительную величину.

P.S. фразу "Если все посчитал правильно и не будет замечаний от академической науки в лице Э.Ватутина, hoarfrost`а к прикладнику" перечитал сам и понял, что люди могут воспринять это как стёб. Хотя имел ввиду обратное, надо было так: "Посчитал вроде правильно, если ошибусь пусть академическая наука в лице Э.Ватутина, hoarfrost`а исправит прикладника 199".

Отредактировано пользователем 20 апреля 2013 г. 11:56:29(UTC)  | Причина: Не указана


команда Astronomy.Ru Forum - http://vk.com/club53333580
thanks 3 пользователей поблагодарили tanos за этот пост.
Step оставлено 20.04.2013(UTC), Yura12 оставлено 20.04.2013(UTC), AlexA оставлено 20.04.2013(UTC)
Offline evatutin  
#11 Оставлено : 20 апреля 2013 г. 11:14:36(UTC)
evatutin


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@homeРазработчику: За организацию проекта Gerasim@home

Группы: Editors, Member
Зарегистрирован: 08.06.2010(UTC)
Сообщений: 3,640
Откуда: Russia, Kursk

Сказал(а) «Спасибо»: 1023 раз
Поблагодарили: 1827 раз в 886 постах
S@turn написал:
У Вас есть подобные статьи ещё?


Идеи есть, времени нет, как всегда smile. Если руки дойдут, можно попробовать добавить Affinity и посмотреть на современные результаты...

kvt.kurskstu team founder
Gerasim@home scientist
My numbers are 5056994653507584 and 1835082219864832081920. Why not? smile
Offline S@turn  
#12 Оставлено : 20 апреля 2013 г. 12:24:29(UTC)
S@turn


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 19.12.2012(UTC)
Сообщений: 246
Российская Федерация

Сказал(а) «Спасибо»: 43 раз
Поблагодарили: 33 раз в 22 постах
Автор: evatutin Перейти к цитате
S@turn написал:
У Вас есть подобные статьи ещё?

Идеи есть, времени нет, как всегда smile. Если руки дойдут, можно попробовать добавить Affinity и посмотреть на современные результаты...
Я Вас понимаю. На статьи вечно времени самому не хватает... Не получается

Q8300+HD7790/E8200+HD7750
Offline tanos  
#13 Оставлено : 23 апреля 2013 г. 7:28:17(UTC)
tanos


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@homeМощь и напор: За сильное персональное выступление в соревновании. Донор: За финансовую помощь сайту

Группы: Member
Зарегистрирован: 08.10.2012(UTC)
Сообщений: 1,502
Мужчина
Откуда: Astronomy.Ru Forum

Сказал «Спасибо»: 580 раз
Поблагодарили: 660 раз в 396 постах
Цитата:
то чуть позже выложу замеры для проектов Asteroids@Home...


Параметры железа и софта те же, проект Asteroids@Home

Скриншоты:
левый скриншот: хост 1 - HT выключен, правый: хост 2 - HT включен.



Прирост от включения HT - 29,35%.

Отредактировано пользователем 23 апреля 2013 г. 7:58:18(UTC)  | Причина: Не указана


команда Astronomy.Ru Forum - http://vk.com/club53333580
thanks 3 пользователей поблагодарили tanos за этот пост.
Yura12 оставлено 23.04.2013(UTC), citerra оставлено 23.04.2013(UTC), Step оставлено 23.04.2013(UTC)
Offline Freddykrug  
#14 Оставлено : 23 апреля 2013 г. 12:28:54(UTC)
Freddykrug


Статус: Старожил

Группы: Member, Модератор Astronomy.Ru Forum
Зарегистрирован: 30.05.2010(UTC)
Сообщений: 2,874
Мужчина
Российская Федерация
Откуда: г. Томск

Сказал «Спасибо»: 740 раз
Поблагодарили: 494 раз в 313 постах
(сообщение отредактировано)
А теперь рассмотрим эту проблему с точки зрения "выхода продукции":

Средняя продолжительность выполнения задания:
1 ч 45 минут = 105 минут - для задания без НТ
2 ч 45 минут = 165 минут - для задания с НТ

Высчитаем, сколько посчитается заданий за равный промежуток времени
105 * 165 = 17325 минут.
При работе без НТ считаются 2 задания. Они насчитают: 17325 мин *2 задания / 105 минут = 330 заданий.
При работе с НТ работают 4 задания. Они насчитают: 17325 мин * 4 задания / 165 мин = 420 заданий.
Разница в 1,27 раз.

Отредактировано пользователем 23 апреля 2013 г. 16:01:25(UTC)  | Причина: Не указана

3 Gb Radeon 7950, i-5 2400, 16 Gb ОЗУ Astronomy.Ru Forum

thanks 1 пользователь поблагодарил Freddykrug за этот пост.
Yura12 оставлено 23.04.2013(UTC)
Offline Yura12  
#15 Оставлено : 23 апреля 2013 г. 12:47:25(UTC)
Yura12


Статус: Старожил

Группы: Editors, Member
Зарегистрирован: 28.01.2011(UTC)
Сообщений: 935
Мужчина
Российская Федерация
Откуда: Петрозаводск

Сказал «Спасибо»: 622 раз
Поблагодарили: 137 раз в 95 постах
Да, вот последнее сообщение надо бы пообсуждать более детально. (Помню же, что не всё так просто было с Hyper Threading, чтобы дать однозначный ответ).
Offline citerra  
#16 Оставлено : 23 апреля 2013 г. 12:48:22(UTC)
citerra


Статус: Старожил

Медали: Первооткрывателю: Нахождение пар ОДЛК в RakeSearch!Донор: За финансовую помощь сайту

Группы: Editors, Member, Russia Team Group, Moderators
Зарегистрирован: 02.10.2007(UTC)
Сообщений: 2,288

Сказал(а) «Спасибо»: 499 раз
Поблагодарили: 344 раз в 250 постах
Автор: Freddykrug Перейти к цитате
При работе с НТ работают 4 задания. Они насчитают: 17325 мин * 4 задания / 165 мин = 210 заданий.

Перепроверь, у меня 420 заданий
thanks 1 пользователь поблагодарил citerra за этот пост.
Freddykrug оставлено 23.04.2013(UTC)
Offline AlexA  
#17 Оставлено : 23 апреля 2013 г. 13:29:44(UTC)
AlexA


Статус: Administration

Медали: Переводчику: За помощь в создании сайта

Группы: Editors, Member, Administration, Russia Team Group, Moderators
Зарегистрирован: 02.10.2007(UTC)
Сообщений: 6,140
Мужчина
Российская Федерация
Откуда: "Russia Team"

Сказал «Спасибо»: 1250 раз
Поблагодарили: 1516 раз в 838 постах
Автор: citerra Перейти к цитате
Автор: Freddykrug Перейти к цитате
При работе с НТ работают 4 задания. Они насчитают: 17325 мин * 4 задания / 165 мин = 210 заданий.

Перепроверь, у меня 420 заданий

Да, ла - 420. И выигрыш получается 27%, почти как tanos писал.

Offline tanos  
#18 Оставлено : 23 апреля 2013 г. 13:47:27(UTC)
tanos


Статус: Старожил

Медали: Первооткрывателю: Результат в проекте SAT@homeМощь и напор: За сильное персональное выступление в соревновании. Донор: За финансовую помощь сайту

Группы: Member
Зарегистрирован: 08.10.2012(UTC)
Сообщений: 1,502
Мужчина
Откуда: Astronomy.Ru Forum

Сказал «Спасибо»: 580 раз
Поблагодарили: 660 раз в 396 постах
Автор: AlexA Перейти к цитате

Да, да - 420. И выигрыш получается 27%, почти как tanos писал.


Только еще среднее время брал с 10-ти первых заданий c обоих хостов. Для первого 106, второго 163,9 результат 1,29347.

Отредактировано пользователем 23 апреля 2013 г. 17:42:38(UTC)  | Причина: Не указана


команда Astronomy.Ru Forum - http://vk.com/club53333580
Offline Freddykrug  
#19 Оставлено : 23 апреля 2013 г. 16:02:52(UTC)
Freddykrug


Статус: Старожил

Группы: Member, Модератор Astronomy.Ru Forum
Зарегистрирован: 30.05.2010(UTC)
Сообщений: 2,874
Мужчина
Российская Федерация
Откуда: г. Томск

Сказал «Спасибо»: 740 раз
Поблагодарили: 494 раз в 313 постах
Н-да... Пошел-ка я вновь в школу, во второй класс. Позорник... Люди, никогда не пользуйтесь памятью калькулятора - развращает. Ибо забываешь, как в данном случае, что 17325 мин * 2 надо было умножить еще на 2 smile
3 Gb Radeon 7950, i-5 2400, 16 Gb ОЗУ Astronomy.Ru Forum

Offline Step  
#20 Оставлено : 23 апреля 2013 г. 17:35:57(UTC)
Step


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member
Зарегистрирован: 03.08.2010(UTC)
Сообщений: 916
Мужчина
Российская Федерация
Откуда: г. Кирово-Чепецк

Сказал «Спасибо»: 288 раз
Поблагодарили: 236 раз в 165 постах
Автор: Freddykrug Перейти к цитате
Средняя продолжительность выполнения задания:
1 ч 45 минут = 105 минут - для задания без НТ
2 ч 45 минут = 165 минут - для задания с НТ
Высчитаем, сколько посчитается заданий за равный промежуток времени
105 * 165 = 17325 минут.
При работе без НТ считаются 2 задания. Они насчитают: 17325 мин *2 задания / 105 минут = 330 заданий.
При работе с НТ работают 4 задания. Они насчитают: 17325 мин * 4 задания / 165 мин = 420 заданий.
Разница в 1,27 раз.
Как-то сложно вы считаете. Можно проще: 2*(105/165)=1,27 раз. smile
UserPostedImage UserPostedImage
Наука — лучший способ удовлетворения личного любопытства за государственный счёт.
Пользователи, просматривающие эту тему
Guest
3 Страницы123>
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

Boinc.ru theme. Boinc.ru
Форум YAF 2.1.1 | YAF © 2003-2018, Yet Another Forum.NET
Страница сгенерирована за 0.272 секунды.