Российские распределенные вычисления на платформе BOINC
Форум участников распределённых вычислений.

Добро пожаловать, Гость! Чтобы использовать все возможности Вход или Регистрация.

Уведомление

Icon
Error

4 Страницы<1234>
Опции
К последнему сообщению К первому непрочитанному
Offline astronom  
#41 Оставлено : 29 августа 2017 г. 17:17:55(UTC)
astronom


Статус: Старожил

Группы: Member, Russia Team Group
Зарегистрирован: 27.07.2008(UTC)
Сообщений: 2,177
Откуда: РФ, Подольск

Сказал(а) «Спасибо»: 130 раз
Поблагодарили: 175 раз в 151 постах
Автор: Disel Перейти к цитате

ps. Как продлить время жизни обычной консольной SSH сессии? Попробовал по одной из инструкций, что-то не помогло. Через несколько минут сессия "умирает".

тут два варианта:
1. Установить в настройках SSH-клиента в параметре ServerAliveInterval интервал времени для отправления серверу нулевых пакетов, чтобы тот думал, что сессией кто-то пользуется и не обрывал ее. Подробнее тут: https://forum.ivorde.com...liveinterval-t19451.html

2. Запускать на сервере при входе тот же tmux или screen, например. Они вроде сами поддерживает сессию в активном состоянии. Подробнее можно посмотреть тут https://www.tecmint.com/...ing-after-disconnection/ (многие описанные там вещи вижу впервые eek )
thanks 1 пользователь поблагодарил astronom за этот пост.
Disel оставлено 29.08.2017(UTC)
Offline Demis  
#42 Оставлено : 29 августа 2017 г. 18:44:33(UTC)
Demis


Статус: Я тут не впервой

Группы: Member
Зарегистрирован: 29.05.2017(UTC)
Сообщений: 26

Сказал(а) «Спасибо»: 2 раз
Поблагодарили: 3 раз в 3 постах
Автор: Disel Перейти к цитате
Все таки основное внимание российским проектам, дней 10 считал ODLK, сейчас считаются STOP и Accustic.
ps. Как продлить время жизни обычной консольной SSH сессии? Попробовал по одной из инструкций, что-то не помогло. Через несколько минут сессия "умирает".
В LHC и наши ученые задействованы/работают тоже. Так, что помогая проекту мы помогаем и нашим тоже.

По сессиям в принципе все верно описано выше. Есть еще правда всякие "но", на которые надо обратить внимание. Например сетевые условия, т.е. один хост "здесь", другой через Интернет "там". Если посередке стоит/встречается какой-нибудь керио - тоже будут рваться сессии. Если речь про локалку можно еще поиграться с
Код:
KeepAlive yes
или TCPKeepAlive yes
AliveInterval 0
или ClientAliveInterval 0
в /etc/ssh/sshd_config если доступно изменение этого файла. Можно почитать http://forum.ubuntu.ru/index.php?topic=150845.0 или как вариант посмотреть на autossh http://blog.sozinov.eu/2009/08/autossh.html
thanks 1 пользователь поблагодарил Demis за этот пост.
Disel оставлено 29.08.2017(UTC)
Offline Disel  
#43 Оставлено : 29 августа 2017 г. 18:51:52(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Автор: Demis Перейти к цитате
В LHC и наши ученые задействованы/работают тоже. Так, что помогая проекту мы помогаем и нашим тоже.


Я знаю, там международный коллектив. И наш вклад насколько мне известно не самый маленький...в том числе по финансам.

Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline Disel  
#44 Оставлено : 30 августа 2017 г. 17:42:04(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Это коллективная наработка темы и всех кто здесь отписывался. Итак, команды которые прижились у меня для управления boinc проектами на удаленной машине. И в принципе, с моей точки зрения, их достаточно:

boinccmd --project_attach URL_проекта Account_Key - добавить проект
boinccmd --project URL_проекта detach - удалить проект
boinccmd --project URL_проекта nomorework - не принимать задания
boinccmd --project URL_проекта allowmorework - возобновить прием заданий
boinccmd --project URL_проекта suspend - прекратить работу
boinccmd --project URL_проекта resume - возобновить работу
boinccmd --project URL_проекта update - обновить

Если есть еще какие-то очень полезные и необходимые команды, давайте пополним список и создадим прямо здесь что-то типа русского help. )
Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline hoarfrost  
#45 Оставлено : 30 августа 2017 г. 18:04:28(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,183
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1160 раз
Поблагодарили: 1577 раз в 1011 постах
Из полезных ещё - уже упоминавшаяся create account.
UserPostedImage
Offline Demis  
#46 Оставлено : 31 августа 2017 г. 10:38:17(UTC)
Demis


Статус: Я тут не впервой

Группы: Member
Зарегистрирован: 29.05.2017(UTC)
Сообщений: 26

Сказал(а) «Спасибо»: 2 раз
Поблагодарили: 3 раз в 3 постах
Автор: Disel Перейти к цитате
Это коллективная наработка темы и всех кто здесь отписывался. Итак, команды которые прижились у меня для управления boinc проектами на удаленной машине. И в принципе, с моей точки зрения, их достаточно:

boinccmd --project_attach URL_проекта Account_Key - добавить проект
boinccmd --project URL_проекта detach - удалить проект
boinccmd --project URL_проекта nomorework - не принимать задания
boinccmd --project URL_проекта allowmorework - возобновить прием заданий
boinccmd --project URL_проекта suspend - прекратить работу
boinccmd --project URL_проекта resume - возобновить работу
boinccmd --project URL_проекта update - обновить

Если есть еще какие-то очень полезные и необходимые команды, давайте пополним список и создадим прямо здесь что-то типа русского help. )


Надо лукап добавить.
Ведь обычно, при ручном добавлении, это такая последовательнось:
boinccmd --lookup_account URL_проекта MyEmail password (получаем "account key: c9b14123e347gbft123s7gg8w5f89s5s
"wink
boinccmd --project_attach URL_проекта c9b14123e347gbft123s7gg8w5f89s5s - подписываемся на проект с помощью полученного ключа.
boinccmd --get_project_status - проверяемся.
(ключ приведен левый, как пример. И не забываем про косую "/" в конце URL_проекта)

Offline hoarfrost  
#47 Оставлено : 31 августа 2017 г. 15:37:30(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,183
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1160 раз
Поблагодарили: 1577 раз в 1011 постах
--lookup_account - да, штука полезная.
Но account_key я обычно смотрю на сайте проекта.
smile
UserPostedImage
Offline Disel  
#48 Оставлено : 1 сентября 2017 г. 14:11:17(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Еще просто необходимые команды, совсем забыл о них:



boinccmd --get_project_status просмотр добавленных проектов

boinccmd --get_tasks просмотр принятых к исполнению заданий


А есть ли возможность через терминал запросить количество заработанных очков в проекте? Что бы не идти на сайт.

Переключается ли, время от времени, клиент на обработку заданий других проектов, если в текущий момент времени приняты задания от разных проектов? Можно ли этим управлять?

Отредактировано пользователем 1 сентября 2017 г. 15:33:40(UTC)  | Причина: Не указана

Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline hoarfrost  
#49 Оставлено : 2 сентября 2017 г. 11:14:02(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,183
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1160 раз
Поблагодарили: 1577 раз в 1011 постах
Автор: Disel Перейти к цитате
А есть ли возможность через терминал запросить количество заработанных очков в проекте? Что бы не идти на сайт.

А если вот так:
Код:
./boinccmd --get_project_status | grep "master URL\|user_total_credit"

?

Цитата:
Переключается ли, время от времени, клиент на обработку заданий других проектов, если в текущий момент времени приняты задания от разных проектов? Можно ли этим управлять?

Да, переключается. Управлять можно задавая приоритеты проектов. Насколько я понял, адекватное разделение времени между проектами начнётся тогда, когда время до deadline-а заданий от разных проектов станет примерно одинаковым. Скорее тут планировка идёт на уровне заданий, плюс учитывается приоритет проектов.
UserPostedImage
thanks 1 пользователь поблагодарил hoarfrost за этот пост.
Disel оставлено 03.09.2017(UTC)
Offline zlodeck  
#50 Оставлено : 2 сентября 2017 г. 12:51:51(UTC)
zlodeck


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 03.06.2012(UTC)
Сообщений: 147
Откуда: Замкадье

Сказал(а) «Спасибо»: 15 раз
Поблагодарили: 57 раз в 31 постах
Автор: hoarfrost Перейти к цитате
Автор: Disel Перейти к цитате
А есть ли возможность через терминал запросить количество заработанных очков в проекте? Что бы не идти на сайт.

А если вот так:
Код:
./boinccmd --get_project_status | grep "master URL\|user_total_credit"

?


А под масдай Windows?

Удивительно, но таки есть!!
Можно конечно и grep поставить.
Но сразу подумалось про find. Правда, он оказался весьма дебильным и не позволял искать по нескольким строкам.
Ничего, есть findstr - этот может:
Код:
boinccmd --get_project_status | findstr /C:"master URL" /C:"user_total_credit"

thanks 1 пользователь поблагодарил zlodeck за этот пост.
hoarfrost оставлено 02.09.2017(UTC)
Offline Disel  
#51 Оставлено : 3 сентября 2017 г. 4:47:24(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Относительно поддержания SSH сессии в актуальном состоянии нашел предельно простой выход из ситуации, без внесения изменений в настройки. На время пауз запускаем htop и поддерживаем сессию в актуальном состоянии, заодно видна загрузка процессоров, памяти и т.п. Если нужно дать команду, жмем q для выхода из htop и делаем что надо.
Один из способов "быстрого входа" в случае потери сессии - авторизация через ключ без пароля (описывалось здесь), вызываем из кеша терминала команду входа и жмем Enter.

***

Ради теста попробовал WCG, задания принимаются, посчитал несколько заданий Mapping Cancer Markers, все корректно.

***

Более месяца использования виртуальной машины позволили мне сделать такие выводы:

1. Это удобно.
2. Никакого технического обслуживания.
3. Это использование на постоянной основе в режиме 24/7 по умолчанию, при этом "без шума и пыли".
4. Касательно денег - не дешево в "относительно нормальной" конфигурации (моя конфигурация 2 Xeon-овских ядра, 1 Гб ОЗУ и 20 ГБ HDD стоит под 400 рублей), но можно взять в аренду самый дешевый серверок (1 процессор, 500 Мб памяти, 10 Гб HDD) за сумму около 100-130 рублей в месяц и считать любимый проект, правда не требовательный к объему памяти (поэтому от плюшек в виде webmin в этом случае лучше отказаться). Такой способ вполне посилен не только ради экспериментов, но и на постоянной основе. Правда нужна проверка - будет ли машинка с таким объемом памяти принимать задания в принципе (хотел проверить, но арендатор "почему то" не дает уменьшить количество памяти, в сторону увеличения пожалуйста sad )

5. Ну и главный вывод - можно в складчину командой арендовать сервер на год (при этом будет со скидкой) и запустить какой-то проект на просчет в режиме 24/7/365. Соревнуемся удаленными серверами? smile Цена вопроса для 2-х ядерного сервера Xeon 2.2 Ггц c 1 Гб памяти около 3000 р. за год.
Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline hoarfrost  
#52 Оставлено : 3 сентября 2017 г. 10:22:16(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,183
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1160 раз
Поблагодарили: 1577 раз в 1011 постах
А какие Xeon-ы?

Пилить железки, скреплять их и вешать платы с процессорами - по моему интереснее. А без копания в них - как-то совсем скучно.
smile
UserPostedImage
Offline Horror245  
#53 Оставлено : 3 сентября 2017 г. 11:09:11(UTC)
Horror245


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 02.04.2014(UTC)
Сообщений: 215
Мужчина
Украина

Сказал «Спасибо»: 52 раз
Поблагодарили: 39 раз в 34 постах
Googl-овский 1 процессор, 500 Мб памяти, 10 Гб HDD за сумму около 5 баксов в месяц спокойно считает universe@ WCG@. POGS- в самом начале берет задание, просчитывает, но новых получать не хочет.(ну и google cloud platform дают возможность бесплатного теста мощностей на суму 300$) 199
Offline Disel  
#54 Оставлено : 3 сентября 2017 г. 12:49:18(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Автор: hoarfrost Перейти к цитате
А какие Xeon-ы?

Пилить железки, скреплять их и вешать платы с процессорами - по моему интереснее. А без копания в них - как-то совсем скучно.
smile

Intel(R) Xeon(R) CPU E5-2658 v4 @ 2.30GHz

Это если есть возможность. У меня ее нет. И времени на это то же. Да и знания "железные" нужны для самостоятельной сборки, каждый специалист в своем деле.


Horror245 написал:
Googl-овский 1 процессор, 500 Мб памяти, 10 Гб HDD за сумму около 5 баксов в месяц


Что за процессор? Аренда у Googl-а? И не дороговато ли?
Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline Horror245  
#55 Оставлено : 3 сентября 2017 г. 13:01:08(UTC)
Horror245


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 02.04.2014(UTC)
Сообщений: 215
Мужчина
Украина

Сказал «Спасибо»: 52 раз
Поблагодарили: 39 раз в 34 постах
Intel(R) Xeon(R) CPU @ 2.30GHz [Family 6 Model 63 Stepping 0] Haswell но есть возможность выбора : Broadwell, Skylake(поднимается цена за аренду). Эксплуатирую машину у гугл по причине "бесплатного теста мощностей на суму 300$".

Бросте ссылочку где арендуете.
Offline Disel  
#56 Оставлено : 3 сентября 2017 г. 13:34:35(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Автор: Horror245 Перейти к цитате
Бросте ссылочку где арендуете.


На https://ruvds.com, но там не лучший вариант как я понял, они как-то ограничивают мощность. Зарегил там когда еще не знал этого.

Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
thanks 1 пользователь поблагодарил Disel за этот пост.
Horror245 оставлено 03.09.2017(UTC)
Offline Horror245  
#57 Оставлено : 3 сентября 2017 г. 13:39:58(UTC)
Horror245


Статус: Частенько заглядывает

Группы: Member
Зарегистрирован: 02.04.2014(UTC)
Сообщений: 215
Мужчина
Украина

Сказал «Спасибо»: 52 раз
Поблагодарили: 39 раз в 34 постах
Был слушок, что многие фирмы начинают ограничивать мощностя когда видят, что нагрузка на проц длительное время 100%. А Вы гуглю попробуйте, там есть выбор триал (халявного) подключения для всех, но с вводом данных кредитной карточки и гугл аккаунта.
thanks 1 пользователь поблагодарил Horror245 за этот пост.
Disel оставлено 03.09.2017(UTC)
Offline Disel  
#58 Оставлено : 3 сентября 2017 г. 14:34:41(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Автор: Horror245 Перейти к цитате
Был слушок, что многие фирмы начинают ограничивать мощностя

Не только мощность, но и трафик. Хотел еще консольный торрент клиент rtorrent там разместить, прочитал пользовательское соглашение, оказалось, что нельзя. Технически при достижении объема пропущенного трафика N Мб (не помню цифру сейчас) наступает жесткое ограничение скорости.
Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Offline hoarfrost  
#59 Оставлено : 4 сентября 2017 г. 0:20:21(UTC)
hoarfrost


Статус: Старожил

Медали: Переводчику: За помощь в создании сайтаРазработчику: За разработку приложения CluBORunДонор: За финансовую помощь сайту

Группы: Editors, Member, Administration, Moderator Crystal Dream, Moderators, Crystal Dream Group
Зарегистрирован: 05.10.2007(UTC)
Сообщений: 8,183
Мужчина
Откуда: Crystal Dream

Сказал «Спасибо»: 1160 раз
Поблагодарили: 1577 раз в 1011 постах
Автор: Disel Перейти к цитате
Автор: hoarfrost Перейти к цитате
А какие Xeon-ы?

Пилить железки, скреплять их и вешать платы с процессорами - по моему интереснее. А без копания в них - как-то совсем скучно.
smile

Intel(R) Xeon(R) CPU E5-2658 v4 @ 2.30GHz

Тогда при масштабной аренде (если арендовать сразу много ядер) можно нарваться на проблемы, описанные чуть ранее. Да и крайне странно было бы, если бы мощности серверов продавались бы по цене ниже, чем даёт обычные персоналки. Другое дело, что если их надо покупать на короткое время - то да, это выгоднее.
Сейчас, например, комбинация AMD Ryzen 5 1600 + плата + 2 x 4 Гбайт RAM DDR4 будет стоить около 25 тысяч р. А это - 12 потоков на частоте от 3.2 ГГц. Если я правильно понял расценки, то аналогичная конфигурация в облаке будет стоить от 2400 р. в месяц, то есть своя машина окупится где-то через год, если не быстрее.

Цитата:
Это если есть возможность. У меня ее нет. И времени на это то же. Да и знания "железные" нужны для самостоятельной сборки, каждый специалист в своем деле.

Это надо собраться, скоперироваться и выкатить конкурента Колобку и Shmya Cluster. Было бы что, а уж собрать компанией - получится.
smile
UserPostedImage
Offline Disel  
#60 Оставлено : 11 сентября 2017 г. 17:12:23(UTC)
Disel


Статус: Старожил

Медали: Донор: За финансовую помощь сайту

Группы: Member, Russia Team Group
Зарегистрирован: 08.07.2013(UTC)
Сообщений: 3,539
Мужчина
Российская Федерация

Сказал «Спасибо»: 480 раз
Поблагодарили: 418 раз в 318 постах
Disel написал:
но можно взять в аренду самый дешевый серверок (1 процессор, 500 Мб памяти, 10 Гб HDD) за сумму около 100-130 рублей в месяц и считать любимый проект, правда не требовательный к объему памяти (поэтому от плюшек в виде webmin в этом случае лучше отказаться). Такой способ вполне посилен не только ради экспериментов, но и на постоянной основе


Проверка самой скромненькой удаленной машинки за 130 рублей состоялась (1 ядро Xeon CPU E5-2658 v4 @ 2.30GHz; 500 Мб ОЗУ). Работают проекты Accustic@home и RakeSearch - ОДЛК. Потребление памяти "голой" машины около 100 Мб, с учетом нетребовательности обоих проектов к памяти задания принимаются и обрабатываются.
Ubuntu Linux 14.04 LTS - 64 bit / Boinc 7.2.42(х64) / Core 2 DUO E6300 1.8 Ггц / GeForce GT-630
Пользователи, просматривающие эту тему
Guest (3)
4 Страницы<1234>
Быстрый переход  
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.

AlexA theme. Created by AlexA
Форум YAF 2.1.1 | YAF © 2003-2017, Yet Another Forum.NET
Страница сгенерирована за 0.212 секунды.