close

Вход

Забыли?

вход по аккаунту

ppt

код для вставкиСкачать
Workshop on Creation of Grid-EGEE infrustructure
for scientific research in Russia
Protvino, January 17-19, 2005
www.eu-egee.org
NA4 RDIG EGEE Current Activities and
the next plans
E.Tikhonenko (JINR, NA4 Manager for Russia ),
EGEE is a project funded by the European Union under contract IST-2003-508833
Talk Outline
• NA4 basic goals and the directions of activities
• NA4 RDIG-EGEE Organizational structure and participants
• NA4 RDIG-EGEE sub-tasks:
 HEP
 biomed
 FusionGrid
• Milestones and deliverables
• Results of the activities during 9 months of the project
• Plans
• Useful references
Содержание доклада
• Основные цели и составляющие работы NA4
• Организационная структура группы NA4 в составе RDIG-EGEE
• Участники
• Направления работ подгрупп NA4 RDIG-EGEE:
 приложения физики высоких энергий
 биомедицинские приложения
 приложения ядерной физики (FusionGrid)
• Этапы работы и результаты работ за 9 месяцев действия проекта
EGEE
• План работы на 2005 год
• Список внутренней документации и полезные ссылки
Группа NA4: Идентификация и поддержка
приложений в среде проекта EGEE
Цели работ по идентификации и поддержке
• приложений:
определение набора существующих пользовательских
приложений из широкого спектра прикладных областей –
научной, промышленной и коммерческой;
• создание для каждой новой отрасли хорошо подготовленных
групп для поддержки и развертывания (размещения)
приложений, что, в свою очередь, создаст прочную основу
для расширения сообщества EGEE;
• сосредоточение работы на начальном периоде действия проекта
в хорошо сформулированных прикладных областях – физике
частиц и науках о жизни (в частности, биомедицине). Эти два
научных сообщества уже приобщены к грид-технологиям и с
самого начала проекта готовы к развертыванию реальных
сложных приложений
Группа NA4: Идентификация и поддержка
приложений в среде проекта EGEE
Основные составляющие работы:
•
Результатом работы группы NA4 будут являться программные приложения
– прикладные пакеты, развернутые в инфраструктуре EGEE и доступные
для работы в grid-среде соответствующим сообществам пользователей
•
Для развертывания этих приложений может понадобиться специальное ПО
для обеспечения интерфейса к grid. Необходимо собрать существующую
документацию из проекта EDG и других проектов (LCG, ARDA, GridLab,
Healthgrid, …) для выработки общего решения
•
Процесс развертывания приложений в инфрастуктуру EGEE будет
происходить в рамках виртуальных организаций, объединяющих
соответствующих пользователей
•
Инфраструктура EGEE будет расширяться; с появлением новых
пользователей им будет оказываться поддержка и будет организовываться
обучение; также будут создаваться новые виртуальные организации
NA4: роли партнеров в проекте и финансирование
Федерация
Роль
FTE
Funded
FTE
Unfunded
4
4 (9)
0,5
0,5
CERN
Приложения ФВЭ (координация)
UK+Ireland
Взаимодействие с NA3
Italy
Базовые приложения (координация)
2
2
France
Общая координация;
биомедицинские приложения;
подгруппа тестирования;
контакты с промышленными партнерами
7
7
Northern Europe
Базовые приложения
1
1
Germany +
Switzerland
Базовые приложения
1
1
Central Europe
Базовые приложения
1
1
South West
Europe
Биомедицинские приложения
2
2
Russia
Приложения ФВЭ;
биомедицинские приложения;
приложения ядерной физики
5.7
0.3
24,2
18.8
Этапы работы и ожидаемые
результаты
В течение первых 6-ти месяцев должна быть завершена миграция первых
приложений в структуру EGEE:
•HEP DCs для 4 экспериментов LHC и эксперимента D0
• биомедицина – моделирование с помощью приложения GATE в ядерной
медицине + иные приложения
•плюс первые ‘базовые’ приложения
В течение первых нескольких месяцев работы проекта будет
выработано определение общего интерфейса для приложений (что
особенно важно для новых приложений; здесь будет очень
существенным использование портала GENIUS)
В течение первого полугодия будет создан документ по целевой
стратегии (который необходим в контексте использования новых
приложений в инфраструктуре EGEE)
K концу 3-го квартала работы проекта будет подготовлен отчет о
процессе миграции приложений
• По всем приложениям будут даны оценки по действующим и
опытным сервисам LCG (текущему и «новому» промежуточному ПО)
Russian institutes participating in NA4:
•
•
•
•
Institute of High Energy Physics ( IHEP, Protvino)
Institute of Theoretical and Experimental Physics ( ITEP, Moscow)
Joint Institute for Nuclear Physics (JINR, Dubna)
Petersburg Nuclear Physics Institute of Russian Academy of
Science ( PNPI, Gatchina)
• Russian research Center «Kurchatov Institute» ( RRC KI,
Moscow)
• Skobeltsin Institute of Nuclear Physics of Moscow State
University (SINP MSU, Moscow)
• Institute of Mathematical Problems of Biology Russian Academy of
Sciences (IMPB RAS, Pushchino)
The responsibilities of Russian institutes in NA4 HEP
applications are fixed in Tech Annexe, p.89
•
•
•
•
•
•
IHEP
 management of ATLAS VO in Russia. Support of ALICE, CMS and LHCb pilot apps
ITEP
 management of LHCb and ALICE VOs in Russia. Support of ATLAS and CMS pilot
apps
JINR
 support of ATLAS, ALICE, CMS and LHCb pilot apps
PNPI
 support of HEP pilot apps (ATLAS, CMS, ALICE, LHCb) for St.Petrsburg region
RRC KI
 support of ALICE pilot apps. Lead partner for Fusion GRID apps in Russia
SINP MSU
 management of CMS VOs in Russia. HEP apps activities in Russia
for all the institutes: identification of new users; introduction of new user communities
Участие RDIG-EGEE в NA4
• Приложения ФВЭ:






Институт теоретической и экспериментальной физики (Москва) (отв.по LHCb)
Институт физики высоких энергий (Протвино) (отв.по ATLAS)
Курчатовский институт (Москва)
Научно-исследовательский институт ядерной физики (Москва) (отв. по CMS)
С.-Петербургский институт ядерной физики (Гатчина)
Объединенный институт ядерных исследований (Дубна) (отв. по ALICE и CMS)
• Биологические приложения

Институт математических проблем биологии (Пущино)
• Приложения ядерной физики (FusionGrid)

Курчатовский институт (Москва)
Основная задача (NA4.4.2) – миграция приложений в
инфраструктуру EGEE
NA4 Russian contribution in FTE: 1st year:
IHEP (Protvino) (0.8 FTE/year)- Andrei Minaenko (ATLAS),
V.Romanovsky(LHCb), Yuri Kharlov (ALICE) - all - funded and Lenid
Zakamsky(ATLAS) – unfunded
ITEP (Moscow) (1.0 FTE/year) - Ivan Korolko(LHCb), Boris Zagreev(ALICE),
Mikhail Prokudin (LHCb)
JINR (Dubna) (0.8 FTE/year)- Galina Shabratova(ALICE), Viktor
Pose(ARDA), Elena Tikhonenko(CMS)
PNPI (Gatchina) (0.8 FTE/year)- Yury Ryabov(PNPI NA4/HEP coordinator),
Nikolay Klopov(ALICE),Oleg Fedin(ATLAS), Andrey Zalite(ATLAS),
Anatoly Oreshkin(CMS,LHCb),Vladimir Nikulin(ALICE)
RRC KI (Moscow) (1.0 FTE/year)- Yuri Satarov (ALICE)- Vladimir
Voznesensky, Mikhail Sokolov (FusionGrid)
SINP MSU (Moscow) (1.0 FTE/year)- Olga Kodolova(CMS), Sergei
Sivioklokov(ATLAS), Victor Edneral (SA1-NA4)
IMPB RAS (Puschino) - Mikhail Ustinin (Biomed), Serge Filippov (Biomed),
Fialko Nadezhda (Biomed)
NA4 Russian responsibles
NA4 responsibles at RDIG EGEE institutes:
IMPB RAS – Mikhail Ustinin; ITEP – Ivan Korolko; IHEP – Yuri Kharlov; JINR – Elena
Tikhonenko; RRC KI – Vladimir Dobretsov; SINP MSU - Olga Kodolova
HEP applications:
•
•
•
•
ALICE : Galina Shabratova (JINR); deputy: Yuri Kharlov (IHEP)
ATLAS: Andrei Minaenko (IHEP); deputy: Leonid Zakamski (IHEP)
CMS: Olga Kodolova (SINP MSU); deputy: Elena Tikhonenko (JINR)
LHCb: Ivan Korolko (ITEP, Moscow); deputy: Vladimir Romanovski (IHEP)
Biomed applications:
• V.Lakhno (IMPB RAS); deputy: Mikhail Ustinin (IMPB RAS)
Nuclear Fusion applications:
• Aleksei Soldatov (RRC KI); deputy: Vladimir Dobretsov (RRC KI)
NA4 HEP RDIG EGEE Deliverables
(1st year):
Deliverables
DNA4.4.2.
All the
year;
started
Identification of Russian participants from HEP experiments interesting in HEP
application usage in the EGEE environment; obtaining the CAs, joining the HEP
VOs
DNA4.4.2
All the
year;
started
Co-ordination of usage strategy of Russian resources for all the experiments
taking into account a specifics of Russian distributed center with the resources
common for all HEP experiments. Resources sharing&usage in the accordance
with the co-ordinated strategy (via web-interface orders)
DNA4.4.2
M1-M12
Participation in DCs providing necessary feedback to Middleware and
Operations
DNA4.4.2
M6-M9
Installation of middleware and Alice software for analysis. Test of Alice analysis
framework for the analysis of data challenge data. Stress tests of LHCb
production tools
DNA4.4.2
M9-M12
Participation in ARDA testbeds (ALICE; CMS)
DNA4.4.2
All the
year
Regular seminars for HEP users (how to launch HEP applications in LCG
environment etc.). www informational support (www-pages on NA4 HEP
applications activities at Russian institutes)
DNA4.4.2
M9-M12
First applications migration in EGEE infrastructure
Presented in Cork
RDIG EGEE membership in VOs
(January, 2005)
ALICE VO – 6 (of 30 alice VO members)
4 – ITEP, 2 – JINR
ATLAS VO – 7 (of 212 atlas VO members)
5 – IHEP, 1 – SINP MSU, 1 – MEPHI
CMS VO – 10 (of 161 cms VO members)
4 - SINP MSU, 3 – Kharkov, 2 – ITEP, 1 – JINR
LHCb VO –
ITEP – 12, IHEP-8,
JINR – 7, SINP MSU – 6,
Kharkov – 3,
IMPB – 2, PNPI – 1,
INR – 1, IPM – 1,
MEPHI –1, RRC KI – 1
3 (of 42 lhcb VO members)
all ITEP
dteam VO – 16 (of 267 dteam VO members)
4 –JINR, 3 – ITEP, 3 – IHEP, 1 – RRC KI, 1 – INR, 1 – IPM, 1 –IMPB, 1 – PNPI, 1- SINP
Biomed VO – 1
(of 37 biomed VO members)
IMPB
in total: 43
The target fixed in the Technical
Annex for the EGEE project by the
End Year 2: > 3000 VOs users !
Программное обеспечение alice, atlas, cms и lhcb,
установленное на LCG фермах RDIG EGEE
IHEP (115CPU, 2.2TB)
VO-atlas-release-9.0.3
VO-cms-CMKIN_3_2_0_dar
VO-lhcb-Gauss-v15r13
SINP MSU (??CPU, ??TB)
VO-atlas-release-????
VO-cms-CMKIN_3_2_0_dar
VO-lhcb-Gauss-v????
VO-alice-???
?????????????
ITEP (40CPU; 2TB)
VO-alice-ALICE-v4-01-Rev-04
VO-alice-AliEn-1.33.15 VO-alice-AliEn
VO-atlas-release-8.0.5
VO-atlas-release-8.0.8
VO-cms-CMKIN_3_2_0_dar
VO-cms-OSCAR_2_4_5_dar
VO-lhcb-DC04-v1
VO-lhcb-Gauss-v15r13
JINR (20CPU,1.8TB)
VO-alice-ALICE-v4-01-Rev-04
VO-alice-AliEn-1.33.15
VO-alice-AliEn
VO-atlas-release-8.0.5
VO-atlas-release-8.0.8
VO-cms-CMKIN_3_2_0_dar
VO-cms-OSCAR_2_4_5_dar
VO-lhcb-DC04-v1
VO-lhcb-Gauss-v15r13
Участие в работах по ARDA (В.Позе; А.Залите)
Тестирование компонентов EGEE middleware (gLite)(В.Позе).
1. Metadata catalog (каталог метаданных)
надёжность одновременной работы Metadata catalog с многими (до 100) клиентами
измерение скорости записи и чтения в зависимости от количества одновременно обслуживаемых клиентов
создание пакета RPM для быстрой инсталяции Metadata catalog под ОС Scientific Linux CERN
2. Fireman catalog (комбинированный файловый и реплика каталог)
 надёжность при записи до 100.000 файлов в каталог с использованием простых вызовов и
bulk вызовов
(использующих в качестве аргумента массив данных)
 надёжность bulk операций при создании записей в каталоге в следующих ситуациях:
- одна запись из 100 заданных в массиве уже существует
- 2 частично идентичные записи в массиве
- в одном массиве: создание записей в разных каталогах (directories)
- обрыв клиента во время выполнения bulk вызовов
- одновременное создание записей в каталоге несколькими клиентами
использование служебных символов в имени файла
Тестирование возможностей использования gLite для ATLAS
(А.Залите).
ALICE plans for the 2005 year:
•
•
•
Installation of gLite at the the LHC (LCG) farms (1-2 quarters
of 2005).
Test of the gLite functionality(1-2 quarters of 2005).
Participation in the Physics Data Challenge 05-07 2005 with
the main tasks:
 test of condition infrastructure and test of MC simulation at the base
of FLIKA
test of gLite and CASTOR
 speed test of distributing data from CERN
ATLAS plans for the 2005 year:
•
•
•
•
Production (simulation&reconstruction) in the frames of
preparation for the ATLAS conference in Rome (June, 2005);
start of production runs in February
Participation in debugging of the ADA distributed analysis
system (constructed with the usage of a number of gLite
services)
Preparation for the DC3 (by the end of 2005-begininng of
2006)
CMS plans for the 2005 year:
 Installation and support of the new versions of CMS sw at LCG
 Testing and production runs at the LCG farms
 Installation and support of Phedex (files transfering with the usage of grid
tools)
 User analysis jobs run at the LCG farms
LHCb plans for the 2005 year:
 Continue simulation runs at the LCG farms
 Creation of a common web-interface for physics analysis in Grid
FusionGrid and Biomed plans for the 2005 year:
FusionGrid:
Preparing to migration some applications from Nuclear Fusion field toLCG-2
VO creation at the local resources
- организация работы с экспериментальными данными нескольких экспериментальных
установок
- моделирование; теоретические расчеты
- поддержание базы знаний по термоядерному синтезу (в том числе, разработка грид-вебинтерфейса)
Biomed:
To continue deployment of the Mathcell project (MATHematical
modelling of living CELL) into EGEE; web-resource of the project:
http://www.mathcell.ru
Полезные ссылки













Внутренние документы проектов EGEE и LCG:
Target Application Sector Strategy Document (NA4 document) –
https://edms.cern.ch/document/489669/5
NA4 Test Plan – https://edms.cern.ch/document/477168/1
Integrating a New VO to the EGEE infrastructure (SA1 document) –
https://edms.cern.ch/document/488885
Virtual Organization Registration Policy & Procedure (LCG document)–
https://edms.cern.ch/document/503245
Definition of Common Application Interface & Planning Document(NA4 document) –
https://edms.cern.ch/document/475319
Application Migration Report (NA4 document) –
https://edms.cern.ch/document/523422
Полезные ссылки на порталы, сайты и отдельные страницы:
http://egee-na4.ct.infn.it – Web-сайт группы NA4
http://genius.ct.infn.it – GENIUS portal
http://alipc1.ct.infn.it/grid/egee/na4/questionnaire/na4-genapp-questionnaire.doc –
Опросник по выявлению “базовых” приложений
http://public.eu-egee.org/industry-forum/information – Промышленный форум
http://lcgapp.cern.ch/project/ – LCG Project - Applications Area (POOL, GEANT4, SEAL, …)
http://www.gridpp.ac.uk/ – The Grid for UK Particle Physics
http://ussup.itep.ru/ - Russian Grid User Support
1/--страниц
Пожаловаться на содержимое документа