Распределенная ГРИД-инфраструктура УрО РАН

В настоящее время общепризнанным фактом является невозможность создания одного крупного СКЦ, способного обслуживать любые задачи любых пользователей, независимо от их местоположения. Для этого не хватит ресурсов, как финансовых, так и технических (ограничения на площади вычислительных залов, доступные мощности электропитания, возможности охлаждения). Эффективное решение крупных научных задач требует объединения вычислительных ресурсов разных организаций по высокоскоростным каналам связи, которое реализуется с помощью ГРИД-технологий. Наиболее известным примером является ГРИД-инфраструктура Большого адронного коллайдера, в рамках которой объединены вычислительные ресурсы многих стран Европы и США. Россия также принимает участие в этом проекте.

В УрО РАН ведутся работы по развитию распределенной ГРИД-инфраструктуры, охватывающей регионы присутствия отделения.

Разработана концептуальная модель ГРИД УрО РАН, учитывающая специфику структуры и научную многопрофильность УрО РАН, с последующим выходом на работающий прототип. Создаваемый ГРИД не ограничен одной предметной областью, а может быть использован для решения задач в разных областях науки и техники.

Разработана архитектура территориально-распределенной системы хранения данных среды высокопроизводительных вычислений УрО РАН на основе ГРИД-технологий и новых протоколов Интернета (Parallel NFS, WebDAV). Узлы системы хранения могут быть распределены по регионам присутствия УрО РАН. Разработаны механизмы подключения территориально-распределенной системы хранения данных к СК на основе совместного использования ГРИД-протоколов и стандартных протоколов Интернет.

Первый региональный вычислительный центр (РВЦ) создан в ИМСС УрО РАН в городе Перми. В РВЦ передана часть оборудования СКЦ ИММ УрО РАН, ранее входившая в состав СК «УРАН». Пиковая производительность переданного вычислительного кластера 4,5 TFlops. Также в РВЦ передан сервер хранения данных Supermicro, дисковая емкость которого составляет 24 ТБ.

Подключение РВЦ ИМСС УрО РАН к СКЦ ИММ УрО РАИ выполнено по высокоскоростному каналу связи Пермь – Екатеринбург, построенному в рамках проекта Giga UrB RAS. Использованы оптические линии связи и оборудование DWDM. В настоящее время доступны 2 канала по 10 Гб/с и 8 каналов по 1 Гб/с, для ГРИД-инфраструктуры используется один канал 10 Гб/с.

Основные компоненты ГРИД-инфраструктуры: вычислительные ресурсы и системы хранения. Вычислительные ресурсы включают СК «УРАН» и вычислительный кластер в РВЦ ИМСС УрО РАН, интегрированные друг с другом. Распределенная система хранения построена на основе независимых серверов хранения данных Supermicro. Три таких сервера установлено в СКЦ ИMM УрО РАН и один в РВЦ ИМСС УрО РАН. Объединение серверов в логически единую систему хранения выполнено с помощью промежуточного программного обеспечения dCache. Отличительной особенностью dCache является поддержка не только ГРИД-протоколов, но и стандартных протоколов Интернет для распределенных систем хранения, в частности Parallel NFS и WebDAV. Это значительно облегчило подключение распределенной системы хранения к вычислительному оборудованию, которое было выполнено по протоколу NFS версии 4.1 (составной частью которого и является Parallel NFS). Клиент NFS версии 4.1 встроен в используемую на вычислительных узлах операционную систему Linux, в результате на вычислительном оборудовании не пришлось ничего дополнительно устанавливать и поддерживать. С другой стороны, обеспечена возможность в дальнейшем подключить распределенную систему хранения к Российским и международным ГРИД-инфраструктурам по протоколам ГРИД.

К ресурсам РВЦ ИМСС УрО РАН подключены экспериментальные установки ИМСС УрО РАН, генерирующие в процессе работы большие объемы данных и требующие значительного объема вычислительных ресурсов для обработки экспериментальных данных в целях получения новых научных результатов. В качестве примера экспериментальных установок можно привести стенд для измерения факела форсунки, используемой в авиадвигателях.

Создан прототип территориально-распределенной системы хранения данных с устройствами хранения в Екатеринбурге (ИММ УрО РАН) и Перми (ИМСС УрО РАН). Полная емкость системы хранения составляет 252 ТБ. В дальнейшем планируется создавать РВЦ в других крупных региональных научных центрах УрО РАН: Ижевске, Сыктывкаре, Архангельске. Для расширения возможностей научного взаимодействия ГРИД-инфраструктуру УрО РАН планируется подключить к российским и мировым ГРИД-инфраструктурам, таким как ГРИД Российской Федерации, созданный под руководством Министерства связи и массовых коммуникаций Российской Федерации, ГРИД национальной нанотехнологической сети (ГРИД ННС), международная ГРИД-инфраструктура (через ее Российский сегмент РДИГ).