Развитие GRID-технологий и систем

В настоящее время в мире происходит бурное развитие новой компьютерной технологии, называемой GRID (Грид) [1, 112, 115]. Суть этой технологии заключается в объединении географически распределённых и гетерогенных по составу серверов, компьютерных кластеров и локальных сетей в единую распределённую GRID-инфраструктуру, обеспечивающую вместе со связанной с ней глобальной телекоммуникационной сетью (ТКС) простой, надёжный, совместимый по программному обеспечению, быстрый и безопасный доступ к этим распределённым информационно-вычислительным ресурсам [60, 65, 69, 93, 95, 112, 115].

Уже сегодня GRID-технологии применяются для решения сложных задач в самых разных фундаментальных и прикладных направлениях развития науки – в физике высоких энергий и космофизике, в генетике, микробиологии и медицине, в метеорологии и океанографии, в робототехнике и авиастроении, в нанотехнологиях, а также в целом ряде других наукоёмких и инновационных областей [112]. В ближайшей перспективе развитие GRID-технологий и систем позволит создать принципиально новый интегрированный информационный, вычислительный и телекоммуникационный инструмент для применения в самых разных сферах человеческой деятельности. Многие специалисты считают [110, 115, 116], что GRID-технологии и ТКС нового поколения способны произвести такую же революцию в области распределённой вычислительной обработки и удалённого доступа к большим объёмам данных, какую мировая сеть Internet произвела в информационной, вычислительной, телекоммуникационной сферах в последние десятилетия.

Отличительной чертой GRID-технологии является тот факт, что географически распределённые и разрозненные ресурсы не имеют общего централизованного сетевого управления, а их скоординированное использование организует сама GRID-система и глобальная ТКС. Поэтому GRID-системы строятся на базе стандартных и открытых протоколов, сервисов и интерфейсов [1–8]. Однако существуют значительные различия между понятием “технология GRID” и конкретными подходами к её реализации и развитию [112].

GRID-технология включает в себя лишь наиболее общие и универсальные аспекты, одинаковые для любой GRID-системы, характеризующейся своей архитектурой, протоколами, интерфейсами и сервисами. Используя эту технологию и наполняя ее конкретным содержанием, т.е. специализированными БД и БЗ, можно реализовать GRID-систему, предназначенную для эффективного решения того или иного класса научных и прикладных задач.

С другой стороны, хорошо известно, что информационная и вычислительная инфраструктура крупных государственных учреждений (таких, как РАН и РАМН, крупные корпорации и предприятия) включает в себя десятки и сотни серверов, компьютерных кластеров и локальных вычислительных сетей. Сегодня, несмотря на то, что производительность компьютерных систем удваивается каждые полтора года, по мере усложнения решаемых задач и возрастания объёмов обрабатываемых данных и знаний, всё острее ощущается дефицит надёжного доступа пользователей (клиентов) к распределённым вычислительным и информационным ресурсам [110, 115, 116].

В последние годы серверы приложений, БД и БЗ перегружены. Снижение нагрузки возможно за счёт увеличения парка компьютеров или использования суперкомпьютеров. Однако реализация этого требует новых инвестиций и повышает совокупную стоимость обслуживания компьютерной инфраструктуры в целом.

Перегруженность сетевых ресурсов нередко связана с неравномерным распределением нагрузки: в то время, когда часть компьютеров простаивает в течение длительного периода времени, другая часть — функционирует в пиковом режиме [1–3, 69]. Поэтому возникает необходимость в разработке ТКС нового поколения, обеспечивающих эффективный доступ внешних агентов-пользователей (клиентов) к распределённым информационным и вычислительным ресурсам grid-среды.

12.2 Распределённые GRID-системы и среды

Концепция grid-технологий появилась в конце 60-х годов XX-го века. Её рождение и развитие, как и огромное число других информационных технологий и интеллектуальных инноваций, многие годы было связано с фундаментальными научными исследованиями.

Проблема рационального использования свободных ресурсов компьютеров была особенно актуальна 30–50 лет назад, когда для построения и исследования сложных математических моделей и вычислительных методов были нужны мощности суперкомпьютерных центров, которых тогда в мире было совсем немного. На начальном этапе эта проблема технически решалась довольно просто, поскольку речь шла о разовых вычислительных заданиях большой сложности и зачастую без очень жёстких требований по срокам их реализации.

Термин " GRID" возник в середине ХХ века и стал обозначать распределённую вычислительную и информационную инфраструктуру, предназначенную для сложных инженерных и научных расчётов. Постоянный прогресс в этой области, а также настойчивый поиск решений новых классов сложных задач привели к расширению этого понятия. В настоящее время концепция grid (название предложено по аналогии с электрическими сетями - electric power grid) состоит прежде всего в глобальной интеграции (агрегации) распределённых вычислительных и информационных ресурсов.

Примерами таких ресурсов в grid-средах являются:

– вычислительные ресурсы;

– системы хранения данных и знаний (БД, БЗ, нейронные сети и т.п.);

– электронные каталоги информационных ресурсов.

Важную роль для эффективного предоставления пользователям этих распределённыхgrid-ресурсов играют как мировая сеть Internet, так и ТКС нового поколения.

Все ресурсы в grid-системах и обслуживающих их ТКС могут быть разделены на физические и логические.

К физическим распределённым ресурсам в grid-системах и ТКС прежде всего относятся:

– оперативная память;

– память на долговременных носителях;

– количество процессоров;

– количество коммуникаторов и маршрутизаторов.

Примерами логических ресурсов в распределённых grid-системах и глобальных ТКС являются:

– распределённая файловая система;

– компьютерные кластеры;

– распределённые пулы (временная интеграция по договору) компьютеров;

– локальные компьютерные сети.

Одно из первых определений понятия GRID было дано в 1998 г. Карлом Кессельманом и Яном Фостером (считающимися основоположниками GRID-технологии). Согласно этому определению “вычислительный GRID является программно-аппаратной инфраструктурой, которая обеспечивает надёжный, совместимый, повсеместный и недорогой доступ к вычислительным ресурсам большой мощности”[112]. В 2000 году к этому определению добавилось следующее свойство GRID-систем: “координированное распределение ресурсов и решение проблем в динамических виртуальных организациях”.

По предложению Яна Фостера, распределённую информационно-вычислительную КС можно называть GRID-системой, если она реализует следующие функции (операции):

1. Координирует распределённые ресурсы, которые не контролируются централизованно.

Необходимость в такой координации возникает, например, в тех случаях, когда объединяются компьютерные системы, находящиеся в разных организациях или в разных административных единицах (подразделениях) одной компании. При этом GRID-cистема, в отличие от централизованных иерархических или локально управляемых компьютерных систем, должна скоординированно решать вопросы политики доступа, безопасности, оплаты услуг и т. д., которые возникают в гетерогенных компьютерных сетях.

2. Задействует открытые или стандартные протоколы и интерфейсы общего назначения.

Обычно эти протоколы и интерфейсы используются для решения таких базовых задач, как аутентификация, авторизация, поиск ресурсов и доступ к ним. Если протоколы не являются стандартными или открытыми, компьютерная система является специализированной в отношении приложения.

3. Предоставляет новое качество услуг.

Объединяя различные распределённые ресурсы, GRID-cистема позволяет предоставить новый уровень сервиса с точки зрения времени отклика, пропускной способности, доступности, безопасности и т. д. Иными словами, польза от всей GRID-системы существенно больше, чем от простой суммы составляющих ее частей.

Исходя из этих признаков и функций под определение GRID-систем не попадают компьютерные кластерные системы (кластеры). Дело в том, что эти кластеры (после их инсталяции) обеспечивают заданный уровень безопасности, качества обслуживания и т.п. Однако они не являются GRID-системами из-за полного контроля над индивидуальными компонентами и скорее подходят под определение локальных вычислительных сетей с централизованным управлением. С другой стороны, мировая сеть Internet, в которой доступ к распределённым системам обеспечивается с помощью стандартизованных и открытых IP-протоколов, не может называться GRID-системой, так как информационные и вычислительные ресурсы в ней не используются координированно и специализированно.

Таким образом, GRID-технология воплощает в себе идею включения компьютеров (а также подсетей и кластеров) разного типа в единую распределённую информационно-вычислительную систему с современными средствами телекоммуникаций для удалённого использования ресурсов с целью повышения общей производительности и масштабируемости и предоставления внешним агентам-пользователям (клиентам) возможности коллективной работы с распределёнными программными системами и специализированными БД и БЗ.

В GRID-системе пользователи и приложения работают не с множеством компьютеров, а с единой интегрированной GRID-системой и ТКС, не с набором дисков, на которых хранятся файлы БД и БЗ, а с единой виртуальной областью хранения специализированной информации, которая образуется из отдельных носителей распределенных программ и массивов данных [1, 2, 112].

Разработка и внедрение GRID-систем совместно с обслуживающими их глобальными ТКС позволяют реализовать распределённые вычисления и параллельную обработку данных. GRID-технология вместе с ТКС нового поколения обеспечивает достижение принципиально новых результатов и позволяют:

– оптимизировать (минимизировать) нагрузку на серверы;

– повысить производительность работы серверов;

– создать отказоустойчивую информационно-вычислительную и телекоммуникационную среду;

– обеспечить высокую степень доступности предлагаемых сервисов;

– реализовать принцип предоставления ресурсов «по требованию» или по «интересам»;

– существенно снизить затраты на сетевое администрирование серверов и ТКС.

Сейчас интерес к GRID-сетям очень высок практически во всех странах мира. Это выражается в большом количестве национальных и международных проектов, исследовательских работ и публикаций по этой тематике. Дело в том, что различные учреждения и крупные организации (такие, например, как учреждения РАН, банки, службы организационного управления и мониторинга, торговые и производственные предприятия) сами по себе имеют распределённую корпоративную структуру. Однако они нуждаются в GRID-инфраструктуре, позволяющей организовать корпоративное и межкорпоративное взаимодействие на основе современных телекоммуникаций и распределённых программных и информационных приложений [82].

До последнего времени глобальные ТКС и GRID-технологии опирались на и развивали традиционные технологии Internet и использовали IP-протоколы. Однако сегодня в GRID-сетях открыто и остро ставится задача о гарантированном качестве обслуживания клиентов, т.е. внешних агентов-пользователей. В этом случае можно говорить о GRID-системах как о части Internet следующего поколения. Такие GRID-сети (в которых время взаимодействия между компьютерными узлами обычно измеряется миллисекундами и секундами) обычно не предназначены для параллельного решения различных задач, а нацелены по большей части на выполнение пакетных заданий, когда каждая отдельная задача выполняется целиком на одном компьютерном узле. При этом система сетевого управления GRID-системой занимается в основном диспетчеризацией (планирование операций, распределение ресурсов и т.п.) отдельных заданий, а не взаимосвязью между отдельными блоками (модулями) решаемой задачи.

Широкое применение GRID-сетей стало возможным благодаря повсеместному распространению персональных компьютеров и рабочих станций, развитию мировой сети Internet и технологий пакетной передачи данных с использованием каналов связи на основе оптического волокна (SONET, SDH, ATM и т.п.), а также интеграции кластеров и локальных компьютерных сетей. Например, в локальной сети Gigabit Ethernet полоса пропускания коммуникационных средств сегодня стала достаточной для того, чтобы при необходимости привлечь ресурсы других компьютеров или кластеров.

Таким образом, основными характерными особенностями GRID-систем и сред являются следующие признаки и свойства:

1. Значительные масштабы вычислительных и (или) информационных ресурсов. Обычно объём памяти и количество процессоров в GRID-системах многократно превосходят ресурсы отдельного компьютера, кластера или локального вычислительного комплекса;

2. Гетерогенность компьютерной среды.

В состав GRID-сети могут входить компьютеры, рабочие станции и серверы различной мощности, работающие под управлением различных операционных систем и собранные на различной элементной базе;

3. Географически пространственное распределение информационных и вычислительных ресурсов;

4. Объединение (интеграция) информационных и вычислительных ресурсов, которые не могут управляться централизованно (например, в случае, если эти ресурсы не принадлежат одной организации);

5. Использование стандартных, открытых, общедоступных протоколов и интерфейсов;

6. Обеспечение информационной безопасности.

В дальнейшем под термином “GRID-система” или “GRID-среда” будем подразумевать распределённую компьютерную систему (сеть), обладающую перечисленными выше свойствами 1–6 и представляющую внешним агентам-пользователям как клиентам распределённые в ней информационные и вычислительные ресурсы через глобальную ТКС.