Кластеры и суперкомпьютеры в моделировании

Следует различать суперкомпьютер и кластер, т.к. они очень похожи, но все же различны по своим свойствам.

Под суперкомпьютером очень часто подразумевается одна машина с очень большим количеством процессоров на одной шине передачи данных и с одной памятью на всех. Задача, решаемая суперкомпьютером, обычно одна для всех процессоров и данная система позволяет решать её довольно быстро. Чаще всего суперкомпьютеры используются для решения задач, требующих значительного обмена данными между вычислительными узлами, к примеру, задачи теплодинамики. Кластер же состоит из нередко неоднородных машин(по принципу «что подешевле») и позволяет решать как одновременно одну и ту же задачу всем машинам вместе, так и разделять работу, позволяя решать одним машинам одну задачу, а другим — другую. К тому же на разные машины, входящие в кластер, можно установить разные программы, что позволяет подстраивать систему под текущие нужды. Из недостатков у кластеров то факт, что это системы с распределенной памятью и требуются хорошие шины передачи данных для ускорения работы в параллельном режиме над одной и той же задачей нескольких узлов кластера.

Помимо классических кластеров на данный момент увеличилась тенденция к использованию графических процессоров с технологией CUDA в моделировании. Данная технология предназначена для использования в сложных расчетах помимо обычных процессоров встроенные в графическую процессора. Wolfram Mathematica начиная с 8.0 поддерживает команды CUDA.

Поскольку для устранения хаоса при работе с кластером в ситуациях, когда доступ предоставлен многим с возможностью запуска одновременного различных программ, требуется нечто, позволяющее регламентировать доступ и запуск программ, были разработаны различные планировщики задач. Планировщики задач позволяют регламентировать доступ к ресурсам системы, не позволяя одновременно запускать несколько различных программ на уже занятом расчетом узле кластера, ставя эти программы на исполнение в очередь и запуская их по мере высвобождения ресурсов кластера.

MPI может проводить распараллеливание задач с помощью своего специального планировщика HYDRA, который был специально разработан для этого.

Кроме проблем с передачей данных при моделировании часто возникает проблема хранения данных промежуточных вычислений и окончательных результатов, т.к. очень часто это файлы размерами от нескольких сотен мегабайт до нескольких гигабайт(не самые сложные расчеты), а то и до десятков гигабайт. Для решения этой проблемы очень часто используются специализированные серверные стойки(шкафы с всем необходимым), в которых хранятся жесткие диски объемами в несколько терабайт, причем суммарная емкость таких стоек может достигать петабайт.