Многозадачные вычисления - Many-task computing

Многозадачные вычисления (MTC)[1][2][3][4][5][6][7] в вычислительная наука это подход к параллельные вычисления которая направлена ​​на преодоление разрыва между двумя вычислительные парадигмы: высокопроизводительные вычисления (HTC)[8] и высокопроизводительные вычисления (HPC).

Определение

MTC напоминает HTC, но "отличается акцентом на использование множества вычислительных ресурсов в течение коротких периодов времени для выполнения множества вычислительных задач (т.е. включая как зависимые, так и независимые задачи), где основные показатели измеряются в секундах (например, FLOPS, задач / с, скорость ввода-вывода МБ / с), в отличие от операций (например, заданий) в месяц. MTC обозначает высокопроизводительные вычисления, включающие несколько различных действий, связанных через операции файловой системы. Задачи могут быть небольшими или большими, однопроцессорными или многопроцессорный, ресурсоемкий или ресурсоемкий. Набор задач может быть статическим или динамическим, однородным или неоднородным, слабосвязанным или тесно связанным. Общее количество задач, количество вычислений и объемы данных могут быть чрезвычайно большими. MTC включает в себя слабосвязанные приложения, которые обычно интенсивно взаимодействуют, но не выражаются естественным образом с помощью стандартного интерфейса передачи сообщений, обычно встречающегося в HPC, что привлекает внимание ко многим вычислениям, которые являются разнородными, но не «счастливо» параллельными ».[6]

Райку и др. дальнейшее заявление: «HPC - это больше, чем тесно связанный MPI, а HTC - не только смущающе параллельный длительные рабочие места. Подобно приложениям высокопроизводительных вычислений и самой науке, приложения становятся все более сложными, открывая новые двери для многих возможностей применения высокопроизводительных вычислений по-новому, если мы расширим нашу точку зрения. У некоторых приложений настолько много простых задач, что управлять ими сложно. Приложения, которые работают с большими объемами данных или производят их, нуждаются в сложном управлении данными для масштабирования. Существуют приложения, в которых задействовано множество задач, каждое из которых состоит из тесно связанных задач MPI. Слабосвязанные приложения часто имеют зависимости между задачами и обычно используют файлы для взаимодействия между процессами. Эффективная поддержка такого рода приложений в существующих крупномасштабных системах потребует серьезных технических проблем и окажет большое влияние на науку ».[6]

Связанные области

Некоторыми связанными областями являются множественные программы множественных данных (MPMD), высокопроизводительные вычисления (HTC), рабочие процессы, вычисление емкости или смущающе параллельный. Некоторые проекты, которые могут поддерживать рабочие нагрузки MTC: Кондор,[9] Уменьшение карты,[10] Hadoop,[11] Boinc,[12] Кобальт[постоянная мертвая ссылка ] HTC-режим,[13] Фалькон,[14] и Быстрый.,[15][16]

Рекомендации

  1. ^ Семинар IEEE по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS08) 2008 г., http://datasys.cs.iit.edu/events/MTAGS08/
  2. ^ Семинар ACM по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS09) 2009 г., http://datasys.cs.iit.edu/events/MTAGS09/
  3. ^ Семинар IEEE по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS10) 2010 г., http://datasys.cs.iit.edu/events/MTAGS10/
  4. ^ Семинар ACM по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS11) 2011 г., http://datasys.cs.iit.edu/events/MTAGS11/
  5. ^ Транзакции IEEE в параллельных и распределенных системах, специальный выпуск о многозадачных вычислениях, июнь 2011 г., http://datasys.cs.iit.edu/events/TPDS_MTC/
  6. ^ а б c И. Райку, И. Фостер, Ю. Чжао. «Многозадачные вычисления для сетей и суперкомпьютеров», семинар IEEE по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS08), 2008 г.
  7. ^ «Многозадачные вычисления: преодоление разрыва в производительности и пропускной способности», International Science Grid This Week (iSGTW), 28 января 2009 г., http://www.isgtw.org/?pid=1001602 В архиве 2011-01-01 на Wayback Machine
  8. ^ М. Ливны, Дж. Басни, Р. Раман, Т. Танненбаум. "Механизмы высокопроизводительных вычислений", SPEEDUP Journal 1 (1), 1997 г.
  9. ^ Д. Тейн, Т. Танненбаум, М. Ливни, "Распределенные вычисления на практике: опыт Condor" Параллелизм и вычисления: практика и опыт 17 (2-4), стр. 323-356, 2005
  10. ^ Дж. Дин, С. Гемават. «MapReduce: упрощенная обработка данных на больших кластерах». В OSDI, 2004 г.
  11. ^ А. Бялецки, М. Кафарелла, Д. Каттинг, О. О'Мэлли. «Hadoop: платформа для запуска приложений в больших кластерах, основанных на серийном оборудовании», http://lucene.apache.org/hadoop/ В архиве 2007-02-10 на Wayback Machine, 2005
  12. ^ Д.П. Андерсон, "BOINC: система для общедоступных вычислений и хранения", Международный семинар IEEE / ACM по грид-вычислениям, 2004 г.
  13. ^ Корпорация IBM. «Парадигма высокопроизводительных вычислений (HTC)», Решение IBM System Blue Gene: разработка приложений Blue Gene / P, IBM RedBooks, 2008 г.
  14. ^ И. Райку, Ю. Чжао, К. Думитреску, И. Фостер, М. Уайлд. «Falkon: быстрый и легкий фреймворк для выполнения задач», IEEE / ACM SC, 2007 г.
  15. ^ Ю. Чжао, М. Хатеган, Б. Клиффорд, И. Фостер, Г. Лашевски, И. Райку, Т. Стеф-Праун, М. Уайлд. «Swift: быстрые, надежные, слабосвязанные параллельные вычисления», IEEE SWF, 2007 г.
  16. ^ М. Уайлд, М. Хатеган, Дж. М. Возняк, Б. Клиффорд, Д. С. Кац и И. Фостер «Swift: язык для распределенного параллельного написания сценариев». Параллельные вычисления, 37: 633–652, 2011.