Tworzenie klastrów serwera rozproszonego przetwarzania MATLAB na maszynach wirtualnych platformy Azure

Użyj maszyn wirtualnych platformy Microsoft Azure, aby utworzyć co najmniej jeden klaster serwera przetwarzania rozproszonego MATLAB do uruchamiania równoległych obciążeń MATLAB intensywnie korzystających z obliczeń. Zainstaluj oprogramowanie MATLAB Distributed Computing Server na maszynie wirtualnej, aby użyć go jako obrazu podstawowego i użyć szablonu szybkiego startu platformy Azure lub skryptu Azure PowerShell (dostępnego w usłudze GitHub) w celu wdrożenia klastra i zarządzania nim. Po wdrożeniu połącz się z klastrem, aby uruchomić obciążenia.

Ważne

Ponieważ ten artykuł został napisany, istnieje teraz formalna obsługa korzystania z aplikacji MATLAB na platformie Azure. Zalecane jest, aby te nowsze możliwości były używane zamiast szablonu i skryptów, do których odwołuje się ten artykuł. Wyszukaj Azure Marketplace "matlab"; dodatkowe informacje o uruchamianiu aplikacji MATLAB na platformie Azure są dostępne w witrynie MathWorks.

Informacje o serwerach MATLAB i MATLAB Distributed Computing

Platforma MATLAB jest zoptymalizowana pod kątem rozwiązywania problemów inżynieryjnych i naukowych. Użytkownicy MATLAB z symulacjami na dużą skalę i zadaniami przetwarzania danych mogą używać produktów do przetwarzania równoległego MathWorks w celu przyspieszenia obciążeń intensywnie korzystających z obliczeń dzięki wykorzystaniu klastrów obliczeniowych i usług sieciowych. Przybornik przetwarzania równoległego umożliwia użytkownikom MATLAB równoległe przetwarzanie aplikacji i korzystanie z procesorów wielordzeniowych, procesorów GPU i klastrów obliczeniowych. Serwer MATLAB Distributed Computing Server umożliwia użytkownikom MATLAB korzystanie z wielu komputerów w klastrze obliczeniowym.

Za pomocą maszyn wirtualnych platformy Azure można utworzyć klastry serwera rozproszonego przetwarzania MATLAB, które mają wszystkie te same mechanizmy umożliwiające przesyłanie równoległych zadań jako klastrów lokalnych, takich jak zadania interaktywne, zadania wsadowe, niezależne zadania i komunikujące się zadania. Korzystanie z platformy Azure w połączeniu z platformą MATLAB ma wiele korzyści w porównaniu z aprowizowaniem i używaniem tradycyjnego sprzętu lokalnego: szereg rozmiarów maszyn wirtualnych, tworzenie klastrów na żądanie, dzięki czemu płacisz tylko za używane zasoby obliczeniowe oraz możliwość testowania modeli na dużą skalę.

Wymagania wstępne

• Komputer kliencki — komputer kliencki z systemem Windows będzie potrzebny do komunikowania się z platformą Azure i klastrem SERWERA rozproszonego przetwarzania MATLAB po wdrożeniu.
• Azure PowerShell — zobacz Jak zainstalować i skonfigurować Azure PowerShell, aby zainstalować go na komputerze klienckim.
• Subskrypcja platformy Azure — jeśli nie masz subskrypcji, możesz utworzyć bezpłatne konto w ciągu zaledwie kilku minut. W przypadku większych klastrów rozważ subskrypcję z płatnością zgodnie z rzeczywistym użyciem lub inne opcje zakupu.
• Limit przydziału procesorów wirtualnych — może być konieczne zwiększenie limitu przydziału procesorów wirtualnych w celu wdrożenia dużego klastra lub więcej niż jednego klastra serwera rozproszonego przetwarzania MATLAB. Aby zwiększyć limit przydziału, otwórz żądanie pomocy technicznej online bez opłat.
• LICENCJE MATLAB, Parallel Computing Toolbox i MATLAB Distributed Computing Server — skrypty zakładają, że menedżer licencji hostowanej w programie MathWorks jest używany dla wszystkich licencji.
• Oprogramowanie MATLAB Distributed Computing Server — zostanie zainstalowane na maszynie wirtualnej, która będzie używana jako podstawowy obraz maszyny wirtualnej dla maszyn wirtualnych klastra.

Kroki ogólne

Aby używać maszyn wirtualnych platformy Azure dla klastrów serwera rozproszonego przetwarzania MATLAB, wymagane są następujące ogólne kroki. Szczegółowe instrukcje znajdują się w dokumentacji towarzyszącej szablonowi i skryptom szybkiego startu w usłudze GitHub.

1. Tworzenie podstawowego obrazu maszyny wirtualnej

   • Pobierz i zainstaluj oprogramowanie MATLAB Distributed Computing Server na tej maszynie wirtualnej.

     Uwaga

     Ten proces może potrwać kilka godzin, ale trzeba to zrobić tylko raz dla każdej używanej wersji oprogramowania MATLAB.

2. Tworzenie co najmniej jednego klastra

   • Użyj dostarczonego skryptu programu PowerShell lub użyj szablonu szybkiego startu, aby utworzyć klaster na podstawie obrazu podstawowej maszyny wirtualnej.
   • Zarządzanie klastrami przy użyciu dostarczonego skryptu programu PowerShell, który umożliwia wyświetlanie listy, wstrzymywanie, wznawianie i usuwanie klastrów.

Konfiguracje klastrów

Obecnie skrypt tworzenia klastra i szablon umożliwiają utworzenie jednej topologii serwera rozproszonego przetwarzania MATLAB. Jeśli chcesz, utwórz co najmniej jeden dodatkowy klaster, a każdy klaster ma inną liczbę maszyn wirtualnych procesu roboczego, używając różnych rozmiarów maszyn wirtualnych itd.

Klient i klaster MATLAB na platformie Azure

Węzeł klienta MATLAB, węzeł harmonogram zadań MATLAB i węzły "procesu roboczego" serwera rozproszonego MATLAB są skonfigurowane jako maszyny wirtualne platformy Azure w sieci wirtualnej, jak pokazano na poniższej ilustracji.

• Aby użyć klastra, połącz się za pomocą pulpitu zdalnego z węzłem klienta. Węzeł klienta uruchamia klienta MATLAB.
• Węzeł klienta ma udział plików, do którego można uzyskać dostęp przez wszystkich procesów roboczych.
• Program MathWorks Hosted License Manager służy do sprawdzania licencji dla wszystkich oprogramowania MATLAB.
• Domyślnie jeden proces roboczy serwera rozproszonego przetwarzania MATLAB na procesor wirtualny jest tworzony na maszynach wirtualnych procesów roboczych, ale można określić dowolną liczbę.

Korzystanie z klastra opartego na platformie Azure

Podobnie jak w przypadku innych typów klastrów SERWERA rozproszonego przetwarzania MATLAB, należy użyć Menedżera profilów klastra w kliencie MATLAB (na maszynie wirtualnej klienta), aby utworzyć profil klastra harmonogramu zadań MATLAB.

Następne kroki

• Aby uzyskać szczegółowe instrukcje dotyczące wdrażania klastrów serwera rozproszonego przetwarzania MATLAB i zarządzania nimi na platformie Azure, zobacz repozytorium GitHub zawierające szablony i skrypty.
• Przejdź do witryny MathWorks , aby uzyskać szczegółową dokumentację dla serwerów MATLAB i MATLAB Distributed Computing Server.