Tworzenie klastrów serwera rozproszonego przetwarzania MATLAB na maszynach wirtualnych platformy Azure
Użyj maszyn wirtualnych platformy Microsoft Azure, aby utworzyć co najmniej jeden klaster serwera przetwarzania rozproszonego MATLAB w celu uruchamiania obciążeń MATLAB intensywnie korzystających z obliczeń równoległych. Zainstaluj oprogramowanie MATLAB Distributed Computing Server na maszynie wirtualnej, aby użyć go jako obrazu podstawowego i użyć szablonu szybkiego startu platformy Azure lub skryptu programu Azure PowerShell (dostępnego w witrynie GitHub) w celu wdrożenia klastra i zarządzania nim. Po wdrożeniu nawiąż połączenie z klastrem, aby uruchomić obciążenia robocze.
Ważne
Ponieważ ten artykuł został napisany, istnieje teraz formalna obsługa korzystania z aplikacji MATLAB na platformie Azure. Zalecane jest, aby te nowsze funkcje były używane zamiast szablonu i skryptów, do których odwołuje się ten artykuł. Wyszukaj w serwisie Azure Marketplace "matlab"; więcej informacji dotyczących uruchamiania aplikacji MATLAB na platformie Azure można znaleźć w witrynie MathWorks.
Informacje o serwerze MATLAB i MATLAB Distributed Computing Server
Platforma MATLAB jest zoptymalizowana pod kątem rozwiązywania problemów inżynieryjnych i naukowych. Użytkownicy MATLAB z symulacjami na dużą skalę i zadaniami przetwarzania danych mogą używać produktów do przetwarzania równoległego MathWorks w celu przyspieszenia obciążeń intensywnie korzystających z obliczeń dzięki wykorzystaniu klastrów obliczeniowych i usług sieciowych. Parallel Computing Toolbox umożliwia użytkownikom MATLAB równoległe przetwarzanie aplikacji i korzystanie z procesorów wielordzeniowych, procesorów GPU i klastrów obliczeniowych. MATLAB Distributed Computing Server umożliwia użytkownikom MATLAB korzystanie z wielu komputerów w klastrze obliczeniowym.
Za pomocą maszyn wirtualnych platformy Azure można utworzyć klastry serwera przetwarzania rozproszonego MATLAB, które mają wszystkie dostępne mechanizmy przesyłania równoległych zadań jak klastry lokalne, takich jak zadania interaktywne, zadania wsadowe, niezależne zadania i komunikujące się zadania. Korzystanie z platformy Azure w połączeniu z platformą MATLAB ma wiele korzyści w porównaniu z aprowizowaniem i używaniem tradycyjnego sprzętu lokalnego: szereg rozmiarów maszyn wirtualnych, tworzenie klastrów na żądanie, dzięki czemu płacisz tylko za używane zasoby obliczeniowe oraz możliwość testowania modeli na dużą skalę.
Wymagania wstępne
- komputer kliencki — po wdrożeniu potrzebny jest komputer kliencki z systemem Windows do komunikowania się z platformą Azure i klastrem MATLAB Distributed Computing Server.
- azure PowerShell — zobacz Jak zainstalować i skonfigurować program Azure PowerShell, aby zainstalować go na komputerze klienckim.
- subskrypcji platformy Azure — jeśli nie masz subskrypcji, możesz utworzyć bezpłatne konto w ciągu kilku minut. W przypadku większych klastrów rozważ subskrypcję pay-as-you-go lub inne opcje zakupu.
- limitu przydziału procesorów wirtualnych — może być konieczne zwiększenie limitu przydziału procesorów wirtualnych w celu wdrożenia dużego klastra lub więcej niż jednego klastra serwera przetwarzania rozproszonego MATLAB. Aby zwiększyć limit przydziału, otworzyć żądanie pomocy technicznej online bez opłat.
- MATLAB, Parallel Computing Toolbox i licencje MATLAB Distributed Computing Server — skrypty zakładają, że MathWorks Hosted License Manager jest używany dla wszystkich licencji.
- oprogramowanie MATLAB Distributed Computing Server — zostanie zainstalowane na maszynie wirtualnej, która będzie używana jako podstawowy obraz maszyn wirtualnych klastra.
Wysokopoziomowe kroki
Aby korzystać z maszyn wirtualnych platformy Azure dla klastrów serwera przetwarzania rozproszonego MATLAB, wymagane są następujące ogólne kroki. Szczegółowe instrukcje znajdują się w dokumentacji towarzyszącej szablonowi i skryptom szybkiego startu w witrynie GitHub.
Tworzenie podstawowego obrazu maszyny wirtualnej
Pobierz i zainstaluj oprogramowanie MATLAB Distributed Computing Server na tej maszynie wirtualnej.
Uwaga
Ten proces może potrwać kilka godzin, ale trzeba to zrobić tylko raz dla każdej używanej wersji oprogramowania MATLAB.
Utwórz co najmniej jeden klaster
- Użyj dostarczonego skryptu programu PowerShell lub użyj szablonu szybkiego startu, aby utworzyć klaster na podstawie podstawowego obrazu maszyny wirtualnej.
- Zarządzanie klastrami przy użyciu dostarczonego skryptu programu PowerShell, który umożliwia wyświetlanie listy, wstrzymywanie, wznawianie i usuwanie klastrów.
Konfiguracje klastrów
Obecnie skrypt tworzenia klastra i szablon umożliwiają utworzenie jednej topologii serwera przetwarzania rozproszonego MATLAB. Jeśli chcesz, utwórz jeden lub więcej dodatkowych klastrów, z których każdy powinien mieć inną liczbę maszyn wirtualnych procesów roboczych, używając różnych rozmiarów maszyn wirtualnych itd.
Klient i klaster MATLAB na platformie Azure
Węzeł klienta MATLAB, węzeł harmonogramu zadań MATLAB i węzły "procesu roboczego" serwera rozproszonego MATLAB są skonfigurowane jako maszyny wirtualne platformy Azure w sieci wirtualnej, jak pokazano na poniższej ilustracji.
- Aby użyć klastra, połącz się za pomocą pulpitu zdalnego z węzłem klienta. Węzeł klienta uruchamia klienta MATLAB.
- Węzeł klienta ma zasób plików, do którego mogą uzyskać dostęp wszystkie węzły robocze.
- Program MathWorks Hosted License Manager służy do sprawdzania licencji dla wszystkich oprogramowania MATLAB.
- Domyślnie na maszynach wirtualnych dla każdego wirtualnego procesora (vCPU) tworzony jest jeden pracownik serwera przetwarzania rozproszonego MATLAB, ale można określić ich dowolną liczbę.
Korzystanie z klastra opartego na platformie Azure
Podobnie jak w przypadku innych typów klastrów serwera przetwarzania rozproszonego MATLAB, należy użyć Menedżera profilów klastra w kliencie MATLAB (na maszynie wirtualnej klienta), aby utworzyć profil klastra harmonogramu zadań MATLAB.
Następne kroki
- Aby uzyskać szczegółowe instrukcje dotyczące wdrażania klastrów serwera rozproszonego przetwarzania MATLAB i zarządzania nimi na platformie Azure, zobacz repozytorium GitHub zawierające szablony i skrypty.
- Przejdź do witryny MathWorks, aby uzyskać szczegółową dokumentację dotyczącą serwera MATLAB i MATLAB Distributed Computing Server.