Filåtkomst för HPC-jobb
Lagringsåtkomst är en viktig del av planeringen för HPC-arbetsbelastningsprestanda. Du måste se till att nödvändiga data kommer till HPC-klusterdatorerna vid rätt tidpunkt. Du måste också se till att resultaten från de enskilda datorerna snabbt sparas och är tillgängliga för ytterligare analys.
Filer kan innehålla olika typer av data, inklusive:
- Ostrukturerade data, till exempel bilder, dokument eller mediefiler.
- Tidsseriedata från olika källor.
- Prisdata (som aktiekurshistorik).
- Tillgångar som används för beräkningsanalys, till exempel genomiska data, radiologiska bilder eller vädersimulering.
Data antas finnas i en eller flera lagringslösningar i din lokala miljö. Lagringsarkitekturer i den här kontexten omfattar:
- Direktanslutna diskar. Varje dator i HPC-klustret har alltså sina egna lokala lagringsdiskar.
- Nätverksanslutna lagringslösningar (NAS).
- SAN-lösningar (Storage Area Network).
Analytiker, konstnärer, forskare eller forskare kan skapa data lokalt. Eller så kan data hämtas regelbundet från tredje part och deponeras i din lokala lagringslösning.
Typer av filåtkomst
De allmänna användningsfallen för filåtkomst som vi diskuterar i den här modulen är begränsade till följande aktiviteter:
- Läser in och kör jobbkod, bibliotek och/eller verktygskedjor på HPC-klusterdatorerna.
- Läser källdata för ett jobb. Till exempel dagliga prisdata, genomiska data eller satellitdata.
- Mellanliggande, eller scratch, skriver. Vissa jobb kräver att inledande data bearbetas och att utdata från bearbetningen blir nya indata för nedströmsaktivitet.
- Skriva ut resultatet av ett jobb. Det här användningsfallet handlar om att placera data på en önskvärd plats för ytterligare förbrukning. Du kan till exempel återge en video och placera de renderade resultaten på en delad volym för användning.
Hur får HPC-datorer tag i arbetssetdata?
Datorer i HPC-klustret får åtkomst till filer via en direkt ansluten disk eller via en nätverksexport eller resurs. I båda fallen visas filerna i en lokal sökväg (till exempel /mnt/data).
Koden och skripten som utgör det faktiska HPC-jobbet förutsätter att filerna är tillgängliga i det här filsystemet och använder datorns filåtkomstfunktioner för att hämta filerna. Till exempel skulle en dator som kör Linux som behöver komma åt en fil som finns på en NAS använda NFS-protokollet (Network File System) och NFS-klientpaket som installerats som en del av operativsystemet.
Förstå filmetadata
En fil lagrar faktiska data (till exempel en bild eller textrader) och ytterligare information som kallas metadata. Dessa metadata finns antingen i fildata eller i en katalog. Det är viktigt att förstå dessa metadata i samband med HPC-filsystemsprestanda.
Metadata är en uppsättning värden som beskriver attribut för data, men som inte är en del av data. Metadata anger till exempel när en fil skapades och ändrades, vem som skapade filen och vem som har behörighet att komma åt den.
När en fil skapas finns det metadataåtgärder som allokerar strukturerna och uppdaterar katalogposterna för filen. Dessa åtgärder utförs innan data skrivs till filen.