Cuándo usar la familia Azure Data Box
Los dispositivos de la familia Azure Data Box no son las únicas maneras de obtener datos en Azure. Para los datos de los vehículos autónomos, quiere asegurarse de que Data Box Disk sea la mejor opción antes de realizar un pedido.
En esta unidad, aprenderá cuándo usar un dispositivo Data Box y cuándo usar alguna otra solución.
Casos de uso para dispositivos Data Box
Data Box es ideal para transferir terabytes de datos en escenarios con conectividad de red limitada o nula. El movimiento de datos puede ser único, periódico o una transferencia de datos masiva inicial seguida de transferencias periódicas.
Estos son los distintos escenarios en los que puede usar dispositivos Data Box para importar datos a Azure.
Migración única: cuando se mueve gran cantidad de datos locales a Azure.
- Traslade una biblioteca multimedia de cintas sin conexión a Azure para crear una biblioteca multimedia en línea.
- Migre la granja de máquinas virtuales, SQL Server y las aplicaciones a Azure.
- Traslade los datos históricos a Azure para un análisis exhaustivo y generar informes con HDInsight.
Transferencia masiva inicial: cuando se realiza una transferencia masiva inicial con Data Box (inicialización) seguida de transferencias incrementales a través de la red.
Cargas periódicas: cuando se genera una gran cantidad de datos periódicamente y es necesario moverlos a Azure. Por ejemplo, en la exploración de energía, donde el contenido de vídeo se genera en plataformas petrolíferas y parques eólicos.
Estos son los distintos escenarios donde puede usar Data Box para exportar datos desde Azure. Data Box Disk y Data Box Heavy no admiten la exportación de datos desde Azure.
Recuperación ante desastres: cuando se restaura una copia de los datos de Azure en una red local. En un escenario de recuperación ante desastres habitual, se exporta una gran cantidad de datos de Azure a Data Box. Microsoft luego los envía a Data Box y, en poco tiempo, los datos se restauran en un entorno local.
Requisitos de seguridad: cuando se requiere la capacidad de exportar datos fuera de Azure debido a requisitos de la administración pública o de seguridad. Por ejemplo, Azure Storage está disponible en las nubes US Secret y Top Secret, y se puede usar Data Box para exportar datos fuera de Azure.
Migración de vuelta al entorno local o a otro proveedor de servicios en la nube: cuando quiera mover todos los datos de vuelta al entorno local o a otro proveedor de servicios en la nube, exporte los datos a través de Data Box para migrar las cargas de trabajo.
Opciones de transferencia sin conexión
Las opciones sin conexión para trasladar los datos a Azure incluyen dispositivos Data Box y Azure Import/Export.
Dispositivos Data Box
Para introducir datos en Azure, puede cargar los datos en dispositivos físicos y enviarlos a un centro de datos de Azure. Allí, los datos se copian en la suscripción de Azure. Como vio en la unidad 2, tres productos Data Box funcionan de esta manera:
- Data Box
- Data Box Disk
- Data Box Heavy
Si no está en una región que la familia Azure Data Box admita, considere la posibilidad de usar Azure Import/Export para importar datos a Azure.
Azure Import/Export
El otro servicio que usa dispositivos físicos para transferir datos a Azure es Azure Import/Export. Azure Import/Export le permite utilizar sus propios discos. Puede realizar transferencias de datos sin conexión desde Blob Storage a discos. Azure Import/Export también permite que los datos se vuelvan a exportar desde Azure a sus propios centros de datos y permite que dichos datos crucen fronteras internacionales.
El procedimiento de instalación para importar datos mediante Azure Import/Export es más difícil que el la familia de Azure Data Box. Tiene que controlar todos los detalles de envío y la preparación del dispositivo. Se recomienda usar Azure Data Box, un servicio listo para el usuario que minimiza el esfuerzo necesario para mover grandes volúmenes de datos, de manera económica y segura, a Azure.
Opciones de transferencia de red
Otro método para introducir datos en Azure es enviarlos a través de Internet. Hay varias herramientas que puede usar para transferir datos a través de la red.
Data Box Gateway
Como se describe en la unidad 2, Data Box Gateway es una aplicación virtual. Se basa en una máquina virtual que se aprovisiona en el entorno local. Los datos se escriben en el dispositivo virtual mediante los protocolos NFS y SMB. El dispositivo, a continuación, transfiere los datos a blob en bloques de Azure, blob en páginas o Azure Files.
Explorador de Azure Storage
Explorador de Azure Storage es una aplicación gratuita y descargable que se puede ejecutar en Windows, Mac o Linux. Proporciona una interfaz gráfica de usuario (GUI) que puede usar para explorar blobs, archivos, colas y tablas en cuentas de Azure Storage. Si solo transfiere unos cuantos archivos a la vez y no necesita automatizar las transferencias, el Explorador de Storage es una solución ideal.
Si no desea instalar una aplicación, pero tiene un explorador, puede usar la página Explorador de Storage de Azure Portal para transferir archivos.
Azure Stack Edge
Azure Stack Edge también usa dispositivos físicos para transferir datos a Azure. A diferencia de los dispositivos Data Box, los dispositivos Azure Stack Edge proporcionan funcionalidades de Azure como proceso, almacenamiento, redes y aprendizaje automático con aceleración de hardware en cualquier ubicación perimetral. Use un dispositivo Azure Stack Edge para los siguientes escenarios:
Inferencia con Azure Machine Learning: ejecute modelos de aprendizaje automático para obtener resultados rápidos en los que se pueda actuar antes de que los datos se envíen a la nube. Puede transferir el conjunto de datos completo opcionalmente para continuar entrenando y mejorando los modelos de Machine Learning.
Preprocesamiento de datos: transforme los datos mediante opciones de proceso, como contenedores o máquinas virtuales, antes de enviarlos a Azure para crear un conjunto de datos más útil. Puede usar el preprocesamiento para lo siguiente:
- Agregar datos.
- Modificar datos, por ejemplo, para quitar los datos personales.
- Transformar los datos en subconjuntos para optimizar el almacenamiento y el ancho de banda, o para un análisis más exhaustivo.
- Analizar y reaccionar a los eventos de IoT.
Transferir datos a través de la red a Azure: transfiera datos de forma fácil y rápida a Azure para realizar procesos y análisis adicionales o para fines de archivo.
Azure Data Factory
Azure Data Factory es un servicio que permite organizar, mover y transformar grandes cantidades de datos de muchos orígenes diferentes. En Data Factory, puede crear canalizaciones de datos que ingieren datos de bases de datos relacionales, bases de datos NoSQL y otros sistemas. Puede usar Azure Machine Learning, Hadoop, Spark y otros servicios para procesar y transformar los datos. A continuación, al final de la canalización, puede publicar los datos transformados en Azure SQL Data Warehouse, Azure SQL Database, Azure Cosmos DB y Azure Storage.
Puede usar este servicio si tiene necesidades complejas de transformación de datos, pero no desea escribir scripts ni código compilado.
Transferencia con scripts o mediante programación
Microsoft proporciona una amplia gama de herramientas de línea de comandos optimizadas, a las que puede llamar con comandos individuales o ensamblar en scripts, y que pueden mover datos a Azure. Estas herramientas son:
- AzCopy. Puede llamar a este programa de línea de comandos desde cualquier script para transferir blobs o archivos a una cuenta de Azure Storage.
- Azure PowerShell. PowerShell es una interfaz de scripting y un lenguaje diseñado para ayudar a los administradores a automatizar tareas complejas mediante la ejecución de comandos denominados cmdlets. El módulo Azure PowerShell proporciona una variedad de cmdlets para trabajar con Azure. Estos incluyen cmdlets que puede usar para cargar datos en cuentas de Azure Storage, Azure SQL Database, Azure Cosmos DB y otros destinos. Por ejemplo, para cargar un archivo en un blob de Azure Storage, usaría el cmdlet
Set-AzStorageBlobContent. - CLI de Azure. La CLI de Azure es una herramienta de línea de comandos a la que se puede llamar desde scripts de PowerShell y Bash para trabajar con Azure. Incluye opciones que pueden mover datos a ubicaciones de Azure. Por ejemplo, usaría el comando
az storage blob uploadpara cargar un archivo en un blob de Azure Storage.
Las herramientas de scripting son fáciles de usar para los administradores y aquellos que no son desarrolladores. Si tiene personas con aptitudes de desarrollador que pueden escribir código compilado, puede plantearse el uso de lenguajes de programación para organizar la transferencia de datos a Azure. El código debe llamar a las interfaces de programación de aplicaciones (API) Azure Storage Representational State Transfer (REST). Las API REST son un conjunto de servicios web a los que se puede llamar con muchos lenguajes de programación diferentes. Los desarrolladores pueden usar los lenguajes .NET, Java, Python, Node.js, C++, PHP y muchos otros para llamar a estas API. Los desarrolladores pueden elegir el lenguaje con el que estén más familiarizados.
Elección de un método de transferencia de datos
Para elegir un método de transferencia desde estos sistemas, tenga en cuenta estas preguntas:
- ¿Cuál es el tamaño de los datos?
- ¿Con qué frecuencia quiero transferir datos?
- ¿Cuánto ancho de banda de red hay disponible?
Si quiere transferir algunos archivos de forma ocasional, puede elegir el Explorador de Azure Storage o usar Azure Portal.
Si el ancho de banda de red es bajo o caro, y tiene un gran volumen de datos, puede optar por transferir datos con un dispositivo físico. Si desea usar sus propios discos, elija Azure Import/Export. Si prefiere usar hardware de Microsoft por comodidad, elija un producto Azure Data Box. Puede elegir entre Data Box, Data Box Disk y Data Box Heavy en función de los volúmenes de datos máximos.
Si tiene una gran cantidad de ancho de banda de red disponible y desea transferir datos de forma regular o continua, puede elegir un método de transferencia de red. Si desea transformar los datos a medida que los transfiere, sin usar código, Azure Data Factory podría ser una buena opción. Si puede invertir tiempo y tiene los conocimientos necesarios para escribir código, puede usar las herramientas de scripting o el código compilado desarrollado en las API de REST. Si desea transferir grandes conjuntos de datos a través de la red y tiene un alto ancho de banda disponible, puede elegir un dispositivo Data Box Gateway o Azure Stack Edge.
Transferencia de datos para los vehículos autónomos
En su organización, desea cargar datos de telemetría de vehículos autónomos en Azure de una forma rápida, relativamente barata y segura sin acaparar la red. Este es un caso de uso clave para Azure Data Box Disk.
Puede usar Azure Data Box Disk para diferentes tipos de escenarios de transferencia de datos. Azure Data Box Disk es adecuado para migraciones de un solo uso, como el traslado de hasta 35 TB de datos desde cintas sin conexión a un almacenamiento de acceso esporádico de Azure. Si hay más de 35 TB para cargar, puede crear pedidos adicionales. También merece la pena revisar las otras opciones de la familia Data Box que exploró en la primera unidad, ya que podría haber un candidato más adecuado. Las transferencias incrementales también funcionan bien. Data Box Disk se utiliza para proporcionar la inicialización de gran tamaño, después de la cual se copian más incrementos de datos mediante técnicas de red estándar.