Ben Chong, gerente de Producto en Google, acaba de anunciar que Transfer Appliance ya se encuentra disponible en su versión beta en el mercado de la Unión Europea (UE).
Se trata de un servidor de alta capacidad que permite transferir grandes cantidades de datos a Google Cloud Platform (GCP) de forma rápida y segura. Está recomendado para aquellas personas o empresas que están moviendo más de 20 TB de datos o información que tardaría más de una semana en cargarse.
Chong ha notificado que se puede solicitar uno de estos dispositivos de transferencia directamente desde la consola GCP y que, por ahora, el servicio estará disponible en una configuración de 100 TB con una capacidad útil total de 200 TB. “Y pronto estará disponible en una configuración de 480TB con una capacidad total utilizable de un petabyte”.
Se ha informado además que los clientes han estado utilizando Transfer Appliance para mover todo, desde archivos de imágenes de audio y satélite a datos geográficos y de viento. “Un caso de uso popular es la migración de clústeres de Hadoop Distributed File System (HDFS) a GCP”.
“Vemos a muchos usuarios ejecutar sus potentes clusters Apache Spark y Apache Hadoop en GCP con Cloud Dataproc, un servicio administrado de Spark y Hadoop que le permite crear clusters rápidamente y luego entregar la administración de clusters al servicio. Transfer Appliance es una forma fácil de migrar petabytes de datos desde clusters HDFS en las instalaciones a GCP”.
Desde principios de este año se ha anunciado la capacidad de configurar Transfer Appliance con uno o más volúmenes NFS, lo que permite enviar datos HDFS a Transfer Appliance mediante Apache DistCp (copia distribuida), una herramienta de código abierto que se usa comúnmente para la copia de datos intra / inter-cluster, de acuerdo a la publicación.
“Para copiar datos HDFS en un dispositivo de transferencia, configúrelo con un volumen NFS y móntelo desde el clúster HDFS. Luego ejecute DistCp con el punto de montaje como destino de copia. Una vez que sus datos se hayan copiado a Transfer Appliance, envíenoslos y cargaremos sus datos en Cloud Storage”, ha explicado Ben Chong.
Transfer Appliance en producción
El Ejecutivo también ha comentado que los usuarios de la Unión Europea como Candor Creative, que ayuda a sus clientes a contar historias a través de películas y fotografías, querían aprovechar al máximo su contenido disponible en la nube. A pesar de esto, Zac Crawley, director de la compañía, enfrentaba algunos desafíos con la mudanza.
“Múltiples copias de seguridad físicas de nuestros datos ocupaban espacio y se hacían costosas. Pero cuando miramos nuestra red, pensamos que llevaría meses mover los 40TB de datos de archivos grandes. Transfer Appliance redujo ese tiempo significativamente”, expresó Crawley para referirse a su experiencia con el dispositivo de transferencia.
TerraLoupe, un proveedor de análisis de imágenes aéreas, también ha estado utilizando Transfer Appliance para mover rápidamente conjuntos de datos de rápido crecimiento y así lo ha manifestado Chong en su publicación de blog.
Niklas Barkmeyer, gerente de Producto en TerraLoupe, ha contado que en la organización se encargan de analizar las imágenes aéreas con algoritmos de aprendizaje profundo.
“Dependiendo de las áreas geográficas y las resoluciones de imagen, estos conjuntos de datos geoespaciales suelen tener varios terabytes de gran tamaño para ciudades individuales y pueden llegar a petabytes para países o continentes enteros”, dijo.
Transfer Appliance, a su juicio, ha sido la forma más rápida y conveniente para que los expertos de la compañía suban todos esos terabytes de información a la nube para el correspondiente análisis.
Y es que identificar los problemas de techos e infraestructura, a partir de imágenes aéreas con un aprendizaje profundo, no ha sido un problema gracias a este dispositivo de transferencia.
Protección de datos
En la publicación además se ha detallado que Transfer Appliance puede ayudar a sus usuarios a cumplir con los estrictos requisitos de protección de datos, en caso de ser necesario.
“Todo el servicio de Transfer Appliance, desde el envío hasta la carga de datos a GCP, se maneja en la UE, por lo que sus datos no saldrán de la UE. Podrá elegir en qué región se cargan los datos durante el proceso de registro”, ha recomendado el Gerente de Producto de Google.
Igualmente ha exhortado a los usuarios de Transfer Appliance a asegurarse de revisar los compromisos de Google Cloud Platform con el Reglamento General de Protección de Datos de la Unión Europea, así como el compromiso de su organización con sus clientes con respecto a sus datos.
Ben Chong ha dejado claro que los datos que se envían con Transfer Appliance se cifran en la captura, “tiene las claves de cifrado y descifra sus propios datos a medida que los carga en su destino final de almacenamiento en la nube”.
