AWS in a nutshell 5: Procesamiento y análisis de datos

 5.1 Transcodificador de Amazon Elastic

El servicio de transcodificador elástico en AWS 

tiene que ver con el procesamiento de vídeo en la nube. Básicamente, es la manipulación en origen de archivos multimedia para dar como resultado algún tipo de archivo multimedia de salida diferente. Esto  permite la reproducción de medios en una amplia variedad de dispositivos donde podríamos modificar el tamaño, el tipo o formato de archivo de los medios, y también la calidad en términos de audio y vídeo. Hay muchos tipos diferentes de formatos de destino que podemos usar con Elastic Transcoder. Algunos de los cuales incluyen MP4, audio FLAC, GIF animados, MP3, audio y vídeo H.264 y muchos otros formatos. Para trabajar con Elastic Transcoder, necesitamos una canalización de transcodificación y también necesitamos dos cubos 

Podemos acceder desde la consola de AWS tecleando Elastic transcoder → create a New Pipeline 

Finalmente damos al botón Create Pipeline y Create New Job 

5.2 Amazon Kinesis

Amazon Kinesis  es un servicio de análisis en la nube en tiempo real. Está diseñado para traer datos en tiempo real, por lo que el procesamiento del flujo de datos y con la recopilación y el análisis de datos en tiempo real, tenemos la capacidad de permitir que los tomadores de decisiones estén informados más rápidamente para tomar buenas decisiones. Estos datos pueden provenir de muchas fuentes diferentes, incluidas las fuentes de redes sociales, transacciones financieras o podría ser el resultado de datos de clics de un sitio web. Según dónde hacen clic los usuarios y qué visitan cuando están en un sitio web determinado.

Accedemos desde Consola de AWS  → Kinesis → Get started -> Create Data Stream

 5.3 Clústeres de Elastic MapReduce

Los clústeres de Elastic MapReduce  son colecciones de instancias de Linux. Estos no aparecerán si vamos a la consola EC2. Pero son instancias EC2 de Linux a las que podemos acceder mediante SSH, si necesitamos administrarlas.

El clúster para la reducción de mapas elásticos es útil para el análisis de grandes cantidades  datos, big data. 

Accedemos desde 

Consola AWS  → EMR → Create Cluster

5.4 Amazon Rekognition

Amazon Rekognition,   tiene que ver con el análisis facial en imágenes y videos, y hay beneficios obvios para las fuerzas del orden y la seguridad aeroportuaria. Pero también desde la perspectiva del marketing, tal vez determinar las emociones de las personas en función de las imágenes cargadas.

Consola → Amazon Rekognition

5.5 Amazon Elasticsearch

Como su nombre lo indica, Amazon Elasticsearch  es un mecanismo de búsqueda en la nube donde los desarrolladores pueden realizar llamadas a la API. Por ejemplo, usando Node JS o usando el comando Linux Curl que está integrado en Mac OS y Linux para cargar archivos en un dominio Elasticsearch, cargamos archivos y se indexan para que el resultado se pueda buscar, Por ejemplo, utilizando la herramienta curl integrada de Linux.  También podemos descargarlos y ejecutarlos en Windows utilizando un verbo de puerto HTTP. Ahora, lo que sucede es que la indexación da como resultado un documento JSON. 

Consola → Elasticsearch Service → create a new Domain

5.6 Amazon Athena

Amazon Athena  es un servicio de consulta de macrodatos. Está diseñado para consultas SQL muy rápidas que podrían usarse para análisis de datos. Los datos de origen pueden provenir de una multitud de fuentes, como S3 o AWS Glue.  AWS Glue es un servicio de AWS administrado que está diseñado para la extracción, transformación y carga de datos en otros servicios. Donde extraer transformar una carga a menudo se denomina ETL. Trabajar con Athena comienza con obtener datos, por ejemplo, en S3, y luego crear una tabla externa en Athena para albergar esos datos para después escribir una consulta en ellos. Hay varios servicios de big data disponibles en AWS.

5.7 QuickSight

Amazon QuickSight   es una herramienta diseñada para analistas comerciales y de análisis de datos que proporciona visualizaciones, una vez que nos hemos registrado para obtener una cuenta, esta es la página de destino de QuickSight. Podemos iniciarlo desde la Consola de administración de AWS simplemente buscando QuickSight.

Consola →  QuickSight

Gestión de proyectos de software

El marco de proceso común para POO

Para el desarrollo de proyectos en POO el marco que mejor se ajusta es el recursivo /paralelo, adaptado a este tipo de programación podríamos definir el proceso de la siguiente manera:

-Aislar las clases del problema y las conexiones más importantes entre ellas.

-Intentar determinar si el diseño se puede llevar a la práctica, para ello es útil hacer un pequeño esquema de clases.

-Extraer los objetos reutilizables para montar una biblioteca de clases. O reutilizarlos si ya existen.

-Modificar el prototipo basándose en lo que se ha aprendido al realizar el diseño y de la realimentación obtenida del propio cliente.

-Ensamblar el prototipo usando los objetos de la biblioteca y los que se hayan creado nuevos.

-Realizar pruebas y de nuevo realimentación.

Este modelo indicado también se puede aplicar a componentes independientes del proyecto, también es útil tratar de descomponer a su vez cada componente en nuevos componentes  independientes y reiterar este proceso en cada resultado obtenido (recursividad).

Si en algún momento se detecta un componente o subcomponente existente en una biblioteca, se utiliza y se para el proceso de descomposición. Una vez identificados todos los componentes, es fácil trabajar sobre ellos en paralelo  (cada programador con uno) de modo que el progreso es fácil de realizar y fácil de medir.

Hitos

Se pueden de finir hitos en el desarrollo del proyecto cuando se han completado las siguientes tareas:

Fase de análisis

- Todas las clases y la jerarquía de clases se han definido y revisado.

- Lo mismo para los atributos y operaciones de las clases.

- Idem para las relaciones entre las clases.

- Se ha revisado el modelo de comportamiento.

- Se han establecido las clases reutilizables.

Fase de Diseño

- Se han definido todos los subsistemas.

- Cada clase se ha asignado a un subsistema.

- Se han identificado las responsabilidades y colaboraciones.

Fase Programación

- La implementación en código de cada clase.

- La integración de cada clase de una biblioteca.

Fase Pruebas

- Se ha revisado el modelo.

- Se han diseñado y ejecutado  casos de pruebas para cada clase.

- Se ha diseñado y ejecutado casos de pruebas para el sistema en su conjunto.