Apache Slider
Un marco para las aplicaciones basadas en YARN de larga ejecución en Hadoop
Apache™ Hadoop sigue incorporando nuevos motores para su uso en la plataforma de datos, ya que las organizaciones quieren almacenar sus datos de manera eficiente en un único repositorio e interactuar con ellos de manera simultánea y de diversas formas. Las organizaciones quieren tener SQL, transmisiones, aprendizaje automático y procesamiento de lotes tradicional en un mismo clúster. Muchas de estas aplicaciones necesitan funcionar continuamente o son servicios de ejecución prolongada que están listos para procesar datos a medida que se reciben.
Slider distribuye estos servicios de ejecución prolongada (tales como Apache HBase, Apache Accumulo y Apache Storm) en YARN, de modo que cuenten con recursos suficientes para gestionar las cantidades de datos variables sin bloquear más recursos de procesamiento de los necesarios.
Finalidad de Slider
Slider es un marco para la implementación y la gestión de estas aplicaciones de acceso a los datos de ejecución prolongada en Hadoop.
Slider aprovecha las capacidades de gestión de recursos de YARN para implementar esas aplicaciones, gestionar sus ciclos de vida y ampliarlas o reducirlas, incluso aunque la aplicación se esté ejecutando. Slider distribuye estos servicios de ejecución prolongada (tales como Apache HBase, Apache Accumulo y Apache Storm) en YARN, de modo que cuenten con recursos suficientes para gestionar las cantidades de datos variables sin bloquear más recursos de procesamiento de los necesarios.
Apache Slider permite a los usuarios crear y ejecutar diferentes versiones de aplicaciones de ejecución prolongada heterogéneas en Hadoop con YARN. Cada instancia de la aplicación se puede configurar de forma diferente y su ciclo de vida operacional se puede gestionar de manera individual. Slider puede ampliar o reducir las instancias de la aplicación según sea necesario mientras están en ejecución. Si falla el contenedor, Slider aprovecha de forma transparente las instalaciones de YARN para gestionar la recuperación de las aplicaciones. Todo esto está disponible en plataformas Linux o Windows.
Estas funciones de Apache Slider ofrecen tres ventajas clave a las empresas que ejecutan Hadoop:
| Benefit | Description |
|---|---|
| Turnkey YARN enablement | Enables long-running applications to take advantage of YARN’s benefits without code changes:
|
| Hadoop integration | Applications running with Apache Slider cooperate with the Enterprise Hadoop ecosystem in an integrated way--leveraging Hadoop’s data and processing resources, as well as its security, governance, and operations capabilities |
| Lifecycle management | Automatically makes applications manageable through Apache Ambari without any additional work |
Cómo funciona Slider
Apache Slider ve todas las aplicaciones como un conjunto de componentes y cada componente es un centinela o ejecutable con su propia configuración, scripts y archivos de datos. Los componentes pueden tener una o más instancias. Slider gestiona las aplicaciones administrando las instancias de sus componentes.
Para gestionar las instalaciones de los componentes de la aplicación, Slider inicia un maestro de aplicación YARN por cada instancia. Tras iniciar el maestro de aplicación, Slider puede asignar o desasignar recursos y detener o iniciar una instancia de aplicación. Para ello, puede basarse en la solicitud del administrador de la aplicación a través del cliente de Slider o a través de los adelantamientos de programación de recursos de YARN.