Apache Crunch
La biblioteca de Java Apache Crunch ofrece un marco de trabajo para escribir, probar y ejecutar procesos de MapReduce. El objetivo es simplificar la escritura de procesos que constan de varias funciones definidas por el usuario, así como facilitar sus pruebas y que se ejecuten con más eficiencia.
La biblioteca Apache Crunch™, que se ejecuta sobre Hadoop MapReduce y Apache Spark, es una sencilla API de Java para tareas como la unificación y la agregación de datos, que tan tediosas resultan de implementar directamente en MapReduce. Las API resultan particularmente prácticas al procesar datos que no encajan de forma natural en el modelo relacional, como las series temporales, los formatos de objetos en serie (como los almacenes temporales de protocolos o los registros Avro) y las filas y columnas HBase. Los usuarios de Scala disponen de la API de Scrunch, que se basa en las API de Java e incluye un bucle de lectura, evaluación e impresión (REPL, por sus siglas en inglés) para crear procesos de MapReduce.
