Apache Crunch

Трубопровод представляет собой объединение операций для выполнения конкретного задания, расположенных таким образом, что выход каждого элемента является входом следующего.
Apache Crunch обеспечивает более простой способ борьбы с Apache Hadoop MapReduce трубопроводов.
Хруст упрощает этот процесс путем предоставления большого количества готовых методов и функций, которые могут быть использованы, чтобы собрать и управлять MapReduce трубопроводов в различных формах.
Проект включает в себя родной Java API, вместе с одним Скала (назван раздавите).
Поддержка дополнительно включены для обработки записи и строк и столбцов.