Интернет магазин китайских планшетных компьютеров



Компьютеры - Hadoop

01 мая 2011





Apache Hadoop — свободный Java-фреймворк, поддерживающий выполнение распределённых приложений, работающих на больших кластерах, построенных на обычном оборудовании. Hadoop прозрачно предоставляет приложениям надёжность и быстродействие операций с данными. В Hadoop реализована вычислительная парадигма, известная как MapReduce. Согласно этой парадигме приложение разделяется на большое количество небольших заданий, каждое из которых может быть выполнено на любом из узлов кластера. В дополнение, предоставляется распределённая файловая система, использующая для хранения данных вычислительные узлы кластера, что позволяет достичь очень высокой агрегированной пропускной способности кластера. Эта система позволяет приложениям легко масштабироваться до уровня тысяч узлов и петабайт данных. Источником вдохновения для разработчиков Hadoop послужили материалы по Google File System.

Hadoop является передовым проектом Apache, в его развитии участвует сообщество разработчиков со всего мира.

Проект Hadoop был назван в честь игрушечного слоненка ребёнка основателя проекта, Doug Cutting. Изначально проект разрабатывался как система для поддержки распределённых вычислений для проекта Nutch. Hadoop содержит платформу для распределённых вычислений, которая изначально была частью проекта Nutch. Она включает в себя Hadoop Distributed File System и реализацию map/reduce.



Просмотров: 1038


<<< Lustre (сетевая файловая система)