https://www.opennet.me/openforum/vsluhforumID3/38979.html Компания Yahoo! объявила (http://research.yahoo.com/node/1879) о создании программы по стимулированию разработки открытых средств, имеющих отношение к распределенным вычислениям.<br><br><br>В качестве первого шага, Yahoo! позволит, разработчикам открытых проектов, например, проекта Hadoop (аналог Google File System и MapReduce), тестировать результат своей работы на высокопроизводительном кластере M45 (27 teraflops, 4,000 процессоров, 3 Тб ОЗУ, 1.5 Пб дисков), входящем в список 50 самых производительных кластеров в мире.<br><br><br>Hadoop (http://lucene.apache.org/hadoop/) - платформа для организации распределенных вычислений с использованием парадигмы map/reduce, когда задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. В состав Hadoop входит также реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы "MapReduse" приложений. Система соз https://www.opennet.me/openforum/vsluhforumID3/38979.html#1 Wed, 14 Nov 2007 22:13:02 GMT да, hadoop весьма спецефичен и пока не способен решать весь спектр задач yahoo (а они его поддерживают чуть ли не с рождения) <br>причем дело не только и не столько в реализации (а написан hadoop весьма красиво), сколько в концепциях map/reduce и bigtable (а до нормальной реализации второй в рамках hadoop имхо нужен еще годик), весьма узкоспециализированных.<br>ну и в силу этих, а так же трудоемкости, сообщество разработчиков hadoop весьма медленно. <br><br>таким макаром yahoo ищет себе же инструменты, - отличный вариант сотрудничества, на мой взгляд.<br>хотя проектов, нуждающихся в таковом тестовом комплексе, негусто, так что ход во многом рекламный.<br><br>&gt; Система создана как субпроект поискового механизма Apache Lucene.<br><br>а вот это не совсем так. lucene, nutch и hadoop созданы одним человеком, работают под одним проектом верхнего уровня apache, однако изначально hadoop никак не связан с первыми двумя. встречаются они только в проекте nutch, но и там внедрение hadoop произошло на достаточно поздних стадиях, когда все у