Компания IBM объявила о передаче под крыло организации Apache Software Foundation платформы 
SystemML, предоставляющей средства для построения масштабируемых распределённых систем машинного обучения. Платформа предоставляет транслятор для различных алгоритмов машинного обучения, способный на основе заданного декларативного описания алгоритма автоматически генерировать гибридные планы выполнения как для единичных систем c обработкой данных в оперативной памяти, так и для кластеров с крупными хранилищами, развёрнутыми при помощи систем Apache Hadoop и Apache Spark.


Алгоритмы определяются с использования высокоуровневого синтаксиса, похожего на язык R, и могут использовать большую подборку статистических функций, примитивов линейной алгебры и конструкций, специфичных для систем машинного обучения. В отличие от имеющихся библиотек машинного обучения, предоставляющих фиксированный набор алгоритмов и типовых планов выполнения кода, SystemML пытается сочетать эффективность с масштабируемостью через применение автоматической оптимизации, учитывающей особенности текущих данных и имеющегося вычислительного кластера. Решения на базе SystemML способны масштабироваться от крупных кластеров и мэйнфреймов до ПК и смартфонов, позволяя создавать новые категории бизнес-приложений, использующих элементы машинного обучения.

Проект SystemML уже 
помещён в инкубатор Apache, в котором будет выполнена подготовка инфраструктуры, проведён аудит лицензионной чистоты и проверка способности соблюдения принятых в сообществе Apache принципов разработки. В дальнейшем, как только проект покажет себя готовым для самостоятельного существования, не требующего дополнительного надзора, он будет переведён в число первичных проектов Apache. SystemML будет развиваться в соответствии с принципами меритократии, при которых решения принимают представители сообщества, вносящие наибольший вклад в развитие проекта.