Компания Intel представила (https://ai.intel.com/introducing-nlp-architect-by-intel-ai-l... проект NLP Architect (http://nlp_architect.nervanasys.com/), в рамках которого открыты наработки в области применения методов глубинного машинного обучения для обработки и распознавание смысла информации на естественном языке (NLP (https://ru.wikipedia.org/wiki/%D0%9E%D0%... (https://en.wikipedia.org/wiki/Natural_language_understanding), Natural Language
Processing/Understanding). Код библиотеки написан на языке Python и распространяется (https://github.com/NervanaSystems/nlp-architect) под лицензией Apache 2.0. Библиотека поддерживает работу с фреймворками машинного обучения Intel Nervana™ graph (https://github.com/NervanaSystems/ngraph-python), Intel neon (https://github.com/nervanasystems/neon), Tensorflow, Dynet (https://dynet.readthedocs.io/en/latest/) и
Keras (https://keras.io/).Из задач, для решения которых может применяться NLP Architect, называется проведение тренировки моделей с использованием предоставляемых алгоритмов, эталонных наборов данных и настроек (также предоставляются уже натренированные модели для различного применения); тренировка с использование своих данных; создание новых или расширение доступных моделей; исследование применимости различных моделей глубинного машинного обучения для решения задач обработки информации на естественном языке; проведение экспериментов и оптимизация алгоритмов машинного обучения; интеграция в свои проекты готовых модулей и утилит, предоставляемых библиотекой.
Библиотека предоставляет ряд готовых моделей NLP и NLU, пригодных для разбора зависимостей между языковыми конструкциями, определения смысловых примитивов и маркировки слотов, применения сетей памяти (Memory Networks) для построения диалогов, применения сетей ключ/значение (Key-value Network) для организации взаимодействия в форме вопрос/ответ, использования модели векторов для расстановки слов, пометка частей речи, проведения семантической сегментации словосочетаний, распознавания именованных сущностей (известных названий, имён, объектов), выделение терминов, определения смысловой информации (распознавание смысла прочитанного) и разбивки текста на структурные элементы.
В состав NLP Architect входят следующие компоненты:
- Набор базовых моделей NLP для обработки информации на естественном языке (например, могут применяться для определения частей речи и выделения цепочек связи между словами);
- Модули NLU для распознавание смысла информации на естественном языке (например, для извлечения смысловых единиц и выделения терминов);- Модули для семантического разбора (например, для определение словосочетаний и наиболее значимых слов);
- Компоненты для создания диалоговых систем с элементами инскуственного интеллекта, таких как чат-боты;- Шаблоны для построения готовых сервисов и примеры приложений с реализацией отвечающих на вопросы автоинформаторов, систем машинного чтения и интерфейсов для визуализации взаимосвязи между словами.
URL: https://ai.intel.com/introducing-nlp-architect-by-intel-ai-lab/
Новость: https://www.opennet.me/opennews/art.shtml?num=48677
Я, конечно, понимаю, что люди, пишушие софт в Штеуд, не имеют отношения к процессорной части. Но всё же: как по мне, лучше бы тратили бюджет на допиливание своего главного продукта.
Так, инопланетяне/рептилоиды/масоны/иллюминаты/гости из будущего/гости из-за купола/нежить/эльфы (нужное выделить) не дают новых технологий, поэтому страдают фигнёй.
Кто из этих фантастических существ позволил той самой ошибке в процессорах за последние 10 лет появиться? Или кто-то из них мешает компании сделать 64-bit процессор с архитектурой RISC как белый человек (а не встраивать зонды в свои CISC через которые после долгих страданий пытаясь создать компилятор и оптимизировать под x86_64 оно всё равно конвертирует в RISC чтобы пайплайнить эту дичь)?
Spectre во всю в ARM64, а meltdown только у intel, x86 не помешал amd создать процессор без этой уязвимости. Отдельно отмечу про отгороженность всех существующих продуктов на ARM, у ARM нет никакой стандартизации по начальной инициализации, у каждого вендора свой стек и инструментарий, у qualcomm например в ROM зашит Primary Boot loader который проверяет подписи в secondary boot loader, тот в свою очередь во всех последующих загрузчиках, потому поменять загрузчик без ключей нельзя, все текущие процедуры разлочки телефона начинаются с запроса на сайт производителя железки с передачей серийного номера. А RPI так вообще инициализацию ARM ядер выполнят broadcom'овский VideoCore.
А я и не про ARM64 говорил, а про человеческую архитектуру, естественно опенсорсную (это даже не обсуждается), естественно 64-bit и КАК МОЖНО меньше. Факт в том что ARM не поставили себе лимит, как и все остальные компании, поэтому о реальной стандартизации остается только мечтать. Что не смотришь у них в новом процессоре какие-то оптимизации для каких-то особенных C++ уродов и прочая чепуха. Вообще эта волшебная архитектура даже обновляться не должна, по крайнер мере не раз в 2 года. Времена когда ничего не понятно было что будет популярно в будущем уже давно прошли, все сейчас пользуются примерно одним и тем же, осталось упростить и стандартизировать, и поставить лимит чтобы не начать припаивать бесполезные фентифлюшки.
Эти лодыри ещё и в какойо-то странный опенсорс коммитят: https://01.org/projects
Интересно, если этой штуке скормить российское законодательство...
> Интересно, если этой штуке скормить российское законодательство...Если оно достигло уровня "мысли" мвд/нквд, то -
"был бы человек хороший, а статья найдётся"
"то, что вы ещё на свободе, не ваша заслуга, а наша недоработка"
Оно найдет что обычным людям запрещено все.
А необычным? И в чём именно отличие обычных от необычных?
В том, что необычным позволено многое.
Но не все!
Не все сразу.
> Интересно, если этой штуке скормить российское законодательство...Она сломается, пытаясь решить кучу найденных противоречий.
Я вас умоляю. Российское законодательство корнями уходит в начало XX века, по известным причинам. А вот, скажем, в старой доброй Европе до сих пор действуют нормативные акты эдак пятивековой давности. И вот там действительно чёрт ногу сломит.
> А вот, скажем, в старой доброй Европе до сих пор действуют нормативные акты эдак пятивековой давности. И вот там действительно чёрт ногу сломит.Сам черт ногу сломит только в прецендентом праве, это да.
А вот те же BGB, АGB и т.д. вполне понятны, если немного освоить канцелярит.Есть конечно "забавные казусы" - например, устное заключение договора и скрепление "ударом по рукам" и прочие "приколы" из старины глубокой, очень неприятные для современных "вилятелей *опой" и "хозяев своего слова - захотел дал, захотел обратно взял" ;)
>Система позволяет расставлять метки для текста, в зависимости от его содержимого. Например, метод может применяться для определения спама и оскорбительных комментариев, разбора положительных и отрицательных отзывов,Так вот на чём работает "четырёхступенчатая система модерации" Опеннета...
Видеокарту использует? cuda?
В качестве базового фреймворка применяется PyTorch
> В качестве базового фреймворка применяется PyTorchИспользует революционную технологию Intel под названием x86 CPU
На основной диаграмме TensorFlow, ngraph.
Кто знает, какие языки разработки оно поддерживает? R или Julia есть?
что прикрепить, то и будет
Bring yourself back online, Dolores ...