URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 134621
[ Назад ]
Исходное сообщение
"Mozilla развивает инструментарий для распознавания речи Whisperfile"
Отправлено opennews , 23-Авг-24 13:45 
Компания Mozilla развивает инструментарий распознавания речи Whisperfile, включающий независимую высокопроизводительную реализацию модели машинного обучения Whisper, разработанной и открытой организацией OpenAI. Инструментарий создан на основе whisper.cpp, реализации модели Whisper на C/C++, созданной Георгием Гергановым  (автор llama.cpp).  Код написан на языке С++ и распространяется под лицензией MIT...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=61750

Содержание
Сообщения в этом обсуждении
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 13:45 
По сути никаких нововведений, просто очередной GUI-лаунчер к консольному Whisper.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 14:00 
Это такой GUI на скриншоте?
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 16:00 
Новость о том, что развивают, а не что выпустили. На скриншоте оригинальная консольная прога.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 14:00 
А что-нибудь лучше julius-speech уже придумали? Почему любое эффективное распознавание только на сервере у дяди в 2024 году?
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено anonymmmeer , 23-Авг-24 14:31 
А как ещё тебя заставить платить подсписку?
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 14:34 
Через госуслуги.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено YetAnotherOnanym , 24-Авг-24 11:28 
Кинь ссылку, где на Госуслугах оплата распознавания речи у дяди на сервере. Очень нужно, срочно.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 16:17 
Потому что тратили миллионы на сбор семплов и обучение нейронки на кластере с топовыми GPU не для того, чтобы отдать тебе бесплатно
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Бывалый Смузихлёб , 24-Авг-24 09:52 
Или не миллионы. Ещё неизвестно какая там себестоимость
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено userd , 23-Авг-24 20:24 
с julius-speech не знаком. С vosk баловался - https://alphacephei.com/vosk/index.ru
вполне приемлемо работает без сервера "у дяди".
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено prolabrus , 24-Авг-24 14:36 
Он поддерживает русский язык? В репозитории только японский и английский вроде бы
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Wed , 23-Авг-24 14:34 
Жаль, что у меня нет GPU, иначе я бы протестировал это.


"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 15:41 
Для этого с виду консольного приложения нужен GPU?
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 22:56 
Ты наверно не знаешь что бывает видеокарты без выидео-выхода
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 15:49 
Гпу и не нужно, просто скорость медленная будет.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 24-Авг-24 02:35 
Родительский проект Whisper.cpp спокойно работает на CPU. "Спокойно" в смысле "неспешно", но работает.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 14:45 
У меня у одного такое, после обновления до 129.0.2 одно ядра CPU уходит в 100% и в Firefox начинаются страшные тормоза.  Debian 12.6  
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 14:51 
> У меня у одного такое, после обновления до 129.0.2 одно ядра CPU
> уходит в 100% и в Firefox начинаются страшные тормоза.  Debian
> 12.6

У меня таб зависает и выжирает память пока не будет прибит. Замечал, что может быть связано с частичной выгрузкой жирного таба в своп (и возможно vaapi), непонятно только, почему через рандомные периоды случается и ничего не пишет в лог.

"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 15:10 
Кому вообще пришло в голову вставлять в файл для llm сам движок для её запуска, так ещё и в виде машинного кода? Это звучит как что-то максимально небезопасное, я уверен, что если провести хотя бы пару часов в репозиториях можно будет наклепать эксплоитов, и закинуть их доверчивым любителям переложить написание кода на компьютер. К тому же это всё крутится вокруг хака, позволяющего запускать машинный код без изменения на нескольких платформах (Что как хак, конечно, очень интересно, но, вопрос, кто додумался это использовать как серьёзное решение?)
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Ося Бендер , 23-Авг-24 15:21 
Ясен пень, тому, кому это позарез нужно...
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 15:50 
Это, вроде бы, два разных вопроса.

Прошить веса ллм прямо в файл, вроде бы, не проблема?

То есть, xbm/xpm это и есть Си.

А вот "космополит" это уже другой вопрос.

"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 16:55 
>Прошить веса ллм прямо в файл, вроде бы, не проблема?

Так проблема не в весах, а в том, что они в файл модели вставляют движок для её запуска, который уже на этой самой библиотеке и работает, и это всё подаётся под видом простого способа распространять модели. Так вот, проблема в том, что любой вася может просто в когда llama.cpp вставить малварь, это всё собрать, и распространять как обычный файл - и никто ничего не заметит, пока слишком поздно не будет. А про космополита это уже вопрос к стабильности, решение выглядит мягко говоря зыбким.

"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 18:58 
Вася и в саму модель может встроить малварь: https://www.opennet.me/opennews/art.shtml?num=60691
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 21:05 
Для того, чтоб такого не было придумали сейфтенсорс. И то, что есть одна уязвимость не оправдывает то, что они придумали один огромный вектор атаки. Да и ладно бы вектор, хрен бы с ним, так они ещё это позиционируют как лёгкий способ их распространять и запускать - ну прям самое то, чтоб всякие очень добрые граждане всяким блондинкам вшивали туда малвари.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 18:25 
> я уверен, что если провести хотя бы пару часов в репозиториях можно будет наклепать эксплоитов

так в чём проблема? пострать пару часов, наклепай эксплойтов, и продай их кому-нибудь за B$$$$$$$. всяко полезнее, чем комменты строчить...

"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 21:07 
Я вам вектор атаки написал сверху - все максимально очевидно. Мне же лень этим заниматься, да и вшивать пока туда нечего.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 24-Авг-24 00:11 
А почему ты сам это не сделаешь тебе доллары на нужны? Так отдай их мне.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 18:04 
> ... может выводить коэффициенты достоверности, позволяющие ...

Это то, что про ИИ нужно знать в первую очередь: ИИ выдаёт решения неверные, но с низкой вероятностью.

Т.е. это та штука, которую нельзя использовать для точных ответов или точных оценок. Т.к. оно по своей природе не даёт 100% верных ответов.

"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 18:30 
На практике человек куда меньше верных и тем более точных ответов выдаёт. Это хороший инструмент, но важно осознавать его ограничения. Капиталистический подход заменить бесполезных людей ещё более бесполезными нейронками это тупик.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 18:54 
Один AI-апологет мне задвигал, что в странах первого мира всем Universal Basic Income будет после полной автоматизации. А, соответственно, отсталые будут ещё больше загнивать и прозябать чем сейчас, с таким-то технологическим отрывом.

Даже жаль, что из генераторов обтекаемых бредотекстов такой революции не вышло. Было бы интересно.

"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 19:25 
GPT4 впечатляющая модель. Она умнее и догадливее большинства людей в интернете. Ограничения достаточно очевидны, но, если избавятся от галлюцинаций как-нибудь, научат сообщать о неспособности выдать приемлемый результат, самостоятельно фильтровать булшит, и будут дообучать в некоторых угольных случаях (таких, как программирование и современные технологии), она вполне сгодится на роль ассистента, значительно повышающего продуктивность работников. Конкуренты, конечно, грязь, и весь интернет заполнен результатами их "трудов".
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 20:14 
Какой булшит? ИИ прямо сейчас модерирует комментарии на опеннете. Многие административным путем добиваются такого для продвижения своей политики. Сейчас же вопросы цензуры захватила ИИ и она влияет на умы людей.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Ногоед , 23-Авг-24 23:32 
> если избавятся от галлюцинаций как-нибудь

GPT не может без галлюцинаций. Чтобы их не было, нужна концепция, которая не является Generative Pre-Trained Transformers.

"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено мшефд , 23-Авг-24 20:52 
>в странах первого мира всем Universal Basic Income будет после полной автоматизации.

При нынешней поведенческой модели человека, основанной на животных инстинктах, а не на разуме, человечество проср..т любые блага.

"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 22:16 
А ты попробуй жить разумом когда большой метеорит упадет на Землю. Или закончится нефть вместе с редкоземельными металлами.  
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 24-Авг-24 10:14 
А ведь ты действительно, фактически не имеешь понятия про то, о чём пишешь на публичном форуме... Не пиши больше, миру не нужна твоя юношеская наивная дезинформация. И вдогонку вопрос: а в котором часу в море закончится вот прям таки весь уран?
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Ногоед , 23-Авг-24 23:30 
> На практике человек куда меньше верных и тем более точных ответов выдаёт.

Но человек знает 100%, что 2х2 будет равно 4. А нынешний псевдо ИИ лишь предполагает, пусть и с 99.99999999...%. Думаю, вы поняли мысль.

"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 24-Авг-24 10:47 
> Но человек знает 100%, что 2х2 будет равно 4.

Потому что в школе так сказали.

"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 19:25 
А браузер поразвивать Мозилла не желает?
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 20:24 
Нет и не будет.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 23-Авг-24 22:50 
>Mozilla развивает инструментарий распознавания речи

... чтобы вставить его в Firefox и подслушать как пользователи Firefox'а  матерят Мозиллу

"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Полиглот , 23-Авг-24 23:40 
ФФ со встроенным переводчиком с русского переводит,а обратно нет. Не хотят поделиться как факать каждый предмет.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено мяв , 24-Авг-24 01:47 
говорят, либревульф умеет и на русский
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 24-Авг-24 02:16 
Мозилла продолжает двигать кровати ...
кастрированная субоптимальная программа ... для запуска большой языковой модели ... на ворохе платформ из одного бинарника ... через кривые хаки, сносящие нахрен как производительность, так и митигаци уровня ОС... под авторством транса....

Ну молодцы, Мозилла. Вместо нормального браузера какое-то буллшит-бинго. Извини, если мне потребуется whisper, то я его сам скомпилю. Только есть проблема: этот whisper столько оперативы жрёт, что его нигде, кроме топовых железок, крутить нельзя.

"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 24-Авг-24 11:31 
Несколько гигабайт потребляет всего.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 24-Авг-24 18:18 
Для линукса с его 12309 даже несколько мегабайт - это много. Если, конечно, у вас машина не с десятками гигов. Но память - на то она и память, чтобы всегда быть золотой.
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 24-Авг-24 02:17 
Хозяйке на заметку: парсер формата GGUF для вороха ЯП: https://github.com/kaitai-io/kaitai_struct_formats/pull/698
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Nochi , 24-Авг-24 15:23 
Лучше бы занялись добавлением функций, и улучшением дизайна, а то многое вырезали с браузера..
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено Аноним , 24-Авг-24 19:31 
Быдло фсбшное в своем поносе захлебывается. телеграмма че мало вам?
"Mozilla развивает инструментарий для распознавания речи Whis..."
Отправлено xsignal , 02-Сен-24 16:05 
А для немецкого что-то похожее есть?