The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Открыт код Jina Embedding, модели для векторного представления смысла текста"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Открыт код Jina Embedding, модели для векторного представления смысла текста"  +/
Сообщение от opennews (??), 26-Окт-23, 12:26 
Компания Jina  открыла под лицензией Apache 2.0 модель машинного обучения для векторного представления текста - jina-embeddings-v2. Модель позволяет преобразовать произвольный текст, включающий до 8192 знаков, в небольшую последовательность вещественных чисел, образующих вектор, сопоставленный с исходным текстом и воспроизводящий его семантику (смысл). Jina Embedding стала первой открытой моделью машинного обучения, обладающей характеристиками, не уступающими пропретарной модели векторизации текста от проекта OpenAI (text-embedding-ada-002), также способной обрабатывать тексты, насчитывающие до 8192 токенов...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=59996

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. Скрыто модератором  –7 +/
Сообщение от Аноним (1), 26-Окт-23, 12:26 
Ответить | Правка | Наверх | Cообщить модератору

4. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (4), 26-Окт-23, 12:48 
Круто, а можно скормить текст этой новости? Что на выходе?
Ответить | Правка | Наверх | Cообщить модератору

6. "Открыт код Jina Embedding, модели для векторного представлен..."  +3 +/
Сообщение от Аноним (6), 26-Окт-23, 12:50 
на выходе будет 4739427419879182482756384539874569234
Ответить | Правка | Наверх | Cообщить модератору

9. "Открыт код Jina Embedding, модели для векторного представлен..."  +4 +/
Сообщение от Аноним (9), 26-Окт-23, 12:55 
Не верю. Модель выводит не одно десятичное число, а вектор float32.
Ответить | Правка | Наверх | Cообщить модератору

14. "Открыт код Jina Embedding, модели для векторного представлен..."  +4 +/
Сообщение от Аноним (6), 26-Окт-23, 13:02 
да, это вектор, просто я весь вектор привел в int128.
Ответить | Правка | Наверх | Cообщить модератору

47. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (47), 26-Окт-23, 19:59 
128 / 32 = 4. Ты хочешь сказать, что 4мя флоатами любой текст описывается?
Ответить | Правка | Наверх | Cообщить модератору

49. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (49), 26-Окт-23, 20:05 
А доку открыть никак? Там 512-ти мерный вектор. Еще можно 1024-мерный. В зависимости от модели и заданных параметров.. Но речь про 512 флоатов по 4 байта.
Ответить | Правка | Наверх | Cообщить модератору

5. Скрыто модератором  –11 +/
Сообщение от Аноним (5), 26-Окт-23, 12:50 
Ответить | Правка | Наверх | Cообщить модератору

16. Скрыто модератором  +19 +/
Сообщение от Аноньимъ (ok), 26-Окт-23, 13:07 
Ответить | Правка | Наверх | Cообщить модератору

21. Скрыто модератором  +2 +/
Сообщение от 12yoexpert (ok), 26-Окт-23, 13:29 
Ответить | Правка | Наверх | Cообщить модератору

7. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (9), 26-Окт-23, 12:51 
>под лицензией Apache 2.0

В репозиториях нет файла лицензии.

Ответить | Правка | Наверх | Cообщить модератору

19. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (19), 26-Окт-23, 13:20 
Достаточно упоминания.
Ответить | Правка | Наверх | Cообщить модератору

11. "Открыт код Jina Embedding, модели для векторного представлен..."  +4 +/
Сообщение от 12yoexpert (ok), 26-Окт-23, 12:56 
> (базовая - 0.27 ГБ и сокращённая - 0.07 ГБ)

а в петабайтах будет казаться ещё меньше! вам бы маркетологов на завод отправить

Ответить | Правка | Наверх | Cообщить модератору

17. "Открыт код Jina Embedding, модели для векторного представлен..."  –1 +/
Сообщение от Аноньимъ (ok), 26-Окт-23, 13:11 
Базовая 270000 KB и сокращённая 70000 КБ.
Можно на микроконтроллерах крутить.
Ответить | Правка | Наверх | Cообщить модератору

18. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от 12yoexpert (ok), 26-Окт-23, 13:20 
я для базовой 2319282339.84 бит насчитал, можно даже в столбик обработать, микроконтроллеры избыточны
Ответить | Правка | Наверх | Cообщить модератору

25. "Открыт код Jina Embedding, модели для векторного представлен..."  +2 +/
Сообщение от _hide_ (ok), 26-Окт-23, 14:00 
Этот человек еще со школы не понимал шутку про 1,5 землекопа )))
Ответить | Правка | Наверх | Cообщить модератору

27. "Открыт код Jina Embedding, модели для векторного представлен..."  –3 +/
Сообщение от 12yoexpert (ok), 26-Окт-23, 14:16 
так ты бы объяснил, а то мы все тупые
Ответить | Правка | Наверх | Cообщить модератору

53. "Открыт код Jina Embedding, модели для векторного представлен..."  +1 +/
Сообщение от Аноним (53), 27-Окт-23, 05:27 
Шутку про землекопа может понять тот, кто вырос на советских мультиках.
Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

20. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (20), 26-Окт-23, 13:24 
А смысл?
Ответить | Правка | Наверх | Cообщить модератору

23. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (19), 26-Окт-23, 13:35 
Смысл станет ясным к завершению проекта. Сейчас можно лишь предполагать, что результатом будет иск на $75 млн. https://www.cnews.ru/news/top/2023-10-23_muzykalnaya_otrasl_...
Ответить | Правка | Наверх | Cообщить модератору

24. "Открыт код Jina Embedding, модели для векторного представлен..."  –1 +/
Сообщение от Аноним (24), 26-Окт-23, 13:49 
Почему на Гугл иск не подали, ведь у него в индексе весь интернет?
Ответить | Правка | Наверх | Cообщить модератору

36. "Открыт код Jina Embedding, модели для векторного представлен..."  +1 +/
Сообщение от Аноним (-), 26-Окт-23, 16:01 
Ты не понял смысл написанного. Иди и прочти новость 10 раз.
Ответить | Правка | Наверх | Cообщить модератору

35. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (-), 26-Окт-23, 16:00 
Иска не будет. они будут Свободный текст превращать в ветор.
Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

40. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (40), 26-Окт-23, 16:35 
Это ещё ничего. Вот когда кто-то догадается натренировать нейросетку на юридических и судебных материалах стран с прецедентным правом, и стоящую в США миллионы долларов работу целой оравы адвокатов и юристов будет делать с таким же качеством какой-нибудь LawyerGPT за два доллара, вот тогда будет эпичное веселье.
Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

42. "Открыт код Jina Embedding, модели для векторного представлен..."  +1 +/
Сообщение от Аноним (42), 26-Окт-23, 17:26 
лоеры научаться эксплуатировать несовершенства модели и будут обдирать всех пользователей оных как липки.
Ответить | Правка | Наверх | Cообщить модератору

55. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (19), 27-Окт-23, 11:43 
Не думаю. Поиск в сети уже отравлен. ИИ уже в коллапсе.
Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

39. "Открыт код Jina Embedding, модели для векторного представлен..."  –1 +/
Сообщение от YetAnotherOnanym (ok), 26-Окт-23, 16:15 
Например, к спамобойке прикрутить. Тогда админ задаёт некий общий смысл (например, "несите ваши денежки инвестировать вместе с Тинькофф"), а сабж накидывет парочку баллов в оценку, если смысл текста близок к заданному.
Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

62. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (62), 01-Ноя-23, 04:29 
Угадай сколько в этом тексте латинских символов?
>неcитe вaши дeнeжки Nнвeстирoвaть вмeстe с 7иньк0фф
Ответить | Правка | Наверх | Cообщить модератору

63. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от YetAnotherOnanym (ok), 01-Ноя-23, 11:07 
Делов-то, для каждой буквы кириллицы составить список омоглифов и перед обработкой проводить нормализацию текста.
Ответить | Правка | Наверх | Cообщить модератору

28. "Открыт код Jina Embedding, модели для векторного представлен..."  +5 +/
Сообщение от sena (ok), 26-Окт-23, 14:21 
И наоборот можно будет? Типа задал вектор 42, и оно тебе сгенерировало текст о смысле жизни. Добавил к вектору ещё 0.13 и оно модифицировало смысл в сторону бессмыслености жизни и т.п.
Ответить | Правка | Наверх | Cообщить модератору

34. Скрыто модератором  –2 +/
Сообщение от Аноним (-), 26-Окт-23, 15:57 
Ответить | Правка | Наверх | Cообщить модератору

51. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Cradle (?), 26-Окт-23, 21:10 
"Правитель наблюдает мир и знает,
Что путь управления един.
Но единое всегда превращается в двойственность явлений,
А все явления имеют троичную структуру,
В которой соединяется идеальное, материальное и реальное.
А вот из троичности образуется множественность всех событий и предметов..."
дао-де цзин, глава 42 (из 81)
Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

58. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Твой сосед с вайфаем (?), 27-Окт-23, 23:22 
Ты только что изобрел ChatGPT, только циферки вводятся неявно.
Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

65. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от bjaka.max (?), 24-Ноя-23, 10:37 
Тут интереснее скорее можно ли, взял другую сетку натренированную на русском языке, подсунул ей векторы полученные в английской и у тебя перевод? Не нужно тренировать отдельно сетку переводящую с монгольского на японский, а взял сетку японскую и сетку монгольскую и ага.
Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

29. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (29), 26-Окт-23, 14:23 
Не раскрыта тема размерности векторного пространства.
Ответить | Правка | Наверх | Cообщить модератору

32. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (32), 26-Окт-23, 15:48 
768
Ответить | Правка | Наверх | Cообщить модератору

41. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от 48 (?), 26-Окт-23, 17:22 
1024
Ответить | Правка | Наверх | Cообщить модератору

46. "Открыт код Jina Embedding, модели для векторного представлен..."  –1 +/
Сообщение от Аноним (46), 26-Окт-23, 19:40 
Речь не о тех векторах.
Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

38. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (38), 26-Окт-23, 16:13 
Не смысла, а поля интерпретаций из текста в текст. Хотя, в современной семантике смысл трактуется именно, как отображение одного текста в другой.
Ответить | Правка | Наверх | Cообщить модератору

43. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (43), 26-Окт-23, 18:18 
А как работает смысл не относительно чего-то? И разве относительно чего-то мои чувства и ощущения?
Ответить | Правка | Наверх | Cообщить модератору

44. "Открыт код Jina Embedding, модели для векторного представлен..."  –2 +/
Сообщение от коньюктив ит (?), 26-Окт-23, 18:49 
Ваши чувства и ощущения - это иллюзия порождаемая всего лишь несколькими тысячами (десятками тысяч в редких случаях) паттернов выстраиваемых в цепочки генератором псевдослучайных чисел.
Ответить | Правка | Наверх | Cообщить модератору

45. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (45), 26-Окт-23, 19:37 
Тексты для тренировки подбираются запатентованным образом или достаточно взять все существующие работы по схоластике, астрологии и марксизму-ленинизму?
Ответить | Правка | Наверх | Cообщить модератору

48. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (47), 26-Окт-23, 20:02 
Предполагаю, что для отбора текстов использовалась другая LLM с текстовым запросом.
Ответить | Правка | Наверх | Cообщить модератору

60. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Neon (??), 30-Окт-23, 14:46 
Да весь рекламный бред от маркетологов скормить бедному AI и посмотреть, что с ним будет.)))
Ответить | Правка | К родителю #45 | Наверх | Cообщить модератору

52. "Открыт код Jina Embedding, модели для векторного представлен..."  +4 +/
Сообщение от Аноним (52), 26-Окт-23, 22:25 
Векторный гипертекстовый фидонет всё ближе
Ответить | Правка | Наверх | Cообщить модератору

57. "Открыт код Jina Embedding, модели для векторного представлен..."  +1 +/
Сообщение от michael516 (?), 27-Окт-23, 15:13 
Шутка, понятная не только лишь всем
Ответить | Правка | Наверх | Cообщить модератору

54. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от test (??), 27-Окт-23, 08:00 
А есть ссылка на пример ? Текст + Картинка.
Ответить | Правка | Наверх | Cообщить модератору

56. Скрыто модератором  +/
Сообщение от Аноним (-), 27-Окт-23, 12:22 
Ответить | Правка | Наверх | Cообщить модератору

64. "Открыт код Jina Embedding, модели для векторного представлен..."  +/
Сообщение от Аноним (64), 01-Ноя-23, 16:26 
ЛСДУЗ и ЙФЯУ9 в ней сгенерили?
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру