Вариант для распечатки		Пред. тема | След. тема
Форум Оптимизация и Промышленные системы (Разное)
Изначальное сообщение		[ Отслеживать ]

"Поиск файлов в распределенных P2P сетях"	+/–
Сообщение от Novo22 (ok), 23-Ноя-22, 04:03
Приветствую. Возник вопрос относительно поисковых возможностей у существующих распределенных p2p сетей. Общая задача связана с поиском файлов даже не по их системным параметрам (имена, расширения, даты и тп),а по мета-тегам, присваиваемым пользователями и записываемым внутрь самих файлов (в основном, картинки в jpg и png с IPTC/MWG тегами). Искать по мета-тегам локально - не проблема. Искать по мета-тегам на удаленных компьютерах - уже вопрос как (проблема ещё в том, что сами мета-теги у файлов могут меняться, а следовательно и хэш файлов пересчитывается). В целом, специфика содержимого файлов и их количество таковы, что уже понятно, что для обеспечения анонимного обмена между пользователями нужно P2P решение. Например, в тех же торрентовых сетях (в отличие от древнего eMule - не знаю, он ещё жив?) поиск в принципе не поддерживается, поэтому для файлообмена насоздавали кучу сайтов-посредников-трекеров. Про поиск торрентов по мета-тегам файлов уже молчу. Почитал про реализацию поиска в той же IPFS, на Гитхабе у них проект IPFS-Search, кажется, пока сыроватый.  Хотя выбор распределенных файловых систем довольно широк: https://en.wikipedia.org/wiki/Comparison_of_distributed_file... Кто-то знаком с темой реализации поиска в распределенных P2P, чтобы подсказать что-то полезное? Заранее благодарю.
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по времени | RSS]

1. "Поиск файлов в распределенных P2P сетях"	+/–
Сообщение от Аноним (1), 24-Ноя-22, 20:58
gnunet
Ответить | Правка | Наверх | Cообщить модератору

	2. "Поиск файлов в распределенных P2P сетях"	+/–
	Сообщение от Novo22 (ok), 26-Ноя-22, 06:26
	> gnunet Спасибо за хинт. Два момента в gnunet заинтересовали: 1) F2F топология и 2) библиотека Libextractor, которая вроде как поддерживает jpg/png (поддержка библиотеки упоминается в одном старом публичном сообщении основателя GnuNet).Я правильно понимаю, что стандартные поисковые возможности GnuNet допускают поиск файлов по их метаданным на компьютерах ограниченного круга доверенных лиц, предпочитающих сохранить анонимность при обмене?
	Ответить | Правка | Наверх | Cообщить модератору

	3. "Поиск файлов в распределенных P2P сетях"	+/–
	Сообщение от Аноним (1), 26-Ноя-22, 07:54
	>> gnunet > Спасибо за хинт. Два момента в gnunet заинтересовали:1) F2F топология и Опциональная возможность. > 2) библиотека Libextractor, которая вроде как поддерживает jpg/png (поддержка библиотеки > упоминается в одном старом публичном сообщении основателя GnuNet). Эта штука отвечает за [полу-]автоматическое получение метаданных у публикуемых файлов, сортированных по группам (автор, описание, формат...). На деле толку мало, но новичку будет полезно. > Я правильно понимаю, > что стандартные поисковые возможности GnuNet допускают поиск файлов по их метаданным > на компьютерах ограниченного круга доверенных лиц, предпочитающих сохранить анонимность > при обмене? Да. F2F в gnunet как опциональная возможность. Каждому файлу задаётся отдельный уровень анонимности, как у публикующего, так и у ищущего, и скачивающего... Метаданные задаются отдельно и хранятся отдельно, сам файл может быть вовсе без метаданных или с винегретом - в любом случае gnunet будет учитывать только ту метаинформацию, которую указал пользователь при публикации (с помощью libextractor или без). Основной способ взаимодействия с gnunet - консоль. А значит этому возможно наделать скрипты, чтобы у всей вашей корпоративной сети файлы публиковались с одними и теми же установками (помимо метаданных в т.ч.). Еще в gnunet есть возможность распределенного хранения, ещё аналог VPN, аналог DNS и многое другое, в том числе MESH составляющая.
	Ответить | Правка | Наверх | Cообщить модератору

	4. "Поиск файлов в распределенных P2P сетях"	+/–
	Сообщение от Novo22 (ok), 26-Ноя-22, 14:33
	>[оверквотинг удален] > ищущего, и скачивающего... > Метаданные задаются отдельно и хранятся отдельно, сам файл может быть вовсе без > метаданных или с винегретом - в любом случае gnunet будет учитывать > только ту метаинформацию, которую указал пользователь при публикации (с помощью libextractor > или без). > Основной способ взаимодействия с gnunet - консоль. А значит этому возможно наделать > скрипты, чтобы у всей вашей корпоративной сети файлы публиковались с одними > и теми же установками (помимо метаданных в т.ч.). > Еще в gnunet есть возможность распределенного хранения, ещё аналог VPN, аналог DNS > и многое другое, в том числе MESH составляющая. Благодарю за комментарии. На нашей стороне есть разработчики и аналитики с опытом работы с мета-данными. Но нам может понадобиться экспертиза по сетевой архитектуре GnuNet если мы остановим свой выбор на этой сети. К Вам можно будет обратиться за советом (если Вы не против обсудить вне opennet, по имейл, либо иначе)? Пока навожу справки. Получил фидбэк от RetroShare, говорят у них тоже есть реализация с поддержкой поиска по метаданным (и, кстати, специально для подключения с Андроид на их сайте тоже предлагается какое-то решение). А от Waste сообщили что они скорее мертвы, чем живы для того, чтоб внедрять поиск по метаданным. Что-нибудь можете сказать про FreeNet или RetroShare для сравнения с GnuNet?
	Ответить | Правка | Наверх | Cообщить модератору

	5. "Поиск файлов в распределенных P2P сетях"	+/–
	Сообщение от Аноним (5), 27-Ноя-22, 07:09
	>>[оверквотинг удален] > Благодарю за комментарии. > На нашей стороне есть разработчики и аналитики с опытом работы с мета-данными. > Но нам может понадобиться экспертиза по сетевой архитектуре GnuNet если мы > остановим свой выбор на этой сети. К Вам можно будет обратиться > за советом (если Вы не против обсудить вне opennet, по имейл, > либо иначе)? Ко мне нет, извините. Есть канал #gnunet на Libera IRC сервере, англоязычный. Документацию читать вдоль и поперёк придётся. И шишки набивать... Есть GUI (GTK) обёртки для упрощения некоторых моментов использования, но пользоваться ими нужно с осторожностью, например одно из них (GUI настройка) может сломать одним своим запуском всю конфигурацию предварительной настройки GnuNet. Там GUI обёртки отстают от разработки "ядра", поэтому берите на карандаш выше написанное предостережение. > Пока навожу справки. Получил фидбэк от RetroShare, говорят у них тоже есть > реализация с поддержкой поиска по метаданным (и, кстати, специально для подключения > с Андроид на их сайте тоже предлагается какое-то решение). А от > Waste сообщили что они скорее мертвы, чем живы для того, чтоб > внедрять поиск по метаданным. Что-нибудь можете сказать про FreeNet или RetroShare > для сравнения с GnuNet? По FreeNet ничего не скажу. RetroShare умеет искать только по двум параметрам: название файла (в т.ч. с учётом .формата), HASH файла (SHA1🙄). Для Adnroid клиента нет, есть поделки на которых может быть заработает только чат. Потенциальное решение - подключаться к WEB-интерфейсу, которым не пользовался, но по отзывам пользовавшихся - всё плохо.
	Ответить | Правка | Наверх | Cообщить модератору

	6. "Поиск файлов в распределенных P2P сетях"	+/–
	Сообщение от Novo22 (ok), 02-Дек-22, 00:35
	> По FreeNet ничего не скажу. > RetroShare умеет искать только по двум параметрам: название файла (в т.ч. с > учётом .формата), HASH файла (SHA1🙄). Для Adnroid клиента нет, есть поделки > на которых может быть заработает только чат. Потенциальное решение - подключаться > к WEB-интерфейсу, которым не пользовался, но по отзывам пользовавшихся - всё > плохо. Спасибо за обратную связь. Мы всё таки решили что для целей внутригруппового обмена p2p решения вряд ли подойдут просто потому что возникает issue с data availability при сравнительно малом количестве участников обмена. Иными словами любые поисковые запросы на базе metadata будут с большой долей вероятности возвращать null либо мало результатов. Облачное решение с доступностью данных в режиме 24 x 7 от техногигантов типа Google конечно было бы предпочтительнее если б им было интересно развиваться в сторону поддержки более продвинутых поисковых возможностей на мета-данных внутри ограниченных community groups.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема