https://www.opennet.ru/openforum/vsluhforumID3/138300.html Компания Google представила релиз инструментария Magika 1.0, предназначенного для определения типа содержимого на основе анализа имеющихся в файле данных. Magika может точно определять в содержимом используемые языки программирования, методы сжатия, установочные пакеты, исполняемый код, виды разметки, форматы звука, видео, документов и изображений. Связанный с проектом инструментарий и готовая модель машинного обучения распространяются под лицензией Apache 2.0. Обвязки подготовлены для языков Rust, Python, JavaScript/TypeScript и Go...<br><br>Подробнее: https://www.opennet.ru/opennews/art.shtml?num=64201<br> https://www.opennet.ru/openforum/vsluhforumID3/138300.html#165 Thu, 13 Nov 2025 22:20:51 GMT &gt;&gt; Строгий парсер ничего не кусает, он берёт и парсит весь файл. На то он и парсер.<br>&gt; Где я могу увидеть этот "строгий парсер", работающий с более чем 200 <br>&gt; форматами файлов?<br><br>Один конкретный парсер парсит один конкретный формат. Не начало и конец, а весь файл.<br> https://www.opennet.ru/openforum/vsluhforumID3/138300.html#164 Thu, 13 Nov 2025 22:19:16 GMT &gt;&gt;Безусловно, иногда он очень полезен, а иногда абсолютно бесполезен <br>&gt; В данном случае полезность - 99%, бесполезность - всего 1%. Уверен, людям <br>&gt; такая точность в сочетании со скоростью обработки и не снилась.<br><br>Задачи бывают очень разные. 99% будет только в простых задачах.<br> https://www.opennet.ru/openforum/vsluhforumID3/138300.html#163 Tue, 11 Nov 2025 23:35:24 GMT За счёт составления огромного количества сигнатур и замороченного алгоритма. И тем не менее, стандартные MIME-типы как вспомогательные тоже используются. На самом деле, вся основная логика в отдельной моей библиотеке, а не конкретно в этой утилите<br> https://www.opennet.ru/openforum/vsluhforumID3/138300.html#162 Tue, 11 Nov 2025 22:52:29 GMT &gt; ... Модель обучена с использованием фреймворка Keras на 100 ....<br><br>Вот именно что Херас на 100.<br>Я не знаю, да и не хочу знать, какую грибную Магию там на чем писали и когда именно какие версии в прод выкатывали, но гугол драйв, нехороший, имеет свойство добавлять расширения файлам при скачивании свои.<br>закачивали example.properties а скачали example.properties.txt<br><br>потому что оно так решило, тип файла, ё@#&!<br>если погуглить, этому поведеню уже много лет, воспроизводиться как получиться, но присутствует точно.<br> https://www.opennet.ru/openforum/vsluhforumID3/138300.html#161 Tue, 11 Nov 2025 18:10:38 GMT Ха-ха, zst не распознает. А обычный file - прекрасно распознал.<br> https://www.opennet.ru/openforum/vsluhforumID3/138300.html#160 Tue, 11 Nov 2025 16:56:30 GMT file детектит не формат, а сигнатуру. Детекцию формата он не обещает. Сабж детектив вообще не пойми что, ты никогда не сможешь узнать заранее, почему нейронка такое решение вынесла, придётся SHAPать.<br> https://www.opennet.ru/openforum/vsluhforumID3/138300.html#159 Tue, 11 Nov 2025 16:53:32 GMT Написано на D. Что иного ты ожидал?<br> https://www.opennet.ru/openforum/vsluhforumID3/138300.html#158 Mon, 10 Nov 2025 16:05:34 GMT &gt;когда тебе подсовывают набор байт, который может являться файлом в одном из более чем 200 возможных форматов?<br><br>То есть у нас в мире всего 200 форматов? А я-то, дурачок, думал, что форматов бесконечно много, в том числе уникальные, о которых ты в принципе знать не можешь.<br><br>Вы неправильно формулируете задачу. У вас нет задачи узнать, в каком формате файл. У вас есть задача убедиться в том, что файл именно в том формате, какой вы от него ожидаете. Первая задача в принципе нерешаема. Вторая задача - это именно та, о которой идёт речь, когда речь заходит о безопасности, а гугл продвигает свою нейросеть как средство обеспечение безопасности. При этом под "безопасностью" понимать можно разные вещи.<br>1. проверить, что файл у нас такой, что его нельзя использовать для атаки на нашу систему. То есть залили PHP-скрипт под видом картинки, а дальше локальный инклюд. На самом деле так делают только дебилы, что возможность локального инклюда, что хранение картинок в папках, откуда их можно заинклюдить.<br>2. проверить, чт https://www.opennet.ru/openforum/vsluhforumID3/138300.html#157 Mon, 10 Nov 2025 15:40:23 GMT Тебе не нужно 200 форматов поддерживать. Тебе нужно проверить, что конкретный файл в белом списке из максимум 10 форматов. Для этого ты берёшь либы для работы с этими форматами, и для каждой пишешь код, который этот файл пытается нелениво открыть этой либой.<br>