GitHub собирается начать самостоятельно анализировать использование сервиса пользователями, вместо анализа с использованием сторонних поставщиков "телеметрии", таких как Google Analytics. В репозиторий политик GitHub внесён pull-запрос со следующими изменениями, утверждение которых назначено на 19 декабря:...Подробнее: https://www.opennet.me/opennews/art.shtml?num=54139
Поставят Piwik?
Впрочем, у Github'а так и так останется сторонний "сервис сервисов" - Microsoft.
Поставим то, что порекомендует Аноним с опеннета. Пишите варианты, не стесняйтесь. В конце дня подведем итоги, и единая сущность, известная как Аноним, получит награду. Какую - пусть будет сюрприз.
Поставьте чайник.
Расселла
И кружку Эсмарха.
и пинту Клинского светлого, пожалуйста
> и пинту Клинского светлого, пожалуйстаВ кружке Эсмарха? А мсье знает толк в извращениях...
мне в чашку Петри, пжлст
Из бутылки Клейна.
> Из бутылки Клейна.главное чтобы не из бутылки навального
Месье знает толк в толстом троллинге.
Водку.
У вас ошибка в никнейме.
> Поставят Piwik?теперь это Matomo
Почти наверняка поставят.Просто-то в логи собственного сервера посмотреть - у современных смузихлебов вообще ж не вариант.
А так тоже можно было?
Сложно. Вебсервер ведь ОБЯЗАН иметь "единую точку входа" (blahblahblah) - кому обязан и что это за очередная глупость в смузи-компоте, заменающем им мозги - неизвестно. Соответственно, его логи - бесполезны, там почти ничего не видно, даже если специально принимать меры (пихать туда то что в обычных настройках не логается и логать нехорошо, например, cookies).А самостоятельный логгинг они фатально не умеют. В первую и главную очередь - потому что современный разработчик не умеет пользоваться grep, "у него мак". Поэтому они реально искренне не понимают, КАК должны выглядеть нормальные логи, чтобы их просто было анализировать и легко в них что-то найти. В результате их заменяют помойкой имени какого-нибудь elk. Теперь все прекрасно - приложения пишет логи в файлик (куда ж современному разработчику еще, как не в файлик - оно иногда лопается, съедает весь диск, или портится внутри, но это работа админов, разработчик спит спокойно) в понятном и прекрасном json (куда ж современному разработчику в текстовые строки), файлик читает filebeat, но поздно - там уже нет точных таймстемпов (разработчик про них не знал) и точного места, кто сгенерировал эту запись (это файлик, в него кто угодно может нагадить). Файлики плодятся и размножаются быстрее, чем их успевают добавлять в конфигурацию файлбита и логротейтилок.
Дальше все это переваливается в бездонную помойку elastic. И как-то где-то может кем-то быть поисканным...но на самом деле не может, ибо современные разработчики не умеют в безумные интерфейсы кибаны, а больше ничего и нет.Ставьте гуглетрэш - он понимает "приложения", и следит просто за действиями юзера (поскольку в "приложениях" это вообще единственное, что остается - просто записать, куда именно тот ткнул мышью, перехватив эвент). Попутно этого юзера отслеживая, но вам пох...й.
Хватит уже! И так тошно...
Простите, накипело - как раз сегодня у наших оно опять лопнуло. И забрызгало вот, меня и товарищей...Лучше б они гуглеанал использовали, честное слово. Правда, там какая-то ИБ что-то бормочет, хрен их, сектантов, разберешь...
Ты же в вантузошараге с вантузятникми работаешь... Пердон, хотел сказать - "с такими как ты сам". Потому - не удивляйся, не плюйся и не кусай лопату. тебе подающую.
> современный разработчик не умеет пользоваться grepGrep - это такое же наследие проклятого прошлого, как bash-портянки или X11.
>> современный разработчик не умеет пользоваться grep
>
> Grep - это такое же наследие проклятого прошлого, как bash-портянки или X11.grep вообще нужно запретить, пока разработчики не сделают нормальные фильтры оскорбительных слов и их автозамену.
> Grep - это такое же наследие проклятого прошлого, как bash-портянки или X11.Да, да!
Но, в отличие от прочих пережитков, его-то мы уже успешно победили! Погрепай-ка, погрепай по json с переносами строк в самых неожиданных местах - хахахаха!P.S. и да, syslog ОНИ тоже победили.
> погрепай по json<trollmode>Сконвертить в xml, залить в sedna и грепать с помощью xquery</trollmode>
> P.S. и да, syslog ОНИ тоже победили.До сих пор не привык. Убивать хочется.
А не надо грепать JSON. Для JSONа есть Mongo. А лучше вообще не надо JSON для логов. Для логов нужна специальная база данных, append-only, с доступам к записям за O(1) и оптимизированная под добавление строк. Написать такую вообще тривиально, наверняка есть масса готовых решений.
> А не надо грепать JSON. Для JSONа есть Mongo. А лучше вообще
> не надо JSON для логов. Для логов нужна специальная база данных,
> append-only, с доступам к записям за O(1) и оптимизированная под добавление
> строк. Написать такую вообще тривиально, наверняка есть масса готовых решений.да-да. Масса готовых наговняканных макакой "это тривиально" решений.
А ты как хочешь, так и иппись это поддерживай.
P.S. дорогая макака, вопрос номер 0, предварительный: твоя чудо-база данных встала колом. Что произойдет с глупым сервером, пытающимся туда логать каждый чих пользователя, вот в примере нашего любимого гитхаба. Что ты уже предусмотрел для этой цели?
Вообще тривиально, ага.
Если чудо-база данных встала колом, то она контейнер с нею (потому что базу данных мы конечно же засунем в докер) всенепременно будет перезапущен волшебным оркестратором.
Подумаешь логи потеряются их все равно никто не читает.
> Подумаешь логи потеряются их все равно никто не читает.Ха, наивный - ты думаешь _мне_ - их логов жалко?
Пока чудо-охерньстратор пыхтит над перезапуском, или хотя бы просто переконфигурит sink на другой инстанс (сперва должен сработать триггер, он тоже не мгновенный, поскольку живость серверка оценивает по косвенным признакам) - как думаешь, что происходит на сервере, который пытался нужный и полезный тыщестопервый лог в секунду запихать в tcp сокет, из которого в ответ ни кар, ни мяу?Других-то протоколов, кроме tcp (непременнейше c ssl!) для них не существует.
Да ну в пень. Пусть в файлы пишут. Файл - надежно, дубово, на века. Не повиснет.
filebeat разгребет, когда-нибудь.Кончится место - пусть новое выделяют, у них бездонное, я знаю.
Ну вот я знаю продукт, в котором концептуально ВСЕ логи гонятся через rsyslog на локалхосте. По UDP. В том числе и стектрейсы явских эксепшнов, которые иногда тупо теряются, когда размер портянки получается больше, чем размер буфера на передачу.
Щито? Ты может с YAML попутал? Но к счастью YAML в логи пока писать не додумались. Если кто-то примет это как идею - в спецификации есть удобные разделители записей. Не благодарите.
> Grep - это такое же наследие проклятого прошлого, как bash-портянки или X11.и ведь что характерно, все перечисленное имеет кроме минусов и уйму плюсов, за что и используется
но конечно можно вместо этого поставить вистообразный индексатор, который будет насиловать диск и жрать ресурсы вообще всегда, ради того чтобы раз в год поиск быстрее случился
>КАК должны выглядеть нормальные логиКАК должны выглядеть нормальные логив бинарном структурированом виде.
Эх, хорошо тебе, у тебя и грепают-то, поди, практически никогда, и логов (нужных, а не тех, которые программисты выс… эээ, генерируют) так мало, что ты никогда не упрёшься в производительность parallel fgrep или parallel rg.> в понятном и прекрасном json (куда ж современному разработчику в текстовые строки)
JSON был бы неплохим промежуточным форматом, если бы логи эти стекались в нормальную базу, в которой можно было бы искать по отдельным полям и экономить на этом время поиска. Но нет, мы имеем, с одной стороны, какой-то монструозный индексатор со слоями джавы и торжество неудобства в качестве интерфейса (а ничего иного нигде и не видать), а с другой — ленивых лодырей, которые умеют только производить {timestamp, message, severity}, в котором даже без модных обёрток нужен трёхэтажный стих на awk, чтобы выковырять нужные данные :(
> Эх, хорошо тебе, у тебя и грепают-то, поди, практически никогдаестественно. они ж не умеют в grep.
> JSON был бы неплохим промежуточным форматом, если бы логи эти стекались в
> нормальную базу, в которой можно было бы искать по отдельным полям
> и экономить на этом время поиска. Но нет, мы имеем, с
> одной стороны, какой-то монструозный индексатор со слоями джавы и торжество неудобства
> в качестве интерфейса (а ничего иного нигде и не видать), а
> с другой — ленивых лодырей, которые умеют только производить {timestamp, message,ЧЕВО?! Какой еще тимештамп, што ета?
head -1 выводит пять экранов ботвы - вот это по нашему!
Где там severity, был ли он - да хз, я что - читать это буду?!
Давайте поставим гуглеанал, ну их нахрен, этих безопасников. Там будет просто "юзверь запустил приложению такую-то, она тупила 4.5 секунд пока не запросила вот такой апи". А что гугль знает кто этот юзер и что он вчера на амазоне заказал - да и похрен, нам от этого что?
ты похоже в яндексе работаешь :)
> ты похоже в яндексе работаешь :)Не, я ночью спать люблю, звонки не люблю.
Да и днем-то, в общем-то...Ты думаешь, у неяндексов какие-то другие разработчики? Ну вот у байды той же...
А энтерпрайзы ж не могут взять и написать себе свой кликхаус. Поэтому тянут в рот используемое всякими яндексами и прочей...байдой. Получается точно такая же хрень.
"А других разработчиков у меня для вас - нет!"
Греп для логов - плохой вариант. Искалка должна знать, что такое log entry, а не текстовая строка. Как хорошо, что такие искалки уже есть: https://github.com/wilem82/logtools-rs
> Греп для логов - плохой вариант. Искалка должна знать, что такое log
> entry, а не текстовая строка.А где вы такие логи видели, чтобы запись в логе ≠ строке в логе? Ну, кроме джавистов с неизбежными стектрейсами в catalina.out, которым уже ничего не поможет. Даже тем любителям модно-молодёжных лог-пайплайнов, которых я встречал, хватает одной строки на запись.
Стектрейс - это не фича жавы, это фича любой программы, в которой есть стек вызовов, то есть практически в любой. Другое дело какие компиляторы / рантаймы умеют этот трейс получать в рантайме и соответственно куда-то логировать.Но и без стека вызовов есть куча всякого многострочного. Например продукт с которым я работал и для чего написал эти тулзы, помимо того что он умеет логировать стектрейсы, он ещё логирует маршруты для доставки сообщений, а там в одну строчку не засунешь. Ну и в целом очевидно, что многострочные записи в лог используются постоянно для чего угодно, если в жизни видел что-то более сложное, чем аксес лог апача.
new relic норм, но его настроить нормально затрахаешься. нужно их клиент впихать в каждый input/ouput, причём, если используешь стороннюю приложуху без исходников, то начинаются танцы и эквилибристика в гамаке на руках. но результат неплох, кибана, конечно, хороша, но ею пользоваться умеют 3.5 анонима, а у этих всё более-менее наглядно даже для младшего подносчика кофе
Просто посмотреть не годится, т.к. много. И надо анализ.
> Просто посмотреть не годится, т.к. много. И надо анализ.Дорогой смузихлеб, ну давай, расскажи нам - каких же волшебных анализов твоего же кала делает ЗА тебя гуглетрэш, которые ты не мог делать сам, хотя это ТВОЕ приложение и ТВОЙ сервер? Кроме тех, которыми он как раз с тобой не поделится - позволяющих знать что это был за человек, зная его поведение и все детали его жизни, а не только с твоего сайта.
А как лутше в WINDOWS или в Exel?
Да, так и сделай.
> Да, так и сделай.и вебприложуху на дотнете написать, чтоб пупок уж точно развязался
Ну, там же враньё написано.
> Ну, там же враньё написано.с чего, собственно? Вполне себе, полагаю, правда написана - ms (в отличие от прежних хозяев) прекрасно понимает, сколько и какой информации утекает гуглю. Причем - бесплатно!
И, разумеется, пытается этот поток слегка убавить. Ей (в отличие от прежних хозяев) не наплевать.
Ах, да, я забыл, корпорация ж, зла. Какие разумные доводы, вы о чем... "все вранье" и рептилоиды отаке
В этой новости прекрасно всё - и введение собственных печенек для слежки за пользователями, и продолжение использования телеметрии Гугла при молчании об этом, и признание в том, что на "do not track" всем эквифаллично.
MS всячески пытается показать, что она - не волк.
"Мы вас грабить никому не дадим. Сами будем!"
- Девушка, туда не ходите, там *бут
*разворачивается идёт в другую сторону"
- Девушка, туда не ходите, там тоже *бут
*разворачивается идёт в третью сторону"
- Девушка, и там тоже *бут
- Ну так куда идти-то, *ять?!
- Никуда не ходите, здесь вы*бем!..
>самостоятельноИмелся в виду бинг?
у них кто-то закрыл серверную, куда сваливались логи сервера, а теперь открыл?
> у них кто-то закрыл серверную, куда сваливались логи сервера, а теперь открыл?Боюсь, вы недооцениваете современную разработку.
Не было у них никаких логов, во всяком случае - тех которые имеет смысл анализировать.
У гугля были.
>GitHub намерен отслеживать посещения самостоятельно, без привлечения сторонних сервисовМинус этой новости. Тебя отслеживает ГитХаб. ГитХаб контролирует Майкрософт. А Майкрософт лучший друг Госдепа и АНБ.
Как будто гугол - злейший враг этих ваших госдепов
> Как будто гугол - злейший враг этих ваших госдеповА вы думали, друг что-ли?!
Такую цену заламывает, что у нас опять бюджет не сойдется. Приходится перекупать у NSA - они за треть цены перепродают, им тоже дорого обходится, а так хоть часть вернут.
Любой международный бизнес (организация, единственная цель которой - принести своему владельцу много денег, чем больше - тем лучше, даже если для этого придётся полнаселения земного шара, включая 90% работников этой самой компании и внучку её директора, в сойлент грин переработать) - лучший друг АНБ, потому что рынок США самый платёжеспособный и потребительский.
> потому что рынок США самый платёжеспособный и потребительский.Да, да, мы очень платежеспособные!
Только, все же, нельзя ли скидочку хотя бы процентов в 5? Ради свободы и демократии во всем мире, а?
Используйте только хорошие зонды. А нехорошие - не используйте!
Очень правильная реализация. Покажите мне сервис, где от использования кук можно отказаться?
> Очень правильная реализация. Покажите мне сервис, где от использования кук можно отказаться?Да половина если не больше, тех что gdrp-aware. Закрываешь нахрен браузер - все, нету кук!
Они честно проверяют ту которая после 'ok' на баннере ставится, и пока ее нет - другие не включают, правда, и сайт не работает тоже.
Остальные, к сожалению, разрабатывали код ставящий куки другим индусом, не тем что лепил баннер про "отказаться", там браузер уже поздно закрывать.
Те же яйца, вид сбоку. Типа "Деньги у нас будут и дальше, но Вы держитесь здесь, вам всего доброго, хорошего настроения и здоровья". :)
Помню лет 15 назад наверное писал сайт и сделал там графический счетчик и так на душе хорошо было пока один муд@к его не заменил Joomla-ой.Вот смотрю ребята тоже свой счетчик решили запилить =)
Главное чтобы на счётчик не поставили.
Всё и всех надо отслеживать! Никакой вседозволенности.