forum.opennet.ru - "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизации баз данных" (32)

"Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизации баз данных"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизации баз данных"	+/–
Сообщение от opennews (??), 24-Июл-23, 12:11
Состоялся релиз nxs-data-anonymizer 1.0.0 — инструмента для анонимизации дампа баз данных PostgreSQL и MySQL. Инструмент написан на языке Go и выпускается под лицензией Apache License 2.0... Подробнее: https://www.opennet.me/opennews/art.shtml?num=59486
Ответить \| Правка \| Cообщить модератору

Оглавление

а зачем выкладывать дамп с персональными данными это незаконно во многих юрисди, Аноним (1), 12:11 , 24-Июл-23, (1)

Для внутреней разработки и тестовых развертываний Чувствительные данные надо , pashev.ru (?), 12:25 , 24-Июл-23, (2) +7

Чувствительные данные не надо хранить Уж сколько раз и крупные корпорации и банк, keydon (ok), 18:50 , 24-Июл-23, (15) +1

Ты опоздал родиться Века на два как минимум , _ (??), 21:08 , 24-Июл-23, (17) +1
И как вы без хранения данных предлагаете привязать юзера к его мед карте, к прим, BeLord (ok), 09:57 , 25-Июл-23, (21) +1

Для какой-то обработки они тебе никогда не нужны Все равно внутри оперируешь пр, rshadow (ok), 19:16 , 25-Июл-23, (22) –1

который будет ими торговать, ровно как сейчас это и происходит, вот вырисовывает, gg (??), 09:30 , 26-Июл-23, (23) –1

В этом плане мне больше нравится если бы вход везде был через госуслуги Государ, rshadow (ok), 09:46 , 26-Июл-23, (24)

Для каких-то вещей типа медицины уже давно через госулуги доступ, а само ПО в за, BeLord (ok), 09:32 , 27-Июл-23, (29)

Через гугл, ПДн, ай молодца 152-ФЗ стоит почитать для разнообразия , BeLord (ok), 09:33 , 27-Июл-23, (30)

Примерно также как делали это столетие или примерно также как это делает биткойн, keydon (ok), 11:42 , 26-Июл-23, (26)

На самом деле, эта штука бесполезна Я рекомендую в каждом конкретном случае дел, pashev.ru (?), 12:30 , 24-Июл-23, (4)

Понятное дело, что никто лучше вас самих вашу БД не знает Скажу больше - если в, Виктор (??), 13:37 , 24-Июл-23, (6) +2

Ага, учить новый язык шаблоны и прочую святотень вместо уже хорошо известного SQ, pashev.ru (?), 17:02 , 24-Июл-23, (12) +1

1 Берётся ежедневный бэкап дамп 2 Импортируется на отдельном сервере 3 На э, pashev.ru (?), 17:11 , 24-Июл-23, (13)

Это всё заодно и является проверкой адекватности бэкапов Разумеется, легко авто, pashev.ru (?), 17:14 , 24-Июл-23, (14)

Я конечно и сам так делал Но вообще говоря есть разные сценарии и требования И е, keydon (ok), 18:58 , 24-Июл-23, (16)

продолжу нет проблем - нет продаж - нет денег , WE (?), 07:39 , 25-Июл-23, (20)

А я в принципе и так лежу и ничего не делаю , keydon (ok), 11:38 , 26-Июл-23, (25)

Да какой авк Я же написал 8212 работать с базой данных, скл , pashev.ru (?), 09:35 , 27-Июл-23, (31)

А следующий этап этап зашаблонить этот скл и оформить в виде плагина и вот он, т, keydon (ok), 16:12 , 27-Июл-23, (33)

Анонимизация на языке GO google с нами , Аноним (5), 13:24 , 24-Июл-23, (5)

Единственная связь с Google там - прокси, задаваемый через переменную окружения , Василий Топоров (?), 13:49 , 24-Июл-23, (7)

Там же вроде ещё и телеметрия в утилитах, или она не по-умолчанию , Аноним (9), 15:43 , 24-Июл-23, (9)

Это как Типо, по конкретному адресу и с конкретными кредами подключаюсь к хз к, Бывалый смузихлёб (?), 14:07 , 24-Июл-23, (8)

Тебе это не надо Это для компУтерЩикаФФФ , _ (??), 21:22 , 24-Июл-23, (18) –1

Для компУтерЩикаФФФ - вот вам Ыкзампель export PGPASSWORD password pg_dump, _ (??), 21:24 , 24-Июл-23, (19)

awk sed, небось, дешевле бы стоил , пох. (?), 17:11 , 03-Авг-23, (34)

Оxocпадя, eгэшники ввыросли mysqldump bazadata 124 gpg -c bazadata g, pavlinux (ok), 14:07 , 26-Июл-23, (27) –2

И что вы этим хотели сказать Что умеете хранить данные БД в шифрованном виде Т, Виктор (??), 08:46 , 27-Июл-23, (28)

Скрыто модератором, ivan_erohin (?), 10:00 , 27-Июл-23, (32) +1

Скрыто модератором, пох. (?), 17:13 , 03-Авг-23, (35)

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 24-Июл-23, 12:11 +/–

а зачем выкладывать дамп с персональными данными? это незаконно во многих юрисдикциях. Вы доверите какой-то проге свою юридическую безопасность?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #2

2. Сообщение от pashev.ru (?), 24-Июл-23, 12:25 +7 +/–

Для внутреней разработки и тестовых развертываний. Чувствительные данные надо «замазывать».

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #15

4. Сообщение от pashev.ru (?), 24-Июл-23, 12:30 +/–

На самом деле, эта штука бесполезна. Я рекомендую в каждом конкретном случае делать это самостоятельно, хоть на Баше, потому что никто, кроме вас не знает вашу БД. Думаю, этот прожект и вырос из такой самоделки, но для других он бесполезен.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #6

5. Сообщение от Аноним (5), 24-Июл-23, 13:24 +/–

Анонимизация на языке GO! :)
google с нами :)

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #7

6. Сообщение от Виктор (??), 24-Июл-23, 13:37 +2 +/–

Понятное дело, что никто лучше вас самих вашу БД не знает. Скажу больше - если вы не знаете свою БД, то и пользоваться этим инструментом вы не сможете, так как он магию за вас не сделает и не определит самостоятельно где лежат чувствительные данные для вашего бизнеса и как их нужно изменить. Его задача заключается в том, чтобы максимально упростить работу по изменению этих самых данных, чтоб, как вы сказали, не сидеть и не сочинять скрипты на баше, заниматься их отладкой и поддержкой, а просто написать конфиг, где даже знания SQL не нужны.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #12

7. Сообщение от Василий Топоров (?), 24-Июл-23, 13:49 +/–

Единственная связь с Google там - прокси, задаваемый через переменную окружения GOPROXY (и через неё же и отключаемый). Но это свойство вашей установки Go, а не конкретного софта.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #9

8. Сообщение от Бывалый смузихлёб (?), 24-Июл-23, 14:07 +/–

> для анонимизации дампа баз данных
Это как ? Типо, по конкретному адресу и с конкретными кредами подключаюсь к хз кому ради хз чего ?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #18

9. Сообщение от Аноним (9), 24-Июл-23, 15:43 +/–

Там же вроде ещё и телеметрия в утилитах, или она не по-умолчанию?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

12. Сообщение от pashev.ru (?), 24-Июл-23, 17:02 +1 +/–

> том, чтобы максимально упростить работу по изменению этих самых данных, чтоб,
> как вы сказали, не сидеть и не сочинять скрипты на баше,
> заниматься их отладкой и поддержкой, а просто написать конфиг, где даже
> знания SQL не нужны.
Ага, учить новый язык шаблоны и прочую святотень вместо уже хорошо известного SQL.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #13

13. Сообщение от pashev.ru (?), 24-Июл-23, 17:11 +/–

1. Берётся ежедневный бэкап (дамп).
2. Импортируется на отдельном сервере.
3. На этом сервере прогоняется запросы на чистку/изменение данных.
4. Делается дамп, раздаётся разработчикам или/и импортируется в тестовое окружение.
Пункты 3 и 4 могут быть посложнее, например разработчикам удобнее дамп поменьше.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #14

14. Сообщение от pashev.ru (?), 24-Июл-23, 17:14 +/–

Это всё заодно и является проверкой адекватности бэкапов )
Разумеется, легко автоматизируется.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #16

15. Сообщение от keydon (ok), 24-Июл-23, 18:50 +1 +/–

Чувствительные данные не надо хранить.
Уж сколько раз и крупные корпорации и банки и правительственные конторы утекали.
Но нет, надо же чтобы были подписки (а значит и номера карт), обращение по имени (а значит ФИО), геотаргетинг (а значит адрес) и прочее "для вашего удобства" (на самом деле нет, чтобы можно было использовать базу для маркетинга).
В большинстве случаев ничего из этого не нужно.
Покупки с адресом можно делать и анонимно, достаточно показать пользователю id заказа. Соотнести любую информацию с ним можно по адресу или по номеру кредитной карты (которая сама по себе гораздо менее чувствительна).
Но конечно бесконечное количество глупых законов и маркетолухов не дадут этого сделать.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #17, #21

16. Сообщение от keydon (ok), 24-Июл-23, 18:58 +/–

Я конечно и сам так делал.
Но вообще говоря есть разные сценарии и требования.
И если где-то достаточно через awk заменить все даты рождения 3 января 2009 года, то где-то для тестирования и верификации нужны разные даты. А еще есть имена, адреса и т.д..
Но в идеале конечно лучше просто не работать ни с какими чувствительными данными. Нет данных - нет проблем.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #20, #31

17. Сообщение от _ (??), 24-Июл-23, 21:08 +1 +/–

>Чувствительные данные не надо хранить.
Ты опоздал родиться. Века на два как минимум :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15

18. Сообщение от _ (??), 24-Июл-23, 21:22 –1 +/–

Тебе это не надо. Это для компУтерЩикаФФФ" :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #19

19. Сообщение от _ (??), 24-Июл-23, 21:24 +/–

Для компУтерЩикаФФФ" :)  - вот вам Ыкзампель:
export PGPASSWORD=password; pg_dump -U postgres prod | /path/to/nxs-data-anonymizer -t pgsql -c /path/to/nxs-data-anonymizer.conf | psql -U postgres dev
Сам это юзать не буду, у нас спецтулза для этого закуплена за тЫЩЩи нФФти :)))

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #34

20. Сообщение от WE (?), 25-Июл-23, 07:39 +/–

продолжу. нет проблем - нет продаж - нет денег.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16 Ответы: #25

21. Сообщение от BeLord (ok), 25-Июл-23, 09:57 +1 +/–

И как вы без хранения данных предлагаете привязать юзера к его мед.карте, к примеру?-)))

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #22, #26

22. Сообщение от rshadow (ok), 25-Июл-23, 19:16 –1 +/–

Для какой-то обработки они тебе никогда не нужны. Все равно внутри оперируешь просто id-шниками.
Если, например, надо ФИО написать в карточке, то тут надо хранить пары id-фио в отдельной базе/сервисе (более строго защищенных) или вообще отдать на хранение провайдеру идентификации (google, vk id и т.д., через что он у вас там логинится) и ходить за ними когда надо. Для этого собственно oauth со скоупами и придумали.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21 Ответы: #23, #30

23. Сообщение от gg (??), 26-Июл-23, 09:30 –1 +/–

> на хранение провайдеру идентификации (google
который будет ими торговать, ровно как сейчас это и происходит, вот вырисовывается выбор, хранить номер карты в базе вордпреса местной областной больнички, где админчик получает 45к наруки или у дяди билли среди миллионов таких же как ты, а уж дядя билли и нейросеть купит, и обучит, и найдет способ тебе чтото продать, а если не сам, то третьим лицам продаст..
Собственно с этой точки точки зрения разницы нет, сольют базу злодеи через дыру, или купят у барыги, вопрос в качестве материала, уж не будет админчик за 45к ее валидировать и поддерживать в актуальном состоянии годами, а барыга будет.
Вопрос только в том, что Дядям, очень не хочется иметь дел с админчиками, поэтому и пишутся законы о защите, которые вынуждают и тебя и админчика идти к барыгам, которые эту инфу по первому челчку запакуют и отправят этим Дядям.
Вот лично я, предпочел бы админчика, и вордпресс, куда я могу зайти и поменять себе и номер карты и фамилию, и телефон, и пусть звонят туда мошенники и пытаются там выудить денег.
а вот с барыгами такой фокус уже не проканает

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22 Ответы: #24

24. Сообщение от rshadow (ok), 26-Июл-23, 09:46 +/–

В этом плане мне больше нравится если бы вход везде был через госуслуги. Государство все равно о тебе и так все знает. Ну по крайней мере для легальных сайтов почему бы и нет. Конечно на википедию таким образом уже было бы не зайти ))
Ну либо вариант хранить самому. Наверно для каких-то чувствительных вещей вида медицины было бы неплохо делать так. Главное чтобы этим занимался эксперт а не доморощенный админ. Везде все утекает, но вопрос скорее чтобы цена не была уж слишком дешевой.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #29

25. Сообщение от keydon (ok), 26-Июл-23, 11:38 +/–

> продолжу. нет проблем - нет продаж - нет денег.
"А я в принципе и так лежу и ничего не делаю"

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20

26. Сообщение от keydon (ok), 26-Июл-23, 11:42 +/–

> И как вы без хранения данных предлагаете привязать юзера к его мед.карте,
> к примеру?-)))
Примерно также как делали это столетие или примерно также как это делает биткойн - по корешку и обложки медкарты (айдишнику), которая вообще говоря может быть и без фамилии и имени (просто такой вот хэш приняли в медучреждении).

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

27. Сообщение от pavlinux (ok), 26-Июл-23, 14:07 –2 +/–

Оxocпадя, eгэшники ввыросли.
$ mysqldump bazadata | gpg  -c > ~/bazadata.gpg

> Возможность удаления таблиц и строк из анонимизированного дампа;
Ну давайте, расскажите как удалить "известную строку" и неизвестного дампа? (без временной деанонимизации)

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #28

28. Сообщение от Виктор (??), 27-Июл-23, 08:46 +/–

> Оxocпадя, eгэшники ввыросли.
> $ mysqldump bazadata | gpg  -c > ~/bazadata.gpg
И что вы этим хотели сказать? Что умеете хранить данные БД в шифрованном виде? Так здесь речь как бы не про это. Как мне это должно помочь залить на dev-стенд БД без чувствительных данных с прода?
> Ну давайте, расскажите как удалить "известную строку" и неизвестного дампа? (без временной деанонимизации)
Вы хорошо прочитали описание тулзы и что здесь подразумевается под словом анонимизация? На всякий случай оставлю это тут - тулза затирает именно данные, а не саму структуру БД. Поэтому что вас смущает в исходном утверждении непонятно от слова совсем.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27 Ответы: #32

29. Сообщение от BeLord (ok), 27-Июл-23, 09:32 +/–

> В этом плане мне больше нравится если бы вход везде был через
> госуслуги. Государство все равно о тебе и так все знает. Ну
> по крайней мере для легальных сайтов почему бы и нет. Конечно
> на википедию таким образом уже было бы не зайти ))
> Ну либо вариант хранить самому. Наверно для каких-то чувствительных вещей вида медицины
> было бы неплохо делать так. Главное чтобы этим занимался эксперт а
> не доморощенный админ. Везде все утекает, но вопрос скорее чтобы цена
> не была уж слишком дешевой.
Для каких-то вещей типа медицины уже давно через госулуги доступ, а само ПО в защищенных ЦОД. Хранить данные самому крайне дорого и особого смысла в этом нет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24

30. Сообщение от BeLord (ok), 27-Июл-23, 09:33 +/–

> Для какой-то обработки они тебе никогда не нужны. Все равно внутри оперируешь
> просто id-шниками.
> Если, например, надо ФИО написать в карточке, то тут надо хранить пары
> id-фио в отдельной базе/сервисе (более строго защищенных) или вообще отдать на
> хранение провайдеру идентификации (google, vk id и т.д., через что он
> у вас там логинится) и ходить за ними когда надо. Для
> этого собственно oauth со скоупами и придумали.
Через гугл, ПДн, ай молодца. 152-ФЗ стоит почитать для разнообразия.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22

31. Сообщение от pashev.ru (?), 27-Июл-23, 09:35 +/–

Да какой авк? Я же написал — работать с базой данных, скл.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16 Ответы: #33

32. Сообщение от ivan_erohin (?), 27-Июл-23, 10:00 +1 +/–

> | gpg  -c
добавьте пару человеко-дней на возню с pinentry, gpg-agent, несовместимость версий gpg 1 и 2 и т.д.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28 Ответы: #35

33. Сообщение от keydon (ok), 27-Июл-23, 16:12 +/–

> Да какой авк? Я же написал — работать с базой данных, скл.
А следующий этап этап зашаблонить этот скл и оформить в виде плагина и вот он, такой же инструмент для анонимизации, только заточенный на одну компанию и самим дебажить.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31

34. Сообщение от пох. (?), 03-Авг-23, 17:11 +/–

> Сам это юзать не буду, у нас спецтулза для этого закуплена за тЫЩЩи нФФти :)))
awk ?
sed, небось, дешевле бы стоил...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

35. Сообщение от пох. (?), 03-Авг-23, 17:13 +/–

> добавьте пару человеко-дней на возню с pinentry, gpg-agent, несовместимость версий gpg
> 1 и 2 и т.д.
зачем, тут же не сказано что он это еще и расшифровывать собирается. mission accomplished, чо.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. Сообщение от Аноним (1), 24-Июл-23, 12:11	+/–
а зачем выкладывать дамп с персональными данными? это незаконно во многих юрисдикциях. Вы доверите какой-то проге свою юридическую безопасность?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #2

2. Сообщение от pashev.ru (?), 24-Июл-23, 12:25	+7 +/–
Для внутреней разработки и тестовых развертываний. Чувствительные данные надо «замазывать».
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1 Ответы: #15

4. Сообщение от pashev.ru (?), 24-Июл-23, 12:30	+/–
На самом деле, эта штука бесполезна. Я рекомендую в каждом конкретном случае делать это самостоятельно, хоть на Баше, потому что никто, кроме вас не знает вашу БД. Думаю, этот прожект и вырос из такой самоделки, но для других он бесполезен.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #6

5. Сообщение от Аноним (5), 24-Июл-23, 13:24	+/–
Анонимизация на языке GO! :) google с нами :)
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #7

6. Сообщение от Виктор (??), 24-Июл-23, 13:37	+2 +/–
Понятное дело, что никто лучше вас самих вашу БД не знает. Скажу больше - если вы не знаете свою БД, то и пользоваться этим инструментом вы не сможете, так как он магию за вас не сделает и не определит самостоятельно где лежат чувствительные данные для вашего бизнеса и как их нужно изменить. Его задача заключается в том, чтобы максимально упростить работу по изменению этих самых данных, чтоб, как вы сказали, не сидеть и не сочинять скрипты на баше, заниматься их отладкой и поддержкой, а просто написать конфиг, где даже знания SQL не нужны.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #12

7. Сообщение от Василий Топоров (?), 24-Июл-23, 13:49	+/–
Единственная связь с Google там - прокси, задаваемый через переменную окружения GOPROXY (и через неё же и отключаемый). Но это свойство вашей установки Go, а не конкретного софта.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #5 Ответы: #9

8. Сообщение от Бывалый смузихлёб (?), 24-Июл-23, 14:07	+/–
> для анонимизации дампа баз данных Это как ? Типо, по конкретному адресу и с конкретными кредами подключаюсь к хз кому ради хз чего ?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #18

9. Сообщение от Аноним (9), 24-Июл-23, 15:43	+/–
Там же вроде ещё и телеметрия в утилитах, или она не по-умолчанию?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #7

12. Сообщение от pashev.ru (?), 24-Июл-23, 17:02	+1 +/–
> том, чтобы максимально упростить работу по изменению этих самых данных, чтоб, > как вы сказали, не сидеть и не сочинять скрипты на баше, > заниматься их отладкой и поддержкой, а просто написать конфиг, где даже > знания SQL не нужны. Ага, учить новый язык шаблоны и прочую святотень вместо уже хорошо известного SQL.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #6 Ответы: #13

13. Сообщение от pashev.ru (?), 24-Июл-23, 17:11	+/–
1. Берётся ежедневный бэкап (дамп). 2. Импортируется на отдельном сервере. 3. На этом сервере прогоняется запросы на чистку/изменение данных. 4. Делается дамп, раздаётся разработчикам или/и импортируется в тестовое окружение. Пункты 3 и 4 могут быть посложнее, например разработчикам удобнее дамп поменьше.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #12 Ответы: #14

14. Сообщение от pashev.ru (?), 24-Июл-23, 17:14	+/–
Это всё заодно и является проверкой адекватности бэкапов ) Разумеется, легко автоматизируется.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #13 Ответы: #16

15. Сообщение от keydon (ok), 24-Июл-23, 18:50	+1 +/–
Чувствительные данные не надо хранить. Уж сколько раз и крупные корпорации и банки и правительственные конторы утекали. Но нет, надо же чтобы были подписки (а значит и номера карт), обращение по имени (а значит ФИО), геотаргетинг (а значит адрес) и прочее "для вашего удобства" (на самом деле нет, чтобы можно было использовать базу для маркетинга). В большинстве случаев ничего из этого не нужно. Покупки с адресом можно делать и анонимно, достаточно показать пользователю id заказа. Соотнести любую информацию с ним можно по адресу или по номеру кредитной карты (которая сама по себе гораздо менее чувствительна). Но конечно бесконечное количество глупых законов и маркетолухов не дадут этого сделать.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #2 Ответы: #17, #21

16. Сообщение от keydon (ok), 24-Июл-23, 18:58	+/–
Я конечно и сам так делал. Но вообще говоря есть разные сценарии и требования. И если где-то достаточно через awk заменить все даты рождения 3 января 2009 года, то где-то для тестирования и верификации нужны разные даты. А еще есть имена, адреса и т.д.. Но в идеале конечно лучше просто не работать ни с какими чувствительными данными. Нет данных - нет проблем.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #14 Ответы: #20, #31

17. Сообщение от _ (??), 24-Июл-23, 21:08	+1 +/–
>Чувствительные данные не надо хранить. Ты опоздал родиться. Века на два как минимум :)
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #15

18. Сообщение от _ (??), 24-Июл-23, 21:22	–1 +/–
Тебе это не надо. Это для компУтерЩикаФФФ" :)
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #8 Ответы: #19

19. Сообщение от _ (??), 24-Июл-23, 21:24	+/–
Для компУтерЩикаФФФ" :) - вот вам Ыкзампель: export PGPASSWORD=password; pg_dump -U postgres prod \| /path/to/nxs-data-anonymizer -t pgsql -c /path/to/nxs-data-anonymizer.conf \| psql -U postgres dev Сам это юзать не буду, у нас спецтулза для этого закуплена за тЫЩЩи нФФти :)))
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #18 Ответы: #34

20. Сообщение от WE (?), 25-Июл-23, 07:39	+/–
продолжу. нет проблем - нет продаж - нет денег.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #16 Ответы: #25

21. Сообщение от BeLord (ok), 25-Июл-23, 09:57	+1 +/–
И как вы без хранения данных предлагаете привязать юзера к его мед.карте, к примеру?-)))
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #15 Ответы: #22, #26

22. Сообщение от rshadow (ok), 25-Июл-23, 19:16	–1 +/–
Для какой-то обработки они тебе никогда не нужны. Все равно внутри оперируешь просто id-шниками. Если, например, надо ФИО написать в карточке, то тут надо хранить пары id-фио в отдельной базе/сервисе (более строго защищенных) или вообще отдать на хранение провайдеру идентификации (google, vk id и т.д., через что он у вас там логинится) и ходить за ними когда надо. Для этого собственно oauth со скоупами и придумали.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #21 Ответы: #23, #30

23. Сообщение от gg (??), 26-Июл-23, 09:30	–1 +/–
> на хранение провайдеру идентификации (google который будет ими торговать, ровно как сейчас это и происходит, вот вырисовывается выбор, хранить номер карты в базе вордпреса местной областной больнички, где админчик получает 45к наруки или у дяди билли среди миллионов таких же как ты, а уж дядя билли и нейросеть купит, и обучит, и найдет способ тебе чтото продать, а если не сам, то третьим лицам продаст.. Собственно с этой точки точки зрения разницы нет, сольют базу злодеи через дыру, или купят у барыги, вопрос в качестве материала, уж не будет админчик за 45к ее валидировать и поддерживать в актуальном состоянии годами, а барыга будет. Вопрос только в том, что Дядям, очень не хочется иметь дел с админчиками, поэтому и пишутся законы о защите, которые вынуждают и тебя и админчика идти к барыгам, которые эту инфу по первому челчку запакуют и отправят этим Дядям. Вот лично я, предпочел бы админчика, и вордпресс, куда я могу зайти и поменять себе и номер карты и фамилию, и телефон, и пусть звонят туда мошенники и пытаются там выудить денег. а вот с барыгами такой фокус уже не проканает
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #22 Ответы: #24

24. Сообщение от rshadow (ok), 26-Июл-23, 09:46	+/–
В этом плане мне больше нравится если бы вход везде был через госуслуги. Государство все равно о тебе и так все знает. Ну по крайней мере для легальных сайтов почему бы и нет. Конечно на википедию таким образом уже было бы не зайти )) Ну либо вариант хранить самому. Наверно для каких-то чувствительных вещей вида медицины было бы неплохо делать так. Главное чтобы этим занимался эксперт а не доморощенный админ. Везде все утекает, но вопрос скорее чтобы цена не была уж слишком дешевой.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #23 Ответы: #29

25. Сообщение от keydon (ok), 26-Июл-23, 11:38	+/–
> продолжу. нет проблем - нет продаж - нет денег. "А я в принципе и так лежу и ничего не делаю"
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #20

26. Сообщение от keydon (ok), 26-Июл-23, 11:42	+/–
> И как вы без хранения данных предлагаете привязать юзера к его мед.карте, > к примеру?-))) Примерно также как делали это столетие или примерно также как это делает биткойн - по корешку и обложки медкарты (айдишнику), которая вообще говоря может быть и без фамилии и имени (просто такой вот хэш приняли в медучреждении).
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #21

27. Сообщение от pavlinux (ok), 26-Июл-23, 14:07	–2 +/–
Оxocпадя, eгэшники ввыросли. $ mysqldump bazadata \| gpg -c > ~/bazadata.gpg > Возможность удаления таблиц и строк из анонимизированного дампа; Ну давайте, расскажите как удалить "известную строку" и неизвестного дампа? (без временной деанонимизации)
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #28

28. Сообщение от Виктор (??), 27-Июл-23, 08:46	+/–
> Оxocпадя, eгэшники ввыросли. > $ mysqldump bazadata \| gpg -c > ~/bazadata.gpg И что вы этим хотели сказать? Что умеете хранить данные БД в шифрованном виде? Так здесь речь как бы не про это. Как мне это должно помочь залить на dev-стенд БД без чувствительных данных с прода? > Ну давайте, расскажите как удалить "известную строку" и неизвестного дампа? (без временной деанонимизации) Вы хорошо прочитали описание тулзы и что здесь подразумевается под словом анонимизация? На всякий случай оставлю это тут - тулза затирает именно данные, а не саму структуру БД. Поэтому что вас смущает в исходном утверждении непонятно от слова совсем.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #27 Ответы: #32

29. Сообщение от BeLord (ok), 27-Июл-23, 09:32	+/–
> В этом плане мне больше нравится если бы вход везде был через > госуслуги. Государство все равно о тебе и так все знает. Ну > по крайней мере для легальных сайтов почему бы и нет. Конечно > на википедию таким образом уже было бы не зайти )) > Ну либо вариант хранить самому. Наверно для каких-то чувствительных вещей вида медицины > было бы неплохо делать так. Главное чтобы этим занимался эксперт а > не доморощенный админ. Везде все утекает, но вопрос скорее чтобы цена > не была уж слишком дешевой. Для каких-то вещей типа медицины уже давно через госулуги доступ, а само ПО в защищенных ЦОД. Хранить данные самому крайне дорого и особого смысла в этом нет.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #24

30. Сообщение от BeLord (ok), 27-Июл-23, 09:33	+/–
> Для какой-то обработки они тебе никогда не нужны. Все равно внутри оперируешь > просто id-шниками. > Если, например, надо ФИО написать в карточке, то тут надо хранить пары > id-фио в отдельной базе/сервисе (более строго защищенных) или вообще отдать на > хранение провайдеру идентификации (google, vk id и т.д., через что он > у вас там логинится) и ходить за ними когда надо. Для > этого собственно oauth со скоупами и придумали. Через гугл, ПДн, ай молодца. 152-ФЗ стоит почитать для разнообразия.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #22

31. Сообщение от pashev.ru (?), 27-Июл-23, 09:35	+/–
Да какой авк? Я же написал — работать с базой данных, скл.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #16 Ответы: #33

32. Сообщение от ivan_erohin (?), 27-Июл-23, 10:00	+1 +/–
> \| gpg -c добавьте пару человеко-дней на возню с pinentry, gpg-agent, несовместимость версий gpg 1 и 2 и т.д.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #28 Ответы: #35

33. Сообщение от keydon (ok), 27-Июл-23, 16:12	+/–
> Да какой авк? Я же написал — работать с базой данных, скл. А следующий этап этап зашаблонить этот скл и оформить в виде плагина и вот он, такой же инструмент для анонимизации, только заточенный на одну компанию и самим дебажить.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #31