В 15-ия юбилеен епизод на подкаст рубриката „Цифрова администрация“ с  г-н Жоро Пенчев - софтуерен експерт в областта на данни, стратегическо планиране, информационни системи и политики по дигитализация - ще си поговорим за етичните аспекти при управлението на данни в публичната администрация,  ролята на GDPR, взаимовръзката на данните с развитието на Изкуствения интелект и машинното учене, както и други, интересни и полезни въпроси по темата, които ще чуете в настоящия епизод.

Специално за Вас подбрахме няколко допълнителни източника по темата, които може да видите:

• Портал за обществени консултации

• Регламент (ЕС) 2016/679 на Европейския парламент и на Съвета от 27 април 2016 година относно защитата на физическите лица във връзка с обработването на лични данни и относно свободното движение на такива данни и за отмяна на Директива 95/46/EО (Общ регламент относно защитата на данните) (Текст от значение за ЕИП)

• Европейска стратегия за ИИ

• AI Act (четиво на английски език)

• OECD - Good Practice Principles for Data Ethics in the Public Sector (четиво на английски език)

• The five Cs (четиво на английски език)

Всички епизоди на подкаст рубриката ни можете да чуете тук.

Може да изпращате въпроси, коментари или предложения за теми и ескперти, които бихте искали да чуете в предаването на digital@ipa.government.bg

Транскрипция на аудиофайла:

[Стефка Георгиева, водещ] (0:07 - 0:54)

Здравейте, уважаеми слушатели, на подкаст рубриката „Цифрова администрация “.

Аз съм Стефка Георгиева и днес ще си поговорим за онези ценни активи, които реално са навсякъде около нас, но в работното ни ежедневие се налага доста често да боравим с тях, както и да ги съхраняваме отговорно. И ако за момент се запитахте „Кое е това толкова скъпоценно благо?“, то отговорът е много лесен, а именно данните. Как да ги управляваме достатъчно етично, за да затвърдим професионализма си като служители в държавната администрация, както и други актуални практики и съвети, ще разберете от господин Жоро Пенчев - експерт в областта на данните, информационните системи и политики.

[Стефка Георгиева, водещ] (0:54 - 0:55)

Здравей, Жоро! Представи се на нашите слушатели.

[Жоро Пенчев, гост] (0:55 - 1:36)

Казвам се Жоро Пенчев. Занимавам се с темата за данните от доста време. Първоначално професионално в софтуерния бранш, академично до някъде. И от десетина години и в институционални контексти. Част съм от и впоследствие оглавих фондация Общество БГ, която беше един от основните актьори в областта на отворените данни. Разработихме първия портал за отворени данни, дарихме го на държавата и по-късно сме помагали на различни институции да навигират тази тема. Но също доста съм се занимавал въобще с политики по дигитализация на системи, което в наши дни много често минава именно през обмена на данни между тези системи.

[Стефка Георгиева, водещ] (1:37 - 1:52)

И сега преминавайки към темата, която дискутираме днес, а именно етиката и поверителността при управлението на данни, и така да се каже, минавайки от общото към частното, можеш ли да ни дадеш максимално точно определение за управление на данни?

[Жоро Пенчев, гост] (1:53 - 4:36)

Данните най-добре да ги разбираме като ресурс. Това е нещо, което ние събираме, съхраняваме по някакъв начин и извличаме стойност. От гледна точка на бизнеса, тази стойност, нали, казваме бизнес стойност, т.е. някаква услуга, която предоставяме, и тя е станала по-добра благодарение на тези данни.

От гледна точка на една администрация, всъщност логиката е подобна - как да предоставим по-добра обществена или публична услуга, и това може да има много измерения, как да правим по-добри политики, как да комуникираме по-лесно с другите институции, така че има много стойност, която ние извличаме от данните. И като всеки ресурс, от който извличаме стойност, ние трябва да го управляваме по добър начин. Сега, какво е добър начин - най-лесно е да разберем, когато видим примери за това какво е лошо управление на данните. А всъщност ние какво управляваме? Ние управляваме цикъла на живот на тези данни.

Данните първо се събират, т.е. те се зараждат по някакъв начин. Ние може да ги произвеждаме, може да ги достъпваме отнякъде. След това трябва да ги организираме. Много често тази организация минава през т. нар. обогатяване, повишаване на качеството. И какво означава това? Когато данните са некачествени, не са добре форматирани и т.н. Тест си има целия този процес по организацията и почистването. След което имаме процеса по ползването на тези данни, т.е. какво правим с тях ние или трети страни. Към трети страни е процесът по споделянето. И след това имаме процеси, с които ние променяме тези данни или ги унищожаваме.

Да кажем, ако аз пазя за теб някаква твоя информация, напр. регистъра на домашните ти любимци и какво си купила като домашен любимец, който се съхранява там в общината. Когато ти, да кажем, искаш да му промениш името на домашния любимец, какъв е процесът, това нещо да се отрази в регистъра.

Целият този цикъл от процеси, на които подлежат данните, ние ги управляваме. И има много примери как ние ги управляваме зле. Да кажем, събираме данни, да кажем аз събирам информация за домашните любимци, но нямам никакъв процес да верифицирам достоверността на тези данни. Т.е. те са изцяло декларативни. Това може да е ОК, може да не е ОК, в общия случай не е ОК. Т.е. трябва да имаме някакъв начин да верифицираме достоверността. Когато ги споделяме, възникват други проблеми. Да кажем споделяме ги, ама само с гълъби, с писма. Няма лесен начин да ги споделим. Т.е. това е лошо управление, защото нямаме добър процес, с който ги споделяме. Може да имаме добър процес, но да не го използваме консистентно. Примерно с теб ги споделям по интерфейс, с Министерски съвет ги споделям с гълъби. Т.е. някак си няма консистентност в този процес.

[Стефка Георгиева, водещ] (4:37 - 4:44)

Можеш ли да споделиш сега с нашите слушатели, кои са основните етични принципи за управлението на данни?

[Жоро Пенчев, гост] (4:44 - 8:28)

Етиката при управлението на данните е някакъв хоризонтален аспект, който минава през всички тези задачи по управлението. И тук трябва да си кажем, от институционална гледна точка, малко и предизвикателствата в цялото това поле. Защото, говорим поне в България, администрациите цялостно страдат от липса на стандартизация в тези процеси. Това е много голяма задача. Липса на подготвени кадри, които въобще да познават този цикъл и какви са добрите практики в него. А липса на култура от хората, които уж не се занимават с данни и си мислят, че само IT отдела трябва да покрива тази задача. Не на последно място липса на самите данни, което пречи на администрация да се сблъска с проблемите, които възникват. И тъй като няма и данни, много често няма приоритизация върху това нещо.

Тъй като етичния аспект изглежда пък съвсем така отвлечен и той малко е като последната дупка на кавала в някакъв смисъл в управлението на целият този процес. И затова аз даже бих искал тук да изразя за удоволствието си, че повдигаме тази тема в публичен формат, защото тя остава доста важна. Част от причината да нямаме данни е, че хората не искат да ги предоставят, защото имат притеснения, които са на практика от етичен характер. Етиката е въпрос в голяма степен на доверие и на познаване. И ние трябва да сме готови от гледна точка на администрацията да успокоим хората, че имаме механизмите, които удостоверяват тази етика.

Какво означава етика? Data Ethics, така е известно, като при управлението на данни. Има доста институции, НПО-та, изследователи и така нататък са се упражнявани по темата. Има 3-те C-та, 5-те P-тa и различни рамки за това какво е етика. Аз ще дам няколко малко по-достъпни примера. Може би най-ключовото нещо е контролът върху тези данни. Тоест, по какъв начин се осъществява контрол върху споделянето и събирането на данните и ползването им, така че основната логика на етичния принцип е спазване. Каква е основната логика на етичния принцип от гледна точка на администрацията? Това е, да кажем, ОИСР, мисля, имат конкретни препоръки по тази тема. Но по принцип, администрацията трябва да се ръководи преди всичко от предоставянето на публична услуга. Това е основният принцип. Тоест, да не причинява никаква публична вреда. Т.е., когато го сложим в контекста на данните, означава каквото и да правим с тези данни, ние трябва да се ръководим от това да не създаваме някаква публична вреда. Това означава следното нещо: когато аз боравя с някакви данни, дори не говорим само за лични данни, въпреки че етичните въпроси там са най-наболели и интересни, да подсигуря, че тези данни не изтичат. Защото ако изтекат, това може да причини някаква вреда. Да подсигуря, че дори да не са изтекли, тези данни не са разпространени на 3-та страна, която може да навреди по някакъв начин човек.

Т.е., това е някак си ръководния принцип, около който всички останали се въртят. И за да осигуря това нещо, аз се ръководя от няколко така съвсем ясни и добри практики. Първо трябва да съм прозрачен. Това е единият ръководен принцип. Да съм прозрачен в това как събирам данни, за какво ги ползвам, как могат те да се управляват. През цялото време да го комуникирам това максимално.

После аз самият като администрация да съм създал, желателно дори технологични, но поне процесни механизми, за да осигуря неприкосновеността на данни. Тоест, че ако ти си ми дава информация за твоето здравно досие, аз ползвам от него само това, което е свързано с услугата, която предоставям. Може би после ще говорим за GDPR, където това е въобще ръководния принцип. Трябва да мога да дам контрол, тоест собственика на данните, който не съм аз въобще в случай, да може да контролира това какво правя с тях. Тук сме най-далече от истината. И трябва да мога да понеса последици. Тоест, ако аз по някакъв начин компрометирам тази етика на данните, да знам, че от среща страна може да ме накаже, да ме прати на съд и така нататък. Това са класическите няколко принципа, които трябва да спазват при организацията, за да има етика.

[Стефка Георгиева, водещ] (8:29 - 8:55)

Ето добре, че в тази част на нашия разговор ти спомена именно за последиците, че този, с чиито данни е злоупотребено по някакъв начин, може да сигнализира отсрещната страна, която съответно е боравила с тези данни. И в този контекст, можеш ли да дадеш пример какво би последвало и също така да споменеш и кои са най-големите рискове, залягайки тази тема за поверителността на данните при употреба им в държавната администрация?

[Жоро Пенчев, гост] (8:56 - 12:21)

Какво може да последва? Те са две неща. Едното е регулаторно какво може да последва, т.е. в законова среда, което като цяло е трудна задача. Трудно е да се докаже, че си нарушила етиката по някакъв начин. Прави се, но като цяло е малко по-трудно. Другият аспект е гражданско-публичният начин. Например, преди време на Google имаше един проект Nightingale, който събираше здравни данни без “consent”, т.е. без потребителите да се съгласили, че ги дават тези здравни данни. Т.е. бяха изключили споразуменията. Дори не знам дали се сключили споразумения, с някаква агенция или с болниците взимат тези данни.Те не ги взимат един по един, те ги взимат общо агрегирани, но въпреки това, нямаше “consent”. Това понеже се разбра по някакъв начин от журналисти, имаше, съответно, доста насрещен публичен натиск. Когато е бизнес, публичният натиск е доста важен, защото бизнесът никога няма да е стои срещу публиката. С администрацията, нали, по-скоро е малко по-друго, защото и хлябът, и ножът са в нея, и всъщност там законовият натиск е по-важен.

И тук, може би, имаме това щастие, че живеем в Европейския съюз, който доста инструменти е създал на тази тема. И нали, донякъде трябва да се съобразяват институциите с тях. Сега. въпросът е, когато това е по-скоро формално, отколкото съдържателно. Но ,ако ми позволиш само една стъпка назад да се върна, аз искам да кажа още малко, за да осмислим и смисъла на последиците, че не е толкова очевидно кога сме злоупотребили. Защото злоупотребяването с данни, т.е. неетичността в данните, не е само въпрос на личните данни. Да кажем, да злоупотребя с данни, т.е. неетично да управлявам данните. Да кажем, ако аз изнасям в медиите информация, която почива на данни, които съм събрал, но обслужва някаква пропагандна цел. Не е задължително, кой знае каква ужасна пропаганда. По-скоро, примерно, скрива това, което аз не съм успял да свърша, или пък описва в много розови краски това, което съм успял да свърша. Т.е. тук говорим за една недобросъвестна интерпретация на данни. Това също е някакъв етичен проблем.

Абсолютно също етичен проблем е, когато си заложил някакви индикатори, уж базирани на данни, с които се отчитам, и аз знам, че тези индикатори не са качествени. Т.е. има такива малко по-косвени, косвено-етични проблеми, които не са задължително само въпрос на личните данни.

Но, естествено, основният казус, който вълнува хората е с личните данни, така или иначе. И тук има няколко добри практики, които трябва да се следват. Едното, например, е търсенето на „consent”, т.е. търсенето на съгласие за предоставяне на данни, да не е “да” или “не”. В момента, ако гледаме GDPR формите, навсякъде той е “да” или “не”. Т.е. ако аз отида някъде, искам да ми свърши някаква услуга, дават ми да подпиша едно голямо нещо, на което пише “Aз, по силата на разрешение от КЗЛД събирам това, това, това и това. Съгласни ли сте?” Ти какво да направиш – „Съгласен съм“, иначе няма да си получа услугата. И всъщност, по този начин някак си е пакетно изискване. Обаче, примерно, ти не си сигурна, защо им трябва телефона, за да ти предоставят тази услуга. Обаче те не ти дават възможност да кажеш: „Давам всичко, но без телефона“. Трябва да дадеш пакетното съгласие. Т.е. една добра практика тук е да има раздробено съгласие на всичките елементи от данните, които ти се искат. И тук, например, отново бизнесът е малко напред. Ако отворим тук Apple Store, Google и така нататък, там ми иска разрешение за камерата, за файловете и така нататък. И аз ги давам едно по едно. Ако нещо не дам, някаква функционалност не работи, но аз така съм решил. Би трябвало публичната услуга по същия начин да може да се реализира.

[Стефка Георгиева, водещ] (12:21 - 12:28)

Как GDPR се отразява на боравеното с данни и къде е границата между етична и неетична употреба?

[Жоро Пенчев, гост] (12:29 - 15:53)

GDPR е един опит да се адресират тези рискове. Рисковете, както казахме, са няколко. Едното нещо е теч. Това може би е така най-нашумелия риск, когато нещо изтече. След това може да не е задължително някой хакер да вземе на НАП данните.

Може да е по-скоро, по някакъв начин аз да се внедря, да излъжа потребител, да си даде личните данни, все едно, че ги дава на институция, а всъщност ги дава на мен. Тоест, има различни хипотези от гледна точка на сигурност как може злонамерено лице да се внедри в процесите и да ти вземе данните. Но със сигурност едното голямо нещо е течове. И тук нашето предизвикателство е какви са стандартите на сигурност, които не позволят тези течове. GDPR не се занимава с това. Други директиви, там за информационна сигурност, които ние донякъде сме пренесли, се занимават с това. Къде добре са интерпретирани в България, къде зле.

Вторият проблем е, че има правила, но ние нямаме капацитета да проверим дали са спазени тези правила. Особено, нали, Министерството на електронното управление, което се заминава с това, много често просто няма човешкия ресурс. Това е въпросът с теча.

Другият въпрос е с безконтролния достъп. Какво ми гарантира на мен, че дори да няма институционален процес, с който данните ми да се достъпват, някой не може да вдигне телефон и да каже: „Дайте ми за този човек, на кого се е обаждал.“ или да бръкне там, в здравната система, и да види на практика, уж, защитени лични данни. Т.е. тези процеси не са много добре регулирани. Отново GDPR не може да ни помогне за това нещо. GDPR се занимава с процеса по събирането и възможността да знаеш какво събира за теб и да го изтриеш. Там, където е духът на GDPR и ние би трябвало да ходим в тази посока, е аз да имаме достъп до информация всеки път кога данните ми се ползват от друга система, от полицаи, нали някой с писмо ги е поискал по някаква причина и т.н. Това, между другото, работи в Естония, работи в Белгия и т.н. Естествено, става дума само за данни, които съм предоставил на институциите. Никой не може да види във Фейсбук какво съм предоставил, кога се използва. Но ето това нещо, към което ние трябва да ходим, е да мога аз да видя всеки път, когато ми се достъпват данните, да кажа: „Да, съгласен съм.“, „Не, не съм съгласен.“ Това е духът на GDPR. Въпросът е, че тялото на GDPR, нали, не следва съвсем този дух. И той за мен лично е документ, който е много пожелателен на този етап. И няма много добре разработени процедури за това неговите провизии, някой да може да ги провери.

И много се злоупотребява. Институцията казва: „Аз имам законово право, заверено ми е от КЗЛД, защото имам реално удостоверен интерес да ги събирам тези данни“. Обаче дори естествена проверка със здравия разум казва, че това не е вярно. То понякога е дори е в противоречие на други закони. Отново с телефона. Отивам в лаборатория да си правя изследвания и в лабораторията ми искат телефона. В същата лаборатория не им трябва моят телефон, за да предостави тази услуга. Тя го прави, за да си попълва някаква база данни на нея. И колкото повече данни по този начин се събират, толкова повече се злоупотребява. Когато го прави не частна лаборатория, а институция, това дори нарушава Закона за електронното управление, защото не би трябвало аз да си давам никъде телефон и адрес. МВР ги има, на който му трябват, да ги вземе от тях по ЕГН, и не трябва да могат да събират тази информация. Когато събираме тази информация на 28 места, ние създаваме 28 копия на данните, което освен, че е проблем на лошо управление, защото ги променяме на място, другите не знаят. И второ, създават 28 риска да изтекат тези данни по някакъв начин.

[Стефка Георгиева, водещ] (15:53 - 15:57)

А какви са най-добрите практики за анонимизация на данните?

[Жоро Пенчев, гост] (15:58 - 19:25)

Тук може би си струва да кажем няколко думи за това, какво е анонимизация и свързани с нея термини. Анонимизация означава някакъв конкретен запис или набор от данни, аз да премахна от него личната информация, т.е. това, което удостоверява кой е човекът. Да кажем, ако аз съм си направил някакво изследване и от него имам резултатите - това са мои лични данни, високо чувствителни, супер неприкосновени и т.н. Ако аз махна ЕГН-то и имената от тези данни, напр., аз вече знам, че има такова изследване с такива резултати, обаче не знам на кого са. И кога това би било смислено? Това е най-смислено, когато искаме да направим някаква статистика, да кажем, за всичко - за престъпления, за заболеваемост и т.н. Т.е. тогава има някакъв смисъл да анонимизирам по този начин данните, да ги запазвам анонимизирани.

Сравнимо с това нещо, т.е. свързан термин с това нещо, т. нар. псевдоанонимизация, при която ние не премахваме личните данни, а само ги трансформираме, така, че да не може да бъде разпознато кой е човекът, но може да бъде разпознато, че два записа са за един и същи човек. Кога има смисъл това нещо? Да кажем, когато пак се върнем на темата за престъпленията, когато някой притежава автомобил и този автомобил е извършил ПТП, ние тогава можем да се опитаме да мачнем данните по номера на автомобила, дори той да е трансформиран по някакъв начин. Трансформиран означава от моето ЕГН, или от номера на автомобила ми, да съм получил някакъв друга данна, примерно 5Х8-15, което не е нито ЕГН-то ми, нито това другото нещо, но уникално зависи от тях. Това ни позволява да сравняваме данни между различни системи, без да знаем всъщност кой е човек. И по този начин прайвасито, т.е. неприкосновеността, е запазена, но ние пак можем да извлечем някаква полезна информация, анализ на риска и така нататък.

И третият сценарий за запазване на лични данни е агрегацията всъщност, с който ние не използваме един запис, ами събираме много записи на едно място. И това го правим основно с цел, анализи, статистика, политики и така нататък. Т.е. да кажем, казваме има 200 ПТП-та в София, няма значение техните индивидуални характеристики. Това са, нали, трите основни начина да махнем личните данни и да удостоверим поверителността им.

Но отново, в някой случай ни трябва целия пакет с данни, тогава тоя механизъм, с който казах аз да мога да разреша да ми го ползват, става ключов, защото това изгражда доверие. Ние в момента в коя ситуация сме? GDPR или не, нали, няма значение. Много хора не искат да си дават данните, не че стават скептични към това нещо, а защото няма насреща достатъчно механизми за доверие.

Има и обратния казус: институцията казва „Няма да ги предоставя тези данни, защото аз мога да стана уязвим по GDPR.“. И не само по GDPR. Примерно, търговски тайни и така нататък. С това пък много често злоупотребяват към институциите с него наобратно. Когато има информация от обществен интерес, на институцията крие и се позовава на това, че е търговска тайна, лична тайна и така нататък. В същото този случай, администрацията би трябвало да, ако ще да анонимизира данните, да ги предостави, нали, по някакъв начин. Или при висок обществен интерес, дори да не ги анонимизира. В някаква сметка, ако става дума за някаква публична ситуация, няма значение, че са лични данни. Нали, който е извършил някаква сделка с публичен ресурс. Трябва това да се знае.

Тоест, нали, много е, според мен, все още, особено в България, продължава да бъде колко станаха? 6 години след GDPR, доста формално да се гледа на въпроса, а не по същество.

[Стефка Георгиева, водещ] (19:25 - 19:37)

Имайки предвид така бързото развитие на технологиите, тук дали може да дадем пример за етични съображения, които трябва да имаме предвид при разработването на AI и машинно обучение?

[Жоро Пенчев, гост] (19:37 - 21:19)

Тука възниква нова серия от предизвикателства с данните. Като всеки вид регулация, и GDPR, пък и по-ранните, нали, Data Protection директива, тези инструменти, които законодателната комисията правеше, пък и в България, те винаги изостават от технологията, нали, това е нормално. Специално от този въпрос, изкуственият интелект, той е станал доста популярен в последната една година, заради езиковите модели, но машинното самообучение е нещо, което по-скоро от 5-6 до 10 години назад се случва времето. И те отново създават, нали, предизвикателства, които регулацията малко бавничко им отговаря. Самият GDPR е вече стар. Дори комисията и такива различни НПО-та, които работят с него, да кажем Data Ethics CEO, нали, после, ако някой слушател реши да проверява, малко повече да се поинтересува, дава такава препоръка, особено към институциите, но и към бизнесите. Не е достатъчно, нали, да си „compliant“, т.е. да се съобразиш с регулацията. Винаги трябва да имаш предвид и етиката. Това е, може би, някакъв механизъм да отговаряме на този тип нови предизвикателства.

Сега, какво носи изкуственият интелект? Първо, то е някаква форма на преработка на данни, която започваме да губим техния произход. Тоест, ако да кажем, ти си дала някакви данни в регистър, или във Фейсбук, или си писала в някакъв форум, или няма значение къде, или някакви имейли, и те са използвани от изкуствения интелект за обучение, дори ако ще е по рисърч проект, който ти си се подписала там и си казала: „Окей, щом е само за рисърч, няма значение.“. Твоите данни не се разпространяват нататък. Обаче изкуственият интелект ги е консумирал, тоест, алгоритъмът ги е консумирал, напр., чат ботът, дори не е само за тези езиковите, и след това използва по някакъв начин част от тази информация за някакви други цели, които трудно могат да бъдат предвидени, предварително, когато ти си давал своето съгласие.

[Стефка Георгиева, водещ] (21:19 - 21:39)

Във връзка с изказаното тук до момента, можем ли да си направим извода, че държавният служител трябва да бъде изключително внимателен с информацията, която споделя в някакъв тип чат бот на принципа на изкуствен интелект, било то за проект или за нещо друго, с цел за да не засегне по-чувствителна информация?

[Жоро Пенчев, гост] (21:39 - 25:27)

Ми то, всеки трябва да е внимателен. Аз предполагам, че го казваш от позицията на това на вече съществуваш такъв продукт. Но още по-назад, във времето, при първоначалното му обучение, той е консумирал някакви данни, потенциално дори защитени. И тъй като не е нарушена тяхната защита, той няма да ги изплюе в целия им вид. Обаче, всъщност, познанието от тях е било извлечено. Т.е., това е някакъв вид ползване на данните, което е потенциално неетично, би могло да се окаже потенциално неетично. Истината, е че всички го знаят това нещо, няма никакъв реален механизъм да сме сигурни, че тези данни са унищожени.

Чак сега започват да се появяват, но те са много трудни за имплементация в широк контекст, на база на блокчейн-технологии, където какво се е случило с данните се съхранява на много места, така че не може само един оператор да си прави каквото си иска. Тоест да каже, че ги е изтрил, пък да се казва, че не ги е изтрил. Обаче това е много, много трудно и много изчислително. Може да бъде анализирано в голям контекст. Тоест ние на практика не може да го ползваме в момента.

Та, връщайки се на изкуственият интелект. Едното нещо е, че той е консумирал данни по начин, който става непроследим. Вторият голям казус, който възниква, е така наречения „bias”. Тоест, че изкуственият интелект е предубеден, и това пак е етичен въпрос, предубеден от наборите данни, с които е трениран. И почва да вади някакви изводи, които потенциално се ползват за решения, за политики. И всъщност тези данни не са били пълноценни. Има много такива примери. Да кажем, в Amazon имаше някакъв вътрешен алгоритъм за отсяване на CV-та при наемане на служители, който беше работил с много такива исторически данни. Той отхвърля, по подразбиране, повечето жени, които кандидатстват, защото няма достатъчно добре преформинг жени. Много малко са били наемани преди този алгоритъм. Тоест, такъв проблем възниква.

Друг интересен проблем беше, ето даже пак от предезиковите модели и по-старо, алгоритми за Face Detection, които по някакъв начин се налагат за престъпления, но също в здравето са много популярни, където се прави някаква имидж диагностика. Те се оказват, че са тренирани основно върху хора с бял цвят на кожата или поне светла кожа. И всъщност голяма част от това, което софтуерът може да прави, не може да го прави за хора с друг цвят на кожата. Те по този начин остават дискриминирани в някаква форма от услугата. Има много такива въпроси. Колкото повече ние делегираме “Decision making” автоматично на изкуственият интелект, толкова по-проблематично става този въпрос с “bias”. И сега, Комисията в момента, с този Акт за изкуствения интелект, който сега е на дневен ред, предвижда, но отново това е регулаторен механизъм, който колко ще се спази, как ще се спази и така нататък, но предвижда да се внедрят, разработят, иновират, декорират, и така нататък, инструменти да се вижда този „bias”. Тоест, в зависимост от обектното поле да се казва “ Тук ще върнат такива и такива данни.” Някак си да се мисли в този въпрос. Но отново това са стъпки и стъпки, има нататък да станат.

И само още нещо, което може би се струва да се каже за изкуствения интелект конкретно, като етичен въпрос, разбира се е това с авторските права. Той освен, че консумира лични данни, консумира и защитени данни от авторски права, защото някой някъде е написал нещо, но изкуственият интелект не винаги може да каже “Ок, това сега е Copy Write текст, не мога да го ползвам.”, или “Не мога да го възпроизвеждам.”, или “Това е изображение, което не мога да възпроизвеждам.” И става тук много мъгляво, всъщност. Когато ти си нарисувала нещо, изкуственият интелект на база на това е бил трениран - да направи картина, много подобна на твоята, но леко променена. Сега тук има ли нарушение на авторските права, няма ли? Много мозъци сега с това нещо се сблъскват. Имаше стачки на актьорите, на художници постоянно и т.н. Това също е доста сериозно. Т.е. възникват неща, които са доста сложни и философски, и особено технологично как могат да бъдат решени.

[Стефка Георгиева, водещ] (25:28 - 25:36)

Жоро, можеш ли да ни дадеш пример за добра съвместна работа между публичния сектор и гражданските организации за нашите слушатели?

[Жоро Пенчев, гост] (25:36 - 28:36)

Ами, това за мен е доста важна тема, понеже аз съм от гражданския сектор оригинално и доста сме работили точно в това нещо. Какъв интерес имат институциите да се взаимодействат в гражданския сектор? С какво могат да допринесат двете страни? На европейско ниво, откъдето започват тези регулации, има някакви установени механизми от доста време, но в България има много натрупано недоверие. От една страна от граждани към гражданския сектор, от гражданския сектор към институциите, от институциите към гражданския сектор и от институциите към граждани. Т.е. цялостно липсва доверие. А всъщност ползите са доста, защото по този начин може да се сподели умение по някакъв начин и да се постигнат по-добри резултати заедно. Демонстрира така институцията прозрачност, когато комуникира с гражданското общество и я въвлича, пази се от лобизъм, тъй като са повече интереси, най-вече стейк холдъри въвлича по някакъв начин. И, може би, най-важното възпитава някаква култура на колаборация. Но институциите доста често пък се дърпат от този процес, по също легитимни причини. Много често става една говорилня, когато се опиташ да въвлечеш повече гражданското общество. Понякога става скрит лобизъм, т.е. някога ще е много компетентен, но всъщност насочва разговора към конкретна тема или конкретна полза. Това дори не е добронамерено, понякога е просто органично. Много често администрацията не познава добре полето и става малко казионен подбор. Аз и работя с тези две организации, с които имаме добър диалог, но останалите двадесет или не знам за тях или не съм ги въвлякъл. Така че тук има много предизвикателства все още в това нещо. Една голяма стъпка, която най-сетне се случи, тук в последните две години, е, че заработи съвет за развитие на гражданско общество към Министерски съвет, който е отворен да развива това поле, да ги решава тези проблеми и т.н.

И сега за добри примери - има добри примери. Също нашият пример е доста добър. Ние доста се борихме на тази тема за отворените данни, тя не беше много разпозната, попадна в добро време, защото тогава имаше такава директива от Комисията и администрациите бяха: „Окей, ние не го знаем това, но вие го знаете, дайте сега да го направим заедно.“ Тогава беше в Министерството на транспорт и се случваше това, после отиде в Министерски съвет. И има такива добри примери, когато някоя НПО много се занимава с някаква тема и може добре да съпортне администрацията. Но въпросът е как да стане устойчиво. Министерски съвет завърши наскоро по програма „Добро управление“ един проект точно на тази тема, за инструменти за въвличане и гражданско участие и процесни, и дигитални. Добър пример е Порталът за обществени консултации. Аз би казал, че Институтът тук е добър пример, защото доста въвлича хора от гражданския сектор и въобще така независими експерти да се сблъскат с администрацията, да споделят някакво познание, пък да взимат те обратна връзка, какви са проблемите. Така че за мен всичко това са доста добри примери.

Лошите примери са, където включването е формално, т.е. правят се някакви срещи и накрая администрация да прави какво си иска, където се игнорират предложенията и където има бизнес намеса някаква, която компрометира този процес.

[Стефка Георгиева, водещ] (28:37 - 28:59)

И като за финал на нашия разговор би ми си искало, ако можеш да обобщиш и да се обърнеш към колегите служители в държавната администрация, които се занимават ежедневно с данни и да обобщиш как да ги управляват по по-етичен и по-поверителен начин, като разбира се ние не се съмняваме в техния професионализъм, по-скоро като оптимизация на процеса.

[Жоро Пенчев, гост] (29:00 - 29:57)

Аз мисля, че този последната фраза е най-ключова. Това би било моето послание към всички колеги, но особено тези, които се занимават със защита на личните данни: да мислим повече в духа на това, което се опитваме да постигнем, а не автоматично да отказваме всичко от страх, от злоупотреба, теч и така нататък, а да мислим как да променим информационните системи, процесите, управлението, така, че да постигнем целта, да подобрим, да оптимизираме процеса, както ти казваш, без да създаваме по някакъв начин вреда. Много често администрацията казват, няма да го правим това, защото е опасно. И по този начин си затварят вратата за всякаква иновация. Тук може и гражданския сектор и експертите да бъдат полезни. Да помислим заедно за това как всъщност да направим по-добре нещата, да обвържем 5 системи и да добавим повече стойност, да извадим някакъв смисъл и знание от данните, без да компрометираме личните данни.  

Така, че това е моят апел: да мислим за духа на това, което се опитваме да постигнем и на него да базираме процедурите.