카타리나 츠바이크, <무자비한 알고리즘>

카타리나 츠바이크, 니케북스, 2021, <무자비한 알고리즘>

무자비한 알고리즘

전반부를 읽을 때는 학과 홍보하는 데 여념이 없는 저자가 그닥 마음에 들지 않았으나.. 책 후반부가 제시하는 정책 프래임워크가 매우 마음에 들어, 영미권이 아닌 독일계 저자의 책을 읽기를 잘 했다는 생각이 들 만큼 만족스러웠다. 혹시 읽으실 생각이라면 앞부분의 고난을 빨리 건너뛰시고 후반부(6장 쯤부터 재미있어졌던 듯 하다)를 열심히 독파해내시길.

 

정책적 관점에서 흥미로웠던 내용들만 빠르게 요약해본다. 

 

1.

데이터 처리 결과가 도덕을 따르기 위해서는 다음의 세 가지가 도덕적이어야 한다. (p.26.)

• 조작화 (operationalization)
• 모델 (model of the problem)
• 알고리즘 (algorithm)

 

책은 operationalization을 맹렬하게 '운영화'라고 번역하고 있지만, 나는 아무리 봐도 운영화는 아닌 것 같다. 해당 내용은 개념을 어떻게 측정 가능하게 할 것인가의 조작적 정의 과정과 관련이 있다. 조작적 정의 과정에서 숱한 왜곡이 발생할 수 있음은 물론이다. 

 

이 책이 다루는 모델은, 변수들 간의 구체적인 관계를 나타낸다기 보다는, 문제 해결을 위해 어떤 변수를 고려할 것인가하는 측면을 다룬다. 알고리즘은 (조작화와 모델을 통해 수학으로 재정립된) 문제를 풀기 위해 정해진 행동 지침이다.

 

 

2. 

인공지능을 활용하는 모든 시스템에 관심을 가져야 하는 것은 아니다. 하지만 만약 알고리즘 시스템이 다음 세 개 유형에 속한다면 감독과 조정이 필요하다.  (pp.23~24.)

• 인간에 대해 결정하는 시스템
• 인간에 관계된 자원에 대해 결정하는 시스템
• 인간의 사회참여 가능성을 변화시킬 결정을 내리는 시스템

 

3. 

저자는 다섯 개의 상이한 감독 등급을 갖는 모델을 개발했다. 등급은 알고리즘 기반 의사결정 시스템이 유발하는 손해잠재력과 그 시스템을 통해 내려기즌 결정을 의문시하고 변화시킬 수 있는 가능성을 기준으로 결정된다.

손해잠재력의 크기와 이의제기 가능성을 두고 다음과 같은 리스크 매트릭스를 그릴 수 있다. (pp.247~258)

 

 

리스크 매트릭스는 다음과 같은 경향을 갖는다. 

• 알고리즘 기반 의사결정이 국가적이라면, 독점 척도(이의를 제기하고 변화시킬 수 있는 가능성)가 하단부로 이동한다. 항의 가능성이 많고 상담할 수 있는 관계자가 많을수록 덜 독점적이다.
• 사용자에 따라 상이한 결과를 보여주는 개인화된 서비스는 블랙박스 분석이 어려워 손해잠재력이 큰 쪽에 속한다. 
• 사용자 규모가 클수록 개인의 손해잠재력을 합한 크기가 커지고, 대체로 사회적 차원의 손해잠재력도 더 커진다. 

 

 

4. 

리스크 매트릭스의 각 등급마다 다음과 같은 규제를 생각해볼 수 있다. 

 

 

가장 리스크가 큰, 리스크 매트릭스 4등급에 속하는 알고리즘은 아예 금지된다.

반면 0등급 알고리즘은 규제 대상에서 벗어난다. 

 

1등급~3등급의 규제 내용을 보자. 

데이터와 품질 평가, 학습 기법, 결정 과정의 네 개 차원에서 규제 가능하다. 

 

1등급은 블랙박스 평가를 통한 감시를, 

2등급은 품질평가와 학습 데이터 확인을, 

3등급은 완전한 이해가능성을 요구한다. 

 

 

리스크 매트릭스 규제 프래임은 2021년 EU 집행위원회에서 발표한 <인공지능에 관한 통일규범의 제정 및 일부 연합제정법들의 개정을 위한 법안>이 취하고 있는 '리스크 기반 접근 방식(Risk-based approach)'와 유사하다. 알고리즘 서비스가 인간에게 미치는 위험의 경중을 나누고, 이에 따라 규제 강도를 달리한다. 

 

AI 규제 동향

 

이 때의 규제 강도란 무엇인가. 알고리즘 의사결정 시스템에게 어느 정도의 투명성을 요청할 것인가이다. 

리스크 등급이 높을수록 더 높은 수준의 투명성을 요청한다. 즉, 모든 알고리즘 서비스가 완전한 이해가능성을 요구받을 필요는 없다. (완전한 이해가능성을 요구받는 3등급의 알고리즘 의사결정으로 저자는 인사평가와 직원채용을 꼽는다.)

 

신용평가 서비스를 보자. 경우에 따라 2등급 정도의 잠재 리스크를 가지고 있는 것으로 판단된다. 

2등급은 알고리즘 결과의 품질 평가와 학습 데이터의 양, 품질 평가 대상에 포함될 수 있다. 

 

 

... 포스팅이 좀 길어지고 있지만 이왕 이렇게 된 거 블랙박스 평가에 대해서도 알아보자. 

블랙박스 평가는 소프트웨어 내부를 보지 않고 데이터 입력에 대한 결과만 보고 오류를 판단하는 기법이다. 화이트박스 평가와 대비되는데, 화이트박스 평가는 프로그램이 허용하는 모든 경로를 직접 검사한다. 

 

예를 들어 이런 거다. 

가짜 계정을 여럿 만들어 일부는 남성, 일부는 여성이라고 계정을 설정하고 검색 결과가 어떻게 달라지는지를 확인한다. 실제 검색 엔진의 작동 로직을 하나하나 확인하지는 않지만, 설정값에 따른 결과의 차이를 확인한다. 

 

 

 

혼자 읽었으면 포기했을 책인데.. 스터디에서 읽어 어쩔 수 없이 마무리했지만, 후반부 정책 제언 수준이 매우 구체적이라 정작 여태 읽은 책들 중 단연 손꼽히는 책이다. 스터디하길 잘했다.