캐시 오닐, <대량살상 수학무기>

캐시 오닐, 2017, 흐름출판, <대량살상 수학무기>

대량살상수학무기

'인공지능 윤리 스터디'라는 것을 꾸려가고 있다. 현업에 있는 사람들과 같이 스터디를 하다보니, '아 이 책은 이래서 좋았어요' 수준에서 대화가 그치지 않아서 정말 매우 감사하다. 시장의 논리를 순리로 받아들이는 기업 한 복판에서 윤리를 이야기하는 사람들이 겪을 고충을 상상해보자. MIT Tech Review도 '책임 있는 AI ' 담당자들이 번아웃에 시달린다는 이야기를 한다던데, 이들이 지치지 않는 것은 경외로운 일이다.

직장에서 매일의 고민을 해결해야 하는 사람들에게 나는 주로 황당한 소리를 하는 역할을 맡고 있는데, '만약 이렇다면~'로 시작하는 가상의 세상을 이야기하는 것이다. 예를 들어 이런 거다.

• 인공지능 윤리 담당자의 고민이 도덕 강의이 아니라 현장의 본질적인 고민이 되기 위해서는 두 가지 조치가 필요한데, 1) 윤리 담당자의 직위를 높여 주는 것과, 2) 윤리 이슈가 발생했을 때 회장님에게 실형을 선고할 수 있도록 법제도를 개선하는 것이다. (중대재해처벌법에 기업들이 얼마나 기민하게 반응하는지 보라.)

• (집단에게도 프라이버시가 있을까, 상상할 수 있을까라는 질문에 대해) 만약 나의 개인정보를 활용한 알고리즘이 나 개인에게 차별적이라면, 실질적으로 해당 알고리즘은 나를 포함한 특정 집단을 차별하고 있을 가능성이 매우 높다. 따라서 나는 나 개인에 대한 알고리즘의 평가 결과를 수정해줄 것을 요구할 수 있어야할 뿐만 아니라 소속 집단 전체의 평가에서 해당 데이터의 효과를 제해달라고 요구할 수 있어야 한다.

• 만약 데이터 파기 명령이 가능하면 어떨까? 이루다가 징계 이후에 여전히, 동일한 데이터셋을 가지고 서비스할 수 있다는 게 이해가 안 된다. 스캐터랩을 해체하지는 않아도, 해당 데이터셋의 완전 파기를 명령할 수는 있어야 하지 않은가. 만약, 소비자 개인이 직접 소송을 제기하지 않더라도, 공정거래위원회나 개인정보위와 같은 행정청이 데이터의 완전 파기를 명령할 수 있다면 얼마나 많은 기업들이 개인정보보호법을 중히 여기겠는가.

어쩌다보니 책 이야기보다 스터디 이야기를 장황하게 늘어 놓았지만, 책 자체도 재미있다. (물론 없어도 됐을 것 같은 내용들도 있기는 하다.) 책은 대량살상 수학무기를 다음과 같이 정의한다. '살상 수학무기'가 아니라 '대량살상 수학무기'를 다루고 있음을 기억하자.

• 불투명한 알고리즘에 의해
• 다수의 사람에게
• 피해가 발생한다.

저자는 대량학살 수학무기라는 본인의 정의에 맞춰 금융, 교육, 광고, 치안, 채용, 일정관리, 보험, 신용평가, 민주주의가 어떻게 변화했는지 보인다. 그 과정에서 드러나는 공통된 패턴이 드러난다. 억지로 대리지표를 사용했거나 또는 잘못된 가정을 전제한 알고리즘이 기존의 불평등을 확산한다는 거다. 여기에 잠깐 주목하자. 알고리즘이 없던 불평등을 만들어낸 게 아니다. 알고리즘은 어디까지나 기존의 불평등을 심화한다.

저자가 (당시에) 생각한 대안은 알고리즘의 통제권을 소비자 개개인에게 돌려주는 형태다. 투명하면서도, 사용자가 통제할 수 있고, 개인적인 무엇이다. 음. 이것이 과연 시장에서 환영받을 수 있을지는 별개 문제다.

---

p. 350. 그럼에도 불구하고 이런 규제는 좋은 출발점이 된다. 첫째, 우리는 투명성을 요구할 필요가 있다. 신용평가점수가 우리를 평가하거나 심사하기 위해 사용될 때, 우리는 그런 사실을 통보받을 권리가 있어야 한다. 또한 신용평가점수를 계산하기 위해 사용된 정보에 접근할 권리도 보장되어야 하고, 만약 그 정보가 부정확하거나 사실과 다르다면 이의를 제기하고 바로잡을 권리도 있어야 한다.

p. 337. 데이터 처리 과정은 과거를 코드화할 뿐, 미래를 창조하지 않는다. 미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다.

pp. 78~79. 은행들은 일부 대출이 회수 불가능함을 분명히 알고 있었다. 하지만 그들은 두 가지 잘못된 가정을 고수했고, 그런 가정에 의지해 자신의 모형을 계속 신뢰했다. 첫 번째 잘못된 가정은, 관련된 모든 금융기관에 종사하는 뛰어난 수학자들이 숫자를 계산하고 분석하여 위험을 매우 신중하게 고려해 균형을 잡아줄 것이라는 생각이었다. ... 두 번째 잘못된 가정은, 많은 사람이 동시에 채무를 불이행하지 않을 거라는 믿음이었다.