데이비드 섬프터, <알고리즘이 지배한다는 착각>

데이비드 섬프터, 2022, 해나무, <알고리즘이 지배한다는 착각>

알고리즘이 지배한다는 착각

통계학자의 고뇌와 불편(?)이 담긴 매우 재미있는 책. 357쪽이 백미였는데, 알고리즘이 세상을 지배할 것이라는 두려움에 휩싸인 사람들이 가득 찬 파티장에서 데이비드 섬프터 본인이 말 그대로 폭발하는 장면이 묘사된다. 좀 길지만 모두 그대로 옮겨보겠다. 사실상 이게 책의 요약이기 때문.

데이비드 섬프터, <알고리즘이 지배한다는 생각>, pp.356~357

"페이스북 연구는, 부정적인 뉴스를 실컷 읽은 사람들은 부정적인 단어를 한 달에 한 개 더 사용하게 되는 경향이 있었다는 것입니다. 통계학적으로 유의미하긴 하지만 아주 미미한 효과에요. 둘째, 케임브리지 어낼리티카라는 회사는 트럼프의 선거 승리와 아무 상관이 없어요. 그 회사의 최고경영자는 자사의 능력에 관해서 검증 불가능한 주장을 여러 번 했습니다. 셋째, 맞아요. 우리의 언어를 훈련받은 컴퓨터들은 실제로 성차별적인 연상과 인종차별적 연상을 내놓습니다. 하지만 그것은 우리 사회가 암묵적이니 선입견을 지녔기 때문이에요. 대다수의 구글 검색은 더없이 무미건조하고 정확한 결과를 제공합니다. 그 서비스의 가장 큰 문제는, 여러분을 아마존으로 데려가서 더 많은 잡동사니를 사게 만들도록 설정한 무의미한 링크들이 그 서비스를 압도하고 있다는 점이에요. 마지막으로, 최근에 신경망 연구에서 몇몇 흥미로운 발견들이 이루어지기는 했지만, 범용 인공지능을 제작할 수 있는지는 여전히 매우 불확실합니다. 우리는 <미즈 팩맨>을 학습해서 제대로 플레이하는 컴퓨터조차도 제작할 수 없어요."

저자에 따르면, 우리가 연구하는 인공지능은 대장균 정도의 '지능'이다. 인간의 입력을 최대한으로 줄인 신경망 훈련에서 범용 인공지능이 태어나기란 여전히 요원해보인다. 기업과 서비스 이용자, 정부조차도 인공지능을 전문가나 어린이, 유아와 비교하지만 이는 심히 잘못되었다. 인공지능이 인간과 동일한 수준의 윤리적 책임을 갖기 어렵다는 점, 그리고 이들의 '지능'이 대장균 수준이기에 그렇다.

하지만 이 책의 원본은 2018년에 출판되었고, 이후 어언 4년이 지났다. 저자의 이런 주장은 범용 인공지능 모델에 대한 평가다. 특수한 서비스를 목적으로 하는 인공지능 모델은 최근 ChatGPT에 대한 사람들의 반응이 보여주는 것처럼 말 그대로 난리다. 놀라지 않은 사람이 있을까. 이를 '지능'이라고 부를 것인가하는 논쟁은 광고 효과와 데이터 수집의 혜택을 톡톡히 보고 있는 기업의 '농간'일 수도 있겠다만, 역시나 중요한 이슈는 아닌 것 같다. 중요한 논점은 '그래서 우리는 어떤 윤리를 요청할 것인가'하는, 구체적인 실천 가이드라인을 찾는 것.

실천 가이드라인. 이 지점에서도 책은 매우 흥미로운 수학적 사실 하나를 던진다. 공정성의 공식은 존재하지 않는다는 것. 집단 간 조정 편향과 위양성 비율 모두를 공정하게 만드는 것은 애초에 불가능하다는 거다.

정답은 기술에 있지 않다. 무엇이 공정인지에 대한 답은 수학이 정해주지 않는다. 무엇을 얻었는가? 무언가를 잃을 것이다. 당신이 직접 해보라. 조정 편향과 위양성 비율 모두가 모집단의 그것과 동일한 황금 밸런스는 존재하지 않는다. 미연방대법원에서 Affirmative Action에 대해 논의하는 것을 보라. 과거의 공정은 계속해서 질문과 공격에 노출된다.

근래 읽었던 인공지능 관련 책 중 가장 재미있었다. 다음엔 <AI 지도책> 읽어야지.

 

---

p.100. ... 존, 마니시, 센딜은 조정 편향을 없애면서 두 집단에 대한 가짜 양성 비율과 가짜 음성 비율을 똑같게 만드는 것은 불가능함을 일반적으로 보여주었다. 이 결론은 표에 어떤 숫자들을 집어넣든 간에 성립한다. 단 하나 중요한 예외가 있는데, 두 집단의 기본 특징이 동일한 경우다. ... 우리가 사는 세계가 가능한 모든 면에서 평등하지 않다면, 우리는 알고리즘이 완벽하게 공정하기를 바랄 수 없다.

p.188. 바라바시 앨버트-라슬로는 한 과학자가 가장 중요한 논문을 저술할 확률은 경력 전체의 어느 시점에서나 동등함을 보여주었다. ... 도약적 발전은 언제든지 일어날 수 있다. ... 기존 앨버트-라슬로의 연구 결과는 기존 인용 횟수에만 의거한 연구비 배정은 좋은 해법이 아니라는 점을 시사한다.

p.325. 신경망을 개발하는 연구자들은 '알고리즘에 너무 많은 말을 해주는 것'이 문제임을 아주 잘 안다. 범용 인공지능 개발의 장기적 목표는 신경망 훈련에서 인간의 입력을 최대한 줄이는 것이다. 동물이나 인간의 지능에서 보이는 특징들을 신경망이 나타내기를 원한다면, 신경망은 스스로 학습해야한다.