예측 분야에서, Algorithm Aversion(알고리즘 혐오)는 알고리즘이 실수할 수 있다는 것을 인지하게 되면 인간의 예측보다 우수하더라도 쓰지 않으려는 경향이 있다는 의미로 쓰입니다. 예를 들어 AI 면접, 질병 예측, 자율 주행, AI 판사와 같은 경우, 모든 기술적 난제가 해소되어 평균적으로 인간보다 우수한 성능에 도달하게 되더라도 쓰는 것을 꺼리는 경향이 존재한다는 것이지요.이러한 현상을 이해하기 위해서 몇 가지 서베이가 이루어졌는데, 다음의 두 가지 경향이 관측되었습니다. [Dietvorst, Simmons, and Massey, 2014, 2016 – 첨부글 안에 링크 있습니다]
- 같은 실수를 해도, 인간보다 알고리즘에 대해 더 가혹한 경향이 존재한다.
- 유사한 성능의 알고리즘들이라고 해도 인간의 의지에 의해 (아주 일부만이라도) 컨트롤 가능한 알고리즘을 선호하는 경향이 존재한다.
1은 명확하고, 2는 조금 풀어서 생각해 보면 블랙박스 알고리즘에 대한 두려움이라고 볼 수 있을 것 같습니다.
현재의 딥러닝 알고리즘들은 대부분 블랙박스 알고리즘에 해당하기 때문에 Algorithm Aversion의 대상이 됩니다. 첨부한 링크글에서는, 블랙박스 알고리즘 자체를 컨트롤 가능하게 고치는 것은 어려우니 설명을 덧붙이는 것에 대한 효과를 조사했습니다. 즉, eXplainable AI(XAI)가 Algorithm Aversion 효과를 완화시키는지 본 것입니다. (Task는 Kaggle에 있는 대학원 면접 task입니다)
평균적으로 차이가 크진 않지만, 일관성 있게 XAI가 더 선호되는 결과가 나타났습니다. 재미있는 것은 확률, 머신러닝, 전산학에 대한 기반 지식 유무를 가지고 그룹을 나누어 보았는데, 이런 배경 지식이 전혀 없는 사람들의 경우 매우 뚜렷한 차이로 XAI를 선호했고 (오차 범위 이상), 반대로 친숙하거나 들어본 적이 있는 사람들은 XAI에 대한 선호도가 극히 미약하거나 오히려 비선호했습니다. (뭔지 아니까 더 못 믿는?^^) c.f. AI 업계 종사자 (pro) 들은 아주 약간 XAI 선호
AI 기술 중, 기존에 존재하던 서비스를 강화하거나 대치하려는 경우, XAI를 도입하는 것을 생각해 봐야 할 것 같습니다. 특히 요즘 이슈가 되고 있는 AI 면접 같은 경우는 거의 필수적일 것 같습니다. 왜 떨어졌는지 알아야, 그나마 납득을 하겠지요.
