2024년 여름, 저는 인지 장애(cognitive disabilities)가 있는 사람들을 대상으로 접근성 테스트(accessibility testing)를 수행하는 가장 좋은 방법을 결정하기 위해 모인 전문가 연구자 워킹 그룹의 공동 의장이 되었습니다. 이는 제가 현재 혁신 부문 부사장(VP of Innovation)으로 재직 중인 Fable에서 수행한 업무였습니다.

인지 장애(Cognitive disability)는 사람들이 정보를 처리하는 방식에 영향을 미치는 여러 장애를 아우르는 용어이며, 대개 기억력, 집중력 및/또는 학습 능력에 영향을 미칩니다. 이는 미국에서 가장 흔한 장애이며 (CDC 기준 13.9%), 인지 장애는 빠르게 증가하고 있습니다 (Yale study).

우리는 이 대상층과 협업하는 방법을 배우기 위해 네 가지 목표를 설정했습니다:

1. 참가자를 어떻게 모집하고 스크리닝(screen)해야 하는가?
2. 인지적 특성을 가진 참가자를 대상으로 한 리서치의 베스트 프랙티스(best practices)는 무엇인가?
3. 이러한 방법들이 실제 연구에서 작동하는가?
4. 우리가 배운 내용을 공유할 수 있도록 문서화하기.

우리는 기억력, 집중력 및 학습에 어려움이 있다고 스스로 식별한 사람들을 모집하기 위해 스크리너(screener)를 제작했습니다. 또한, 이들과 협업하는 베스트 프랙티스를 배우기 위해 인지 테스터(cognitive testers)가 포함된 기존 발표 연구들을 검토했습니다.

다음으로, 우리는 파일럿 연구(pilot study)에서 초기 25명의 테스터 그룹을 대상으로 이러한 베스트 프랙티스를 테스트했습니다. 우리는 반복적으로(iteratively) 접근 방식을 미세 조정했으며, 인지 테스터를 대상으로 한 사용자 인터뷰(user interviews) 실행 가이드와 디지털 제품을 사용하는 그들의 경험을 정량화할 수 있는 설문조사를 만들었습니다. 마지막으로, 우리는 우리가 배운 내용을 문서화했습니다.

이 새로운 테스터 그룹과의 파일럿 연구가 끝난 후, 저는 이들이 제가 과거에 함께 일했던 일반 인구(gen pop) 사용자 리서치 참가자들보다 더 많은 사용성 인사이트(usability insights)를 밝혀낼 것이라고 느꼈습니다. 저는 이 직감을 검증하기로 했습니다.

인지 사용성 연구 (The Cognitive Usability Study)

저는 인지 테스터(cognitive testers)를 통해 더 많은 인사이트를 얻을 수 있다는 저의 가설이 사실인지 확인하기 위해, Syed Fatiul Huq와 협력하고 Fable의 연구원인 Pranav Pidathala, Ali Brown, Michael Fagan의 도움을 받아 캘리포니아 대학교 어바인(University of California, Irvine)의 Fable 파트너들과 공동 연구를 진행하기로 했습니다.

저는 AI 프로토타이핑 (AI prototyping) 도구를 사용하여 연구를 위한 세 개의 웹사이트를 생성했습니다. 연구에서 다양한 태스크 (tasks)를 테스트할 수 있도록 서로 다른 사용자 목표와 콘텐츠를 가진 세 가지 유형의 사이트를 원했습니다.

표 1: 테스트된 웹사이트 및 태스크 (Tasks)

1. 고단백 스낵 레시피 찾기.
2. 단백질에 관한 블로그를 찾아 읽기.
3. 새로운 레시피와 블로그 게시물에 대한 알림을 받을 수 있는 방법 찾기. |
4. 도서 스와이프 기능을 찾아 10권의 책에 사용하기.
5. 추천 도서 목록 찾기.
6. 원하는 두 가지 장르의 책을 장바구니에 담기.
7. 장바구니에 담긴 책 결제하기. |
8. 이발 가격 확인하기.
9. 이발 예약하기.
10. 브라이덜 (bridal) 패키지 가격 확인하기. |

우리는 기억력, 집중력, 학습에 관한 질문이 포함된 단일 스크리너(screener)를 사용하여, 참가자들이 스스로 인지적 어려움(cognitive challenges)이 있다고 식별하는지 여부에 따라 두 그룹으로 분류했습니다.

인지 장애(Cognitive disability)에는 신경다양성(neurodiversity)이 포함됩니다. 신경다양성(Neurodivergent)은 뇌가 정보를 처리하고 학습하는 방식이 다른 사람들을 설명하는 포괄적인 용어입니다. 이는 주로 학습 장애(예: 난독증 (Dyslexia)), ADHD, 자폐증(Autism)을 가진 사람들에게 가장 흔히 사용됩니다.

우리는 웹사이트당 10명씩, 총 30회의 사용자 인터뷰 (user interviews)를 진행했으며, 각 웹사이트별로 인지적 어려움이 있는 참가자와 일반 대중(gen pop) 참가자를 5:5 비율로 균등하게 배분했습니다. 각 세션에서 참가자는 연구에 참여한 연구원 중 한 명이 진행하는 온라인 사용자 인터뷰 동안 한 웹사이트에 대한 모든 과업을 완료했습니다.

모든 참가자는 세션이 끝난 후 접근성 사용성 척도 (Accessible Usability Scale (AUS)) 설문을 완료했습니다. 이는 웹사이트와 모바일 앱의 사용성(usability)을 평가하기 위한 무료 크리에이티브 커먼즈(Creative Commons) 라이선스 기반의 10개 문항 설문지입니다.

데이터 분석 접근 방식

나는 모든 연구 녹화본과 전사본(transcripts)을 검토하였으며, 참가자가 우려, 질문, 어려움을 제기하거나 무언가가 어떻게 작동하는지에 대해 질문한 모든 시점을 기록했습니다. 나는 이 모든 것을 이슈(issues)로 집계했습니다. 또한 참가자가 스스로 인지하지 못했더라도 과업의 일부를 놓친 경우도 기록했습니다. 참가자가 제안한 모든 개선 사항도 기록했습니다.

발견된 이슈의 예시는 다음과 같습니다:

• 사진이 너무 길어서 콘텐츠에 도달하기 위해 많은 스크롤이 필요함 (참가자가 언급).
• 책을 '좋아요' 또는 '싫어요'로 표시했을 때 아무런 피드백이 없음 (참가자가 언급).
• 참가자가 첫 번째 시도에서 필수적인 사서함(P.O. Box) 체크박스를 놓침 (연구자가 관찰).

제안 사항의 예시는 다음과 같습니다:

• 단백질 비교를 표(table) 형태로 보고 싶습니다.
• "추가 정보(More information)" 탭이 더 위로 이동해야 합니다.
• 추천 목록이 어떻게 생성되는지에 대한 더 많은 정보를 알고 싶습니다.

문제점(Issues)과 제안(suggestions)은 동일한 내용을 두 번 언급하더라도 참가자당 한 번만 집계되었습니다. 하지만 당연하게도 서로 다른 참가자들 사이에서 반복되는 문제점과 제안들이 존재했습니다. 여러 명의 참가자가 참여하는 UX 리서치에서는 각 참가자에게서 유사한 문제점을 발견하게 되는 것이 일반적이며, 이는 해당 문제점이 보편적인 과제(universal challenge)라는 신호입니다.

인지적 사용성 연구(Cognitive Usability Study)의 결과

테스트된 세 개의 웹사이트 전체에 걸쳐:

• 인지적 장애(Cognitive) 참가자들은 197개의 문제점을 식별했습니다.
• 일반 대중(Gen pop) 참가자들은 113개의 문제점을 식별했습니다.
• 인지적 장애 참가자들은 93개의 제안을 했습니다.
• 일반 대중 참가자들은 54개의 제안을 했습니다.
• 인지적 장애 참가자들은 일반 대중 참가자보다 콘텐츠, 버튼, 아이콘, 시각적 요소 및 미디어와 관련된 더 많은 문제점을 드러냈습니다.

결과는 저의 직관과 일치했습니다. 인지적 장애가 있는 참가자들은 일반 대중 참가자보다 1.8배 더 많은 문제점을 식별했고, 1.8배 더 많은 제안을 했습니다.

각 웹사이트에 대한 데이터를 더 자세히 살펴보겠습니다. AUS 점수는 0에서 100 사이이며, 숫자가 높을수록 낮은 숫자보다 사용성(usability)이 더 좋음을 나타냅니다.

표 2: Strong Snacks

이 사이트는 연구에서 테스트된 모든 웹사이트 중 가장 단순한 디자인과 콘텐츠를 가지고 있었으며, 그에 따라 전체 문제점이 가장 적고 중앙값(median) AUS 점수가 가장 높았습니다. 데이터는 사용하기 쉽고 단순한 웹사이트에서 기대할 수 있는 결과와 일치합니다.

이 웹사이트에서 인지적 장애 참가자들은 평균적으로 3.4개의 문제점을 더 많이 발견했고, 2.2개의 제안을 더 많이 했습니다. 이들의 전체 경험에 대한 평균 점수는 일반 대중 참가자보다 13.7점 낮았습니다.

표 3: Turning Pages

이 웹사이트는 가장 다양한 기능과 완료해야 할 가장 많은 작업(4개)을 가지고 있었으므로, 참가자들이 가장 많은 문제를 발견한 것은 놀라운 일이 아닙니다.

여기서 인지적(Cognitive) 참가자들은 평균적으로 6개의 문제를 더 발견했고, 3.2개의 제안을 더 많이 했습니다. 또한 이들은 전반적인 경험(Overall experience) 점수에서 일반 대중(Gen pop) 참가자들보다 평균 17.2점 낮게 측정되었습니다.

표 4: Crown & Comb

이 웹사이트는 의도적으로 복잡하게 설계되었으며, 태스크 3인 브라이덜 패키지(Bridal package) 찾기는 완료하기 매우 어렵도록 의도되었습니다.

이 마지막 웹사이트에서 인지적(Cognitive) 참가자들은 평균적으로 7개의 문제를 더 발견했고, 2.4개의 제안을 더 많이 했습니다. 이들의 전반적인 경험(Overall experience) 평균 점수는 일반 대중(Gen pop) 참가자들보다 14.3점 더 높았습니다.

표 3과 표 4에서 인지적(Cognitive) 참가자와 일반 대중(Gen pop) 참가자의 AUS 점수에 흥미로운 현상이 나타났습니다. 인지적 참가자들은 Turning Pages보다 Crown & Comb에서 더 높은 점수를 주었지만, 일반 대중은 그 반대였습니다. 즉, Turning Pages에서 더 높은 점수를 주고 Crown & Comb에서는 더 낮은 점수를 주었습니다. 그 이유를 추측해 보자면, Turning Pages에서 더 많은 문제를 발견한 것이 일반 대중 참가자들보다 인지적 참가자들의 사용성(Usability) 인식에 더 큰 영향을 미쳤을 것이라고 생각합니다.

아래 표 5(Table 5)에 요약된 사이트 간의 또 다른 주요 차이점은, 인지적 참가자(cognitive participants)들이 Turning Pages의 버튼과 링크에서 훨씬 더 많은 문제를 발견했으며, Crown & Comb에서는 아이콘과 시각적 요소(visual elements)에서 더 많은 문제를 발견했다는 점입니다. 이는 Turning Pages에서의 상호작용(interactions)이 어려웠던 점이 시각적 요소의 문제보다 더 중대한 도전 과제였음을 시사합니다.

정성적 결과 (Qualitative Findings)

더 정성적인 결과에 관해서는, 두 그룹의 참가자들이 발견한 문제 유형의 트렌드를 살펴보았습니다.

인지적 참가자 (Cognitive participants):

• 아이콘이나 시각적 요소(visual elements)의 문제를 지적할 가능성이 더 높았습니다.
• 콘텐츠(content) 관련 문제를 더 빈번하게 드러냈습니다.
• 더 풍부한 정성적 코멘터리(qualitative commentary)를 제공했으며, 종종 왜 특정 요소를 찾기 어렵거나 혼란스러운지 설명했습니다.

일반 대중 참가자 (Gen pop participants):

• 개념적 또는 이해(comprehension) 장벽을 지적할 가능성이 더 낮았습니다.
• 피드백이 더 짧았으며, 종종 과업(task)이 완료되면 바로 멈추었습니다.

표 5: 카테고리별 문제 수 (Table 5: Number Of Issues By Category)

문제를 카테고리별로 그룹화했을 때, 인지적 참가자들에게서 다음과 같은 문제들이 더 자주 나타났습니다: 콘텐츠(content), 버튼 및 링크(affordances and function, 행동 유도성 및 기능), 아이콘 또는 시각적 요소(icons or visual elements), 그리고 미디어(media, 비디오, 애니메이션). 내비게이션(navigation) 문제에 있어서는 일반 대중 참가자와 거의 대등한 수치를 보였습니다 (45 대 46).

Crown & Comb 세션에서 한 명의 인지적 참가자와 한 명의 일반 대중 참가자가 제공한 코멘터리를 비교해 보겠습니다. 인지적 참가자는 AUS 점수 38점을 주었고, 일반 대중 참가자는 AUS 점수 27.5점을 주었습니다. 제가 이 두 참가자를 비교 대상으로 선택한 이유는 두 사람 모두 각 그룹 내에서 가장 낮은 점수를 주었기 때문입니다.

아래 인용구에서 그들이 전반적인 경험을 어떻게 설명했는지 그 차이점에 주목해 보세요. 일반 대중 (Gen pop) 참가자는 경험이 좌절감을 주고 몰입감이 없었다고 설명했습니다. 반면, 인지적 특성을 가진 (cognitive) 참가자는 기운이 빠지고 집중하기가 더 어려워졌다고 느꼈습니다. 저는 이 경험이 인지적 특성을 가진 참가자의 전반적인 웰빙 (wellbeing)에 더 깊은 영향을 미쳤다고 해석했습니다.

일반 대중 (Gen pop) 참가자 인용구

“치료법의 이름과 약간의 설명, 그리고 지속 시간이나 가격 같은 정보가 나오자마자, 그걸 클릭하는 즉시 바로 해당 서비스를 이용할 수 있어야 해요. 페이지에 같은 서비스가 여러 번 반복해서 보이는데도 여전히 선택할 수 없다면, 정말 정말 좌절감을 느껴요. 이건 딱히 몰입감이 느껴지지 않네요.”