블랙 필 은 세상이 조작돼 아무것도 바꿀 수 없다는 허무주의·우울·분노의 결합으로, 기술자가 자신의 선택권과 컴퓨터를 변화시킬 힘까지 포기하게 만듦
소프트웨어 품질은 기술 부족보다 경영진의 우선순위와 엔지니어의 협상력에 좌우되며, 개발자들은 허락보다 용서 구하기·비밀 작업·주의 돌리기·의도적 결함 같은 선의의 불복종 으로 대응해 왔음
광고, 알림, A/B 테스트, 추천 알고리듬, DRM, AI 에이전트, 다크 패턴과 무한 스크롤은 사용자를 섬기기보다 행동을 통제하는 강압 소프트웨어(coercionware) 가 될 수 있음
AI가 싫어도 어쩔 수 없이 사용하거나 공개 소프트웨어 공유를 중단하고, “내가 안 해도 누군가 한다”며 윤리를 포기하는 태도는 중앙화된 권력에 집단적 주도권 을 넘겨줌
컴퓨터를 만드는 사람에게는 여전히 선택권이 있으며, 나이에서 오는 지혜와 청년기의 낙관을 결합해 사용자를 통제하지 않고 섬기는 소프트웨어를 직접 만들어야 함
블랙 필이 만드는 자기강화적 절망
《Matrix》의 빨간 약은 불편한 진실을 받아들이는 선택인 반면, 블랙 필 은 게임이 조작됐으므로 포기하고 썩어갈 수밖에 없다는 태도를 뜻함
이 용어가 나온 인셀 커뮤니티에서는 자연스러운 필터링이 일어남
격려·멘토링·문제 해결을 활용한 사람들은 성숙하고 관계를 형성한 뒤 커뮤니티를 떠남
새로 들어온 젊은 사람들은 절망적이고 반사회적인 구성원만 만나게 됨
시간이 갈수록 허무주의·우울·분노가 강해지고, 최악에는 자살이나 학교 총격 같은 결과로 이어짐
보수적인 기독교 가정에서 자라 데이트에 필요한 것을 새로 배우고 기존 인식을 버려야 했던 경험도 이런 절망에 빠질 가능성을 키웠음
픽업 아티스트들의 사상에는 허무주의적이고 조작적인 독성이 있었지만, 그 안의 한 가지 조언은 탈출구가 됐음
특정한 연애 결과에 집착하지 말고 연인 후보와 친구를 포함한 모든 사람에게 매력적인 사람 이 되는 데 집중함
다른 사람을 진심으로 아끼고 주의 깊게 들으며, 웃게 하고 기억에 남을 경험을 제공함
함께 시간을 보내고 싶은 사람이 되면 자연스럽게 로맨스가 생길 상황도 늘어남
나쁜 생각에 노출되더라도 좋은 생각이 함께 존재하면 젊은 사람들은 그 안에서 유용한 것을 찾아낼 수 있음
떠나는 회복자와 남는 분노
Cory Doctorow가 2019년 발표한 단편 《Radicalized》는 건강보험회사에 피해를 본 사람들이 모인 온라인 포럼을 중심으로 전개됨
중독 회복 포럼에는 오랫동안 술을 끊은 구성원들이 남아 삶을 회복할 수 있다는 증거와 절제된 조언을 제공함
반면 작품 속 암 환자 포럼에서는 분노와 슬픔을 극복한 사람들이 떠나고, 분노에 매달린 사람들만 남음
두려울 정도로 분노한 사람에게도 그것이 옳고 유일한 반응이며 앞으로 절대 나아지지 않을 것이라고 말함
인셀 커뮤니티와 마찬가지로 회복한 사람의 이탈 이 절망을 강화하는 구조임
작품이 나온 지 5년 뒤 UnitedHealthcare의 실제 CEO가 총격으로 사망했고, 탄피에는 “deny, defend, depose”라는 단어가 적혀 있었음
소프트웨어가 제대로 작동하지 않는 이유
기술 콘퍼런스 참가자들은 소프트웨어가 제대로 작동하고 빨라야 하며, 사용자 경험을 우선해야 한다는 전제를 공유함
견고한 소프트웨어를 만드는 방법은 이미 오래전에 발견됐고 하드웨어 성능도 여러 자릿수 규모로 향상됐지만, 전체적인 소프트웨어의 견고성과 성능은 오히려 떨어졌다고 봄
현장에서 품질 개선이 좌절되는 주요 원인은 프로그래머의 지식이나 노력 부족이 아니라 사업상의 다른 우선순위 를 앞세우는 경영진임
행사장에서 회사 소프트웨어를 개선하려다 경영진에게 거절당한 경험을 물었을 때 참석자의 절반 이상이 손을 들었음
선의의 불복종과 그 대가
수혜자가 동시에 권한을 가진 조직에서는 개발자가 경영진의 뜻을 거스르면서도 회사를 위한 작업을 수행하는 선의의 불복종 을 택하기도 함
대표적인 방식은 네 가지임
허락보다 용서 구하기 : 먼저 필요한 일을 수행한 뒤 문제가 생기면 사후에 용서를 구함
비밀 작업: 경영진이 알면 중단시킬 필수 업무를 드러내지 않고 수행함
주의 돌리기: 중요한 작업과 덜 중요한 작업을 함께 진행하되, 사소한 작업을 크게 홍보해 경영진의 관심을 그쪽으로 유도함
오리(duck): 경영진이 발견하고 제거했다는 공을 세울 수 있도록 명백한 문제를 의도적으로 추가함
Battle Chess의 여왕 애니메이션 일화에서는 제작자가 수정 사항을 요구할 것을 예상한 아티스트가 여왕에게 애완 오리를 추가함
오리는 실제 애니메이션과 겹치지 않도록 별도로 제작됨
제작자는 나머지는 그대로 승인하고 오리만 제거하라고 요청함
이런 기법은 퇴사·대립·수용을 대신하는 대처 방식이며, 모두 위험을 수반함
속임수가 발견되면 질책받거나 퇴직금 없이 해고될 수 있음
퇴사하면 취업 시장의 스트레스와 불확실성을 감수해야 함
정면으로 맞서면 조용한 보복이나 조직 내 정치적 영향력 상실을 겪을 수 있음
받아들이면 품질이 떨어지는 소프트웨어를 만들어야 함
노동시장과 소프트웨어 품질
개발자 수요가 공급보다 많을 때 관리자는 해고를 위협하기보다 개발자의 퇴사를 두려워하므로 엔지니어의 협상력 이 강해짐
컴퓨터가 처음 등장했을 때는 프로그래머가 희소해 매우 강한 협상력을 누렸음
자유시장이 인력 부족을 따라잡으면서 소프트웨어 개발자도 다른 산업 노동자와 같은 갈등을 겪게 됨
소프트웨어 품질은 기술적 필연이 아니라 엔지니어의 의지와 우연히 강했던 노동시장 지위의 결합으로 유지돼 왔음
컴퓨터는 누구의 대리인인가
트랜지스터는 작은 베이스 전압으로 훨씬 큰 전류를 제어하는 자동 스위치이며, 약한 신호가 강한 힘을 통제하는 컴퓨터의 미시적 원리임
거시적으로도 컴퓨터는 작은 의사 표시만으로 큰 힘을 행사하게 하지만, 핵심은 그 제어 신호를 누가 결정하는가 에 있음
브라우저가 user agent

라고 불리는 이유는 사용자를 대신해 행동하기 때문임
브라우저는 방문한 웹사이트가 아니라 사용자의 이익을 섬겨야 함
웹사이트가 원하지 않아도 사용자가 광고 차단기를 쓸 수 있는 것이 그 사례임
DRM 은 사용자가 소유한 하드웨어를 제3자의 이익을 위해 작동시키므로 최종 사용자에게 적대적인 소프트웨어임
저작권자가 콘텐츠 접근을 허용하기 위한 조건이므로 소비자에게 간접적 이익이 있다는 반론은 가능함
그러나 직접 컴퓨터를 사용하는 최종 사용자의 이익과 간접적인 소비자 이익은 구분해야 함
컴퓨터는 언제나 직접 상호작용하는 사람을 섬겨야 함
Asimov의 로봇 3원칙과 인간의 권력
Asimov의 로봇 3원칙은 다음 우선순위를 가짐
로봇은 인간을 해치거나 방치해 인간이 해를 입게 해서는 안 됨
첫 번째 원칙과 충돌하지 않는 한 인간의 명령을 따라야 함
앞선 두 원칙과 충돌하지 않는 한 자신의 존재를 보호해야 함
이 원칙 아래의 로봇은 위해 방지에 필요한 경우를 제외하면 인간의 위계적 권력 구조 에 참여하지 않음
비폭력 범죄의 체포 영장을 집행하라는 경찰 명령을 받은 로봇도 당사자가 돌아가라고 명령하면 그 말을 따라야 한다는 사례가 이 특성을 보여줌
“모든 로봇과 컴퓨터는 입을 다물어야 하며, 인간은 신성한 존재이고 기계는 물건이다”라는 밈도 기계는 인간을 섬겨야 한다는 같은 이상을 과장된 형태로 드러냄
기계가 인간을 섬겨야 한다는 선은 정신적인 차원에서도 넘어서는 안 됨
사용자를 조작하는 강압 소프트웨어
강압 소프트웨어(coercionware) 는 사용자를 섬기지 않고 인간을 영혼 없는 로봇처럼 조작하려는 소프트웨어임
Amazon Mechanical Turk는 인간을 로봇처럼 직접 취급하고 최저임금보다 적은 금액을 지급하는 사업 모델임
직장 감시 소프트웨어는 직원의 눈 움직임과 배변 활동까지 세밀하게 통제하려 함
침입형 광고는 효과가 있다면 사람의 생각을 통제하고, 효과가 없더라도 사고 흐름을 끊고 주의를 빼앗아 주도권을 약화함
사용자가 의도적으로 활성화하지 않은 푸시 알림은 행동을 프로그램 방식으로 통제하고, 요구에 반응하기까지의 시간도 줄이려 함
A/B 테스트와 다크 패턴
A/B 테스트 는 공감보다 측정된 결과를 우선해 클릭과 매출을 최대화하는 경험을 선택함
사용자를 불안하게 만들어 클릭을 늘리는 빨간 버튼이 선택되더라도, 그 효과를 의도적으로 설계했다는 기록을 남기지 않아 책임을 피할 수 있음
다크 패턴은 사용자를 공개적으로 강제하는 설계이며, 프로그래머들이 이런 적대성을 일상적으로 용인하는 상황 자체가 문제임
항공기 승무원 UI에서 “Do you want to play the Boarding Music?”이라는 질문에 초록색 “yes”와 빨간색 “later”만 제공한 사례는 거절 선택지를 의도적으로 없앤 설계를 보여줌
YouTube 추천과 AI 에이전트
YouTube에서는 콘텐츠 제작자와 시청자 모두가 추천 알고리듬 의 통제를 받음
제작자는 콘텐츠의 진정성을 희생하면서도 계속 변하는 알고리듬의 선호를 좇게 됨
현대적인 섬네일도 알고리듬에 맞춰 비슷한 형태로 진화함
시청자에게는 특정 콘텐츠에서 극우 콘텐츠로 이어지는 추천 경로 같은 현상이 나타남
AI 에이전트는 사용자를 섬긴다고 약속하지만, 실제로는 모델과 주변 비공개 소프트웨어를 통제하는 AI 회사를 섬김
소스 코드를 통제하지 못하면 소프트웨어도 통제할 수 없음
둠스크롤링과 뇌의 취약점
둠스크롤링은 단순히 어느 날 Facebook을 너무 오래 쓴 나쁜 습관이 아니라, 콘텐츠 알고리듬과 무한 스크롤로 참여도를 극대화하는 근본적으로 강압적인 구조 임
사용자는 화면에 붙잡힌 채 자신이 고르지 않은 콘텐츠를 계속 소비하는 데 익숙해짐
스크롤은 프로그램 카운터, 새로 나타나는 콘텐츠는 명령어처럼 작동해 뇌에서 실행되는 임의 코드 실행 취약점에 비유할 수 있음
회사가 자사 이익을 위해 선택한 콘텐츠 흐름은 악의적인 제3자에게도 사람의 사고를 조작할 통로를 열어줌
미국 국가정보국장실이 2017년 1월 FBI·CIA·NSA의 작업을 요약한 평가는 Vladimir Putin이 2016년 미국 대통령 선거를 겨냥한 영향력 공작을 지시했다고 판단함
목표는 미국 민주 절차에 대한 신뢰를 훼손하고 Hillary Clinton을 깎아내리며, 당선 가능성과 잠재적 대통령직을 해치는 것이었음
러시아 정부가 Donald Trump 당선인에게 뚜렷한 선호를 보였다는 판단에도 높은 확신을 부여함
주요 수단은 국가가 후원한 트롤 조직의 소셜미디어 캠페인이었음
소셜미디어의 조작적 설계가 인간의 정신을 해킹할 취약점을 만들었고, 그 취약점은 수정되지 않은 채 계속 악용되고 있음
선택권을 포기하게 만드는 일상적 블랙 필
사회가 소프트웨어와 더 깊게 통합되면서 강압적 서비스에서 탈퇴할 능력 까지 줄어들고 있음
Discord만으로 모임을 운영한 친구들과 연락이 끊긴 경험도 이에 해당함
끊임없이 의원에게 연락하고 청원에 서명하며 새 비상사태에 대응해도 계속 밀리기만 한다는 피로가 쌓임
블랙 필은 복종이 평화를 주는 것처럼 컴퓨터의 가능성을 포기하고 그 억압에 항복하게 만듦
“컴퓨터는 실수였다”는 프로그래머의 농담은 컴퓨터를 움직이는 당사자의 주도권을 부정 함
AI를 싫어하고 우울해하면서도 어쩔 수 없는 현실이라며 사용하는 태도도 같은 패턴임
한 관리자는 다른 팀의 일자리를 없애지 않으면 자기 팀이 당할 것이라는 두려움 때문에 AI를 사용하며 주 50시간 이상 일하고 있음
AI 사용 자체를 좋아하는 경우와 싫지만 운명처럼 받아들이는 경우는 구분됨
Anubis와 방어적 패배주의
웹 스크래핑 방지 소프트웨어 Anubis 는 Linux 커널 메일링 리스트, Codeberg, FFmpeg, Wine 등에서 사용됨
기본 설정의 애니메이션 캐릭터 마스코트보다 더 근본적인 문제는 웹 방문 비용을 의도적으로 높이는 방식임
원래 계산 비용이 낮고 익명이어야 할 웹사이트 방문을 한 자릿수 규모 이상 비싸게 만듦
링크 미리보기와 폼을 망가뜨리고 배터리를 소모함
방문자가 JavaScript를 끌 선택권을 없앰
정당한 이유로 웹에 접근하는 봇까지 배제함
이 방식은 승리 대신 손실을 늦출 뿐이라는 태도로 열린 웹을 방어 없이 포기 하게 만듦
냉소와 공개 소프트웨어의 포기
Hacker News에 “Site is trash”라고 남긴 반응도 과장되고 냉소적인 블랙 필의 사례지만, 과거 사이트에서 얻던 가치가 줄어드는 실제 슬픔에서 나왔음
AI 회사가 코드를 수집해 다음 LLM을 만드는 데 쓸 것이라는 이유로 자유·오픈소스 소프트웨어 공유를 중단하는 사람들도 있음
자유 소프트웨어의 목적은 코드를 수집당하지 않는 데 있지 않고, 노력을 공동으로 모아 사용자가 소프트웨어를 통제할 수 있게 하는 데 있음
중요한 것은 고품질 자유 소프트웨어를 이용할 수 있어 독점 소프트웨어의 강압적 행동을 제한할 경쟁 수단 이 존재하는지 여부임
공동 소프트웨어에 참여하지 않으면 학대적인 중앙 권력에 집단적 주도권을 더 많이 넘겨주게 됨
“내가 하지 않아도 다른 누군가가 한다”는 이유로 윤리를 무시하면 넘지 말아야 할 선을 지우고 신념을 지킬 의지를 잃게 됨
기술에는 도덕적 출발점이 필요함
개신교 기독교 가정에서 주어진 선악 체계를 성인이 된 뒤 풀어내는 탈개종(deconversion) 은 여러 해 또는 평생이 걸릴 수 있음
기존 신앙을 떠나면 새로운 도덕 체계를 만들어야 하며, 옳고 그름은 아무 전제도 없는 상태에서 도출할 수 없음
“나는 생각한다, 고로 존재한다”를 넘어서는 판단도 핵심적인 기초 전제를 도입해야 가능함
기술자의 역할은 인류가 현재 걷는 궤도를 가속하는 것임
같은 기술도 누가 사용하는지에 따라 선하거나 악한 힘이 될 수 있음
현대의 원자력은 원자폭탄의 폭발을 통제하는 방식으로 작동함
기술자의 노동은 인류가 이미 걷는 길의 힘을 무차별적으로 증폭함
인류가 선하면 기술도 선한 힘이 되고, 인류가 악하면 기술도 악한 힘이 되므로 기술자는 인류가 대체로 선하다는 믿음 을 가져야 함
Stanislav Petrov가 선택한 믿음
1983년 Stanislav Petrov는 공격 조기경보 시스템을 감시하고 공격이 감지되면 상부에 즉시 보복을 요청하는 임무를 맡고 있었음
9월 26일 시스템은 미국이 미사일 5발을 발사했다고 보고함
Petrov는 오경보를 의심해 소련 군사 규정을 어기고 추가 확인을 기다렸으며, 실제로 컴퓨터 탐지 시스템의 오경보 였기 때문에 확인은 오지 않았음
규정을 따랐다면 상부가 미국을 공격해 전면 핵전쟁이 일어났을 가능성이 매우 컸음
이후 인터뷰에서 당시 오경보라는 확신은 없었고 가능성을 50 대 50으로 봤다고 말함
증거만으로 결정할 수 없는 상황에서 인류가 선하다는 믿음 을 선택하고 막대한 위험을 감수함
젊음이 보존한 컴퓨터의 마법
Joudaki의 정규 데뷔 앨범 《I Love My Computer》와 음악 영상 《Hazard》는 컴퓨터의 마법을 여전히 믿는 감각을 담고 있음
밀레니얼 세대가 컴퓨터를 처음 발견하며 느꼈던 향수를 자극하면서도, 한 세대 뒤의 작품답게 YouTube와 Discord를 포함한 현대 웹을 적극적으로 사용함
YouTube와 Discord의 다크 패턴을 비판하는 것이 틀린 것은 아니지만, 그 과정에서 컴퓨터를 향한 기쁨과 믿음 도 일부 잃을 수 있음
지혜와 낙관을 함께 지키는 방법
젊은 사람들은 고난에서 오는 지혜가 부족해 사기에 속거나 기업의 바이럴 마케팅에 무비판적으로 참여하고, 가능성이 낮은 일을 믿거나 영구적인 피해를 낳을 위험을 감수함
이미 실패할 것이 분명해 보이는 일에도 도전하는 이유는 아직 세상에 상처받고 냉소적으로 변하지 않았기 때문임
나이 든 사람은 같은 상처를 반복하지 않기 위한 대처법을 익혀 현실에 더 잘 적응하지만, 젊은 사람은 현실을 변화시키려는 동력 이 더 강함
사회에는 나이에서 오는 지혜와 이미 수없이 실패한 일을 다시 시도하는 젊음의 맹목적인 열정이 모두 필요함
《Hunter × Hunter》에서 12세 주인공이 감당할 수 없는 배신을 겪고 적을 쓰러뜨릴 힘을 얻기 위해 즉시 성인이 되는 장면은 절망과 무관심이 사람을 점진적으로 늙게 하는 과정을 압축함
기성세대의 과제는 젊은이의 순진함을 악용하는 사람들로부터 보호하되, 자신의 누적된 고통과 냉소까지 전염시키지 않는 것임
직접 만드는 것이 블랙 필에 맞서는 방법
Discord를 사용하지 않아 친구들과 멀어진 사람들이 불평에 머무르지 않고 더 나은 대안을 직접 만들기로 했음
세상을 바꾸고 기존 서비스와 경쟁하는 데 반드시 100만 달러가 필요한 것은 아니며, 컴퓨터·호기심·시간 만으로도 시작할 수 있음
컴퓨터가 무엇을 하도록 만드는 주체는 개발자 자신이며, 강압에 이용되는 상황을 운명처럼 받아들일 필요가 없음
함께 사용자를 통제하는 소프트웨어에 맞서고, 인류와 컴퓨터의 가능성을 믿으며 의지로 그 믿음을 현실로 만들어야 함
댓글과 토론