Personalization comes with trade-offs: it’s also used to shape, influence and guide our everyday choices and actions. When algorithms make autonomous decisions on our behalf, the visible options we have are hidden from us and we lose personal agency.
개인화에는 트레이드오프(trade-offs)가 수반되는데, 이는 또한 우리의 일상적인 선택과 행동을 형성하고, 영향을 미치며, 지도하는 데에도 사용됩니다. 알고리즘이 우리를 대신해 자율적인 결정을 내릴 때, 우리가 가진 가시적인 선택권은 우리에게 숨겨져 있으며, 우리는 개인적인 대리권을 잃게 됩니다.
요약 :)
선택은 사람들의 시간과 관심에 대한 세금으로 간주됩니다. 우리는 매일 35,000가지가 넘는 결정을 내리는데, 이는 종종 우리를 지치게 만드는 정신적 에너지를 필요로 합니다.
1 AI 기반 개인화는 우리의 선호도에 맞춰 맞춤화된 의사 결정 피로에 대한 솔루션을 약속합니다. 그러나 개인화에는 장단점이 있습니다. 또한 일상적인 선택과 행동을 형성하고 영향을 미치며 안내하는 데에도 사용됩니다.
알고리즘이 우리를 대신하여 자율적인 결정을 내릴 때 우리가 가진 가시적인 옵션은 우리에게서 숨겨지고 우리는 개인의 주체성을 잃게 됩니다.
선택은 사람들의 시간과 관심에 대한 세금으로 간주됩니다. 우리는 매일 35,000가지가 넘는 결정을 내리는데, 이는 종종 우리를 지치게 만드는 정신적 에너지를 필요로 합니다. 1 AI 기반 개인화는 우리의 선호도에 맞춰 맞춤화된 의사 결정 피로에 대한 솔루션을 약속합니다. 그러나 개인화에는 장단점이 있습니다. 또한 일상적인 선택과 행동을 형성하고 영향을 미치며 안내하는 데에도 사용됩니다. 알고리즘이 우리를 대신하여 자율적인 결정을 내릴 때 우리가 가진 가시적인 옵션은 우리에게서 숨겨지고 우리는 개인의 주체성을 잃게 됩니다.
개인화의 부상
기업이 잠재 고객의 개인 데이터에 대한 접근이 제한되었던 때가 있었습니다. 인터넷이 등장했음에도 불구하고 개인용 컴퓨터에 대한 접근이 제한되어 있어 여전히 고객과 기업 사이에 약간의 분리가 있었습니다. 그러나 스마트폰과 지속적인 온라인 연결로 인해 온라인 활동을 통해 방대한 양의 데이터가 수집되면서 상황이 바뀌었습니다. 결과적으로 유입되는 데이터를 통해 기업은 광고를 타겟팅하고 비즈니스 지표를 추진할 수 있었습니다. 예를 들어, 최고의 운동화를 검색하거나 온라인 신발 매장을 방문하면 이후 방문하는 모든 웹사이트의 사이드바에 신발 광고가 표시될 수 있습니다.
Google과 같은 검색 엔진을 사용할 때 표시되는 결과가 인구통계, 위치, 관심사 및 검색 기록에 따라 결정되기까지는 그리 오랜 시간이 걸리지 않았습니다. 그 의도는 검색자의 온라인 존재에 대한 개인화된 정보를 사용하여 검색자의 요구를 충족하는 최상의 결과와 콘텐츠를 제공하는 것이었습니다. 한동안 Google 검색 결과는 식별 가능하고 시각적으로 구별되었습니다. 이후 이러한 구별은 약화되었으며 유료 결과는 이제 구별하기가 더 어렵습니다 . 그럼에도 불구하고 사용자는 자신의 관심사에 맞는 링크를 선택하기 위해 정신적인 에너지를 소비하고 읽어야 합니다.
Google은 검색 중에 검색 엔진이 사용자에 대해 수집하는 추가 데이터를 고려합니다.Google은 검색 중에 검색 엔진이 사용자에 대해 수집하는 추가 데이터를 고려합니다.
새로운 생성 AI 기능은 고려해야 할 주요 정보의 AI 기반 스냅샷을 통해 질문에 대한 답변을 요약하고 더 깊이 파고들 수 있는 링크를 제공하여 검색 작업을 간소화할 것을 약속합니다 . Microsoft는 이제 OpenAI의 ChatGPT-4를 통해 검색 엔진인 Bing에 생성 AI를 내장하고 있습니다. 떠오르는 도전자들은 선택의 부담을 거의 완전히 없애주는 "정보 발견과 호기심을 위한 AI 기반 스위스 군용 칼"을 약속합니다. 이러한 검색 발전의 기본 전제는 사람들이 더 많은 선택을 원하는 것이 아니라 제시된 선택에 대해 더 많은 확신을 원한다는 것입니다 .
정보 발견과 호기심을 위한 AI 기반 스위스 군용 칼인 Perplexity.정보 발견과 호기심을 위한 AI 기반 스위스 군용 칼인 Perplexity.
우리의 디지털 생활에서 개인화의 범위는 이제 단순한 검색 결과나 광고를 훨씬 뛰어넘습니다. 이는 또한 우리의 특정 관심사에 맞춰진 콘텐츠 형태로 제공되며, 소셜 미디어보다 이를 더 효과적으로 수행하는 플랫폼은 없습니다. 소셜 플랫폼은 기계 학습 알고리즘을 사용하여 예측 추천을 제공함으로써 사용자 경험을 개인화합니다. 그들은 데이터를 수집하고 그 결과를 사용하여 알고리즘을 향상시켜 무작위 강화의 피드백 루프를 만듭니다. 플랫폼 내의 콘텐츠와 상호 작용하는 데 소요되는 시간은 알고리즘 품질을 향상시켜 플랫폼에서 더 많은 시간을 보내고 더 많은 데이터를 수집하며 더 많은 광고를 보게 됩니다.
기계 학습 알고리즘을 기반으로 하는 TikTok의 개인화된 콘텐츠 추천.기계 학습 알고리즘을 기반으로 하는 TikTok의 개인화된 콘텐츠 추천.
소셜 미디어 플랫폼은 사용자를 위해 콘텐츠를 개인화하기 위해 알고리즘을 사용하는 유일한 플랫폼이 아닙니다. Nielsen의 2023년 6월 스트리밍 콘텐츠 소비자 설문조사 에 따르면 고객은 시청할 콘텐츠를 검색하는 데 평균 10.5분을 소비합니다. 설상가상으로, 20%는 보기 전에 무엇을 보아야 할지 모른다고 말했고, 시청할 것을 찾을 수 없을 때 대신 다른 일을 하기로 결정했습니다. 압도적인 선택의 증가에 대응하기 위해 스트리밍 서비스는 개인화를 사용하여 각 사용자의 관심사에 적응하고 시간이 지남에 따라 관심을 확장하는 데 도움이 될 수 있는 콘텐츠를 추천하기 시작했습니다. 그들의 알고리즘은 개별 시청자의 관심 사항에 맞게 미세 조정되어 과거에 시청한 내용을 기반으로 권장 사항과 일치하는 비율을 찾아 특정 영화나 시리즈를 즐길 가능성을 추정합니다. 효과도 있습니다. Netflix는 2023년 상반기에만 920억 시간 이상의 시청 시간을 기록했습니다 .
Netflix는 각 사용자의 관심분야에 적응하고 시간이 지남에 따라 관심분야를 확장하는 데 도움이 될 수 있는 콘텐츠를 추천합니다.Netflix는 각 사용자의 관심분야에 적응하고 시간이 지남에 따라 관심분야를 확장하는 데 도움이 될 수 있는 콘텐츠를 추천합니다.
이제 개인화는 우리가 사용하는 거의 모든 앱과 서비스에 적용되는 필수적인 비즈니스 전략 으로 간주됩니다. 우리는 심지어 개인화된 상호 작용을 기대하고 이것이 일어나지 않으면 좌절감을 느끼기까지 합니다. 우리는 편의를 위해 기꺼이 희생할 의향이 있습니다. 하지만 그 대가는 얼마입니까?
개인화 비용
개인화가 약속하는 편리함은 사용자를 희생시키는 대가를 치르게 됩니다. " 개인화 역설 "은 시간을 절약해주는 개인화된 경험과 필요한 개인 데이터에 대한 관심 사이의 충돌을 의미합니다. 사람들은 종종 개인 정보 보호를 희생하지 않고 개인화의 편리함을 원하지만 올바른 균형을 맞추는 것이 기업에게는 어려울 수 있습니다. 개인화에 필요한 방대한 양의 개인 데이터는 역사적으로 수집할 수 있는 항목과 사용 방법에 대한 일관성 없는 규제로 관리되어 왔습니다. 개인정보 보호와 데이터 보안에 대한 우려와 대조되는 개인화된 경험의 편리함 사이의 긴장감으로 인해 개인정보 보호, 사용자 동의, 윤리적 데이터 사용 및 디지털 공간 규제의 필요성에 대한 지속적인 논쟁이 이어졌습니다. 다행히 한때는 자유롭게 수집되어 기업의 자산으로 여겨졌던 개인정보가 이제는 개인 소유의 자산으로 취급되어 기업에 위탁되고 있습니다. 소비자 불신, 정부 조치 및 시장 경쟁은 전 세계적으로 개인 데이터에 대한 변화를 주도하는 데 기여했습니다. 2
그러나 개인화의 편의를 위해 개인정보 보호만이 유일한 절충안은 아닙니다. 이제 플랫폼은 사용자가 플랫폼에 더 오래 머무를 수 있도록 설계된 콘텐츠 추천을 개인화하기 위해 인터페이스를 활용하여 사용자 상호 작용에서 데이터를 캡처하고 있습니다. TikTok의 엄청난 성공은 각 사용자를 위해 특별히 선택된 짧은 비디오의 끝없는 흐름을 통해 두뇌의 보상 시스템을 활용하는 능력과 플랫폼에서 사용자를 황홀한 상태로 유지하는 순 효과에 크게 기인합니다.
강력하고 중독성이 강한 소프트웨어는 스스로 최선의 결정을 내릴 수 있는 능력을 향상시키기는커녕 즉각적인 만족의 고리에 우리를 가두어 우리의 자유 의지를 침식할 수 있습니다. 최악의 경우, 기업이 우리의 디지털 프로필을 부두 인형과 유사한 것으로 사용하여 우리에게 영향을 미치기 위해 행동 수단을 이용하고 있다는 사실을 전혀 알지 못한 채 콘텐츠를 구매, 클릭, 좋아요 또는 소비하도록 유도하는 것처럼 느껴질 수 있습니다.
Eva McCarthy,
개인화 역설: 편의성과 개인 정보 보호의 균형
불행하게도 이러한 수준의 개인화는 사용자를 점점 더 극단적인 콘텐츠의 중독성 있는 토끼 굴로 끌어들이고 기존의 신념과 편견을 준수하고 강화하는 정보와 의견에 노출시킬 수 있습니다(일반적으로 필터 버블이라고 함 ) . 3 연구에 따르면 TikTok을 장기간 사용하면 주의 집중 시간이 크게 감소하고 불안, 우울증 및 스트레스가 증가하고 4 즉각적인 만족을 제공하지 않는 활동에 참여하기가 어려워지는 현상(' TikTok 두뇌 ' 현상)이 나타날 수 있습니다 . 설상가상으로, 이러한 부작용은 사용 후 단 20분 만에 표면화될 수 있으며, 자살을 낭만적으로 여기거나 정상화하거나 조장함으로써 기존의 정신 건강 문제를 악화시킬 수 있습니다. 5
그러나 개인화에 대한 가장 놀라운 대가는 즉각적인 만족의 고리로 인해 발생하는 자유 의지와 개인 자율성의 침식입니다. 플랫폼은 최대 '끈기'에 최적화된 무한한 피드로 우리를 유인함으로써 우리의 관심을 끌고 개인 데이터를 자체 목적을 위해 활용하기 위해 경쟁합니다. 우리가 플랫폼의 콘텐츠와 상호 작용하는 데 더 많은 시간을 소비할수록 알고리즘 품질이 높아져 개인의 관심 사항을 더욱 타겟으로 하는 콘텐츠가 생성됩니다. 이는 다른 사람과 가치나 의미 있는 연결을 제공하는 것이 아니라 우리를 포로로 유지하도록 설계된 무작위 강화의 피드백 루프입니다.
이러한 플랫폼은 가장 수익성 있는 결과를 향해 우리를 유도하는 미묘하고 잠재의식적인 단서, 보상, 처벌을 통해 우리의 행동을 형성할 수 있는 잠재력을 가지고 있습니다. Shoshana Zuboff가 The Age of Surveillance Capitalism 에서 쓴 것처럼 , "오늘날 감시 자본주의는 우리의 미래를 위한 새로운 템플릿을 제공합니다. 즉, 다른 사람의 이익을 위해 관리되는 완벽한 지식에 우리의 자유가 박탈되는 기계 하이브입니다 . " 주보프는 이런 종류의 감시는 독립적으로 행동하고 생각할 자유가 없으면 민주주의 사회에 필수적인 도덕적 판단과 비판적 사고 능력이 부족하기 때문에 민주주의를 약화시킨다고 경고합니다. 민주주의는 전례 없는 정보 수집과 그에 따른 영향력으로 인해 더욱 약화됩니다.
권한 부여 > 개인화
기술은 인간의 지성을 강화 하고 능력을 향상시켜야 합니다 . 플랫폼이 비즈니스 목표를 우선시하고 사람들을 사로잡을 때, 우리 에이전시는 사람들이 통제할 수 없는 알고리즘으로 구동되는 개인화된 콘텐츠를 약속하는 특정 순간에 손이 닿는 장치의 편리함으로 인해 훼손됩니다. 대신, 우리는 스스로에게 질문해야 합니다. 사람들에게 힘을 실어주는 방식으로 기술을 어떻게 설계할 수 있을까요? 개인화를 위한 절충안을 상쇄하는 몇 가지 대안 가능성을 살펴보겠습니다.
사용자 경험의 다음 단계는 즉각적인 선호뿐만 아니라 더 높은 요구 사항을 표현할 수 있도록 창립 은유를 변경하는 것입니다.
Cliff Kuang,
사용자 친화적: 디자인의 숨겨진 규칙이 우리가 살고 일하고 즐기는 방식을 어떻게 변화시키는가
권한 부여를 향한 초기 단계는 사람들의 디지털 활동에 대한 인식을 높이는 것이었습니다. 기기 제조업체는 Apple의 Screen Time 및 Google의 Digital Wellbeing 이니셔티브 와 같은 기능을 통해 건강한 디지털 습관을 장려하기 위해 사용 인식을 높이기로 결정했습니다 . 이러한 기능은 사람들이 자신의 기술 사용을 더 잘 이해하는 데 도움이 될 수 있으며, 방해가 되는 앱을 일시 중지하고, 일일 한도를 설정하고, 알림을 사용자 정의하는 등의 도구를 제공합니다. 하지만 사용량 인식만으로 충분합니까?
Apple의 스크린 타임을 사용하면 기기에서 소비한 시간을 보여주는 실시간 보고서에 액세스할 수 있으며 관리하려는 항목에 대한 제한을 설정하는 도구를 제공합니다.Apple의 스크린 타임을 사용하면 기기에서 소비한 시간을 보여주는 실시간 보고서에 액세스할 수 있으며 관리하려는 항목에 대한 제한을 설정하는 도구를 제공합니다.
또한 우리는 사람들의 일상 경험에 큰 영향을 미치는 알고리즘을 효과적으로 감독하고 규제하는 데 필요한 도구와 권한을 제공할 수 있습니다. 이를 통해 사람들은 자신의 디지털 경험을 형성하고 맞춤화하는 데 적극적으로 참여할 수 있으며, 자신의 선호도, 가치 및 목표에 부합하는 보다 개인화되고 맞춤화된 온라인 환경을 보장할 수 있습니다. 사람들은 알고리즘을 통해 공동 창조할 수 있는 권한을 부여받아야 하며 신뢰와 효율성 사이의 균형을 맞춰야 합니다. 우리는 인간을 AI 결정 루프에 배치하고 인간의 경험을 형성하는 알고리즘을 조종할 수 있는 능력을 부여함으로써 인간과 기계 사이의 더 강력한 관계를 구축할 수 있습니다. 예를 들어, 플랫폼을 통해 사용자가 자신의 경험을 제공하는 알고리즘을 미세 조정할 수 있다면 어떨까요?
알고리즘 미세 조정 개념 증명알고리즘 미세 조정 개념 증명
마지막으로, 장치와의 관계를 완전히 바꿀 수 있습니다. 기술이 우리를 소비보다 낮은 인터페이스와 유틸리티 쪽으로 더 밀어붙인다면 어떨까요? 화면 시간을 줄일 수 있다면 무한 피드의 유혹에 빠질 가능성을 줄일 수 있습니다. AI의 기능 향상으로 인한 흥미로운 결과 중 하나는 많은 경우 화면 시간과 앱 의존도를 크게 줄일 수 있는 잠재력입니다. 우리는 자연어 인터페이스를 제공하고 개인 정보 보호 및 데이터 제어에 중점을 두는 개인화된 운영 체제를 보기 시작했습니다. 이러한 시스템은 아직 초기 단계이고 스마트폰을 대체하기 전에 갈 길이 멀지만, 이는 우리가 화면에 의존하지 않아도 되는 미래를 엿볼 수 있는 유망한 모습입니다.
자연어 인터페이스를 통한 개인화된 운영체제, Rabbit R1자연어 인터페이스를 통한 개인화된 운영체제, Rabbit R1
컴퓨터는 우리 삶의 모든 측면에 필수적인 요소가 되었습니다. 주머니에 넣거나 휴대할 수 있을 만큼 작아졌으며 상상할 수 있는 모든 표면을 장식할 수 있습니다. 모든 상호 작용을 모니터링하고 이에 적응하는 기계 학습 알고리즘 덕분에 특정 순간에 우리의 관심사에 맞는 콘텐츠를 얻을 수 있습니다. 그러나 그들은 시간과 관심이 점점 더 부족한 자원이 되는 시대를 열었습니다. 기술은 우리의 능력을 향상시키는 것 외에도 우리의 관심을 끌고 개인 정보로 수익을 창출하며 심리적 취약성을 이용하는 수단이 되었습니다. 개인화는 편리함과 맞춤형 경험을 제공하지만 장단점을 고려하는 것이 중요합니다. 개인정보 보호는 개인화를 위한 유일한 절충안이 아닙니다. 또한 일상적인 선택과 행동을 형성하고 영향을 미치며 안내하는 데에도 사용됩니다. 우리는 권한 부여를 위한 기술을 설계하고 개인 정보 보호를 존중하고 웰빙을 촉진하며 사용자의 더 높은 요구와 가치에 부합하는 기술을 만들어야 합니다.