성장通

ALS: Alternating Least Square ALS는 Matrix Factorization 방법 중 하나로, 대규모 데이터셋을 처리할 때 모든 변수를 동시에 최적화하는 대신 한 번에 하나의 변수 세트를 고정하고 다른 변수 세트를 최적화하는 것이다. ALS는 특정 변수 세트를 고정하고 다른 세트를 최적화할 때, 이 최적화 과정을 여러 데이터 분할에 걸쳐 동시에 수행 가능 → 대규모 데이터셋에 대해 효율적인 병렬 처리 가능하다. 이와 같은 능력 덕에, 스케일 아웃이 비교적 용이하다. 또한 ALS는 Convex 목적함수 관점에서의 장점도 가진다. ALS에서 고정된 변수에 대해 다른 변수를 최적화할 때, 각 단계에서의 최적화 문제가 Convex 최적화 문제가 되어 Global minima에 도달할 수 ..

서비스를 고려한 추천시스템 성능 평가 방법론 일반적인 머신러닝과 마찬가지로, 추천시스템 또한 실제 서비스에 배포하기 전에 성능을 평가함으로써 모델의 안정성을 확인할 수 있다. 그러나 추천시스템의 경우 평가 방식이 일반적인 모델과 다소 다른 평가 방법을 가지기도 하며, 실제 서비스에 적용할 때 고려해야 될 사항이 좀 더 많은 편이다. 가장 먼저 '추천'이란 태스크의 특성상 정답이 모호한 경우가 많으며 실제 서비스에 적용할 경우 트렌드의 변화에 따른 인기 상품의 변화와 같은 이유로 모델의 성능과 별개로 사용자 만족도가 급격히 감소하거나 Long-tail 문제, False Positive 문제와 같이 결과의 Skew를 일으킬 수 있는 문제 또한 존재한다. 그렇다면, 추천시스템은 어떻게 평가해야 하고, 또 어떻..

추천시스템의 한계 빅데이터 시대의 흐름에 따라 선택지는 점차 많아지고 있고, 이러한 상황 속에 더욱 빠르게 최적의 선택을 할 수 있도록 도와주는 추천시스템은 굉장히 각광 받고 있고 많이 연구되고 있는 분야임에는 틀림이 없다. 하지만 추천시스템은 당연히 만능이 아니고, 수행하고자 하는 서비스의 목적성에 따라 치열한 고민이 수반되어야 하는 경우가 많다. 기본적으로 최적의 추천을 위해서 어떤 데이터를 어떻게, 얼마나 수집해야 하는지에 대한 설계가 필요하며, 수집된 데이터를 어떻게 사용해서 언제 추천할 것인지 또한 중요하다. 적절한 추천시스템의 구축을 위해 고민해야 하는 대표적인 내용들은 다음과 같다. Scalability 추천시스템을 학습하고 구축할 때 사용한 데이터와 실제 서비스를 통해 얻어지는 데이터는 상..

추천시스템의 만족도: Beyond Accuracy 추천시스템은 Prediction뿐만 아니라 Discovery의 기능 또한 중요하다. 예를 들어, '트랜스포머'를 재밌게 본 사람에게 '트랜스포머2'를 추천해주는 것은 Prediction이라고 할 수 있고 '리얼스틸'이나 '퍼시픽림'을 추천해주는 것은 Discovery이다. 즉, 유저 자신도 모르는 취향을 발굴하는 것이 Discovery인데 이는 단순히 navigation step을 줄여주는 것을 넘어서 exploration을 높여주어 사용자의 만족도를 높여준다. 이처럼 최근에는 '정확도'를 넘어서 유저에게 최적의 사용 경험을 제공하기 위한 노력이 계속 되고 있다. 이외에도, '..

"왜 그렇게 힘들게 돌을 두드리시나요?" "꼬마야, 이 바위 안에는 천사가 들어있단다. 나는 지금 잠자는 천사를 깨워 자유롭게 해주는 중이야." '다비드상'을 조각 중인 미켈란젤로와 한 소년의 대화 콘텐츠 기반 필터링 콘텐츠 기반 필터링 방식은, 사용자가 특정한 아이템을 매우 선호하는 경우, 그 아이템과 비슷한 콘텐츠를 가진 다른 아이템을 추천하는 방식이다. 예를 들어 한 사용자가 특정 영화에 높은 평점을 줬다면, 그 영화의 장르, 출연진, 감독, 키워드 등 공통점을 갖는 유사한 다른 영화를 추천해주는 방식이다. 이는 보통 태그 형식으로 레이블 된 데이터에 대하여 적용된다. [자세히] 최근접 이웃 협업 필터링 신작 영화가 나왔을 때를 생각해보자. 영화를 보게 된다면 만원이 넘는 영화 관람료는 물론이고, ..

"절대 거절 못할 제안을 하지" 영화 '대부'에서 추천 시스템의 개요 21세기는 '추천 시스템 전성시대'라고 봐도 무방하다. 아마존, 쿠팡 등 전자상거래 업체부터, 유튜브, 애플 뮤직 등 콘텐츠 포털까지, 대부분의 온라인 스토어는 사용자의 취향을 이해하고 최적의 상품과 콘텐츠를 추천하는 추천 시스템을 적극적으로 활용하고 있다. 범람하는 데이터의 홍수 속에, 사람들은 점점 더 선택에 어려움을 느끼고, 이는 사용자 경험에 악영향을 끼친다. 한정된 시간이라는 제약 조건 속에 너무 많은 선택지가 부여되는 것은 사용자로 하여금 압박감을 느끼게 하는데, 이러한 문제를 해결해주는 것이 바로 추천 시스템인 것이다. 추천 시스템을 채택하는 주체는 추천을 위한 대량의 데이터를 가진다. 예를 들어 온라인 스토어는 많은 양의..