working_helen

text 감정 추출 모델 훈련 과정에서 진행한 텍스트 전처리와 구글 번역 API에 대해 공부해본다. 1. 텍스트 전처리 2. 토큰화 3. 정제 4. 정규화 5. Goolgetrans 번역 API 1. 텍스트 전처리 (Text preprocessing) - 자연어 처리 문제에서 분석 목적에 맞게 텍스트 데이터를 사전에 전처리하는 작업 - 토큰화(tokenization) & 정제(cleaning) & 정규화(normalization) 3가지 과정으로 이루어진다. - NLTK (Natural Language Toolkik) : 영어 텍스트 전처리를 위한 Python의 자연어 처리 패키지 2. 토큰화 1) 토큰화(tokenization) - 주어진 코퍼스(corpus, 말뭉치)를 어떠한 작은 단위 토큰(toke..

앞서 학습한 k-means 군집화 알고리즘을 적용하여 Spotify 노래 데이터 clustering하는 과정에 대해 정리해본다. 본 프로젝트에서는 audio feature를 이용해 노래의 mood cluster를 구하는 과정을 진행했다. 참고한 이전 분석 자료 International Journal of Music Science, Technology and Art IJMSTA - Vol. 5 - Issue 1 - Janury 2023 ISSN 2612-2146 Pages: 13 Spotify Song Analysis by Statistical Machine Learning Authors: Federica Biazzo, Matteo Farné Categories: Journal Abstract - This..

Audio feature 군집화 과정에서 사용한 K-means 분류 모델에 대해 공부해본다. 1. K-means 1) K-means clustering 2) 분류 과정 3) 군집 개수 k 정하기 4) 초기 중심점 정하기 5) 분류 vs 군집화 6) 장점/단점 2. 성능 확인 1) 내부 평가 vs 외부 평가 2) silhouette score 3. 파이썬 코드 1. K-means 1) K-means clustering (위키백과) k-평균 알고리즘(K-means clustering algorithm)은 주어진 데이터를 k개의 클러스터로 묶는 알고리즘으로, 각 클러스터와 거리 차이의 분산을 최소화하는 방식으로 동작한다. 입력 데이터를 n보다 작거나 같은 k개의 그룹으로 나누는데, 이 때 각 그룹은 클러스터를..

데이터 수집 단계에서 접한 다양한 도서 데이터와 Kakao Developers에 대해 공부해본다. 1. 국립중앙도서관 데이터 2. Kakao Developers 1. 국립중앙도서관 데이터 1) 국가서지 LOD - 국립중앙도서관에서 제공하는 공공 데이터 개방 서비스 중 하나 - 서지 및 주제명, 저자명과 전국의 도서관 정보 등 데이터를 JSON , RDF/XML , Turtle , N3 , nTriples 5가지 형식으로 제공한다. 국립중앙도서관 LINKED OPEN DATA 01 서비스 소개 국립중앙도서관은 국가대표도서관으로 저작물을 수집하여 영구보존합니다. 이 과정에서 정보자원의 관리와 보존, 서비스를 위해 MARC 형태의 목록 정보와 저자 전거, 주제 전거를 lod.nl.go.kr 2) 사서지원서비스..

논문명 : Neural Collaborative Filtering 저자명 : Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, Xia Hu, Tat-Seng Chua 논문 링크 : https://arxiv.org/abs/1708.05031 본 논문에서는 recommandation problem에서 딥러닝 기반 모델의 활용 가능성을 보이고자 한다. 특히 현재 collaborative filtering에서 널리 사용되고 있는 Matrix Factorization 모델은 user-item 상호작용을 linear하게만 표현하기 때문에 implicit feedback에서의 상호작용을 잘 설명할 수 없음을 주장하며, 이에 대한 대안으로 deep neural networks..

논문명 : Matrix Factorization Techniques for Recommender Systems 저자명 : Yehuda Koren, Robert Bell and Chris Volinsky 파일 링크 : https://datajobs.com/data-science-repo/Recommender-Systems-[Netflix].pdf 본 논문에서는 Matrix Factorization(MF) 모델이 CF 방식에서 성능이 뛰어난 모델임을 보인다. MF의 원리와 기초적인 수식을 제시한 후 MF의 정확도를 높이기 위해 평점 이외에 다양한 정보를 MF 수식에 적용할 수 있는 방법에 대해 소개한다. ✏️ 논문 내용 요약 1. Collaborative filtering에서 MF은 높은 성능을 보이고 있다..

논문 리뷰를 바탕으로 Factorization model을 구현해보는 과정에서 학습한 loss function에 대해 정리해본다. 1. Loss function 1) loss fuction 손실 함수 2) 모델의 학습 3) loss function 종류 2. 회귀모델 loss function 1) 평균제곱오차 MSE 2) 평균제곱근오차 RMSE 3) 평균절대오차 MAE 3. 분류모델 loss function 1) 분류 문제의 종류 2) Activation Function 3) entropy 4) Cross entropy 5) Binary Cross entropy 6) Categorical Cross entropy 7) Sparse categorical cross entropy 1. Loss functio..

논문 리뷰 과정에서 접한 경사하강법에 대해 학습해본다. 1. 경사하강법 1) loss function 2) 경사하강법 3) 수식 표현 4) 경사하강법의 문제점 2. Epoch, Iteration, Batch 3. 배치 경사하강법 4. 확률적 경사 하강법 5. 미니배치 확률 경사 하강법 1. 경사하강법 1) loss function - loss function 손실 함수 : 모델의 파라미터 θ에 따른 예측값과 실제값 사이의 차이인 loss를 계산하는 함수 - loss function 값이 낮아질수록 예측값과 실제값 사이의 차이가 적으므로 더 좋은 모델 파라미터라고 할 수 있다. 즉 loss function 값을 최소화함으로써 최적의 모델 파라미터를 얻을 수 있다. 2) 경사하강법 Gradient Desce..

논문명 : Factorization Machines 저자명 : Steffen Rendle 팀명 : 시고르자브종 파일 본 논문에서는 Factorization Machines(FM) 모델에 대해 설명한 후, SVM(Support Vector Machines)과의 비교와 다른 factorization model로의 확대 가능성을 보임으로써 FM 모델의 장점을 보여주고자 한다. ✏️ 논문 내용 요약 1. FM은 SVM와 factorization model의 장점을 결합한 새로운 모델이다. 2. FM은 아래와 같은 장점이 있다. - sparse data에도 적용가능하다. - linear 방정식을 가지며, linear time 내에 연산이 가능하다. - general predictor이다. 3. FM은 sparse..

논문 리뷰 과정에서 접한 SVM 모델에 대해 학습해본다. 1. SVM Support Vector Machine 1) 개념 2) 결정 경계 3) margin 4) SVM의 종류 2. Linear hard margin SVM 1) 라그랑주 승수법 2) Primal form과 Dual form 3. Linear soft margin SVM 1) slack varibles와 C 2) Dual form 4. Kernel SVM (Non-Linear SVM) 1. SVM Support Vector Machine 1) 개념 : 패턴 인식, 분류, 그리고 회귀 분석 등에 사용되는 머신러닝 알고리즘 주어진 데이터에서 class를 나누는 기준선을 정의하고, 분류되지 않은 새로운 데이터가 어떤 class에 속할지 판단 📌 ..