목록전체 글 (85)
working_helen
text 감정 추출 모델 학습 및 적용 과정에 대해 공부해본다. 1. text 감정 추출 SVM 모델 2. SVM 모델 적용 결과 1. text 감정 추출 SVM 모델 목표 : 주어진 text에 대하여 11가지 sentiment 각각에 매칭될 확률를 예측하는 모델 input : 임의의 text (텍스트 전처리를 거친 후) output : 길이 11의 감정 확률 벡터 1) 사용 데이터 tweet_data_agumentation.csv : 기존의 트위터 감정 데이터 tweet_emotions.csv에 대하여 텍스트 데이터 증강(EDA)를 진행한 데이터 2) SVM 모델 학습 ## `content`열의 text들 tf-idf 벡터화 from sklearn.feature_extraction.text import..
text 감정 추출 모델 구현 과정에서 학습한 Data Augmentation에 대해 공부해본다. 1. Data Augmentation 데이터 증강2. 학습 데이터 부족 문제 3. 학습 데이터 불균형 문제4. Back translation5. EDA (Easy Data Augmentation) 논문 1. Data Augmentation 데이터 증강1) Data Augmentation (위키백과) 데이터 증대(data augmentation) 또는 데이터 첨가, 데이터 증강은 주로 기계 학습을 위해 새로운 데이터를 첨가하거나, 수를 늘리는 기법이다. 과대표집(oversampling)과 관련이 있다. 기계 학습 모델을 훈련할 때 과적합을 줄이는 데에 도움이 된다. - 보유하고 있는 데이터를 활용해 추가 합..
text 감정 추출 모델 훈련 과정에서 진행한 텍스트 전처리와 구글 번역 API에 대해 공부해본다. 1. 텍스트 전처리 2. 토큰화 3. 정제 4. 정규화 5. Goolgetrans 번역 API 1. 텍스트 전처리 (Text preprocessing) - 자연어 처리 문제에서 분석 목적에 맞게 텍스트 데이터를 사전에 전처리하는 작업 - 토큰화(tokenization) & 정제(cleaning) & 정규화(normalization) 3가지 과정으로 이루어진다. - NLTK (Natural Language Toolkik) : 영어 텍스트 전처리를 위한 Python의 자연어 처리 패키지 2. 토큰화 1) 토큰화(tokenization) - 주어진 코퍼스(corpus, 말뭉치)를 어떠한 작은 단위 토큰(toke..
앞서 학습한 k-means 군집화 알고리즘을 적용하여 Spotify 노래 데이터 clustering하는 과정에 대해 정리해본다. 본 프로젝트에서는 audio feature를 이용해 노래의 mood cluster를 구하는 과정을 진행했다. 참고한 이전 분석 자료 International Journal of Music Science, Technology and Art IJMSTA - Vol. 5 - Issue 1 - Janury 2023 ISSN 2612-2146 Pages: 13 Spotify Song Analysis by Statistical Machine Learning Authors: Federica Biazzo, Matteo Farné Categories: Journal Abstract - This..
Audio feature 군집화 과정에서 사용한 K-means 분류 모델에 대해 공부해본다. 1. K-means 1) K-means clustering 2) 분류 과정 3) 군집 개수 k 정하기 4) 초기 중심점 정하기 5) 분류 vs 군집화 6) 장점/단점 2. 성능 확인 1) 내부 평가 vs 외부 평가 2) silhouette score 3. 파이썬 코드 1. K-means 1) K-means clustering (위키백과) k-평균 알고리즘(K-means clustering algorithm)은 주어진 데이터를 k개의 클러스터로 묶는 알고리즘으로, 각 클러스터와 거리 차이의 분산을 최소화하는 방식으로 동작한다. 입력 데이터를 n보다 작거나 같은 k개의 그룹으로 나누는데, 이 때 각 그룹은 클러스터를..
데이터 수집 단계에서 접한 다양한 도서 데이터와 Kakao Developers에 대해 공부해본다. 1. 국립중앙도서관 데이터 2. Kakao Developers 1. 국립중앙도서관 데이터 1) 국가서지 LOD - 국립중앙도서관에서 제공하는 공공 데이터 개방 서비스 중 하나 - 서지 및 주제명, 저자명과 전국의 도서관 정보 등 데이터를 JSON , RDF/XML , Turtle , N3 , nTriples 5가지 형식으로 제공한다. 국립중앙도서관 LINKED OPEN DATA 01 서비스 소개 국립중앙도서관은 국가대표도서관으로 저작물을 수집하여 영구보존합니다. 이 과정에서 정보자원의 관리와 보존, 서비스를 위해 MARC 형태의 목록 정보와 저자 전거, 주제 전거를 lod.nl.go.kr 2) 사서지원서비스..
논문명 : Neural Collaborative Filtering 저자명 : Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, Xia Hu, Tat-Seng Chua 논문 링크 : https://arxiv.org/abs/1708.05031 본 논문에서는 recommandation problem에서 딥러닝 기반 모델의 활용 가능성을 보이고자 한다. 특히 현재 collaborative filtering에서 널리 사용되고 있는 Matrix Factorization 모델은 user-item 상호작용을 linear하게만 표현하기 때문에 implicit feedback에서의 상호작용을 잘 설명할 수 없음을 주장하며, 이에 대한 대안으로 deep neural networks..
논문명 : Matrix Factorization Techniques for Recommender Systems 저자명 : Yehuda Koren, Robert Bell and Chris Volinsky 파일 링크 : https://datajobs.com/data-science-repo/Recommender-Systems-[Netflix].pdf 본 논문에서는 Matrix Factorization(MF) 모델이 CF 방식에서 성능이 뛰어난 모델임을 보인다. MF의 원리와 기초적인 수식을 제시한 후 MF의 정확도를 높이기 위해 평점 이외에 다양한 정보를 MF 수식에 적용할 수 있는 방법에 대해 소개한다. ✏️ 논문 내용 요약 1. Collaborative filtering에서 MF은 높은 성능을 보이고 있다..
논문 리뷰를 바탕으로 Factorization model을 구현해보는 과정에서 학습한 loss function에 대해 정리해본다. 1. Loss function 1) loss fuction 손실 함수 2) 모델의 학습 3) loss function 종류 2. 회귀모델 loss function 1) 평균제곱오차 MSE 2) 평균제곱근오차 RMSE 3) 평균절대오차 MAE 3. 분류모델 loss function 1) 분류 문제의 종류 2) Activation Function 3) entropy 4) Cross entropy 5) Binary Cross entropy 6) Categorical Cross entropy 7) Sparse categorical cross entropy 1. Loss functio..
교육 프로그램명 : 혁신융합대학 프로그래머스 PCCP(Python) 대비 교육 교육 일시 : 2023.08.25 10:00~15:00 강사명 : 김태원 강사님 1. DFS 연습 문제 2. 그래프 1. DFS 연습 문제 연습 문제 : 줄다리기 - fight 정보 = 학생 index 쌍 (i, j) list → 2차원 배열 변환, 사이가 좋지 않은 관계 index를 1로 지정 - 마지막으로 넣은 학생 index p[-1]과 i가 fight 관계이면 해당 case는 cutting - 방문한 현재 노드 i를 방문 stack에 넣고, 현재 노드를 포함하는 DFS를 진행한 현재 노드 i를 포함하는 DFS가 끝나면 stack에서 i를 제거 p = []#학생 index를 저장하는 stack count = 0#가능한 순..