목록2023/09 (4)
working_helen
text 감정 추출 모델 훈련 과정에서 진행한 텍스트 전처리와 구글 번역 API에 대해 공부해본다. 1. 텍스트 전처리 2. 토큰화 3. 정제 4. 정규화 5. Goolgetrans 번역 API 1. 텍스트 전처리 (Text preprocessing) - 자연어 처리 문제에서 분석 목적에 맞게 텍스트 데이터를 사전에 전처리하는 작업 - 토큰화(tokenization) & 정제(cleaning) & 정규화(normalization) 3가지 과정으로 이루어진다. - NLTK (Natural Language Toolkik) : 영어 텍스트 전처리를 위한 Python의 자연어 처리 패키지 2. 토큰화 1) 토큰화(tokenization) - 주어진 코퍼스(corpus, 말뭉치)를 어떠한 작은 단위 토큰(toke..
앞서 학습한 k-means 군집화 알고리즘을 적용하여 Spotify 노래 데이터 clustering하는 과정에 대해 정리해본다. 본 프로젝트에서는 audio feature를 이용해 노래의 mood cluster를 구하는 과정을 진행했다. 참고한 이전 분석 자료 International Journal of Music Science, Technology and Art IJMSTA - Vol. 5 - Issue 1 - Janury 2023 ISSN 2612-2146 Pages: 13 Spotify Song Analysis by Statistical Machine Learning Authors: Federica Biazzo, Matteo Farné Categories: Journal Abstract - This..
Audio feature 군집화 과정에서 사용한 K-means 분류 모델에 대해 공부해본다. 1. K-means 1) K-means clustering 2) 분류 과정 3) 군집 개수 k 정하기 4) 초기 중심점 정하기 5) 분류 vs 군집화 6) 장점/단점 2. 성능 확인 1) 내부 평가 vs 외부 평가 2) silhouette score 3. 파이썬 코드 1. K-means 1) K-means clustering (위키백과) k-평균 알고리즘(K-means clustering algorithm)은 주어진 데이터를 k개의 클러스터로 묶는 알고리즘으로, 각 클러스터와 거리 차이의 분산을 최소화하는 방식으로 동작한다. 입력 데이터를 n보다 작거나 같은 k개의 그룹으로 나누는데, 이 때 각 그룹은 클러스터를..
데이터 수집 단계에서 접한 다양한 도서 데이터와 Kakao Developers에 대해 공부해본다. 1. 국립중앙도서관 데이터 2. Kakao Developers 1. 국립중앙도서관 데이터 1) 국가서지 LOD - 국립중앙도서관에서 제공하는 공공 데이터 개방 서비스 중 하나 - 서지 및 주제명, 저자명과 전국의 도서관 정보 등 데이터를 JSON , RDF/XML , Turtle , N3 , nTriples 5가지 형식으로 제공한다. 국립중앙도서관 LINKED OPEN DATA 01 서비스 소개 국립중앙도서관은 국가대표도서관으로 저작물을 수집하여 영구보존합니다. 이 과정에서 정보자원의 관리와 보존, 서비스를 위해 MARC 형태의 목록 정보와 저자 전거, 주제 전거를 lod.nl.go.kr 2) 사서지원서비스..