working_helen
[데이터 수집] 데이터 수집 Workflow 본문
1. 타겟 데이터
2. 데이터 수집 과정
1. 타겟 데이터
- 교보문고 4가지 분야 베스트셀러 도서 각 1000권씩 > 4000권 데이터
- 소설, 자기계발, 경제/경영, 인문 분야
- 교보문고 '키워드 픽' + '책 소개' 텍스트 크롤링
- '키워드 픽'은 그대로 사용
- '책 소개' 텍스트에서 핵심어 추출 진행
2. 데이터 수집 과정
도구 : Selenium을 이용한 크롤링
step 1. 베스트셀러 1000권 도서 링크 받아오기
- 분야별 베스트셀러 페이지 접속
- 한 페이지당 20권씩 보여주며, 1~50장까지 존재 (1000권)
- find_element를 이용해 20권 도서 page_links 원소 추출
- get_attribute('href')를 이용해 각 도서의 page url을 추출한 후, book_page_urls 리스트에 저장
- find_element 와 send_keys(Keys.ENTER)를 이용해 다음 페이지로 이동
(Selenium 이전 포스트 참고 2023.07.04 - [TAVE 프로젝트] - [데이터 수집] selenium 웹데이터 크롤링)
step 2. 각 도서 링크에서 정보 크롤링
- step 1에서 얻은 book_page_urls 리스트를 따라 각 도서 url에 접속
- find_element로 '제목' 요소를 찾고, title.text로 제목을 추출해 book_titles 리스트에 저장
- find_element로 '키워드 픽' 요소를 찾고, keyword.text로 각 키워드를 추출해 book_keyPicks 리스트에 저장
- find_element로 '책 소개' 요소를 찾고, story.text로 책 소개 텍스트를 추출해 book_stories에 저장
- 세 리스트를 통합한 Dataframe book_df을 만들고 csv로 저장
step 3. 데이터 전처리
- '키워드픽'과 '책소개' 결측치가 있는 도서 제거
- '키워드'로 각 도서 분야 이름도 포함시켜 분야 정보가 들어가도록 만듬
Jupyter Notebook
교보문고 웹 크롤링 코드
In [1]:
from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.service import Service
import urllib.request as req
from selenium.webdriver.support.select import Select
import pandas as pd
import numpy as np
import time
import warnings
warnings.filterwarnings('ignore')
자기계발 분야
In [6]:
book_cate = {'소설':'01','시/에세이':'03','인문':'05','경제/경영':'13','자기계발':'15'}
# 01 : 소설 , 03 : 시/에세이 , 05 : 인문 , 13 : 경제/경영 , 15 : 자기계발
url = 'https://product.kyobobook.co.kr/category/KOR/'+book_cate['자기계발']+'#?page=1&type=best&per=20'
driver = webdriver.Chrome()
driver.get(url)
베스트셀러 1000권 url 받아오기
In [ ]:
book_page_urls = list()
for i in range(1,51):
page_links = driver.find_elements(By.CSS_SELECTOR,'#homeTabBest > div.switch_prod_wrap.view_type_list > ol > li > div.prod_area.horizontal > div.prod_info_box > a')
for page_link in page_links:
link = page_link.get_attribute('href')
book_page_urls.append(link)
if i== 50:
break
next_page = driver.find_element(By.CSS_SELECTOR,'#bestBottomPagi > button.btn_page.next')
next_page.send_keys(Keys.ENTER)
time.sleep(5)
driver.quit()
각 링크에 접속해 도서 제목, 책소개, 키워드픽 크롤링 해오기
In [72]:
book_titles_1 = list()
book_stories_1 = list()
book_keyPicks_1 = list()
In [73]:
driver = webdriver.Chrome()
for url in book_page_urls:
driver.get(url)
time.sleep(4)
title = driver.find_element(By.CSS_SELECTOR,'#contents > div.prod_detail_header > div > div.prod_detail_title_wrap > div > div.prod_title_box.auto_overflow_wrap > div.auto_overflow_contents > div > h1 > span')
book_titles_1.append(title.text)
keywordPick = list()
try:
# 키워드 Pick 수집
keywordPicks = driver.find_elements(By.CSS_SELECTOR,'div.tab_list_wrap > ul >li> a > span.tab_text')
for keyword in keywordPicks:
keywordPick.append(keyword.text)
book_keyPicks_1.append(keywordPick)
except:
book_keyPicks_1.append(None)
try:
# 책 소개 수집
story = driver.find_element(By.CSS_SELECTOR,'div.intro_bottom')
book_stories_1.append(story.text)
except:
book_stories_1.append(None)
driver.quit()
In [76]:
book_df_1 = pd.DataFrame([book_titles_1, book_stories_1, book_keyPicks_1], index=['상품명','책소개','키워드']).T
book_df_1
Out[76]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 0 | 세이노의 가르침 | ㆍ 머릿글: 초판 한정 블랙 에디션\n\n재야의 명저 《세이노의 가르침》 2023년... | [, , , , , , , , , , 부자, 주식투자, 재테크, 이노, 이코, 신동... |
| 1 | 역행자(확장판) | 한층 더 강력한 치트키, 독해진 팩트 폭격!\n50주 연속 베스트셀러·40만 독자의... | [, , , , , , , , , , 창업, 경제, 수익, 자유의지, 장판, 단계,... |
| 2 | 원씽(The One Thing)(리커버 특별판) | 자신의 인생에서 가장 중요한 ‘원씽’을 찾아라!\n복잡한 세상을 이기는 단순함의 힘... | [, , , , , , , , , , 자기관리, 살아라, 월스트리트 저널, 자기혁신... |
| 3 | 유연함의 힘 | 수십 년 경력의 리더십 전문가가 알려주는 성공의 비밀\n행동을 바꾸고, 소프트 스킬... | [, , , , , , , , , , 내면, 성장, 포드, 기술, 실험, 학습 조직... |
| 4 | 일이란 무엇인가 | ‘평사원’에서 ‘사장’까지\n‘갤럭시 성공 신화’ 고동진 삼성전자 전 사장이\n삼성... | [, , , , , , , , , , 갤럭시, 삼성, 클루, 모바일, 플레인, 사장... |
| ... | ... | ... | ... |
| 995 | 불안이라는 중독 | 우울, 번아웃, 강박증, 알코올 중독…\n이 모든 것은 불안에서 시작된다!\n\n중... | [, , , , , , , , , , 심리, 불안, 심리학, 습관, 뇌과학, 초콜릿... |
| 996 | 엮이면 피곤해지는 사람들 | “요즘 ‘그 사람’ 때문에 진짜 미치겠어!”\n날마다 내 속 뒤집는 그 사람, 대체... | [, , , , , , , , , , 인간관계, 솔루션, 남불, 손절, 유형, 피곤... |
| 997 | 결정 수업 | ‘결정학’의 창시자가 고안하고 수많은 CEO가 검증한\n세계 유일, 4단계 의사결정... | [, , , , , , , , , , 내면, 솔루션, 다비드, 미켈란젤로, 형이상학... |
| 998 | 제갈량의 지혜를 읽어야 할 때 | 아, 아득한 하늘이여! 언제야 끝이 나겠느냐?\n막막한 이 시국에 꼭 읽어야 할 제... | [, , , , , , , , , , 고전, 담판, 사마의, 처세, 지모, 전략, ... |
| 999 | 부자의 사고법 | 부와 성공을 이룬 사람들은 생각하는 방법부터 다르다!\n전 세계 1억 명 이상의 인... | [, , , , , , , , , , 성공학, 안토니우스, 마르쿠스, 암시, 보복,... |
1000 rows × 3 columns
In [75]:
# KeyWord list에서 '' 제거하는 함수 정의
def delete_null(keywordList):
keyword_list = list()
if keywordList == None:
return None
else:
for x in range(len(keywordList)):
if keywordList[x] != '':
keyword_list.append(keywordList[x])
return keyword_list
In [77]:
book_df_1['키워드'] = book_df_1['키워드'].apply(delete_null)
book_df_1
Out[77]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 0 | 세이노의 가르침 | ㆍ 머릿글: 초판 한정 블랙 에디션\n\n재야의 명저 《세이노의 가르침》 2023년... | [부자, 주식투자, 재테크, 이노, 이코, 신동아] |
| 1 | 역행자(확장판) | 한층 더 강력한 치트키, 독해진 팩트 폭격!\n50주 연속 베스트셀러·40만 독자의... | [창업, 경제, 수익, 자유의지, 장판, 단계] |
| 2 | 원씽(The One Thing)(리커버 특별판) | 자신의 인생에서 가장 중요한 ‘원씽’을 찾아라!\n복잡한 세상을 이기는 단순함의 힘... | [자기관리, 살아라, 월스트리트 저널, 자기혁신, 아이폰, 나스] |
| 3 | 유연함의 힘 | 수십 년 경력의 리더십 전문가가 알려주는 성공의 비밀\n행동을 바꾸고, 소프트 스킬... | [내면, 성장, 포드, 기술, 실험, 학습 조직] |
| 4 | 일이란 무엇인가 | ‘평사원’에서 ‘사장’까지\n‘갤럭시 성공 신화’ 고동진 삼성전자 전 사장이\n삼성... | [갤럭시, 삼성, 클루, 모바일, 플레인, 사장] |
| ... | ... | ... | ... |
| 995 | 불안이라는 중독 | 우울, 번아웃, 강박증, 알코올 중독…\n이 모든 것은 불안에서 시작된다!\n\n중... | [심리, 불안, 심리학, 습관, 뇌과학, 초콜릿] |
| 996 | 엮이면 피곤해지는 사람들 | “요즘 ‘그 사람’ 때문에 진짜 미치겠어!”\n날마다 내 속 뒤집는 그 사람, 대체... | [인간관계, 솔루션, 남불, 손절, 유형, 피곤] |
| 997 | 결정 수업 | ‘결정학’의 창시자가 고안하고 수많은 CEO가 검증한\n세계 유일, 4단계 의사결정... | [내면, 솔루션, 다비드, 미켈란젤로, 형이상학, 방어기제] |
| 998 | 제갈량의 지혜를 읽어야 할 때 | 아, 아득한 하늘이여! 언제야 끝이 나겠느냐?\n막막한 이 시국에 꼭 읽어야 할 제... | [고전, 담판, 사마의, 처세, 지모, 전략] |
| 999 | 부자의 사고법 | 부와 성공을 이룬 사람들은 생각하는 방법부터 다르다!\n전 세계 1억 명 이상의 인... | [성공학, 안토니우스, 마르쿠스, 암시, 보복, 진리] |
1000 rows × 3 columns
csv 파일로 생성
In [79]:
file_name ='자기계발_키워드 Pick.xlsx'
book_df_1.to_excel(file_name)
In [ ]:
'책소개' 혹은 '키워드픽'에서 정보가 없는 경우
- 7권 '책소개' 없음
- 77권 '키워드픽' 없음
In [120]:
book_df_1[book_df_1['책소개'].isnull()]
Out[120]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 125 | 일 잘하는 사람 일 못하는 사람 | None | [창업, 배기가스, 기전, 측정기, 의학박사, 제작소] |
| 301 | 백만불짜리 습관 | None | [자기관리, 성공, 부자, 코칭, 성공학, 파레토] |
| 375 | 성공의 문을 여는 마스터키 | None | [게이츠, 버핏, 워렌, 카네기, 세인트루이스, 밸리] |
| 427 | 30년만의 휴식 | None | [내면, 자기관리, 하나님, 프랭클, 자기혁신, 빅터] |
| 813 | 머피의 100가지 성공 법칙 | None | [일본, 잠재의식, 오사마, 축복, 알코올 중독, 공포감] |
| 815 | 경청 | None | [이토, 직장처세술, 미뉴에트, 내면, 치악산, 구조 조정] |
| 818 | 섀클턴의 위대한 항해 | None | [남극, 어니스트, 엘리, 아문센, 퀘스트, 디스커버리] |
In [121]:
book_df_1[book_df_1['키워드'].apply(lambda x: len(x)==0)]
Out[121]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 75 | 마음 가는 대로 해라 | 전 세계 60개 국가에서 수백만 부 이상 팔린 밀리언셀러!\n‘행복을 그리는 철학자... | [] |
| 93 | 밥 프록터 부의 확신 | “기억하라! 당신은 부자로 태어났다!” 전설적인 자기계발의 구루 ‘밥 프록터’!\n... | [] |
| 96 | 옵티멀 라이프 | “최적의 삶은 어떻게 만들어지는가?”\n무의식을 따르면 저절로 행복해진다!\n\n‘... | [] |
| 98 | 조셉 머피 부의 초월자 | “책이 찢어질 정도로 매일 읽고 또 읽었다!”\n\n60년간 읽혀 온 1% 부자들의... | [] |
| 105 | 의식전환 | 여성 커리어들이 재능을 살려 비전 세워 일과 가정생활 양립할 수 있는 노하우 제공\... | [] |
| ... | ... | ... | ... |
| 920 | '한 번 더'의 힘 | “인생을 바꿀 만한 목표와 열정과 의지가 있는가?\n모두가 멈춰서는 곳에서 딱 한 ... | [] |
| 921 | 부자들의 인간관계 | 지금 당신 곁에 있는 사람은\n가까이 할 사람인가? 피해야 할 사람인가?\n\n더 ... | [] |
| 937 | 한경커리어 아무도 가르쳐주지 않는 직장 생활 센스와 매너 | 직장 생활을 하면서 궁금한 점,\n누가 알려주나요?\n여름에 반바지 입어도 되는지 ... | [] |
| 939 | 그 게임, 내가 만들었어요 | 덕업일치 라이프의 워너비,\n게임 기획자의 세계를 전격 해부한다\n한국콘텐츠진흥원에... | [] |
| 949 | 비즈니스 매너 바이블 | “매너가 프로를 만든다!” 비즈니스 매너의 A to Z\n사회생활에서 가장 중요하지... | [] |
77 rows × 3 columns
In [ ]:
경제/경영 분야
In [36]:
book_cate = {'소설':'01','시/에세이':'03','인문':'05','경제/경영':'13','자기계발':'15'}
# 01 : 소설 , 03 : 시/에세이 , 05 : 인문 , 13 : 경제/경영 , 15 : 자기계발
url = 'https://product.kyobobook.co.kr/category/KOR/'+book_cate['경제/경영']+'#?page=1&type=best&per=20'
driver = webdriver.Chrome()
driver.get(url)
In [37]:
book_page_urls_2 = list()
for i in range(1,51):
page_links = driver.find_elements(By.CSS_SELECTOR,'#homeTabBest > div.switch_prod_wrap.view_type_list > ol > li > div.prod_area.horizontal > div.prod_info_box > a')
for page_link in page_links:
link = page_link.get_attribute('href')
book_page_urls_2.append(link)
if i== 50:
break
next_page = driver.find_element(By.CSS_SELECTOR,'#bestBottomPagi > button.btn_page.next')
next_page.send_keys(Keys.ENTER)
time.sleep(5)
driver.quit()
In [92]:
book_titles_3 = list()
book_stories_3= list()
book_keyPicks_3 = list()
In [98]:
driver = webdriver.Chrome()
for url in book_page_urls_2:
driver.get(url)
time.sleep(3)
title = driver.find_element(By.CSS_SELECTOR,'#contents > div.prod_detail_header > div > div.prod_detail_title_wrap > div > div.prod_title_box.auto_overflow_wrap > div.auto_overflow_contents > div > h1 > span')
book_titles_3.append(title.text)
keywordPick = list()
try:
# 키워드 Pick 수집
keywordPicks = driver.find_elements(By.CSS_SELECTOR,'div.tab_list_wrap > ul >li> a > span.tab_text')
for keyword in keywordPicks:
keywordPick.append(keyword.text)
book_keyPicks_3.append(keywordPick)
except:
book_keyPicks_3.append(None)
try:
# 책 소개 수집
story = driver.find_element(By.CSS_SELECTOR,'div.intro_bottom')
book_stories_3.append(story.text)
except:
book_stories_3.append(None)
driver.quit()
In [108]:
book_df_3 = pd.DataFrame([book_titles_3, book_stories_3, book_keyPicks_3], index=['상품명','책소개','키워드']).T
book_df_3
Out[108]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 0 | 위기의 역사 | None | [, , , , , , , , , , 금리, 모기지, 흥국, 저금리, 글로벌 금융 ... |
| 1 | 위기의 역사 | 40만 독자가 선택한 오건영의 글로벌 경제사 특강\n누적 조회 수 550만 회 달성... | [, , , , , , , , , , 금리, 모기지, 흥국, 저금리, 글로벌 금융 ... |
| 2 | 대한민국 돈의 역사 | 남북 분단에서 코로나까지 대한민국 돈의 역사 총망라\n국내 최고의 이코노미스트 홍춘... | [, , , , , , , , , , , , , , ] |
| 3 | 돈의 속성(300쇄 리커버에디션) | 2020ㆍ2021ㆍ2022ㆍ2023 4년 연속 최장기 베스트셀러\n80만 깨어있는 ... | [, , , , , , , , , , 부자되는법, 종잣돈, 회장, 투자 원칙, 경제... |
| 4 | 부자의 그릇 | 수많은 젊은 부자가 꼽은 최고의 ‘부자학 입문서’ 『부자의 그릇』 양장 개정판\n“... | [, , , , , , , , , , 부자되는법, 신용, 소설 형식, 배트, 경제이... |
| ... | ... | ... | ... |
| 996 | 리더의 질문법 | “최고의 리더십은 지시가 아닌 겸손한 질문에서 나온다”\n\n조직심리학의 대가, M... | [, , , , , , , , , , 겸손, 상대방, 질문, 지시, 조직문화, 단언... |
| 997 | IFRS 회계원리 | 회계원리는 모든 회계의 기초입니다. 본서는 회계에 관한 기본개념들을 설명합니다. 본... | [, , , , , , , , , , 중급, 지급 채무, 충당 부채, 복식부기, 금... |
| 998 | 에스테틱 경영론 | * 한국적인 고품격 에스테틱의 브랜딩!\n* 에스테틱 업계의 상향 평준화를 선도할 ... | [, , , , , , , , , , 창업, 피스트, 업계, 고품격, 블랑, 직영,... |
| 999 | 강남 되는 강북 부동산은 정해져 있다 | 돈 되는 서울시 도시개발계획 완전 분석!\n‘서울시생활권계획’을 해설하는 유일한 책... | [, , , , , , , , , , 수익, 투자처, 서울시, 실전 투자, 투자 전... |
| 1000 | 무패 장사 | 현장에서 배우고, 익히고, 자란\n무패(無敗) 사장의 생생한 장사 현장 백서\n끝나... | [, , , , , , , , , , 매출, 장사, 고객, 손님, 출구, 경제경영,... |
1001 rows × 3 columns
In [110]:
book_df_3['키워드'] = book_df_3['키워드'].apply(delete_null)
book_df_3
Out[110]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 0 | 위기의 역사 | None | [금리, 모기지, 흥국, 저금리, 글로벌 금융 위기, 실리콘밸리] |
| 1 | 위기의 역사 | 40만 독자가 선택한 오건영의 글로벌 경제사 특강\n누적 조회 수 550만 회 달성... | [금리, 모기지, 흥국, 저금리, 글로벌 금융 위기, 실리콘밸리] |
| 2 | 대한민국 돈의 역사 | 남북 분단에서 코로나까지 대한민국 돈의 역사 총망라\n국내 최고의 이코노미스트 홍춘... | [] |
| 3 | 돈의 속성(300쇄 리커버에디션) | 2020ㆍ2021ㆍ2022ㆍ2023 4년 연속 최장기 베스트셀러\n80만 깨어있는 ... | [부자되는법, 종잣돈, 회장, 투자 원칙, 경제철학, 주식 시장] |
| 4 | 부자의 그릇 | 수많은 젊은 부자가 꼽은 최고의 ‘부자학 입문서’ 『부자의 그릇』 양장 개정판\n“... | [부자되는법, 신용, 소설 형식, 배트, 경제이야기, 사업 아이템] |
| ... | ... | ... | ... |
| 996 | 리더의 질문법 | “최고의 리더십은 지시가 아닌 겸손한 질문에서 나온다”\n\n조직심리학의 대가, M... | [겸손, 상대방, 질문, 지시, 조직문화, 단언] |
| 997 | IFRS 회계원리 | 회계원리는 모든 회계의 기초입니다. 본서는 회계에 관한 기본개념들을 설명합니다. 본... | [중급, 지급 채무, 충당 부채, 복식부기, 금융 상품, 무형 자산] |
| 998 | 에스테틱 경영론 | * 한국적인 고품격 에스테틱의 브랜딩!\n* 에스테틱 업계의 상향 평준화를 선도할 ... | [창업, 피스트, 업계, 고품격, 블랑, 직영] |
| 999 | 강남 되는 강북 부동산은 정해져 있다 | 돈 되는 서울시 도시개발계획 완전 분석!\n‘서울시생활권계획’을 해설하는 유일한 책... | [수익, 투자처, 서울시, 실전 투자, 투자 전략, 입지론] |
| 1000 | 무패 장사 | 현장에서 배우고, 익히고, 자란\n무패(無敗) 사장의 생생한 장사 현장 백서\n끝나... | [매출, 장사, 고객, 손님, 출구, 경제경영] |
1001 rows × 3 columns
In [114]:
file_name = '경제경영_키워드 Pick.xlsx'
book_df_3.to_excel(file_name)
In [ ]:
'책소개' 혹은 '키워드픽'에서 정보가 없는 경우
- 4권 '책소개' 없음
- 60권 '키워드픽' 없음
In [125]:
book_df_3[book_df_3['책소개'].isnull()]
Out[125]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 250 | 가치투자가 쉬워지는 V차트 | None | [주식 시장, 거래량, 재테크, 기업 가치, 우량 기업, 개인 투자자] |
| 299 | 김밥파는 CEO | None | [방정식, 비관주의, 담보물, 무일푼, 관리사, 정면 돌파] |
| 439 | 시련은 있어도 실패는 없다 | None | [청지기, 국내기업가, 기업 경영자, 낙찰, 건설업, 기자재] |
| 552 | 보수적인 투자자는 마음이 편하다 | None | [주식투자, 투자 철학, 투자가이드, 투자 원칙, 자산관리, 투자 이론] |
In [126]:
book_df_3[book_df_3['키워드'].apply(lambda x: len(x)==0)].head()
Out[126]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 2 | 대한민국 돈의 역사 | 남북 분단에서 코로나까지 대한민국 돈의 역사 총망라\n국내 최고의 이코노미스트 홍춘... | [] |
| 19 | 찰리 멍거 바이블 | 멍거가 설계하면 버핏이 실행한다!\n“베일에 가려진 멍거의 사고 체계를 파악하는 최... | [] |
| 25 | 스틱!(15주년 기념판) | “다른 수식은 필요 없다. 레전드라는 말밖엔!”\n불멸의 메시지를 창조하는 방법에 ... | [] |
| 30 | 경제금융용어 700선 | ▶ 이 책은 경제금융용어 700선에 대해 다룬 도서입니다. 경제금융용어에 대한 기초... | [] |
| 48 | 나의 월급 독립 프로젝트(리마스터 에디션) | “이 땅의 월급 노예들에게 단타를 권한다!”\n초보 개미들이 열광한 새로운 관점의 ... | [] |
In [127]:
len(book_df_3[book_df_3['키워드'].apply(lambda x: len(x)==0)])
Out[127]:
60In [ ]:
In [ ]:
데이터 전처리¶
- '책소개'와 '키워드픽'에서 결측치 다 제거하기
- 분야 이름을 키워드로 추가하기
In [12]:
경제경영_ori = pd.read_excel('경제경영_키워드 Pick.xlsx')
경제경영_ori = 경제경영_ori.iloc[:, 1:]
경제경영_ori
Out[12]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 0 | 위기의 역사 | 40만 독자가 선택한 오건영의 글로벌 경제사 특강\n누적 조회 수 550만 회 달성... | ['금리', '모기지', '흥국', '저금리', '글로벌 금융 위기', '실리콘밸리'] |
| 1 | 대한민국 돈의 역사 | 남북 분단에서 코로나까지 대한민국 돈의 역사 총망라\n국내 최고의 이코노미스트 홍춘... | [] |
| 2 | 돈의 속성(300쇄 리커버에디션) | 2020ㆍ2021ㆍ2022ㆍ2023 4년 연속 최장기 베스트셀러\n80만 깨어있는 ... | ['부자되는법', '종잣돈', '회장', '투자 원칙', '경제철학', '주식 시장'] |
| 3 | 부자의 그릇 | 수많은 젊은 부자가 꼽은 최고의 ‘부자학 입문서’ 『부자의 그릇』 양장 개정판\n“... | ['부자되는법', '신용', '소설 형식', '배트', '경제이야기', '사업 아이템'] |
| 4 | 사장학개론 | 이 책은 과거와 현재,\n미래의 모든 사장을 위한 실무 지침서다\n이 책은 한국과 ... | ['창업', '매출', '직원', '장학', '기업인', '사업'] |
| ... | ... | ... | ... |
| 995 | 리더의 질문법 | “최고의 리더십은 지시가 아닌 겸손한 질문에서 나온다”\n\n조직심리학의 대가, M... | ['겸손', '상대방', '질문', '지시', '조직문화', '단언'] |
| 996 | IFRS 회계원리 | 회계원리는 모든 회계의 기초입니다. 본서는 회계에 관한 기본개념들을 설명합니다. 본... | ['중급', '지급 채무', '충당 부채', '복식부기', '금융 상품', '무형 ... |
| 997 | 에스테틱 경영론 | * 한국적인 고품격 에스테틱의 브랜딩!\n* 에스테틱 업계의 상향 평준화를 선도할 ... | ['창업', '피스트', '업계', '고품격', '블랑', '직영'] |
| 998 | 강남 되는 강북 부동산은 정해져 있다 | 돈 되는 서울시 도시개발계획 완전 분석!\n‘서울시생활권계획’을 해설하는 유일한 책... | ['수익', '투자처', '서울시', '실전 투자', '투자 전략', '입지론'] |
| 999 | 무패 장사 | 현장에서 배우고, 익히고, 자란\n무패(無敗) 사장의 생생한 장사 현장 백서\n끝나... | ['매출', '장사', '고객', '손님', '출구', '경제경영'] |
1000 rows × 3 columns
'책소개' 없는 4권 제거
In [57]:
경제경영 = 경제경영_ori[~경제경영_ori['책소개'].isnull()]
경제경영
Out[57]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 0 | 위기의 역사 | 40만 독자가 선택한 오건영의 글로벌 경제사 특강\n누적 조회 수 550만 회 달성... | ['금리', '모기지', '흥국', '저금리', '글로벌 금융 위기', '실리콘밸리'] |
| 1 | 대한민국 돈의 역사 | 남북 분단에서 코로나까지 대한민국 돈의 역사 총망라\n국내 최고의 이코노미스트 홍춘... | [] |
| 2 | 돈의 속성(300쇄 리커버에디션) | 2020ㆍ2021ㆍ2022ㆍ2023 4년 연속 최장기 베스트셀러\n80만 깨어있는 ... | ['부자되는법', '종잣돈', '회장', '투자 원칙', '경제철학', '주식 시장'] |
| 3 | 부자의 그릇 | 수많은 젊은 부자가 꼽은 최고의 ‘부자학 입문서’ 『부자의 그릇』 양장 개정판\n“... | ['부자되는법', '신용', '소설 형식', '배트', '경제이야기', '사업 아이템'] |
| 4 | 사장학개론 | 이 책은 과거와 현재,\n미래의 모든 사장을 위한 실무 지침서다\n이 책은 한국과 ... | ['창업', '매출', '직원', '장학', '기업인', '사업'] |
| ... | ... | ... | ... |
| 995 | 리더의 질문법 | “최고의 리더십은 지시가 아닌 겸손한 질문에서 나온다”\n\n조직심리학의 대가, M... | ['겸손', '상대방', '질문', '지시', '조직문화', '단언'] |
| 996 | IFRS 회계원리 | 회계원리는 모든 회계의 기초입니다. 본서는 회계에 관한 기본개념들을 설명합니다. 본... | ['중급', '지급 채무', '충당 부채', '복식부기', '금융 상품', '무형 ... |
| 997 | 에스테틱 경영론 | * 한국적인 고품격 에스테틱의 브랜딩!\n* 에스테틱 업계의 상향 평준화를 선도할 ... | ['창업', '피스트', '업계', '고품격', '블랑', '직영'] |
| 998 | 강남 되는 강북 부동산은 정해져 있다 | 돈 되는 서울시 도시개발계획 완전 분석!\n‘서울시생활권계획’을 해설하는 유일한 책... | ['수익', '투자처', '서울시', '실전 투자', '투자 전략', '입지론'] |
| 999 | 무패 장사 | 현장에서 배우고, 익히고, 자란\n무패(無敗) 사장의 생생한 장사 현장 백서\n끝나... | ['매출', '장사', '고객', '손님', '출구', '경제경영'] |
996 rows × 3 columns
'키워드픽' 없는 60권 제거
In [58]:
경제경영 = 경제경영[경제경영['키워드']!='[]']
경제경영
Out[58]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 0 | 위기의 역사 | 40만 독자가 선택한 오건영의 글로벌 경제사 특강\n누적 조회 수 550만 회 달성... | ['금리', '모기지', '흥국', '저금리', '글로벌 금융 위기', '실리콘밸리'] |
| 2 | 돈의 속성(300쇄 리커버에디션) | 2020ㆍ2021ㆍ2022ㆍ2023 4년 연속 최장기 베스트셀러\n80만 깨어있는 ... | ['부자되는법', '종잣돈', '회장', '투자 원칙', '경제철학', '주식 시장'] |
| 3 | 부자의 그릇 | 수많은 젊은 부자가 꼽은 최고의 ‘부자학 입문서’ 『부자의 그릇』 양장 개정판\n“... | ['부자되는법', '신용', '소설 형식', '배트', '경제이야기', '사업 아이템'] |
| 4 | 사장학개론 | 이 책은 과거와 현재,\n미래의 모든 사장을 위한 실무 지침서다\n이 책은 한국과 ... | ['창업', '매출', '직원', '장학', '기업인', '사업'] |
| 5 | EBS 다큐프라임 | 우리가 반드시 알아야 할 자본주의의 진실!\n『자본주의』는 자본주의를 쉽게 풀어낸 ... | ['재테크', '경제학', '중앙은행', '케인스', '경제이론', '국부론'] |
| ... | ... | ... | ... |
| 995 | 리더의 질문법 | “최고의 리더십은 지시가 아닌 겸손한 질문에서 나온다”\n\n조직심리학의 대가, M... | ['겸손', '상대방', '질문', '지시', '조직문화', '단언'] |
| 996 | IFRS 회계원리 | 회계원리는 모든 회계의 기초입니다. 본서는 회계에 관한 기본개념들을 설명합니다. 본... | ['중급', '지급 채무', '충당 부채', '복식부기', '금융 상품', '무형 ... |
| 997 | 에스테틱 경영론 | * 한국적인 고품격 에스테틱의 브랜딩!\n* 에스테틱 업계의 상향 평준화를 선도할 ... | ['창업', '피스트', '업계', '고품격', '블랑', '직영'] |
| 998 | 강남 되는 강북 부동산은 정해져 있다 | 돈 되는 서울시 도시개발계획 완전 분석!\n‘서울시생활권계획’을 해설하는 유일한 책... | ['수익', '투자처', '서울시', '실전 투자', '투자 전략', '입지론'] |
| 999 | 무패 장사 | 현장에서 배우고, 익히고, 자란\n무패(無敗) 사장의 생생한 장사 현장 백서\n끝나... | ['매출', '장사', '고객', '손님', '출구', '경제경영'] |
936 rows × 3 columns
'경제경영' 키워드 추가
- 외부에서 xlsx 불러오면서 '키워드' 열이 list가 아닌 str type으로 불러와지는 문제
- 해결하기 위해 str을 list로 인식하게 만들어주는 과정 진행
In [40]:
import ast
In [66]:
경제경영['키워드'] = 경제경영['키워드'].apply(lambda x: ast.literal_eval(x))
In [67]:
경제경영['키워드'].apply(lambda x: x.append('경제경영'))
Out[67]:
0 None
2 None
3 None
4 None
5 None
...
995 None
996 None
997 None
998 None
999 None
Name: 키워드, Length: 936, dtype: objectIn [68]:
경제경영['키워드']
Out[68]:
0 [금리, 모기지, 흥국, 저금리, 글로벌 금융 위기, 실리콘밸리, 경제경영]
2 [부자되는법, 종잣돈, 회장, 투자 원칙, 경제철학, 주식 시장, 경제경영]
3 [부자되는법, 신용, 소설 형식, 배트, 경제이야기, 사업 아이템, 경제경영]
4 [창업, 매출, 직원, 장학, 기업인, 사업, 경제경영]
5 [재테크, 경제학, 중앙은행, 케인스, 경제이론, 국부론, 경제경영]
...
995 [겸손, 상대방, 질문, 지시, 조직문화, 단언, 경제경영]
996 [중급, 지급 채무, 충당 부채, 복식부기, 금융 상품, 무형 자산, 경제경영]
997 [창업, 피스트, 업계, 고품격, 블랑, 직영, 경제경영]
998 [수익, 투자처, 서울시, 실전 투자, 투자 전략, 입지론, 경제경영]
999 [매출, 장사, 고객, 손님, 출구, 경제경영, 경제경영]
Name: 키워드, Length: 936, dtype: objectIn [71]:
경제경영.to_excel("경제경영_전처리후.xlsx")
In [ ]:
In [72]:
자기계발_ori = pd.read_excel('자기계발_키워드 Pick.xlsx')
자기계발_ori = 자기계발_ori.iloc[:, 1:]
자기계발_ori
Out[72]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 0 | 세이노의 가르침 | ㆍ 머릿글: 초판 한정 블랙 에디션\n\n재야의 명저 《세이노의 가르침》 2023년... | ['부자', '주식투자', '재테크', '이노', '이코', '신동아'] |
| 1 | 역행자(확장판) | 한층 더 강력한 치트키, 독해진 팩트 폭격!\n50주 연속 베스트셀러·40만 독자의... | ['창업', '경제', '수익', '자유의지', '장판', '단계'] |
| 2 | 원씽(The One Thing)(리커버 특별판) | 자신의 인생에서 가장 중요한 ‘원씽’을 찾아라!\n복잡한 세상을 이기는 단순함의 힘... | ['자기관리', '살아라', '월스트리트 저널', '자기혁신', '아이폰', '나스'] |
| 3 | 유연함의 힘 | 수십 년 경력의 리더십 전문가가 알려주는 성공의 비밀\n행동을 바꾸고, 소프트 스킬... | ['내면', '성장', '포드', '기술', '실험', '학습 조직'] |
| 4 | 일이란 무엇인가 | ‘평사원’에서 ‘사장’까지\n‘갤럭시 성공 신화’ 고동진 삼성전자 전 사장이\n삼성... | ['갤럭시', '삼성', '클루', '모바일', '플레인', '사장'] |
| ... | ... | ... | ... |
| 995 | 불안이라는 중독 | 우울, 번아웃, 강박증, 알코올 중독…\n이 모든 것은 불안에서 시작된다!\n\n중... | ['심리', '불안', '심리학', '습관', '뇌과학', '초콜릿'] |
| 996 | 엮이면 피곤해지는 사람들 | “요즘 ‘그 사람’ 때문에 진짜 미치겠어!”\n날마다 내 속 뒤집는 그 사람, 대체... | ['인간관계', '솔루션', '남불', '손절', '유형', '피곤'] |
| 997 | 결정 수업 | ‘결정학’의 창시자가 고안하고 수많은 CEO가 검증한\n세계 유일, 4단계 의사결정... | ['내면', '솔루션', '다비드', '미켈란젤로', '형이상학', '방어기제'] |
| 998 | 제갈량의 지혜를 읽어야 할 때 | 아, 아득한 하늘이여! 언제야 끝이 나겠느냐?\n막막한 이 시국에 꼭 읽어야 할 제... | ['고전', '담판', '사마의', '처세', '지모', '전략'] |
| 999 | 부자의 사고법 | 부와 성공을 이룬 사람들은 생각하는 방법부터 다르다!\n전 세계 1억 명 이상의 인... | ['성공학', '안토니우스', '마르쿠스', '암시', '보복', '진리'] |
1000 rows × 3 columns
'책소개' 없는 7권 제거
In [73]:
자기계발 = 자기계발_ori[~자기계발_ori['책소개'].isnull()]
자기계발
Out[73]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 0 | 세이노의 가르침 | ㆍ 머릿글: 초판 한정 블랙 에디션\n\n재야의 명저 《세이노의 가르침》 2023년... | ['부자', '주식투자', '재테크', '이노', '이코', '신동아'] |
| 1 | 역행자(확장판) | 한층 더 강력한 치트키, 독해진 팩트 폭격!\n50주 연속 베스트셀러·40만 독자의... | ['창업', '경제', '수익', '자유의지', '장판', '단계'] |
| 2 | 원씽(The One Thing)(리커버 특별판) | 자신의 인생에서 가장 중요한 ‘원씽’을 찾아라!\n복잡한 세상을 이기는 단순함의 힘... | ['자기관리', '살아라', '월스트리트 저널', '자기혁신', '아이폰', '나스'] |
| 3 | 유연함의 힘 | 수십 년 경력의 리더십 전문가가 알려주는 성공의 비밀\n행동을 바꾸고, 소프트 스킬... | ['내면', '성장', '포드', '기술', '실험', '학습 조직'] |
| 4 | 일이란 무엇인가 | ‘평사원’에서 ‘사장’까지\n‘갤럭시 성공 신화’ 고동진 삼성전자 전 사장이\n삼성... | ['갤럭시', '삼성', '클루', '모바일', '플레인', '사장'] |
| ... | ... | ... | ... |
| 995 | 불안이라는 중독 | 우울, 번아웃, 강박증, 알코올 중독…\n이 모든 것은 불안에서 시작된다!\n\n중... | ['심리', '불안', '심리학', '습관', '뇌과학', '초콜릿'] |
| 996 | 엮이면 피곤해지는 사람들 | “요즘 ‘그 사람’ 때문에 진짜 미치겠어!”\n날마다 내 속 뒤집는 그 사람, 대체... | ['인간관계', '솔루션', '남불', '손절', '유형', '피곤'] |
| 997 | 결정 수업 | ‘결정학’의 창시자가 고안하고 수많은 CEO가 검증한\n세계 유일, 4단계 의사결정... | ['내면', '솔루션', '다비드', '미켈란젤로', '형이상학', '방어기제'] |
| 998 | 제갈량의 지혜를 읽어야 할 때 | 아, 아득한 하늘이여! 언제야 끝이 나겠느냐?\n막막한 이 시국에 꼭 읽어야 할 제... | ['고전', '담판', '사마의', '처세', '지모', '전략'] |
| 999 | 부자의 사고법 | 부와 성공을 이룬 사람들은 생각하는 방법부터 다르다!\n전 세계 1억 명 이상의 인... | ['성공학', '안토니우스', '마르쿠스', '암시', '보복', '진리'] |
993 rows × 3 columns
'키워드픽' 없는 77권 제거
In [74]:
자기계발 = 자기계발[자기계발['키워드']!='[]']
자기계발
Out[74]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 0 | 세이노의 가르침 | ㆍ 머릿글: 초판 한정 블랙 에디션\n\n재야의 명저 《세이노의 가르침》 2023년... | ['부자', '주식투자', '재테크', '이노', '이코', '신동아'] |
| 1 | 역행자(확장판) | 한층 더 강력한 치트키, 독해진 팩트 폭격!\n50주 연속 베스트셀러·40만 독자의... | ['창업', '경제', '수익', '자유의지', '장판', '단계'] |
| 2 | 원씽(The One Thing)(리커버 특별판) | 자신의 인생에서 가장 중요한 ‘원씽’을 찾아라!\n복잡한 세상을 이기는 단순함의 힘... | ['자기관리', '살아라', '월스트리트 저널', '자기혁신', '아이폰', '나스'] |
| 3 | 유연함의 힘 | 수십 년 경력의 리더십 전문가가 알려주는 성공의 비밀\n행동을 바꾸고, 소프트 스킬... | ['내면', '성장', '포드', '기술', '실험', '학습 조직'] |
| 4 | 일이란 무엇인가 | ‘평사원’에서 ‘사장’까지\n‘갤럭시 성공 신화’ 고동진 삼성전자 전 사장이\n삼성... | ['갤럭시', '삼성', '클루', '모바일', '플레인', '사장'] |
| ... | ... | ... | ... |
| 995 | 불안이라는 중독 | 우울, 번아웃, 강박증, 알코올 중독…\n이 모든 것은 불안에서 시작된다!\n\n중... | ['심리', '불안', '심리학', '습관', '뇌과학', '초콜릿'] |
| 996 | 엮이면 피곤해지는 사람들 | “요즘 ‘그 사람’ 때문에 진짜 미치겠어!”\n날마다 내 속 뒤집는 그 사람, 대체... | ['인간관계', '솔루션', '남불', '손절', '유형', '피곤'] |
| 997 | 결정 수업 | ‘결정학’의 창시자가 고안하고 수많은 CEO가 검증한\n세계 유일, 4단계 의사결정... | ['내면', '솔루션', '다비드', '미켈란젤로', '형이상학', '방어기제'] |
| 998 | 제갈량의 지혜를 읽어야 할 때 | 아, 아득한 하늘이여! 언제야 끝이 나겠느냐?\n막막한 이 시국에 꼭 읽어야 할 제... | ['고전', '담판', '사마의', '처세', '지모', '전략'] |
| 999 | 부자의 사고법 | 부와 성공을 이룬 사람들은 생각하는 방법부터 다르다!\n전 세계 1억 명 이상의 인... | ['성공학', '안토니우스', '마르쿠스', '암시', '보복', '진리'] |
916 rows × 3 columns
In [75]:
자기계발['키워드'] = 자기계발['키워드'].apply(lambda x: ast.literal_eval(x))
자기계발['키워드'].apply(lambda x: x.append('자기계발'))
Out[75]:
0 None
1 None
2 None
3 None
4 None
...
995 None
996 None
997 None
998 None
999 None
Name: 키워드, Length: 916, dtype: objectIn [76]:
자기계발['키워드']
Out[76]:
0 [부자, 주식투자, 재테크, 이노, 이코, 신동아, 자기계발]
1 [창업, 경제, 수익, 자유의지, 장판, 단계, 자기계발]
2 [자기관리, 살아라, 월스트리트 저널, 자기혁신, 아이폰, 나스, 자기계발]
3 [내면, 성장, 포드, 기술, 실험, 학습 조직, 자기계발]
4 [갤럭시, 삼성, 클루, 모바일, 플레인, 사장, 자기계발]
...
995 [심리, 불안, 심리학, 습관, 뇌과학, 초콜릿, 자기계발]
996 [인간관계, 솔루션, 남불, 손절, 유형, 피곤, 자기계발]
997 [내면, 솔루션, 다비드, 미켈란젤로, 형이상학, 방어기제, 자기계발]
998 [고전, 담판, 사마의, 처세, 지모, 전략, 자기계발]
999 [성공학, 안토니우스, 마르쿠스, 암시, 보복, 진리, 자기계발]
Name: 키워드, Length: 916, dtype: objectIn [77]:
자기계발
Out[77]:
| 상품명 | 책소개 | 키워드 | |
|---|---|---|---|
| 0 | 세이노의 가르침 | ㆍ 머릿글: 초판 한정 블랙 에디션\n\n재야의 명저 《세이노의 가르침》 2023년... | [부자, 주식투자, 재테크, 이노, 이코, 신동아, 자기계발] |
| 1 | 역행자(확장판) | 한층 더 강력한 치트키, 독해진 팩트 폭격!\n50주 연속 베스트셀러·40만 독자의... | [창업, 경제, 수익, 자유의지, 장판, 단계, 자기계발] |
| 2 | 원씽(The One Thing)(리커버 특별판) | 자신의 인생에서 가장 중요한 ‘원씽’을 찾아라!\n복잡한 세상을 이기는 단순함의 힘... | [자기관리, 살아라, 월스트리트 저널, 자기혁신, 아이폰, 나스, 자기계발] |
| 3 | 유연함의 힘 | 수십 년 경력의 리더십 전문가가 알려주는 성공의 비밀\n행동을 바꾸고, 소프트 스킬... | [내면, 성장, 포드, 기술, 실험, 학습 조직, 자기계발] |
| 4 | 일이란 무엇인가 | ‘평사원’에서 ‘사장’까지\n‘갤럭시 성공 신화’ 고동진 삼성전자 전 사장이\n삼성... | [갤럭시, 삼성, 클루, 모바일, 플레인, 사장, 자기계발] |
| ... | ... | ... | ... |
| 995 | 불안이라는 중독 | 우울, 번아웃, 강박증, 알코올 중독…\n이 모든 것은 불안에서 시작된다!\n\n중... | [심리, 불안, 심리학, 습관, 뇌과학, 초콜릿, 자기계발] |
| 996 | 엮이면 피곤해지는 사람들 | “요즘 ‘그 사람’ 때문에 진짜 미치겠어!”\n날마다 내 속 뒤집는 그 사람, 대체... | [인간관계, 솔루션, 남불, 손절, 유형, 피곤, 자기계발] |
| 997 | 결정 수업 | ‘결정학’의 창시자가 고안하고 수많은 CEO가 검증한\n세계 유일, 4단계 의사결정... | [내면, 솔루션, 다비드, 미켈란젤로, 형이상학, 방어기제, 자기계발] |
| 998 | 제갈량의 지혜를 읽어야 할 때 | 아, 아득한 하늘이여! 언제야 끝이 나겠느냐?\n막막한 이 시국에 꼭 읽어야 할 제... | [고전, 담판, 사마의, 처세, 지모, 전략, 자기계발] |
| 999 | 부자의 사고법 | 부와 성공을 이룬 사람들은 생각하는 방법부터 다르다!\n전 세계 1억 명 이상의 인... | [성공학, 안토니우스, 마르쿠스, 암시, 보복, 진리, 자기계발] |
916 rows × 3 columns
In [78]:
자기계발.to_excel("자기계발_전처리후.xlsx")
'deep daiv. > 추천시스템 toy project' 카테고리의 다른 글
| [모델링] 인코딩 기반 추천 시스템 (0) | 2023.08.10 |
|---|---|
| [모델링] CountVectorizer/ TfidfVectorizer / 한글 형태소 분석기 KoNLPy (0) | 2023.08.10 |
| [데이터 전처리] EDA (0) | 2023.08.10 |
'deep daiv./추천시스템 toy project' Related Articles
more
