SNS 텍스트 분석(konlpy) 및 워드클라우드 - 랜덤표본 > 공지사항

• 목록
• 답변
• 글쓰기
• 게시판 리스트 옵션
  • 수정
  • 삭제

광명강아지분양




init_mathjax = function() {
if (window.MathJax) {
// MathJax loaded
MathJax.Hub.Config({
TeX: {
equationNumbers: {
autoNumber: "AMS",
useLabelIds: true
}
},
tex2jax: {
inlineMath: [ ['$','$'], ["\\(","\\)"] ],
displayMath: [ ['$$','$$'], ["\\[","\\]"] ],
processEscapes: true,
processEnvironments: true
},
displayAlign: 'center',
CommonHTML: {
linebreaks: {
automatic: true
}
},
"HTML-CSS": {
linebreaks: {
automatic: true
}
}
});

MathJax.Hub.Queue(["Typeset", MathJax.Hub]);
}
}
init_mathjax();






sns 텍스트 분석¶





In[3]:



import csv
import pandas as pd
import tweepy
import konlpy
import sys
import numpy as np
from konlpy.tag import Okt
from collections import Counter
from wordcloud import STOPWORDS
from wordcloud import WordCloud
from IPython.display import 광명강아지분양 Image










데이터 불러오기¶





In[99]:



# 데이터 불러오기
#df = pd.read_csv("TC_SN_NAMYANGJU__WEB_DOC_2/TC_SN_NAMYANGJU__WEB_DOC_2_sample.csv",encoding='cp949') #샘플
#df = pd.read_csv("TC_SN_NAMYANGJU__WEB_DOC_2/merge/TC_SN_NAMYANGJU__WEB_DOC_2_1.csv",encoding='utf-8') #1개
df = pd.read_csv("TC_SN_NAMYANGJU__WEB_DOC_2/merge.csv",encoding='utf-8') #전체
df.head(5)











C:\Users\user\anaconda3\lib\site-packages\IPython\core\interactiveshell.py:3441: DtypeWarning: Columns (0) have mixed types.Specify dtype option on import or set low_memory=False.
exec(code_obj, self.user_global_ns, self.user_ns)




Out[99]:






수집인덱스
기준년월
수집채널명
수집URL
제목
내용




0
1
2010-01
NAVER_BLOG

2010년 달라지는 세제주요내용
6;000가구);남양주진건(249만 1;000㎡약 1만 1;000가구) 등 총 ...


1
2
2010-01
NAVER_BLOG

전국 명승지(156곳)
남양주- 운길산 수종사 ☆ 74 . 강진 - 백련사와 동백 ☆ 75 . 영주.단양 ...


2
3
2010-01
NAVER_BLOG

우리나라 산 명승지 및 중국 필리핀 외
백운산남양주:견우.직녀봉0308남양주:견우;직녀봉0406남양주:수종사.사능수목원남양...


3
4
2010-01
NAVER_BLOG

올 부동산시장 월별 이슈
이번에 예약을 받는 물량은 서울 내곡ㆍ세곡2부천 옥길시흥 은계구리 갈매;...


4
5
2010-01
NAVER_BLOG

[2010년 전망] 경인년 새해 달라지는 부동산 제도
6;000가구);남양주진건(249만 1;000㎡약 1만 1;000가구) 등 총 ...












In[100]:



print(df.columns.tolist())











['수집인덱스', '기준년월', '수집채널명', '수집URL', '제목', '내용']









In[101]:



df_copy = df














다시 실행¶





In[208]:



df = df_copy










'내용' 속성만 불러오기





In[209]:



df = df.loc[:,['내용']]
df.head(5)









Out[209]:






내용




0
6;000가구);남양주진건(249만 광명강아지분양 1;000㎡약 1만 1;000가구) 등 총 ...


1
남양주- 운길산 수종사 ☆ 74 . 강진 - 백련사와 동백 ☆ 75 . 영주.단양 ...


2
백운산남양주:견우.직녀봉0308남양주:견우;직녀봉0406남양주:수종사.사능수목원남양...


3
이번에 예약을 받는 물량은 서울 내곡ㆍ세곡2부천 옥길시흥 은계구리 갈매;...


4
6;000가구);남양주진건(249만 1;000㎡약 1만 1;000가구) 등 총 ...












In[210]:



len(df)









Out[210]:

3382357








In[211]:



df = df.sample(n=50000) # 비복원 랜덤추출 5만개
len(df)









Out[211]:

50000








In[212]:



# 데이터프레임을 해제하여 리스트로 변환
df_list = df.values.tolist()
#df_list










In[213]:



# 이중리스트를 단일리스트로 변환
df_list = np.array(df_list).flatten()
#df_list










In[214]:



# 리스트를 해제 시키고 문자열 형태로 변환
df_str = "".join(df_list)
#df_str










In[215]:



# 문자열을 txt 형태로 저장
f = open("abc.txt","w",encoding='utf-8')
f.write(df_str)
f.close()










In[216]:



filename = "abc.txt"
f = open(filename,'r',encoding='utf-8')
words = f.read()

# okt 객체 생성
okt = Okt()
noun = okt.nouns(words)

for i,v in enumerate(noun):
if len(v);








In[235]:



Image('wordcloud.png')









Out[235]:








In[]:














In[]: