[토픽모델링] LDA 토픽모델링 with R
Author : tmlab / Date : 2016. 9. 27. 21:17 / Category : Text Mining/R
텍스트 마이닝+LDA뽀개기! (16.04.04 김성근)
1. 글자를 데이터 분석에 이용하기 위해서 어떤 과정이 필요한가?
- 기계가 글자의 의미 그자체를 이해할수는 없다. 그래서 이런 꼼수들이 생겼다.
- 일단 단어를 모두 분절한 후 발생빈도를 표로 표현(TDM, DTM)
- 단어의 발생빈도를 확률로 계산하는 접근 (LDA)
- 단어마다 고유벡터값을 부여(LSA, Word2vec, +PCA)
1.1 문서를 단어로 어떻게 쪼갤까?
1) 영어를 쪼개보자
- 영어는 띄어쓰기가 되어있기 때문에 strsplit함수로 쉽께 분리된다.
In [92]:
Eng = "Professor Kang is Beautiful"
strsplit(Eng, " ")
Out[92]:
2) 한국어를 쪼개보자
- 한국어는 어간, 어미, 조사 등이 있어서 형태소분석을 필요로한다.
- 한국어 자연어처리에는 KoNLP패키지가 필수!
- extractNoun함수나 형태소분석기인 SimplePos09를 주로사용
- 형태소분석기는 결과값을 리스트로 반환한다.
In [93]:
library(KoNLP)
extractNoun("아주대학교 강주영 교수님을 진심으로 존경합니다") #명사만 추출할때
Out[93]:
In [94]:
SimplePos09("아름다우신 우리의 강주영 교수님 사랑해요") #형태소로 추출할때
Out[94]:
3) 한국어를 디테일하게 쪼개보자
- 형태소중에 원하는 형태소만 뽑아내야하는 경우가 많다.
- 예를 들어 명사는 글의 주제들을 파악하는데 사용되고, 동사나 형용사는 글에 대한 감성을 분석하는데 사용된다.
- 원하는 형태소만 추출할 stringr패키지의 str_match함수를 사용한다.
In [95]:
pos = SimplePos09("강주영 교수님 정말 아름다우시네요") #형태소로 추출
posv = paste(pos) #리스트를 벡터로 변환
library(stringr)
Done = str_match(posv,'([가-힣]+)/[NP]') #/P는 용언(동사,형용사)를 찾아라
Done
Out[95]:
In [96]:
keyword = Done[,2]
keyword
Out[96]:
In [97]:
keyword = keyword[!is.na(keyword)]
keyword
Out[97]:
정규식을 활용하여 필요한것만 뽑아보자
- str_match(posv,'N') #posv에서 N(명사)만 찾아내라
- str_match(posv,'[가-힣]+') #한글자 이상되는 한글만 다 찾아라
- str_match(posv,'[가-힣]+/N') #한글자 이상되는 한글과 /N을 다 찾아라
- str_match(posv,'([가-힣]+)/N') #한글만 따로 분리해라
- str_match(posv,'([가-힣]+)/P') #/P는 용언(동사,형용사)를 찾아라
- str_match(posv,'([가-힣]+)/[NP]') #동사, 형용사, 명사를 다 찾아라
2. 현재 주로 사용되는 텍스트 분석기법들
1) 핵심주제분석 : 단어의 출현 빈도 카운트 및 워드클라우드
- 단어들이 발생한 빈도후 워드클라우드로 시각화하여 핵심키워드를 도출
2) 단어간의 관계분석 : Co-occurance Matrix
- 문서내에서 동시에 빈번하게 출현하는 단어를 파악하여 단어간의 상관관계 계산
3) 감성분석 : 감성사전과 단어 비교대조하여 감정 점수산출
- 긍정, 부정감성사전이 만들어져 있다면 사전과 대조하여 긍정단어와 부정단어의 빈도를 셀수있음
- 긍정단어가 나타나면 +1, 부정단어가 나타나면 -1의 점수를 부여해 문서의 감성을 수량화함
4) 토픽분석 : 문서내에 어떤 주제,이슈가 존재하는지 파악
- LSA : 분절된 단어들에 벡터값을 부여하고 차원축소를 하여 축소된 차원에서 근접한 단어들을 주제로 묶음
- LDA : 확률을 바탕으로 단어가 특정 주제에 존재할 확률과 문서에 특정 주제가 존재할 확률을 결합확률로 추정하여 토픽추출
5) 맥락에 따른 단어 및 문서분석 : Bag of words, word2vec, doc2vec
- Bag of words : 텍스트 분석의 단위를 개별단어가 아닌 단어들의 모음으로 구분하는 방법(각 단어는 문서의 피쳐가됨)
- word to vex : 문장(단어들의 모음)자체를 뉴럴넷에 입력하여 뉴럴넷이 문장 내에 있는 단어들에 벡터값을 부여하게함
2.1 Term Document Matrix
- TDM은 문서에 나타난 단어를 표로 정리한것이다.
- 단어가 문서에 몇회 출현하였는지를 정리할 수 있다.
- tm패키지에서는 corpus(말뭉치)라는 단위의 자료형을 사용한다.
- corpus(VectorSource(문서)) 함수로 데이터를 corpus로 변환한다.
- corpus로 데이터형태를 변환한 후 TermDocumentMatrix함수를 사용한다.
In [98]:
text1 = c("I like apple and banana ,but hate cherry",
"I love banana , but not mango",
"I hate peach , but like cherry" ,
"I want to eat grape ~! ")
text1
Out[98]:
In [99]:
library(tm)
corp = Corpus(VectorSource(text1)) #코퍼스는 tm패키지에서 처리하는 데이터의 유형
corp #코퍼스 = 말뭉치를 의미함(4개의 문서가 들어있음)
Out[99]:
In [100]:
inspect(corp)
In [101]:
tdm <- TermDocumentMatrix(corp)
tdm
Out[101]:
In [102]:
m = as.matrix(tdm)
m
Out[102]:
TDM함수의 인수를 알아두자!
- 이거말도고 더있으니 각자 알아봅시다.
In [103]:
tdm <- TermDocumentMatrix(corp, control=list(removeNumbers = T, #숫자제거
removePunctuation = T, #기호제거
stopwords = T, #불용어제거
wordLengths=c(3,Inf))) #3글자미만 제거
tdm
Out[103]:
TDM을 활용해 단어간의 상관을 찾아볼수도 있다.
In [104]:
findAssocs(tdm,"apple",0.5) # 애플과 상관이 0.5이상인 단어들을 찾아줌
Out[104]:
2.2 Co-Occurance Matrix
- Co-Occurance Matrix 단어가 동시에 발생 회수를 표로 만든것이다.
- TDM으로 만들어진 행렬을 전치시킨후 전치행렬과 원래행렬을 곱하면 인접행렬이 만들어진다.
- TDM을 전치시킬때 t(tdm)함수를 사용하고 반환되는 값은 DTM(document term matrix)이다.
- 대각행렬에 채워진 값이 두 단어가 동시발생한 빈도이다.
In [105]:
t(m)
Out[105]:
In [106]:
m%*%t(m)
Out[106]:
3. 이제 LDA 토픽분석을 해보자!!!
3.1 LDA란 무엇인가?
- Latent Dirichlet Allocation (잠재 디리클레 할당)
- 문서안에 토픽들이 존재한다는 가정을 하고 토픽의 개수를 할당하기 때문에 잠재디리클래할당이라함
- 디리클레 분포는 다항분포의 conjugate distribution이다.
- 단어의 분포가 유사한 문서들은 동일한 토픽의 문서라고 볼수 있고, 해당문서의 단어들은 해당 토픽관련 키워드이다.
- 전체 문서에 반복적으로 단어를 샘플링 하다보면, 문서에서의 단어의 확류분포를 파악할수 있다.
- LDA는 깁스샘플링 기법을 활용하여, 단어와 토픽의 확률을 추정하는 분석방법이다.
3.2 LDA 분석절차(TDM->DTM->LDA form->분석!)
- 1) 데이터 임포트
- 2) TDM 만들기
- 3) 빈출단어들만 추려서 DTM으로 변환하기
- 4) DTM을 LDA분석에 사용하는 데이터 형식으로 변환
In [122]:
news = read.csv('News-wikipedia-DFE.csv', stringsAsFactors = F)
head(news)
names(news)
attributes(news)
Out[122]:
Out[122]:
Out[122]:
In [123]:
#tdm 생성 및 전처리
tdm = TermDocumentMatrix(Corpus(VectorSource(news$newdescp)),
control = list(removeNumbers = T, # 숫자 없애기
removePunctuation = T, # 기호 없애기
stopwords = T, # 스탑워즈 없애기
wordLength = c(3, Inf))) # 최소 3글자이상
In [110]:
# 빈출 단어만 간추리기
library(slam)
word.count = as.array(rollup(tdm,2)) #매트릭스 행별 합계구하기
word.order = order(word.count, decreasing = T)[1:1000] #많이 쓰인 단어 순서정리(단어번호)
freq.word = word.order[1:1000] #상위 1000개 단어만 재할당(단어번호)
row.names(tdm[freq.word,]) #해당단어번호 단어 확인
Out[110]:
In [111]:
#### LDA에 input data 만들기 (DTM만든후 다시 dtm2ldaformat함수로 변환)
dtm = as.DocumentTermMatrix(tdm[freq.word,]) #상위 1000개 단어만 뽑아서 DTM으로 변환
dtm
Out[111]:
In [112]:
library(topicmodels)
ldaform = dtm2ldaformat(dtm, omit_empty=T) #dtm을 LDA 돌릴있 있는 형식의 데이터로 변환
3.3 LDA분석 실시! (MCMC 깁스샘플링)
- LDA는 베이지안 추론방식활용해 토픽과 단어의 발생확률을 추정한다.
- 베이지안 출론방식은 데이터의 분포와 사전확률을 분석가가 임의로 설정한 후 반복적으로 샘플링을 실시해가며 임의로 설정한 확률을 재할당 해가며 사전에 설정한 확률을 수정해나가는 접근방식을 사용한다.
- lda.collapsed.gibbs.sampler함수로 단어들의 확률분포를 계산하여 LDA분석을 한다.
- k는 토픽의 개수
- num.iterations은 사후확률의 업데이트 회수
- burnin은 확률 추정시 제외되는 초반부 이터레이션값
- alpha : 문서 내에서 토픽들의 확률분포 (1을 주면 유니폼분포가 됨)
- eta : 한 토픽내에 단어들의 확률분포
In [113]:
#install.packages('lda')
library(lda)
result.lda = lda.collapsed.gibbs.sampler(documents = ldaform$documents,
K = 30,
vocab = ldaform$vocab,
num.iterations = 5000, #posteria 업데이트 회수
burnin = 1000, #초기값 버닝
alpha = 0.01, #파라미터 세팅 : 문서 내에서 토픽들의 확률분포 / 1 = 유니폼
eta = 0.01 ) #파라미터 세팅 : 한 토픽내에 단어들의 확률분포 /
- 분석결과 확인
In [116]:
attributes(result.lda)
dim(result.lda$topics) #30개 토픽에 1000개의 단어 출현
result.lda$topics
Out[116]:
Out[116]:
Out[116]:
- 확률을 바탕으로 군집화된 단어들을 보고 사람이 토픽을 추론해야함
- 키워드들을 바탕으로 토픽을 추론해야하기 때문에 해당분야에 따라 사전지식을 요할수 있음
In [118]:
top.topic.words(result.lda$topics) #30개 각 토픽 별 상위 20개 단어
Out[118]:
In [119]:
result.lda$topic_sums #단어합계 : 전체토픽 중 어떤 토픽해당 당하는 단어가 제일많은가?
Out[119]:
In [120]:
dim(result.lda$document_sums) #2999개 문서 대해에 각 각토픽에 해당하는 단어가 몇개씩나왔나?
Out[120]:
In [121]:
result.lda$document_sums[,1] #1번 문서가 각토픽에 해당하단어들을 몇개 갖고있 있는지?
Out[121]:
TF-IDF!!! TDM의 성능향상을 위해 빈도에 가중치부여하기!!
- TDM은 단순한 빈도수만 나타내는 표이다.
- 전체에서 빈도수가 적은 단어들은 중요도가 떨어질수 밖에 없다.
- 여러글에서 자주출현하는 단어 VS 출현 빈도는 적지만 오직 단 특정서에서만 출현한 단어
- 전자의 빈도수를 적게하고 후자의 빈도수를 크게만드는 가중치를 부여하는것이 TF-IDF
Term frequency
- tf=(어떤 문서에 출현하는 문자열 총수)/(어떤 문서에 출현하는 문자열 w의 출현횟수)
- 문장에 문자열이 총 50개 / 그문서에 해당단어가 5번출현 = 10
- 문장에 문자열이 총 50개 / 그 문서에 해당단어가 10번출현 = 5
Inverse document frequency
- idf=log((문서 총 수)/(문자열 w가 출현하는 문서 수))
- 전체문서가 1000개 / 전체 문서에서 해당 단어가 40번 출현 = 25
TF-IDF
- TF-IDF = tf * idf
- 10*25 = 250
- 5*25 = 75
In [129]:
#TF-IDF 가중치 만들기
library(lsa)
tdm.mat = as.matrix(tdm[freq.word,]) #매트릭스로 변환
tdm.w = lw_bintf(tdm.mat)*gw_idf(tdm.mat) # 가중치 계산 tf값 = bintf(사용되었음 1, 아님0으로 가중치)
In [130]:
tdm.w
Out[130]:
In [ ]:
