[BOW] Text Mining과 Bag of Words
Author : tmlab / Date : 2016. 10. 7. 14:00 / Category : Text Mining/Python
세미나 : 파이썬 텍스트마이닝과 word2vec
Part 1: For Beginners - Bag of Words
- Bag of Words 기법은 문서(document)를 자동으로 분류하기 위한 방법 중 하나
- 글에 포함된 단어(word)들의 분포를 보고 이 문서가 어떤 종류의 문서인지를 판단하는 기법
- 예를 들어, 어떤 문서에서 '환율', '주가', '금리' 등의 단어가 많이 나온다면 이 문서는 경제학에 관련된 문서로 분류하고 '역광', '노출', '구도' 등의 단어가 많다면 사진학에 대한 문서로 분류
워크디렉토리 설정 및 데이터 불러오기
In [1]:
#현재 워크 디렉토리 확인 및 변경
import os
os.getcwd() #현재 워크디렉토리 확인
Out[1]:
In [2]:
os.chdir("D:\study\Kaggle\w2v")
os.getcwd()
Out[2]:
In [3]:
# 데이터프레임을 다루기위해 판다스 import
import pandas as pd
train = pd.read_csv("labeledTrainData.tsv",
header=0, \
delimiter="\t",
quoting=3)
In [4]:
# 영화 리뷰 데이터
train[0:5]
Out[4]:
In [5]:
#2만5천개 영화 리뷰
train.shape
Out[5]:
In [6]:
#컬럼별 내용 확인
train.columns.values
Out[6]:
In [7]:
train["review"][0]
Out[7]:
텍스트 전처리 프로세스
의미없는 불용어 삭제
- BeautifulSoup4 패키지 : get() 함수로 텍스트추출
- 정규식 사용하여 기호제거
- NLTK 패키지(Python Natural Language Toolkit) : stopwords
In [8]:
# 전처리를 위해 BeautifulSoup4 패키지 임포트
from bs4 import BeautifulSoup
In [9]:
#get_text()함수는 태그나 마크업기호를 뺀 텍스트만 반환해줌
example1 = BeautifulSoup(train["review"][0])
example1.get_text()
Out[9]:
In [10]:
#불용어와 기호등 없애기 위해 정규식 사용
import re
letters_only = re.sub("[^a-zA-Z]", # 바꿀패턴:대문자나 소문자가 아닌 모든것
" ", # 바뀐내용:공백으로 바꿔라
example1.get_text() ) # 바꿀문서
letters_only
Out[10]:
In [11]:
lower_case = letters_only.lower() # 전부 소문자로 변환
words = lower_case.split() # 단어로 쪼개기
words
Out[11]:
NLTK패키지를 활용한 문서 토크나이즈
- Tokeniz란 문서를 개별어휘 단위로 쪼개는것
- nltk패키지로 불용어 삭제
In [12]:
import nltk
nltk.download() #다운로드 데스트데이터셋 & 스탑워즈
Out[12]:
In [13]:
from nltk.corpus import stopwords # stop word 리스트 및 함수 임포트
stopwords.words("english")
Out[13]:
In [14]:
# Remove stop words from "words"
words = [w for w in words if not w in stopwords.words("english")]
words
Out[14]:
텍스트 전처리를 종합해보면!!!
- 1) BeautifulSoup 패키지 get()함수로 텍스트를 빼서
- 2) re 모듈의 re.sub함수에 정규식을 적용해 기호를 제거
- 3) 모든문자를 소문자 lower() 로 바꾼후 단어로 쪼개고 split()
- 4) 불용어 세트를 설정하고
- 5) for문을 돌려서 불용어를 삭제한다.
In [15]:
def review_to_words( raw_review ):
review_text = BeautifulSoup(raw_review).get_text() # 1. Remove HTML
letters_only = re.sub("[^a-zA-Z]", " ", review_text) # 2. Remove non-letters
words = letters_only.lower().split() # 3. Convert to lower case, split words
stops = set(stopwords.words("english")) # 4. Convert list to stop words set
meaningful_words = [w for w in words if not w in stops] # 5. Remove stop words
return( " ".join( meaningful_words ))
# 6. Join the words back into one string separated by space,
In [16]:
clean_review = review_to_words( train["review"][0] )
clean_review
Out[16]:
In [17]:
# 문서개수 확인후(25000)
num_reviews = train["review"].size
# 비어있는 어레이 생성하고
clean_train_reviews = []
# for문으로 각문서를 review_to_words함수돌려서 clean_train_reviews에 추가함
for i in range( 0, num_reviews ):
clean_train_reviews.append( review_to_words( train["review"][i] ) )
제대로 작동하고 있는지 확인하기 위해서 요렇게한다고함(선택)
In [18]:
print "Cleaning and parsing the training set movie reviews...\n"
clean_train_reviews = []
for i in xrange( 0, num_reviews ):
# If the index is evenly divisible by 1000, print a message
if( (i+1)%1000 == 0 ):
print "Review %d of %d\n" % ( i+1, num_reviews )
clean_train_reviews.append( review_to_words( train["review"][i] ))
Creating Features from a Bag of Words (Using scikit-learn)
- 머신러닝에 적용하기위해 문서를 숫자로 변환하는 방법
- 해당문서에 각 단어가 몇번 등장했는지를 카운드한다
- Sentence 1: "The cat sat on the hat"
- Sentence 2: "The dog ate the cat and the hat"
- 위 두 문장에의 단어 { the, cat, sat, on, hat, dog, ate, and }
- Sentence 1: { 2, 1, 1, 1, 1, 0, 0, 0 }
- Sentence 2: { 3, 1, 0, 0, 1, 1, 1, 1 }
scikit-learn 모듈로 Bag of Words 피쳐 추출
- scikit-learn의 "CountVectorizer"함수 사용
- 가장 빈번히 발생한 5000개단어로 벡터피쳐를 뽑아냄(차원의 저주)
- 인수로 토크나이저, 전처리, 스탑워드 기능을 함께수행할수 있음
In [19]:
#"Creating the bag of words
from sklearn.feature_extraction.text import CountVectorizer
# scikit-learn의 "CountVectorizer"는 bag of words 만들어주는 함수
vectorizer = CountVectorizer(analyzer = "word",
tokenizer = None,
preprocessor = None,
stop_words = None,
max_features = 5000)
# fit_transform() 은 두가지 기능을 수행한다.
# 1)모델 피팅 및 단어학습을 수행한다.
# 2)텍스트 데이터를 피쳐벡터로 변환한다.(인풋은 list형태이어야함)
# strings.
train_data_features = vectorizer.fit_transform(clean_train_reviews)
# Numpy arrays are easy to work with, so convert the result to array
train_data_features = train_data_features.toarray()
결과확인
- 데이터형태(array)
- 추출한 워드피쳐 개수(25000개문서->5000워드추출)
- 5000개 word 목록
In [20]:
train_data_features
Out[20]:
In [21]:
train_data_features.shape
Out[21]:
In [22]:
vocab = vectorizer.get_feature_names()
vocab
Out[22]:
- 단어별 빈도를 집계해서 보고싶다면 아래코드로 확인해볼수 있음(선택사항)
In [23]:
import numpy as np
# Sum up the counts of each vocabulary word
dist = np.sum(train_data_features, axis=0)
# For each, print the vocabulary word and the number of times
# appears in the training set
for tag, count in zip(vocab, dist):
count, tag
학습데이터로 머신러닝 돌려보기
- 분류분석 : 앙상블기법랜덤포레스트(sklearn패키지)
- bag of words를 보고 어떤감정의 문서인지 분류
train
In [24]:
from sklearn.ensemble import RandomForestClassifier
# 100개의 트리로 모델트레이닝
forest = RandomForestClassifier(n_estimators = 100)
# feature로 만들어진 bag of words를 랜덤포레스트에 모델피팅
forest = forest.fit( train_data_features, train["sentiment"] )
test
- 트레이닝데이터에서 피쳐추출시 "fit_transform" 함수사용
- 이미 피쳐가 추출되어있기때문에 테스트셋에는 "transform"함수를 사용
- 테스트데이터 전처리
In [25]:
# 데이터 로딩
test = pd.read_csv("testData.tsv", header=0, delimiter="\t", \
quoting=3 )
# 데이터 확인
test.shape
# 데이터숫자 산출, 빈 어레이 생성
num_reviews = len(test["review"])
clean_test_reviews = []
# 빈 어레이에 클리닝한 데이터 추가
for i in range(0,num_reviews):
if( (i+1) % 1000 == 0 ):
"Review %d of %d\n" % (i+1, num_reviews)
clean_review = review_to_words( test["review"][i] )
clean_test_reviews.append( clean_review )
- 피쳐추출 및 테스트
In [26]:
# vectorizer.transform 함수로 피쳐추출
test_data_features = vectorizer.transform(clean_test_reviews)
test_data_features = test_data_features.toarray()
# 랜덤포레스트 알고리즘으로 예측
result = forest.predict(test_data_features)
# Copy the results to a pandas dataframe with an "id" column and
# a "sentiment" column
output = pd.DataFrame( data={"id":test["id"], "sentiment":result} )
# Use pandas to write the comma-separated output file
output.to_csv( "Bag_of_Words_model.csv", index=False, quoting=3 )
- 결과확인
In [27]:
pd.read_csv("Bag_of_Words_model.csv",
header=0, \
quoting=3)
Out[27]: