[R 프로그래밍] 7. File I/O
Author : tmlab / Date : 2016. 10. 4. 00:57 / Category : Lecture/R 프로그래밍
PR 6
파일 입력과 출력
File I/O
1. Load Internal Dataset
1.1 data() or nothing
- R에서는 수 많은 내장 데이터들이 존재합니다.
- 또한, 패키지들을 설치하면 내장 명령어들을 연습해볼 수 있도록 별도의 dataset을 제공하기도 합니다
In [1]:
data()
- 패키지를 설치하는 함수는
install_packages("이름")입니다- 해당 명령어 앞에 있는 주석처리(#)를 빼주시고 실행해보세요.
- 패키지를 로딩하는 함수는 library(이름) 또는 require(이름)입니다.
In [2]:
#install.packages("MASS")
library(MASS)
In [3]:
data()
- data(이름)으로 R Studio의 value 창에 띄울 수 있습니다
In [4]:
data(iris)
In [5]:
head(iris)
str(iris)
Out[5]:
- data()의 사용없이 그냥 이름으로 불러와도 됩니다.
- mtcars data
In [6]:
head(mtcars)
str(mtcars)
Out[6]:
- 다음은 1973년도 50개 주에서 수집된 범죄기록 데이터인 USArrests입니다.
- Murder, Assault, Rape 는 십만명 당 체포비율입니다 (e.g., Murder가 13.2면 100,000명 중 13.2명이 살인죄로 체포)
- UrbanPop은 도회지에서 살고 있는 인구 비율
USArrests를 사용하여 다음의 문제를 풀어보세요
In [7]:
head(USArrests)
str(USArrests)
Out[7]:
- 살인이 가장 많이 일어난 지역의 모든 정보를 추출해보세요
In [8]:
Out[8]:
- 도시에서 살고 있는 인구가 가장 적은 지역의 모든 정보를 추출해보세요
In [9]:
Out[9]:
2. File Input
2.1 load()
- .RData 형식의 파일을 불러오는 함수
- 사용방법은 load("파일이름")
- 사용 후, data(data이름)처럼 변수가 자동으로 불러와집니다.
In [ ]:
load("c:/Users//jester/Dropbox/R-프로그래밍/실습예제/3주차/ex2.RData")
- 읽어들인 ex2.RData 파일은 x,y 그리고 movie Data가 들어있습니다
- 별도의 할당 없이 사용 가능합니다
In [140]:
x
y
head(movie)
class(movie)
2.2 scan()
- vector로 받습니다
In [141]:
demo <- scan("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.csv",what="")
In [142]:
demo;str(demo)
2.3 read.table()
- Data Frame으로 받습니다
In [143]:
demo1<- read.table("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.csv",header=F,sep=",",stringsAsFactors=F)
In [144]:
demo1
2.4 read.csv()
- Data Frame으로 받습니다
In [145]:
demo2<-read.csv("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.csv",header=F,stringsAsFactors=F)
In [146]:
demo2
- read.csv()의 인수에 대해서 한번 알아보겠습니다
- read.table에서도 동일하게 적용됩니다.
- header 는 첫 행(row)를 열 이름으로 받을건지를 물어보는 인수입니다.
- 열 이름이 있다면, header를 T로 주셔야 합니다. default값은 T입니다
- sep은 열 구분자를 지정해주는 인수입니다.
- read.csv는 default값이 ","(comma)입니다
- colClasses는 각 열의 data type을 미리 정의해줄 수 있는 인수입니다
- comment.char는 주석처리할 기호를 정의한 인수입니다
- comment.char = "#"로 하시면, #ddd 등 제일 앞의 기호가 #인 문장의 경우 주석으로 처리하여 불러오지 않습니다.
- na.strings는 NA값으로 처리할 문자열들을 미리 정의하는 것입니다.
- 일상데이터의 경우, 모든 칸이 전부 차 있거나 NA로 통일되어 표기하는 일은 드뭅니다
- 위와 같은 경우, 데이터를 불러올 때 해당 문장을 미리 NA값으로 받겠다고 표기하는 인수가 na.strings 입니다.
- fileEncoding은 불러들인 문자열을 원하는 형식으로 재 인코딩 해주는 인수입니다
- 하단에 나오는 iconv에서 to= 인수와 같은 역할을 합니다.
- 인코딩의 형식은 UTF-8, EUC-KR, Latin-1, CP949 등등이 있습니다.
- encoding은 불러들일 file의 인코딩을 미리 선언해주는 인수입니다
- iconv에서 from= 인수와 같은 역할을 합니다
- row.names은 불러들일 file의 선택한 위치의 열을 행 이름으로 하겠다는 것입니다
- row.names=1 이면 첫번째 열을, row.names=2면 두번째 열을 행 이름으로 합니다.
In [147]:
#아무 인수도 없을 때
demo2<-read.csv("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.na_2.csv")
demo2
In [148]:
#header와 stringsAsFactors 추가
demo2<-read.csv("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.na_2.csv",header=F,stringsAsFactors=F)
demo2
In [56]:
#comment.char="#" 추가
demo2<-read.csv("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.na_2.csv",header=F,stringsAsFactors=F,comment.char="#")
demo2
str(demo2)
In [105]:
#na.strings 추가
demo2<-read.csv("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.na_2.csv",header=F,stringsAsFactors=F,
comment.char="#",na.strings=c(".","N.A.",""))
demo2
str(demo2)
- colClasses로 모든 열을 character값으로 받겠습니다
In [107]:
#na.strings 추가
demo2<-read.csv("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.na_2.csv",header=F,stringsAsFactors=F,
comment.char="#",na.strings=c(".","N.A.",""),colClasses=rep("character",6))
demo2
str(demo2)
In [59]:
# 인코딩 문제, 받는 파일의 인코딩형식이 utf-8의 경우
# 한글 windows를 쓴다면 기본 인코딩 형식이 EUC-KR입니다
demo3<-read.csv("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.na_3.csv")
demo3
In [64]:
# fileencoding 설정
demo3<-read.csv("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.na_3.csv",fileEncoding="UTF-8")
demo3
In [66]:
# 인코딩 지정
demo3<-read.csv("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.na_3.csv",encoding="UTF-8")
demo3
In [77]:
# colClasses를 제외한 모든 인수를 적용
demo3<-read.csv("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.na_3.csv",header=F,stringsAsFactors=F,
comment.char="#",na.strings=c(".","N.A.",""),encoding="UTF-8")
demo3
- comment.char가 인코딩 문제로 인해 문제가 생긴걸 확인할 수 있습니다.
- 이는 인코딩 변환시에 서로 다른 형식으로 인해 다른 무엇인가가 들어와서 그렇습니다.
- R에서 출력해보면 다음과 같은 값이 #앞에 붙는것을 확인 할 수 있습니다.
In [101]:
# colClasses를 제외한 모든 인수를 적용
demo3<-read.csv("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.na_3.csv",header=F,stringsAsFactors=F,
comment.char="<",na.strings=c(".","N.A.",""),encoding="UTF-8",allowEscapes=T)
demo3
str(demo3)
- 주석으로 처리가 안되네요
- 방법은 있겠지만 제 능력의 한계입니다
In [104]:
# 첫 행을 제외하고 받습니다
demo3<-read.csv("c:/Users/atara/Dropbox/R-프로그래밍/실습예제/demo.na_3.csv",header=F,stringsAsFactors=F,
comment.char="<",na.strings=c(".","N.A.",""),encoding="UTF-8")[-1,]
demo3
str(demo3)
- 이제 첫 열만 numeric으로 바꾸도록 합니다
In [111]:
demo3$V1<-as.integer(demo3$V1)
demo3
str(demo3)
2.5 명령어의 차이
In [39]:
str(demo)
In [107]:
str(demo1)
In [106]:
str(demo2)
2.5.1 read.csv와 read.table의 차이
- 사실 둘은 동일한 함수입니다
- 단지 .csv파일은 각 열마다 구분을 ","(comma)로 구분하는데, 매번
read.table()로 할때마다 sep=","을 주기 귀찮고, .csv파일이 많기 때문에 별도로 준것일 뿐입니다. - 동일한 이유로
read.delim()이라는 함수가 존재하는데, 이것은 "\t"(tab)키로 열을 구분하는 .tsv파일을 읽기 위함입니다.+ '함수명()'에서 뒤에 가로만 빼고 '함수명'만 적으시면 해당 파일을 .R형태로 제공하는 경우에 함수 내용을 볼 수 있습니다. 하단에 read.csv와 read.delim 함수를 보여드리겠습니다. - 따라서 read.table이 상위 함수이고, 많이 사용하는 .csv나 .tsv 파일을 읽기 위해 read.csv와 read.delim함수를 따로 만들어 놓은것이라고 생각하면 됩니다.
- 뭐... 귀찮으면 sep=""으로 구분하시면 되겠습니다.
- 단지 .csv파일은 각 열마다 구분을 ","(comma)로 구분하는데, 매번
In [1]:
read.csv
In [2]:
read.delim
2.6 웹에 있는 표를 읽어 올 수 있는 readHTMLTable()
- 해당 함수는 XML이라는 패키지에 있습니다
readHTMLTable("홈페이지 주소")로 사용하시면 해당 페이지의 표에 들어 있는 정보를 저장 가능 합니다.- 일종의 웹 크롤링입니다.
웹 페이지에 있는 모든 표를 Data frame으로 가져오고, 각각의 표를 List에 담아 제공합니다
- 따라서 첫번째에 있는 표를 출력하고 싶으시다면 [[1]]을 붙여주시면 됩니다
이제 "http://www.worldometers.info/world-population/" 에서 표를 가져와보겠습니다
In [1]:
#install.packages("XML")
library(XML)
world_pop <- readHTMLTable("http://www.worldometers.info/world-population/")
In [2]:
str(world_pop)
In [21]:
head(world_pop[[1]])
- Density 열 이름을 보시면 (P/KM짼)이라는 의미를 알수 없는 글자가 있습니다
- Encoding이 깨진 문자열인데,
iconv()라는 함수를 사용하여 인코딩 방식을 바꿔주면 됩니다 - 흔히 웹상에서 주로 쓰는 인코딩 방식은 "UTF-8"이라는 문자열이며, 한글에서 이 상태로도 깨질 시 "CP949"나 "euc-kr"방식을 쓰면 됩니다. CP949나 euc-kr은 한글 인코딩 형식입니다.
- 사용 방법은 iconv(data,from="",to="")입니다
- 앞으로 이 인코딩문제는 여러분들을 계속 괴롭힐겁니다 :)
- Encoding이 깨진 문자열인데,
In [25]:
colnames(world_pop[[1]])<-iconv(colnames(world_pop[[1]]),from="UTF-8",to="UTF-8")
head(world_pop[[1]])
PR6.csv file을 읽어보세요
In [7]:
pr6<-read.csv("PR6.csv",header=T,stringsAsFactors=F,fileEncoding="euc-kr")
In [8]:
pr6
Out[8]:
In [9]:
str(pr6)
- 가장 많이 선택한 언어는 python인걸로 확인되었습니다.
In [10]:
sort(table(pr6$언어),decreasing=T)[1]
Out[10]:
- 아직 언어를 선택하지 않은 학생들만 뽑아서 later 변수에 삽입하세요
In [12]:
Out[12]:
- Java를 선택한 학생들만 뽑아서 java 변수에 삽입하세요
In [14]:
Out[14]:
- Java를 선택한 학생들의 학년 별 분포는?
In [15]:
Out[15]:
3. File output
3.1 Save()
- .RData 형식의 file을 만들어주는 함수
- 여러 변수들은 하나의 file에 넣어서 저장 가능합니다.
- load()로 읽고, 여러 변수를 한번에 받을 수 있습니다.
In [217]:
save(java,later,file="students.RData")
3.2 write.table()
In [172]:
write.table(later,"I_kill_you.csv",row.names=F)
- 생성한 파일은 getwd()를 사용하면 출력되는 위치에 있습니다.
row.names=F를 주는 이유는, 해당 인수를 T로 줄 경우 file로 저장할 때 행 이름이 첫 열로 이동하여 저장되서 그렇습니다.
In [167]:
getwd()
- 해당 경로를 복사한뒤 아무 폴더나 여시고 주소창에서 빈 공간을 클릭하시고 붙여넣기 하세요
In [173]:
write.table(later,"I_kill_you.txt",row.names=F)
- txt파일로도 내보내실 수 있습니다.
3.3 write.csv()
In [16]:
write.csv(java,"java.csv",row.names=F)
3.4 write.csv시 row.names=F를 주는 일반적인 이유
- 같은 파일을 반복해서 읽거나 지우거나 하실 경우 무한 생성이 될 수 있습니다
In [121]:
Java<-read.csv("C:/Users/atara/Dropbox/R-프로그래밍/실습예제/6주차/java.csv")
write.csv(Java,"java.csv",row.names=T)
Java<-read.csv("C:/Users/atara/Dropbox/R-프로그래밍/실습예제/6주차/java.csv")
write.csv(Java,"java.csv",row.names=T)
Java<-read.csv("C:/Users/atara/Dropbox/R-프로그래밍/실습예제/6주차/java.csv")
Java
- 물론 읽으실 때 인수를 row.names=1로 주시면 무한 생성은 안됩니다.
- 선택은 본인의 몫입니다.
In [134]:
Java<-read.csv("C:/Users/atara/Dropbox/R-프로그래밍/실습예제/6주차/java1.csv",row.names=1)
Java
write.csv(Java,"java1.csv",row.names=T)
Java<-read.csv("C:/Users/atara/Dropbox/R-프로그래밍/실습예제/6주차/java1.csv",row.names=1)
Java
write.csv(Java,"java1.csv",row.names=T)
Java<-read.csv("C:/Users/atara/Dropbox/R-프로그래밍/실습예제/6주차/java1.csv",row.names=1)
Java
- 해당 명령어 역시 read.table과 동일 합니다.
과제
- PR6.csv파일을 pr 변수에 읽어보세요
- pr을 사용해, python을 선택한 모든 학생들의 정보를 python 변수로 추출해보세요
- python 변수를 사용해, 학년별 분포를 알아보세요
- python 변수를 python.csv file로 출력해서 제출해주세요. 이 때, 행 이름이 저장됐다면 감점입니다.