R

트위터 데이터 수집 with R

1줄 요약 R을 활용하여 트위터 데이터를 수집하는 방법 및 절차에 대해 배우도록 한다. 트위터 API 인증 https://apps.twitter.com에 접속한다. 회원가입을 진행한다. create an app 버튼을 클릭한다. 필자는 Hobbysit-Exploring the API를 선택했다. 그 후에 개인 정보 등을 입력해야 한다. 휴대폰, 이메일 인증 등 인증 메일이 오기전까지는 조금 시일이 걸린다. rtweet 패키지 별도의 인증 절차 없이 사용 가능한 패키지 https://github.com/ropensci/rtweet 우선 설치 후, 사용해보도록 한다. 본 코드는 Github 예제로 있는 코드를 가져온 것임 # install.

disk.frame 패키지 소개

공지 대용량 데이터 전처리시에 필요한 패키지를 소개한다. url: https://www.youtube.com/watch?v=EOjObl_GSi4 주석은 가급적 원어를 남겨 놓으니 잘 번역하기를 바란다. 설치 설치 방법은 기존과 마찬가지로 간단하게 작성할 수 있다. install.packages("disk.frame") suppressPackageStartupMessages(library(disk.frame)) library(nycflights13) 패키지 주요 아이디어 메모리보다 많은 데이터를 각각의 chunks로 분해하여 하나의 폴더 안에 저장한다. (HDD 디스크 사용) 자세한 셜명은 Giuhub를 참고 (https://github.com/xiaodaigh/disk.frame) Setup 실습 환경을 구성한다. setup_disk.frame() ## The number of workers available for disk.frame is 1 # this allows large datasets to be transferred between sessions options(future.

KDX Competition Guideline

개요 본 수업을 듣는 수강생들을 위해 간단한 튜토리얼을 만들었다. 대회는 다음과 같다. 싸이트: 한국데이터거래소 /img/r/competition/blog_kdx_guideline_files/img 1단계 패키지 불러오기 데이터 가공 및 시각화 위주의 패키지를 불러온다. library(tidyverse) # 데이터 가공 및 시각화 library(readxl) # 엑셀파일 불러오기 패키지 2단계 데이터 불러오기 데이터가 많아서 순차적으로 진행하도록 한다. 각 데이터에 대한 설명은활용데이터설명(PDF)을 참조한다. 먼저 제 개발환경은 아래와 같다. Note: 윈도우와 Mac은 다를 수 있음을 명심하자. sessionInfo() ## R version 4.0.2 (2020-06-22) ## Platform: x86_64-apple-darwin17.0 (64-bit) ## Running under: macOS Catalina 10.

(R+Git) 초보자를 위한 깃허브 연동 및 에러 대처법

개요 본 Repo는 강림직업전문학교 수강생을 위해 예시로 작성한 Repo입니다. 본 Repo에서는 R을 활용한 데이터 과학 발표자료를 공유하기 위해 만들어졌습니다. Git & Github 우선 Git을 설치합니다. 싸이트: https://git-scm.com/ 설정은 모두 기본 값으로 해주시기 바랍니다. Terimnal 창에서 git을 실행하여 정상적으로 설치되었는지 유무를 확인합니다. 그 다음은 Github에 회원가입을 합니다 저장소를 만드는 과정은 아래 싸이트를 참조바랍니다. 싸이트: https://goddaehee.tistory.com/221 이제 RStudio에서 프로젝트를 클릭한 후 아래 화면에서 Version Control을 클릭합니다. 그 다음은 github에서 주소를 클릭합니다. 복사한 주소를 아래그림과 같이 주소를 붙여 넣습니다.

(NCS) R 기초문법

R
I. 개요 R을 처음 접하는 사람들을 위한 입문 포스트. 기존에 R을 하셨던 분들은 가볍게 보도록 한다. 프로그램을 설치한다. 필수 R: https://www.r-project.org/ 옵션(1) RStudio: https://rstudio.com/ 옵션(2) PyCharm: https://www.jetbrains.com/ko-kr/pycharm/download/ R은 일종의 엔진이기 때문에 필수로 설치한다. 파이썬과 같이 쓰는 유저라면 PyCharm을 R만 사용한다면 RStudio를 사용한다. (1) 데이터 분석의 기본 흐름 데이터 수집, 저장, 가공, 시각화, 모델링, 보고서 (대시보드) 입문자, 서비스 기획자는 전체의 생태계를 보자. PDF - 강사 메뉴얼 참조 II. CRAN 생태계 이해하기 전세계의 수많은 사람들과 조직들이 데이터, 통계, 머신러닝 등 다양한 문제를 해결하기 위해 여러 함수를 만들어 공유하는 곳입니다.

OCE 패키지 소개

개요 새로운 분야에 대한 자료 정리는 언제나 흥미롭다. 오늘은 해양과학을 분석해보는 시간을 갖는다. 사실 필자는 해양과학을 모른다. 교재 교재 Oceanographic Analysis with R는 구매할 수 있다. 패키지 설치 패키지 홈페이지를 참고한다. 패키지 저자는 CRAN에서 다운로드 받는 것 보다는 깃허브에서 받는 것을 추천한다. 패키지 업데이트가 1년에 몇번 되지 않는다고 조금은 솔직하게 말한다. # install.packages("oce", dependencies = TRUE) library(oce) ## Loading required package: gsw ## Loading required package: testthat Evolution of oce 홈페이지에서 Oce는 오픈 소스 시스템으로 소개하고 있기 때문에, 관련 학문에 종사하는 사람들이 참여 해주는 것이 해당 패키지 발전에 매우 중요한 부분이다.

xgboost and kaggle with R

개요 R 강의를 진행하면서 xgboost를 R로 구현하고 싶었다. kaggle에 있는 데이터를 불러와서 제출까지 가는 과정을 담았으니 입문자들에게 작은 도움이 되기를 바란다. XGBoost 개요 논문 제목 - XGBoost: A Scalable Tree Boosting System 논문 게재일: Wed, 9 Mar 2016 01:11:51 UTC (592 KB) 논문 저자: Tianqi Chen, Carlos Guestrin 논문 소개 Tree boosting is a highly effective and widely used machine learning method. In this paper, we describe a scalable end-to-end tree boosting system called XGBoost, which is used widely by data scientists to achieve state-of-the-art results on many machine learning challenges.

Kaggle with R

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아메리카노를 선물로 보내드리겠습니다. [비전공자 대환영] 제로베이스도 쉽게 입문하는 파이썬 데이터 분석 - 캐글입문기 개요 R 입문부터 머신러닝까지 가르치게 되었다. R을 활용한 빅데이터 분석 실제 Kaggle 대회 참여 독려를 위해 R에서 Kaggle 데이터를 불러와 머신러닝을 진행하는 것을 기획하였다. pins 패키지를 활용하면 보다 쉽게 할 수 있다. (1) Kaggle API with R 먼저 [Kaggle]에 회원 가입을 한다.

ch05 - Log Scale Visualisation

공지 본 포스트는 데이터 시각화 교과서 내용의 일부를 요약하였다. 본 포스트를 읽고 가급적 전체 내용 숙지를 위해 구매하는 것을 권유한다. 개요 수치형 자료를 Y축으로 놓는 그래프는 언제나 힘들었다. log Scale을 통해 값의 크기를 줄이기는 하지만, Y축을 어떻게 표현하는 것이 좋을지에 대한 고민은 늘 있어왔다. 시각화 이론 중심의 포스팅이기에 코드 리뷰 및 해석은 생략한다. 문제점 log Scale을 적용했을 때와 그렇지 않을 때의 그래프를 비교해본다. (1) 패키지 불러오기 각각의 패키지를 불러온다. 이 때, 데이터는 dviz.

추천 시스템 패키지 소개 - recommenderlab

I. 개요 추천시스템을 처음 배우는 접하는 사람들을 위해 준비한 입문 Tutorial이다. 패키지 소개서에 있는 내용을 한글로 번역하였다. This R package provides an infrastructure to test and develop recommender algorithms. The package supports rating (e.g., 1-5 stars) and unary (0-1) data sets. Supported algorithms are: 이 R 패키지는 추천자 알고리즘을 테스트하고 개발할 수 있는 인프라를 제공한다. 이 패키지는 등급(예: 별 1-5개) 및 단항(0-1) 데이터 세트를 지원한다. 지원되는 알고리즘: User-based collborative filtering (UBCF) Item-based collborative filtering (IBCF) SVD with column-mean imputation (SVD) Funk SVD (SVDF) Alternating Least Squares (ALS) Matrix factorization with LIBMF (LIBMF) Association rule-based recommender (AR) Popular items (POPULAR) Randomly chosen items for comparison (RANDOM) Re-recommend liked items (RERECOMMEND) Hybrid recommendations (HybridRecommender) For evaluation, the framework supports given-n and all-but-x protocols with