사용자 정의 보고서 작성과 관련된 데이터 분석을위한 워크 플로우에 대한 지식이 있습니까? 유스 케이스는 기본적으로 다음과 같습니다.
-
고객은 데이터 분석을 사용하는 보고서, 예를 들어 수자원 지구에 대한 인구 추정 및 관련 맵을 의뢰합니다.
-
분석가는 일부 데이터를 다운로드하고 데이터를 병합하며 결과를 저장합니다 (예 : 단위당 인구에 대한 열 추가 또는 지구 경계에 따라 데이터 하위 설정).
-
분석가는 (2)에서 생성 된 데이터를 분석하고 목표에 가까워 지지만 더 많은 데이터가 필요하므로 (1)로 돌아갑니다.
-
테이블과 그래픽이 QA / QC를 충족하고 클라이언트를 만족시킬 때까지 헹굽니다.
-
테이블과 그래픽을 통합 한 보고서를 작성하십시오.
-
내년에 행복한 고객이 돌아와서 업데이트를 원합니다. 사양을 변경하지 않는 한 새 다운로드로 업스트림 데이터를 업데이트하고 (예 : 작년에 건물 허가를받는 등) “RECALCULATE”버튼을 누르는 것처럼 간단해야합니다.
지금은 디렉토리를 시작하고 최선을 다해 임시로 만듭니다. 좀 더 체계적인 접근 방식을 원하므로 누군가가 이것을 이해하기를 바라고 있습니다. 나는 스프레드 시트, SQL, ARCGIS, R 및 Unix 도구를 혼합하여 사용합니다.
감사!
추신:
다음은 다양한 중간 데이터 세트 ( .RData
접미사 포함) 및 스크립트 ( .R
접미사) 에 대한 종속성을 확인하는 기본 Makefile입니다 . Make는 타임 스탬프를 사용하여 종속성을 확인하므로이 touch ss07por.csv
파일이 종속 된 모든 파일 / 대상보다이 파일이 최신 파일인지 확인하고 지정된 스크립트를 실행하여 그에 따라 업데이트합니다. 이 작업은 여전히 SQL 데이터베이스에 들어가기위한 단계 및 스 웨브와 같은 템플릿 언어를위한 단계를 포함하여 진행중인 작업입니다. Make는 구문에 따라 탭을 사용하므로 잘라서 붙여 넣기 전에 설명서를 읽으십시오. 즐기고 의견을 보내십시오!
http://www.gnu.org/software/make/manual/html_node/index.html#Top
R = / home / wsprague / R-2.9.2 / bin / R persondata.RData : ImportData.R ../../DATA/ss07por.csv Functions.R $ R --slave -f ImportData.R persondata.Munged.RData : MungeData.R persondata.RData Functions.R $ R --slave -f MungeData.R report.txt : TabulateAndGraph.R persondata.Munged.RData Functions.R $ R --slave -f TabulateAndGraph.R> report.txt
답변
나는 일반적으로 프로젝트를 4 개 조각으로 나눕니다.
- 로드
- 깨끗합니다 .R
- func.R
- 할 .R
R : 필요한 모든 데이터를로드합니다. 일반적으로 이것은 파일, URL 및 / 또는 ODBC에서 데이터를 읽는 짧은 파일입니다. 이 시점의 프로젝트에 따라 save()
다음 단계를 사용하여 작업 공간을 작성 하거나 메모리에 보관합니다.
clean.R : 결 측값을 처리하고, 데이터 프레임을 병합하고, 이상 값을 처리하는 모든 추악한 것들이있는 곳입니다.
func.R : 실제 분석을 수행하는 데 필요한 모든 기능이 포함되어 있습니다. source()
이 파일은 함수 정의를로드하는 것 외에 부작용이 없어야합니다. 즉, 큰 데이터 세트에 대해 실행하는 데 시간이 오래 걸릴 수있는 1 단계와 2 단계를 반복하지 않고도이 파일을 수정하고 다시로드 할 수 있습니다.
do.R : func.R에 정의 된 함수를 호출하여 분석을 수행하고 차트와 테이블을 생성합니다.
이 설정의 주요 동기는 후속 단계를 변경할 때마다 데이터를 다시로드 할 필요가없는 대용량 데이터를 다루는 것입니다. 또한 코드를 이와 같이 구획화하면 오랫동안 잊혀진 프로젝트로 돌아와서 빠르게로드를 읽을 수 있습니다 .R은 업데이트해야 할 데이터를 계산 한 다음 수행해야 할 데이터를 분석하여 수행 된 분석을 수행합니다.
답변
몇 가지 예를 보려면 온라인에서 사용할 수있는 소규모 (소형이 아닌) 데이터 정리 및 분석 프로젝트가 있습니다. 대부분의 경우 데이터를 다운로드하는 스크립트, 정리하는 스크립트 및 탐색 및 분석을위한 스크립트를 찾을 수 있습니다.
최근에 스크립트 번호를 매기기 시작 했으므로 어떤 순서로 스크립트를 실행해야하는지 분명합니다. (정말 기분이 좋으면 탐색 스크립트가 청소 스크립트를 호출하고 다운로드 스크립트를 호출하여 필요한 최소 작업을 수행합니다. 일반적으로 출력 파일이 있는지 확인하여 file.exists
. 그러나 대부분의 경우 이것은 과도한 것으로 보입니다.
모든 프로젝트 (소스 코드 관리 시스템)에 git을 사용하므로 다른 사람들과 공동 작업하기 쉽고 변경 사항을 확인하고 이전 버전으로 쉽게 롤백 할 수 있습니다.
공식 보고서를 작성하는 경우 일반적으로 R과 라텍스를 별도로 유지하지만 항상 source
R 코드를 사용하여 보고서에 필요한 모든 코드와 출력을 생성 할 수 있는지 확인합니다 . 내가하는 종류의 보고서에 대해서는 라텍스 작업보다 더 쉽고 깔끔하다는 것을 알았습니다.
답변
다른 응답자에 동의합니다. Sweave는 R을 사용한 보고서 작성에 탁월합니다. 업데이트 된 결과로 보고서를 다시 작성하는 것은 Sweave 기능을 다시 호출하는 것만 큼 간단합니다. 모든 분석, 데이터 등을 포함하여 완전히 독립적이며 전체 파일을 버전 제어 할 수 있습니다.
보고서 개발을 위해 Eclipse 용 StatET 플러그인을 사용하고 Sweave가 통합되었습니다 (Eclipse는 라텍스 형식 지정 등을 인식 함). Windows에서는 MikTEX를 사용하기 쉽습니다 .
또한 Beamer로 멋진 보고서를 만들 수 있다고 덧붙였습니다 . 일반 보고서 작성은 간단합니다. Yahoo!에서 데이터를 가져 오는 예제가 아래에 포함되어 있습니다. quantmod를 사용하여 차트와 테이블을 만듭니다. 다음과 같이이 보고서를 작성할 수 있습니다.
Sweave(file = "test.Rnw")
비머 문서 자체는 다음과 같습니다.
%
\documentclass[compress]{beamer}
\usepackage{Sweave}
\usetheme{PaloAlto}
\begin{document}
\title{test report}
\author{john doe}
\date{September 3, 2009}
\maketitle
\begin{frame}[fragile]\frametitle{Page 1: chart}
<<echo=FALSE,fig=TRUE,height=4, width=7>>=
library(quantmod)
getSymbols("PFE", from="2009-06-01")
chartSeries(PFE)
@
\end{frame}
\begin{frame}[fragile]\frametitle{Page 2: table}
<<echo=FALSE,results=tex>>=
library(xtable)
xtable(PFE[1:10,1:4], caption = "PFE")
@
\end{frame}
\end{document}
답변
누군가가 그것을 놓친 경우를 대비 하여 Jeffrey Horner의 brew 패키지를 사용 하여 반복적 인 보고서 를 만드는 것에 대한 학습자 블로그에 훌륭한 게시물 이 있음 을 추가하고 싶었습니다 . 매트와 케빈은 모두 위에서 양조를 언급했습니다. 나는 실제로 그것을 많이 사용하지 않았습니다.
항목은 훌륭한 워크 플로를 따르므로 읽을 가치가 있습니다.
- 데이터를 준비하십시오.
- 보고서 템플릿을 준비하십시오.
- 보고서를 작성하십시오.
처음 두 단계가 완료되면 실제로 보고서를 작성하는 것은 매우 간단합니다.
library(tools)
library(brew)
brew("population.brew", "population.tex")
texi2dvi("population.tex", pdf = TRUE)
답변
맞춤 보고서를 만들 때 여기에 제안 된 많은 기존 팁을 통합하는 것이 유용하다는 것을 알게되었습니다.
보고서 생성 : 보고서 생성을
위한 좋은 전략은 Sweave, make 및 R의 조합입니다.
편집자 :
Sweave 문서를 준비하기위한 좋은 편집자는 다음과 같습니다.
- 통계 및 이클립스
- 이맥스와 ESS
- Vim과 Vim-R
- R 스튜디오
코드 구성 : 코드 구성
측면에서 두 가지 전략이 유용하다고 생각합니다.
- 분석 워크 플로우에 대해 읽어보십시오 (예 : ProjectTemplate , Josh Reich의 아이디어, R 워크 플로우에 대한 나만의 프레젠테이션
슬라이드
및 비디오 ) - 예제 보고서 연구 및 워크 플로우 식별
답변
보고서 작성 측면에서 Sweave 를 사용 하지만 아직 살펴 보지 않았지만 추출 패키지 에 대해 들었습니다.
기본적으로 요약 통계를 생성하는 여러 설문 조사가 있습니다. 매번 동일한 설문 조사, 동일한 보고서. 보고서에 대한 Sweave 템플릿을 작성했습니다 (일이 다소 걸림). 그러나 작업이 완료되면 별도의 R 스크립트를 사용하여 새 데이터를 가리킬 수 있습니다. “Go”를 누르고 Sweave는 몇 개의 점수 .tex 파일을 덤프하고 작은 python 스크립트를 실행하여 모두 pdflatex합니다. 전임자는이 보고서에 매년 ~ 6 주를 보냈습니다. 나는 약 3 일을 보냅니다 (주로 데이터 정리에; 이스케이프 문자는 위험합니다).
지금은 더 나은 접근 방식이있을 가능성이 매우 높지만이 경로를 사용하기로 결정한 경우 알려주십시오. 나는 Sweave 해킹을 입어 두는 것이 좋았습니다. 그래서.
답변
도구가 아닌 프로젝트 워크 플로 에 대해 구체적으로 요청한 사실을 바탕으로 다른 제출자와 다른 방향으로 무언가를 제안하려고 합니다 . 문서 제작 모델에 상대적으로 만족한다고 가정하면 버전 추적, 자산 관리 및 검토 / 게시 프로세스 문제와 관련하여 문제가 더 집중 될 수 있습니다.
그것이 정확하다고 들리면 Redmine 과 같은 통합 발권 / 소스 관리 / 문서 도구를 살펴 보는 것이 좋습니다 . 보류중인 작업, 토론 스레드 및 버전이 지정된 데이터 / 코드 파일과 같은 관련 프로젝트 아티팩트를 함께 유지하면 전통적인 “프로그래밍”bailiwick 이외의 프로젝트에도 큰 도움이 될 수 있습니다.