기본적으로 SAS는 메모리보다 큰 모델에서 작동 할 수 있지만 biglm 또는 ff와 같은 패키지를 구체적으로 사용하지 않는 한 R의 경우에는 해당되지 않습니다.

그러나 벡터화 할 수있는 R에서 배열 작업을 수행하는 경우 매우 빠릅니다. 경우에 따라 C 프로그램 속도의 절반 속도 일 수 있지만 벡터화 할 수없는 무언가를 수행하는 경우 꽤 보일 것입니다. 느린. 예를 들자면 :

# create a data.frame with 4 columns of standard normally distributed RVs
N <- 10000

# test 1
system.time( {df1 <- data.frame(h1=rnorm(N),
                h2=rpois(N, lambda=5),
                h3=runif(N),
                h4=rexp(N))
} )
# about 0.003 seconds elapsed time

# vectorised sum of columns 1 to 4
# i.e. it can work on an entire column all at once
# test 2
system.time( { df1$rowtotal1 <- df1$h1 + df1$h2 + df1$h3 + df1$h4 })
# about 0.001 seconds elapsed time

# test 3
# another version of the vectorised sum
system.time( { df1$rowtotal2 <- rowSums(df1[,c(1:4)]) })
# about 0.001 seconds elapsed time

# test 4
# using a loop... THIS IS *VERY* SLOW AND GENERALLY A BAD IDEA!!! :-)
system.time( {
        for(i in 1:nrow(df1)) {
                df1$rowtotal3 <- df1[i,1]+ df1[i,2] + df1[i,3] + df1[i,4]
        }
} )
# about 9.2 seconds elapsed time

N을 10에서 100,000으로 증가 시키면 20 분 후에 테스트 4를 포기했지만 테스트 1 : 3은 각각 61, 3 및 37 밀리 초가 걸렸습니다.

N = 10,000,000의 경우, 테스트 1 : 3의 시간은 3.3 초, 0.6 초 및 1.6 초입니다.

이것은 i7 랩탑에서 수행되었으며 N = 10million의 경우 480mb에서 메모리는 문제가되지 않았습니다.

32 비트 윈도우 사용자의 경우 메모리 용량에 관계없이 R에 1.5GB 메모리 제한이 있지만 64 비트 Windows 또는 64 비트 Linux에는 이러한 제한이 없습니다. 요즘 메모리는 내 시간의 시간과 비교할 때 매우 저렴 하므로이 문제를 해결하는 데 시간을 소비하지 않고 더 많은 메모리를 구입합니다. 그러나 이것은 모델이 메모리에 적합하다고 가정합니다.

답변