parallel-computing Archives

하자 우리가 작업의 큰 컬렉션을 가지고 있다고 및 프로세서 (성능의 관점에서) 동일한 모음 완전히 병렬로 작동합니다. 관심있는 시나리오에서는 이라고 가정 할 수 있습니다 . 각 는 일단 프로세서에 할당되면 완료하는 데 어느 정도의 시간 / 사이클이 소요됩니다 $τ_{1}, τ_{2}, . . ., τ_{n}$

τ_{1}, τ_{2}, . . ., τ_{n}

$\tau_1, \tau_2, ..., \tau_n$ $ρ_{1}, ρ_{2}, . . ., ρ_{m}$

ρ_{1}, ρ_{2}, . . ., ρ_{m}

$\rho_1, \rho_2, ..., \rho_m$ $m \leq n$

m \leq n

$m \leq n$ $τ_{i}$

τ_{i}

$\tau_i$ $ρ_{j}$

ρ_{j}

$\rho_j$ 할당 된 후에는 완료 될 때까지 다시 할당 할 수 없습니다 (프로세서는 항상 할당 된 작업을 완료합니다). 의 각 가정하자 시간의 양을 취 / 사이클 아니라, 사전에 알려진 몇 가지 이산 임의 분포에서 가져온. 이 질문에 대해, 우리는 심지어 간단한 분포를 가정 할 수있다 , 모든 있는 페어 독립을. 따라서 및 $τ_{i}$

τ_{i}

$\tau_i$ $X_{i}$

X_{i}

$X_i$ $P (X_{i} = 1) = P (X_{i} = 5) = 1 / 2$

P (X_{i} = 1) = P (X_{i} = 5) = 1 / 2

$P(X_i = 1) = P(X_i = 5) = 1/2$ $X_{i}$

X_{i}

$X_i$ $μ_{i} = 3$

μ_{i} = 3

$\mu_i = 3$ $σ^{2} = 4$

σ^{2} = 4

$\sigma^2 = 4$ .

정적으로 시간 / 사이클 0에서 모든 작업이 모든 프로세서에 균일하게 무작위로 균일하게 할당된다고 가정합니다. 각각의 프로세서 할당 된 (우리는 단지뿐만 아니라 가정 할 수있는 작업을 질문의 목적을 위해). 할당 된 작업을 완료하고 할당 된 작업을 완료하기 위해 마지막 프로세서 의 시간 / 사이클을 makepan이라고합니다 . 첫 번째 질문 : $ρ_{j}$

ρ_{j}

$\rho_j$ $n / m$

n / m

$n/m$ $m | n$

m | n

$m | n$ $ρ^{*}$

ρ^{*}

$\rho^*$

, 및 의 함수로 makepan 무엇입니까? 구체적으로, 무엇입니까? ? $m$
$m$
$m$ $n$
$n$
$n$ $X_{i}$
$X_{i}$
$X_i$ $M$
$M$
$M$ $E [M]$
$E [M]$
$E[M]$ $V a r [M]$
$V a r [M]$
$Var[M]$

두 번째 질문 :

가정 , 모든 그래서 페어 무관 과 . , 및이 새로운 의 함수로서 makepan은 무엇입니까? 더 흥미롭게도 첫 번째 부분의 답변과 어떻게 비교됩니까? $P (X_{i} = 2) = P (X_{i} = 4) = 1 / 2$
$P (X_{i} = 2) = P (X_{i} = 4) = 1 / 2$
$P(X_i = 2) = P(X_i = 4) = 1/2$ $X_{i}$
$X_{i}$
$X_i$ $μ_{i} = 3$
$μ_{i} = 3$
$\mu_i = 3$ $σ^{2} = 1$
$σ^{2} = 1$
$\sigma^2 = 1$ $m$
$m$
$m$ $n$
$n$
$n$ $X_{i}$
$X_{i}$
$X_i$

간단한 생각 실험에서 후자의 대답은 makepan이 더 길다는 것입니다. 그러나 이것을 어떻게 정량화 할 수 있습니까? 이것이 (a) 논쟁의 여지가 있거나 (b) 불분명 한 경우 사례를 게시하게되어 기쁩니다. 이것의 성공에 따라, 동일한 가정 하에서 동적 할당 체계에 대한 후속 질문을 게시 할 것입니다. 미리 감사드립니다!

쉬운 사례 분석 : $m = 1$

$m = 1$

경우에 , 모든 작업은 동일한 프로세서 예정이다. makespan 은 작업을 완전한 순차 방식으로 완료하는 시간 입니다. 따라서
$m = 1$

m = 1

$m = 1$ $n$

n

$n$ $M$

M

$M$ $n$

n

$n$
및

\begin{aligned} E [M] & = E [X_{1} + X_{2} + . . . + X_{n}] \\ = E [X_{1}] + E [X_{2}] + . . . + E [X_{n}] \\ = μ + μ + . . . + μ \\ = n μ \end{aligned}

$\begin{align*} E[M] &= E[X_1 + X_2 + ... + X_n] \\ &= E[X_1] + E[X_2] + ... + E[X_n] \\ &= \mu + \mu + ... + \mu \\ &= n\mu \end{align*}$

\begin{aligned} V a r [M] & = V a r [X_{1} + X_{2} + . . . + X_{n}] \\ = V a r [X_{1}] + V a r [X_{2}] + . . . + V a r [X_{n}] \\ = σ^{2} + σ^{2} + . . . + σ^{2} \\ = n σ^{2} \end{aligned}

$\begin{align*} Var[M] &= Var[X_1 + X_2 + ... + X_n] \\ &= Var[X_1] + Var[X_2] + ... + Var[X_n] \\ &= \sigma^2 + \sigma^2 + ... + \sigma^2 \\ &= n\sigma^2 \\ \end{align*}$

이 결과를 사용하여 대한 질문에 대답하는 것이 가능할 것 같습니다 . 우리는 단순히 대한 식 (또는 근사치) 찾아야 여기서, $m > 1$

m > 1

$m > 1$ $max (Y_{1}, Y_{2}, . . ., Y_{m})$

max (Y_{1}, Y_{2}, . . ., Y_{m})

$\max(Y_1, Y_2, ..., Y_m)$ ,랜덤 변수 $Y_{i} = X_{i \frac{n}{m} + 1} + X_{i \frac{n}{m} + 2} + . . . + X_{i \frac{n}{m} + \frac{n}{m}}$

Y_{i} = X_{i \frac{n}{m} + 1} + X_{i \frac{n}{m} + 2} + . . . + X_{i \frac{n}{m} + \frac{n}{m}}

$Y_i = X_{i\frac{n}{m} + 1} + X_{i\frac{n}{m} + 2} + ... + X_{i\frac{n}{m} + \frac{n}{m}}$ $μ_{Y} = \frac{n}{m} μ_{X}$

μ_{Y} = \frac{n}{m} μ_{X}

$\mu_Y = \frac{n}{m}\mu_X$ and $σ_{Y}^{2} = \frac{n}{m} σ_{X}^{2}$

σ_{Y}^{2} = \frac{n}{m} σ_{X}^{2}

$\sigma_Y^2 = \frac{n}{m}\sigma_X^2$ . Is this heading in the right direction?

답변

$m = k \times n$

m = k \times n

$m = k \times n$ $k$

k

$k$ $n$

n

$n$ $n$

n

$n$ $m$

m

$m$ $T_{i}$

T_{i}

$T_i$ $i$

i

$i$ -th processor to finish its work.

$n$

n

$n$ $T_{i}$

T_{i}

$T_i$ $5 k$

5 k

$5k$ $T = 5$

T = 5

$T=5$ tasks) for some $i$

i

$i$ approaches $1$

1

$1$ , so makespan being defined as $m a x (T_{i})$

m a x (T_{i})

$\mathrm{max}(T_i)$ , $E [M]$

E [M]

$E[M]$ approaches $5 k$

5 k

$5k$ .

For the second scenario this is $4 k$

4 k

$4k$ so increasing the number of processors makes the 4–2 split better.

What about $k$

k

$k$ — increasing the number of tasks per processor? Increasing $k$

k

$k$ has the opposite effect, it makes it less likely to have a processor with an unlucky set of tasks. I’m going home now but I’ll come back to this later. My “hunch” is that as $k$

k

$k$ grows, the difference in $E [M]$

E [M]

$E[M]$ between the 4–2 split and the 5–1 split disappears, $E [M]$

E [M]

$E[M]$ becomes the same for both. So I would assume that 4–2 is always better except maybe for some special cases (very small specific values of $k$

k

$k$ and $n$

n

$n$ ), if even that.

So to summarize:

Lower variance is better, all else being equal.
As the number of processors grows, lower variance becomes more important.
As the number of tasks per processor grows, lower variance becomes less important.

답변

I find that heuristic arguments are often quite misleading when considering task scheduling (and closely related problems like bin packing). Things can happen that are counter-intuitive. For such a simple case, it is worthwhile actually doing the probability theory.

Let $n = k m$

n = k m

$n = km$ with $k$

k

$k$ a positive integer. Suppose $T_{i j}$

T_{i j}

$T_{ij}$ is the time taken to complete the $j$

j

$j$ -th task given to processor $i$

i

$i$ . This is a random variable with mean $μ$

μ

$\mu$ and variance $σ^{2}$

σ^{2}

$\sigma^2$ . The expected makespan in the first case is

E [M] = E [max {\sum_{j = 1}^{k} T_{i j} ∣ i = 1, 2, \dots, m}] .

$E[M] = E[\max \left\{\sum_{j=1}^k T_{ij} \mid i=1,2,\dots,m \right\}].$
The sums are all iid with mean $k μ$

k μ

$k\mu$ and variance $k σ^{2}$

k σ^{2}

$k\sigma^2$ , assuming that $T_{i j}$

T_{i j}

$T_{ij}$ are all iid (this is stronger than pairwise independence).

Now to obtain the expectation of a maximum, one either needs more information about the distribution, or one has to settle for distribution-free bounds, such as:

Peter J. Downey, Distribution-free bounds on the expectation of the maximum with scheduling applications, Operations Research Letters 9, 189–201, 1990. doi:10.1016/0167-6377(90)90018-Z

which can be applied if the processor-wise sums are iid. This would not necessarily be the case if the underlying times were just pairwise independent. In particular, by Theorem 1 the expected makespan is bounded above by

E [M] \leq k μ + σ \sqrt{k} \frac{n - 1}{\sqrt{2 n - 1}} .

$E[M] \le k\mu + \sigma\sqrt{k}\frac{n-1}{\sqrt{2n-1}}.$
Downey also gives a particular distribution achieving this bound, although the distribution changes as $n$

n

$n$ does, and is not exactly natural.

Note that the bound says that the expected makespan can increase as any of the parameters increase: the variance $σ^{2}$

σ^{2}

$\sigma^2$ , the number of processors $n$

n

$n$ , or the number of tasks per processor $k$

k

$k$ .

For your second question, the low-variance scenario resulting in a larger makespan seems to be an unlikely outcome of a thought experiment. Let $X = {max}_{i = 1}^{m} X_{i}$

X = {max}_{i = 1}^{m} X_{i}

$X = \max_{i=1}^m X_i$ denote the makespan for the first distribution, and $Y = {max}_{i = 1}^{m} Y_{i}$

Y = {max}_{i = 1}^{m} Y_{i}

$Y = \max_{i=1}^m Y_i$ for the second (with all other parameters the same). Here $X_{i}$

X_{i}

$X_i$ and $Y_{i}$

Y_{i}

$Y_i$ denote the sums of $k$

k

$k$ task durations corresponding to processor $i$

i

$i$ under the two distributions. For all $x \geq k μ$

x \geq k μ

$x \ge k\mu$ , independence yields

P r [X \leq x] = \prod_{i = 1}^{m} P r [X_{i} \leq x] \leq \prod_{i = 1}^{m} P r [Y_{i} \leq x] = P r [Y \leq x] .

$Pr[X \le x] = \prod_{i=1}^m Pr[X_i \le x] \le \prod_{i=1}^m Pr[Y_i \le x] = Pr[Y \le x].$
Since most of the mass of the probability distribution of the maximum will be above its mean, $E [X]$

E [X]

$E[X]$ will therefore tend to be larger than $E [Y]$

E [Y]

$E[Y]$ . This is not a completely rigorous answer, but in short, the second case seems preferable.

How IT

언제든지 물어보세요.

태그 보관물: parallel-computing

작업 완료 시간의 차이가 makepan에 어떤 영향을 줍니까? 프로세서 할당 된 N

답변

답변

답변