다음은 매우 간단한 설명입니다. 일부 분포에서 샘플링 된 점 {x_i, y_i}의 산점도를 상상해보십시오. 당신은 그것에 어떤 모델을 맞추고 싶습니다. 선형 커브 또는 고차 다항식 커브 또는 다른 것을 선택할 수 있습니다. 선택한 것은 무엇이든 {x_i} 포인트 집합에 대한 새로운 y 값을 예측하는 데 적용됩니다. 이것을 유효성 검사 세트라고합시다. 실제 {y_i} 값도 알고 있으며 모델을 테스트하기 위해이 값을 사용한다고 가정합니다.

예측 된 값은 실제 값과 다를 것입니다. 차이점의 특성을 측정 할 수 있습니다. 단일 유효성 검사 지점을 고려해 봅시다. x_v라고 부르고 모델을 선택하십시오. 모델 학습을 위해 100 개의 서로 다른 임의의 샘플을 사용하여 하나의 검증 포인트에 대한 예측 세트를 만들어 봅시다. 그래서 우리는 100 y 값을 얻을 것입니다. 이러한 값의 평균과 실제 값의 차이를 바이어스라고합니다. 분포의 분산은 분산입니다.

우리가 어떤 모델을 사용 하느냐에 따라이 두 가지를 교환 할 수 있습니다. 두 가지 극단을 고려해 봅시다. 가장 작은 분산 모델은 데이터를 완전히 무시하는 모델입니다. x마다 42를 단순히 예측한다고 가정 해 봅시다. 이 모델은 모든 시점에서 서로 다른 트레이닝 샘플에서 차이가 없습니다. 그러나 그것은 분명히 편향되어 있습니다. 편향은 단순히 42-y_v입니다.

다른 하나는 가능한 한 많이 초과하는 모델을 선택할 수 있습니다. 예를 들어 100도 다항식을 100 개의 데이터 포인트에 맞 춥니 다. 또는 가장 가까운 이웃간에 선형 보간합니다. 이것은 바이어스가 낮습니다. 왜? 임의의 샘플의 경우 x_v에 대한 주변 포인트가 크게 변동하지만 낮은 보간만큼 자주 보간됩니다. 따라서 전체 샘플에서 평균적으로 샘플이 취소되고 실제 곡선에 고주파수 변동이 많지 않으면 바이어스가 매우 낮아집니다.

그러나 이러한 과적 합 모델은 데이터를 부드럽게하지 않기 때문에 임의의 표본에 큰 차이가 있습니다. 보간 모델은 두 개의 데이터 포인트를 사용하여 중간 포인트를 예측하므로 많은 노이즈가 발생합니다.

바이어스는 단일 지점에서 측정됩니다. 그것이 양수인지 음수인지는 중요하지 않습니다. 주어진 x에서 여전히 편향입니다. 모든 x 값에 대한 평균 바이어스는 아마도 작을 것입니다. 그러나 그것은 편향되지 않습니다.

하나 더 예. 미국의 특정 지역에서 온도를 예측하려고한다고 가정 해 봅시다. 10,000 개의 훈련 포인트가 있다고 가정 해 봅시다. 다시 말하지만, 평균을 반환함으로써 간단한 것을 수행함으로써 저 분산 모델을 얻을 수 있습니다. 그러나 이것은 플로리다 주에서는 낮게 편향되고 알래스카 주에서는 높게 편향 될 것입니다. 각 주에 평균을 사용하면 더 좋습니다. 그러나 그때도 겨울에는 높고 여름에는 낮습니다. 이제 모델에 월을 포함시킵니다. 그러나 데스 밸리에서는 낮고 샤스타 산에서는 여전히 치우칠 것입니다. 이제 우편 번호 수준의 입도로 이동합니다. 그러나 결국 편향을 줄이기 위해이 작업을 계속하면 데이터 포인트가 부족합니다. 주어진 우편 번호 및 월에 대해 하나의 데이터 포인트 만 있습니다. 분명히 이것은 많은 분산을 만들 것입니다. 따라서 더 복잡한 모델을 사용하면 분산을 희생하면서 편향이 줄어 듭니다.

그래서 당신은 거래가 있음을 알 수 있습니다. 더 부드러운 모델은 훈련 샘플에서 분산이 적지 만 곡선의 실제 모양을 포착하지는 않습니다. 덜 부드러운 모델은 곡선을 더 잘 포착 할 수 있지만 소음이 심합니다. 가운데 어딘가에 Goldilocks 모델이 있으며이 둘 사이에 적절한 균형을 유지합니다.

답변