Dropout드롭아웃(Dropout)은 딥러닝 모델에서 과적합(overfitting)을 방지하고 모델의 일반화 성능을 향상시키기 위해 고안된 정규화 기법입니다. 이 기법은 훈련 과정에서 뉴런(또는 퍼셉트론)을 무작위로 비활성화하여 모델이 특정 뉴런이나 경로에 지나치게 의존하지 않도록 합니다. 이를 통해 모델은 다양한 하위 구조를 학습하게 되며, 결과적으로 더 나은 예측 성능을 보일 수 있습니다.원리드롭아웃은 훈련 단계에서 각 뉴런에 대해 확률적으로 비활성화 여부를 결정하는 마스크(mask)를 생성합니다. 이 마스크는 0과 1로 이루어져 있으며, 각 뉴런이 비활성화될 확률은 미리 정의된 드롭아웃 비율 $p$(Bernoulli)에 따라 결정됩니다. 비활성화된 뉴런은 해당 훈련 단계에서 입력과의 연결이 끊기며..

1SE Rule`1 Standard Error Rule (1SE Rule)`은 전통적인 통계 모형 선택 과정에서, 특히 교차검증(cross-validation)을 통해 여러 하이퍼파라미터나 모델의 복잡도를 비교할 때 사용되는 규칙입니다. 이 규칙은 일반적으로 최적의 성능을 내는 모델 대신, 더 간단한 모델을 선택하여 과적합(overfitting)을 방지하고, 모델의 일반화 성능을 높이기 위한 목적에서 사용됩니다. 교차검증을 통해 여러 하이퍼파라미터(예: Constraint parameter, Tree depth, Dropout rate 등)에 대해 모델의 성능을 평가한다고 가정해봅시다. 이때 각 하이퍼파라미터 값에 대해 여러 번의 교차검증이 수행되므로, 각 하이퍼파라미터에 대한 평균 성능(MSE의 평균 ..