모델 평가
슈퍼 조정 매개 변수
질문 : 저기 조정 매개 변수의 어떤 방법?
답변 : 일반 격자 검색, 무작위 검색, 베이지안 최적화.
그리드 검색 ■
그리드 검색 아마도 검색 범위 내의 모든 지점을 발견하여 최적의 값을 결정하는 가장 간단하고 널리 사용되는 슈퍼 파라 메트릭 검색 알고리즘입니다. 더 큰 검색 범위와 작은 단계 경우, 그리드 검색은 글로벌 최적을 찾는 큰 가능성을 가지고있다. 그러나이 검색 방식은 시간이 지남에 따라 더 필요 조정 매개 변수 특히, 계산 비용 및 시간입니다. 따라서, 실제로, 그리드 검색 방법은 일반적으로 가능한 글로벌 최적의 위치를 찾기 위해, 넓은 탐색 범위와 더 큰 스텝 크기를 사용 후 점차 찾기 위해 탐색 범위 및 스텝 사이즈를 좁히 정확한 최적의 값입니다. 이 동작 방식은 시간 및 요구되는 계산의 양을 줄일 수 있지만, 일반적으로 비 볼록 목적 함수에서, 상기 글로벌 최적화를 놓칠 가능성이있다.
무작위 검색 ■
검색 범위에서 무작위 검색 그리드 검색 유사과의 비교가 아니라 상한과 하한 사이의 모든 테스트 값이 아니라 무작위로 선택된 샘플 포인트는 생각했다. 이 샘플은 글로벌 최적화, 또는 이의 근사치를 찾는 큰 확률 일 수 랜덤 샘플링 후, 점 충분히 큰 세트 인 경우, 이론. 무작위 검색은 일반적으로 빠른 그리드 검색보다하지만, 검색 그리드와 같은 신속 버전은, 그 결과는 보장 할 수 없습니다.
베이지안 최적화 알고리즘 ■
베이지안 최적화 알고리즘 그리드 검색, 최적의 매개 변수 값을 찾아 사용하여 임의의 검색 완전히 다른 접근 방식을. 그리드 검색 및 무작위 검색을 무시하기 전에 점을 정보의 새로운 지점을 테스트 할 때, 베이지안 최적화 알고리즘은 이전의 정보를 최대한 활용합니다. 목적 함수 형상을 학습하여 베이지안 최적화 알고리즘은 전역 변수를 향상시킬 목적 함수의 최적 값을 찾기. 구체적으로는, 최초의 사전 확률 분포에 따라 집합 함수 것으로 가정되는 타겟 함수의 형상을 학습 방법과, 목적 함수에 새로운 시료를 사용하여 각 시간은 목적 함수의 사전 확률 분포를 업데이트하도록이 정보를 사용하여 최종적으로, 가장 후방 분배 지점 대부분의 위치의 값에 의해 주어진 글로벌 테스트 알고리즘. 베이지안 최적화 알고리즘의 경우, 관심을 지불 할 필요가 로컬 최적의 값이 발견되면이 지역의 최적에 해당하기 쉬운, 그래서 그것은이 지역에 샘플링 것입니다. 이를 보완하려면, 베이지안 최적화 알고리즘은 탐사와 개발 사이의 균형을 찾기 위해 "탐사"아직 샘플링되지 않은 지역에서의 샘플링 포인트를 얻는 것입니다, 그리고 "사용은"가장 가능성이 후 사후 분포에 기반 샘플링 글로벌 가치의 대부분의 영역입니다.
오버 피팅 및 단순성과
질문 : 모델 평가 과정에서,이 오버 피팅 특히 단순성과 어떤 현상에 의미?
답 : 경우는 평가 지표에 반영 끝났을 때 훈련 데이터 모델을 피팅 수단을 통해 피팅, 테스트 세트 및 새로운 데이터에 좋은 모델 학습 집합의 성능,하지만 성능 저하입니다. 단순성과 교육의 모델을 참조하고 예측 성능이 좋은 상황이 아니다. 도 2.5 생생하게 위에 피팅 덜 맞는 차이를 설명한다.
이도에서 알 수있다. 2.5 (a)는 빈약 한 결합은 황색 라인이 아니라 데이터의 포착 특성에 적합하지 않은 경우, 그것은 데이터 잘 맞지 않는다. .도 250 (c)을 통해 피팅의 경우, 모델은, 노이즈 데이터의 특성 모델을 알아 너무 복잡하고, 감소 된 능력 일반화 결과 모델은 늦은 애플리케이션 프로세스 출력 용이 오류 예측 결과이다.
질문 : 오버 피팅과 위험을 단순성과 줄이기 위해 여러 가지 방법을 말할 수 있습니까?
대답:
위험 기반 접근 방식을 "오버 피팅"감소 ■
처음부터 (1) 데이터, 더 많은 교육 자료를 얻을 수 있습니다. 사용은 더 이상의 피팅의 문제를 해결하기 위해 가장 효과적인 방법을 데이터입니다 훈련 모델이 노이즈의 영향을 줄이기 위해 더 효율적인 기능을 배울 수있는 샘플이 더 있기 때문이다. 물론, 실험 데이터의 직접적인 증가는 일정한 규칙에 의해 학습 데이터를 확장하는 것은 일반적으로 매우 어려운, 그러나 가능하다. 예를 들면, 화상 분류 문제에서, 데이터 등의 이미지, 회전, 줌, 패닝에 의해 확장 될 수있다 또한, 상기 화학식 새로운 트레이닝 데이터에 대해 네트워크의 다수의 합성에 사용될 수있다.
(2) 모델의 복잡성을 줄일 수 있습니다. 이하의 데이터는, 모델이 중요한 인자 생산 맞게 너무 복잡하면, 과도한 샘플링 잡음 모델의 결합을 방지하기 위해 모델의 복잡성을 줄이기 위해 적절한. 모델 트리의 트리의 깊이를 감소 같은 전정 예를 들어, 네트워크 및 신경망 모델의 다른 신경 요소 번호의 층의 수를 감소시킨다.
(3) 정규화 방법. 이러한 기능의 손실에 첨가 중량의 크기와 소정의 규칙 제약과 모델의 파라미터들. 예를 들어 L2의 정규화받는 사람 :
원래의 목적 함수 C0을 최적화하면서 이러한 방법으로, 또한 가지고 너무 큰 무게를 오버 피팅의 위험을 방지 할 수 있습니다. (4) 학습에 대한 통합 된 접근 방식. 통합 학습은 포기할 방법으로, 단일 모델을 오버 피팅의 위험을 줄이기 위해 여러 모델을 통합하는 것이다.
은 "적은 적합"위험 기반 접근 방식을 감소 ■
(1) 새로운 기능을 추가 할 수 있습니다. 라벨의 샘플과 관련된 기존의 기능 또는 특성의 부족이 강하지 않은 경우, 모델은 경향 단순성과. "기능 컨텍스트"새로운 기능 "ID 기반 기능,"기능 "조합"을 파고, 그들은 종종 더 나은 결과를 얻을 수 있습니다. 깊이 연구 동향에서, 방법의 다양한 기능이 될 수 있도록 의사 결정 트리, 깊은 교차을 향상 그라데이션, 같은 인수 분해 시스템과 프로젝트 기능을 완료하는 데 도움이 수 많은 모델이있다.
(2) 모델의 복잡성을 증가시킨다. 간단한 모델을 배울 수있는 가난한 능력이 모델은 복잡성이 증가하여 모델에 맞게 강한 능력을 가질 수있다. 예를 들어, 상기 선형 모델은 뉴럴 네트워크 층의 수를 증가 고차 조건을 추가 등 원 신경망 모델.
정규화 계수를 감소 (3). 정규화는 아래에 피트 위에 끼움 방지하는데 사용되지만, 현상 모델이 대상 정규화 계수를 감소시키기 위해 요구되는 경우 발생한다.