INTRODUCCIÓN:
Recientemente comenzó a aprender "aprendizaje automático", el maestro había oído el nombre de Chang país de la isla, no tiene tiempo para ver sus cursos. Después de escuchar una lección de hoy, me siento muy bien, fácil de entender, pero puede hacerse con la clave, sino también el medio con algunos ejemplos muy interesantes para profundizar en la impresión de los estudiantes.
Enlaces de vídeo (bilibili): CHANG Machine Learning (2017)
Además, los estudiantes se han determinado a hacer la taquigrafía y cambios en github: CHANG máquina de aprendizaje notas (LeeML-Notes)
así, el siguiente registro mis notas sólo algunas de mi propia resumen y conferencias en el momento de confusión, si hay un amigo me puedan ayudar plazca exposiciones.
En primer lugar, cuando el error de? Cómo hacer frente a estos errores?
Puede saber desde la primera clase, el modelo más complejo no conduce necesariamente a bajar de error (error). Error partir de dos aspectos:
- Desviación (sesgo)
- Varianza (varianza)
Si se puede diagnosticar el origen del error, se puede elegir el método adecuado para mejorar sus modelos.
Veo aquí he cierta confusión, error, desviación, sonidos varianza demasiado parecido, al final lo que diferencia hace?
[Aquí no tiene nada que ver con el aprendizaje de la máquina: la Figura 1 es realmente bastante raro, hay, sin saberlo, en una sensación de sentir un aspectos de gestión, con la parte superior izquierda muestra el diagrama buen liderazgo (toma de decisiones estratégicas) y un buen personal (capa ejecución táctica) , representa la esquina superior derecha con un buen liderazgo (toma de decisiones estratégicas) la diferencia entre el (capa ejecución táctica) empleado en la esquina inferior izquierda de la figura muestra la diferencia con el liderazgo (toma de decisiones estratégicas) y un buen personal (capa ejecución táctica) y derecha esquina inferior de la figura muestra la diferencia con el liderazgo de (toma de decisiones estratégicas) la diferencia entre el (capa ejecución táctica) empleado. A partir de esto se puede ver, una buena decisión estratégica de lo importante! ]
Los modelos simples (por ejemplo, ecuaciones lineales) causados por la relación de la varianza modelo complejo (por ejemplo, la ecuación cinco) llevados menor varianza en la Fig. 4.
Aunque el modelo simple ayuda a la varianza de control, pero si el comienzo del rango seleccionado no incluyen F ^, entonces f * causada por la desviación también es muy probable que resulte en errores. 5.
- Si el error de la desviación, es a menudo en el conjunto de entrenamiento underfitting (underfitting)
- Si la varianza de error a partir de entonces a menudo sobreajuste del conjunto de entrenamiento (overfitting)
máquina necesidad de aprender a entender una cosa: ¿Dónde está el error? Si la desviación, entonces, ¿cómo hacer? Si la varianza, entonces ¿qué debemos hacer? 7. - Cuando underfitting tiempo (datos no ser un buen ajuste f ), es la desviación de este tiempo debería ser rediseñado modelo, ya que f ^ f no está incluido
- Cuando el exceso de montaje, que venía de una varianza de error, esta vez hay dos maneras:
- El aumento de los datos: casi una panacea, no duelen sesgo, pero hay un inconveniente es el costo demasiado alto
- Regularización: puede ser una curva suave
En segundo lugar, elegir el modelo del proceso de las cosas a la nota
Por lo general, podemos encontrar un equilibrio entre el sesgo y la varianza con el fin de encontrar un modelo adecuado. Pero asegúrese de no hacer algo como esto:
modelo de elección directa con todos los conjuntos de entrenamiento directamente, por lo que se obtiene el error en la prueba no refleja el verdadero error en la prueba. 8.
Entonces, ¿cómo debemos hacer?
- La validación cruzada: el conjunto de entrenamiento en entrenamiento y validación conjuntos (conjunto de validación), con los dos primeros juegos de la modelo de error seleccionado es relativamente pequeño, y luego tomar su equipo de prueba para comparar la magnitud del error. Si piensa que el primer paso en sí no es muy grande, sino también los puntos del conjunto de entrenamiento, de nuevo, se puede elegir el modelo adecuado para todo el conjunto de entrenamiento y luego confirmar. Así que básicamente se puede reflejar el modelo de error de prueba en un equipo de prueba real. 9.
Si usted está preocupado por su propio sub-conjunto de pruebas puede llevar a la desviación, se puede hacer la N veces la validación cruzada, el conjunto de entrenamiento en grupos de pequeño conjunto de entrenamiento 1, 2 pequeños conjunto de entrenamiento, conjunto de validación pequeña, a continuación, obtener el más mínimo error en el modelo se puede continuar con el entrenamiento sobre el importe total del conjunto de entrenamiento. 10.
Aquí el maestro CHANG mencionadas específicamente, los modelos seleccionados en el conjunto de entrenamiento, si el rendimiento de la desviación en la prueba es relativamente grande, no volver atrás y seleccionar aquellos característica de error de los modelos grandes, ya que son propensos a mostrar en la prueba privada de error mayor.