Esta fue una parte importante de mi doctorado. Trabajo de tesis. Daré un breve bosquejo.
Si el pdf es una función “conjunta” de dos variables independientes, o solo una, está trabajando a partir de datos empíricos (supongo). Por lo tanto, el objetivo es encontrar la mejor función pdf (o lo suficientemente buena) que modele los datos con precisión. Primero, trace gráficos del pdf y la Función de distribución acumulativa (CDF), que es la integral del pdf, denotado F (x, y). Fije un valor de x o y, y mire el pdf como una función de la otra variable. Mira la forma general. ¿El pdf tiene un modo (máximo local) o múltiples modos? ¿Cuáles son las estadísticas de resumen: media, mediana, desviación estándar, valores máximos, mínimos de x, y.
A continuación, y muy importante, observe el comportamiento de la cola. A medida que x o y llega a valores extremos, el pdf disminuye como exponencial, exp-cuadrado o hiperbólico (es decir, como 1 / x, o más generalmente x ^ -a). Puede averiguarlo trazando log (1-F (x)) vs log x. Una función de potencia se mostrará como una línea recta en este gráfico, siendo la pendiente -a. Si se cae más rápido que el lineal, entonces la cola es exponencial o exponencial al cuadrado (por ejemplo, gaussiana).
- ¿Puedes dibujar una transformación de Lorentz con un diagrama de Feynman que haga obvio a Faraday y la regla de la mano derecha?
- ¿Cuál es la relación entre el límite de la primera zona de Brillouin y la superficie de Fermi de un metal?
- ¿Qué tan grandes tendrían que medir los pies de un humano ligero para no romper la tensión superficial del agua?
- ¿Cuál es el tiempo más largo en que una bala ha viajado antes de detenerse por completo?
- ¿Nuestro método de medición de años es incorrecto?
Luego, encuentre un libro de referencia con propiedades de varias funciones de distribución de probabilidad. Estas son, por ejemplo, distribuciones gaussianas, de Poisson, exponenciales, de Pareto, de Weibull, lognormales, etc. Encuentre una función de distribución que tenga características similares en términos de modos y el comportamiento asintótico de la cola. Luego, parametrice su modelo calculando los parámetros de la distribución que son los estimadores de máxima verosimilitud; generalmente esto significa que la suma de las diferencias cuadráticas medias entre el modelo y sus datos se minimiza.
En el caso de mi problema, no había una sola función analítica que funcionara bien, así que hibridé la distribución Gamma con la distribución de Pareto. Esto me dio el modo del Gamma y la cola del Pareto. Lo llamé una distribución Gamma-Pareto. Sería feliz si la gente reutilizara la idea y la llamara la distribución de Garrett (ya que nunca he visto esa solución utilizada antes o desde entonces), pero, por desgracia, nadie lo hizo. (Concluyo que a) es demasiado obvio para los expertos en la materia, b) en realidad no se aplica a mucho más (que no creo, por cierto), o c) otros lo han reinventado desde cero , con la esperanza de que se les ponga su nombre (!). Pero yo divago …).
Ahora, dependiendo de lo que esté tratando de lograr, podría hacer un trabajo muy rápido y sucio en esto: solo haga que los parámetros coincidan aproximadamente y tenga un modelo útil, o puede que tenga que tomarse el tiempo y el esfuerzo para idear Un buen modelo de probabilidad. Un buen modelo significa que muchos tipos de pruebas estadísticas muestran acuerdo entre el modelo y sus datos. Además, si obtiene un nuevo conjunto de datos que espera que tenga un comportamiento similar, el modelo debe ser coherente con los nuevos datos simplemente ajustando un pequeño número de parámetros.
Entonces, por ejemplo, en mi trabajo estaba modelando el número de bytes de datos que tendrían los cuadros de una película después de aplicar un algoritmo de compresión de datos. La idea era descubrir el comportamiento estadístico del video comprimido de velocidad variable a través de redes de paquetes. (Es lo que ahora llama “transmisión de Netflix”). El modelo de distribución solo necesitaba tres parámetros: la media, la desviación estándar y el exponente de cola. Había un cuarto parámetro que tenía que ver con la correlación de tiempo, pero eso no es parte de la función de distribución que estamos discutiendo.
Aquí hay un artículo relacionado de Wikipedia: Ajuste de distribución de probabilidad – Wikipedia
Para leer más sobre mi investigación: MW Garrett, W. Willinger, “Análisis, modelado y generación de tráfico de video VBR auto-similar”, ACM Comp Comm Review, Vol. 24, No 4, pp. 269-80, octubre de 1994.
