CAP´ITULO6 Modelos ARMA para la Componente Aleatoria 6.1. Introducci´on En los modelos de descomposici´on Yt = Tt + St + εt , t = 1, 2, . . . se estima εˆt y se determina si es o n´o ruido blanco mediante las pruebas Ljung-Box y Durbin-Watson. En caso de encontrar que εˆt no es ruido blanco, el siguiente paso es modelar esta componente mediante tres posibles modelos 1. Medias M´oviles de orden q, M A(q). 2. Autoregresivos de orden q, AR(p). 3. Medias M´oviles Autoregresivos, ARM A(p, q). “Los tres modelos var´ıan en su capacidad de capturar distintos tipos de comportamiento de autoregresi´on.” “Comenzaremos dando las caracter´ısticas de las funciones de autocorrelaci´on y cantidadades relacionadads con cada modelos, est´as no tiene nada que ver con datos ni estimaci´on pero son fundamentales para desarrollar una comprensi´on b´asica de las propiedades de los modelos necesarios para llevar a cabo pron´osticos inteligentes.” Diebold [1999, p´ag. 129] 89 90 6.2. Procesos de Medias M´oviles de orden q Definici´on 6.2.1 (El Operador de Rezago). Se denota por L (lag, en ingl´es) y es tal que L(Yt ) = Yt−1 . Es decir, L opera sobre una serie rezag´andola un per´ıodo hacia atr´as. De igual manera L(Yt−1 ) = Yt−2 , luego L(L(Yt)) = L2 (Yt ) = Yt−2 y en general Lp (Yt ) = Yt−p . Se define tambi´en L0 = I, el operador identidad. Un polinomio de grado p en el operador L se define como el operador formado por una combinaci´on lineal de potencias de L BP (L) = β0 + β1 L + β2 L2 + · · · + βpLp , (6.1) tal que BP (L)(Yt) = (β0 + β1 L + β2 L2 + · · · + βpLp )Yt , = p X βj Lj Yt , j=0 = p X βj Yt−j , j=0 = β0 Yt + β1 Yt−1 + β2 Yt−2 + · · · + βp Yt−p . Definici´on 6.2.2 (Proceso MA(q)). Se dice que una serie Yt sigue un proceso M A(q), q = 1, 2, . . . de media m´ovil de orden q, si se cumple que Yt = εt + θ1 εt−1 + · · · + θq εt−q , t ∈ Z, (6.2) donde εt ∼ RB(0, σ 2 ). La expresi´on con el operador L es, si se define el polinomio θq (L) = 1 + θ1 L + · · · + θq Lq , (6.3) entonces la ecuaci´on (6.2) se expresa Yt = θq (L)(εt). 6.2.1. Propiedades 1. E(Yt) = 0 2. V ar(Yt ) = (1 + θ12 + · · · + θq2 )σ 2 (6.4) 91 luego V ar(Yt) > V ar(εt ), en general. 3. Cov(Yt , Yt+k ) = R(k), donde R(K) = con θ0 = 1. q−k X σ 2 θj θj+k , k < q + 1 (6.5) j=0 0, k ≥ q+1 4. Un M A(q) siempre es un proceso estacionario con fac, ρ(k) = R(k) . R(0) Interpretaci´on de 3. Un M A(q) es un proceso d´ebilmente correlacionado. Se puede ver como una alternativa a un Ruido Blanco completamente incorrelacionado. Ejemplo 6.2.1. Sea Yt ∼ M A(2) dado por yt = εt − θ1 εt−1 + θ2 εt−2 , i.i.d. εt ∼ N (0, 9), t ∈ Z, con θ1 = −0.4, θ2 = 0.4, σ2 = 9, entonces R(0) = 1 + 0.42 + 0.42 9 = 11.88 R(1) = 9 2−1 X θj θj+1 = 9(θ0 θ1 + θ1 θ2 ) 2−2 X θj θj+2 = 9(θ0 θ2 ) = 9(0.4) = 3.6. j=0 = 9 − 0.4 + (−0.4)(0.4) = −5.04 R(2) = 9 j=0 Entonces la FAC es 5.04 = −0.42, 11.88 ρ(3) = ρ(4) = · · · = 0 ρ(0) = 1, ρ(1) = − ρ(2) = 3.6 11.88 92 −0.4 −0.2 0.0 0.2 True ACF 0.4 0.6 0.8 1.0 True ACF 0 1 2 3 4 Lag Figura 6.1: Funci´on de Autocorrelaci´on. Ejercicio 6.2.1. Encuentre la FAC de 1. Yt = εt − 0.5εt−1 − 0.5εt−2 . 2. Yt = εt + 0.6εt−1 − 0.3εt−2 − 0.1εt−3 . Conclusi´on De acuerdo con (6.5), si la fac muestral de una serie Yt termina abruptamente puede tratarse de un M A(q). Por ejemplo, en la siguiente gr´afica 6.2 ser´ıa factible un modelo MA(3). 0.4 0.0 ACF 0.8 Series MA.3 0 5 10 15 Lag Figura 6.2: FAC muestral de un M A(3). Definici´on 6.2.3 (Funci´on de Autocorrelaci´on Parcial (facp)). Suponga que (Yt , t ∈ Z) es estacionaria. La facp es una funci´on de k, α(k), k = 1, 2, . . . definida por 1. α(1) = ρ(1) 2. α(k) = Corr(ε1 , εk ) donde ε1 = Y1 − E(Y1|Y2 , . . . , Yk−1 ) εk = Yk − E(Yk |Y2 , . . . , Yk−1 ), k = 2, . . . 93 Y la facp muestral se define por α(k) ˆ 1. α(1) ˆ = ρˆ(1) 2. α(2) ˆ : se regresa Yt sobre Yt−1 y Yt−2 tal que Yt = φ21 Yt−1 + φ22 Yt−2 + εt entonces α(2) ˆ = φˆ22 3. α(k) ˆ : se regresa Yt sobre Yt−1 , . . . , Yt−k tal que Yt = φk1 Yt−1 + · · · + φkk Yt−k + εt entonces α ˆ (k) = φˆkk La facp de un proceso Yt ∼ M A(q) se puede encontrar si se asume la condici´on de invertibilidad para un M A(q) 6.2.2. Condici´on de Invertibilidad del Proceso MA(q) Definici´on 6.2.4. Dado un proceso MA(q), Yt = θq (L)(εt) donde θq (L) = 1+θ1 L+θ2 L2 + · · · + θq Lq , entonces considerando el polinomio en z ∈ C, θq (z) = 1 + θ1 z + · · · + θq z q y sus q ra´ıces (z1 , z2 , . . ., zq ) ∈ C, es decir, valores z ∈ C tales que θq (z) = 0, se dice que el proceso Yt es invertible si se cumple |zj | > 1, ∀j = 1, . . ., q, (6.6) o tambi´en, si θq (z) 6= 0, ∀z, |z| ≤ 1. Note que (6.6) es equivalente a 1 < 1, |zj | ∀j = 1, . . . , q es decir, los inversos de las ra´ıces deben caer dentro del c´ırculo unitario complejo. Ejemplo 6.2.2. Sea Yt ∼ M A(a) tal que Yt = εt − 0.4εt−1 + 0.4εt−2 , veamos si Yt es invertible. Hallamos las ra´ıces del polinomio θq (z) θ2 (z) = 1 − 0.4z + 0.4z 2 = 0, p 0.4 ± 0.42 − 4(0.4)(1) z= 2(0.4) r r √ r 4 1 1 10 36 1 1 10 4 −4= ± − = ± 2 2 4 10 10 2 2 2 10 √ r 1 1 10 36 1 3 = ± i= ± i 2 2 2 10 2 2 (6.7) 94 por tanto s r 1 2 1 3 2 |z| = + ± = + 9 > 1, 2 2 4 luego Yt es invertible. 6.2.3. Funci´on facp de un Proceso MA(q) invertible Suponga un proceso Yt ∼ M A(q) invertible, Yt = θq (L)(εt). (6.8) Considere θq (z) = 1 + θ1 z + · · · + θq z q entonces θq (z) 6= 0, |z| ≤ 1, luego la funci´on tiene desarrollo es serie de Taylor alrededor de z = 0, dado por 1 θq (z) ∞ X 1 = 1 + ψ1 z + ψ2 z 2 + . . . = ψj z j , θq (z) ψ0 = 1, (6.9) j=0 con P∞ 1 θq (L) ψ 2 < ∞, donde ψj → 0 si j → ∞. Multiplicando ambos miembros de (6.8) por se obtiene j=0 εt = 1 Yt = ψ(L)(Yt) = Yt + ψ1 Yt−1 + ψ2 Yt−2 + . . . θq (L) (6.10) Y despejando Yt Yt = −ψ1 Yt−1 − ψ2 Yt−2 − · · · + εt , (6.11) de donde conclu´ımos que si hace la regresi´on de Yt sobre los primeros k rezagos Yt−j , j = 1, . . . , k, entonces el k-´esimo coeficiente es α(k) = ψ(k) 6= 0, ∀k y como ψ(k) → 0 entonces α(k) → 0 cuando k → ∞. Por tanto, la facp de un MA(q) decrece a cero. En las Figuras siguientes 6.3 se observa la fac y la facp de un MA(3). 95 True PACF 0 5 10 15 0.6 −0.2 0.2 True PACF 0.8 0.4 0.0 True ACF 1.0 True ACF 20 5 10 Lag (a) F AC 15 20 Lag (b) F ACP Figura 6.3: F AC y F ACP de un M A(3). 6.2.4. Implementaci´on en R En R para identificar se usan las funciones acf y pacf y para estimar una de las funciones usadas es arma de la librer´ıa tseries. Ejemplo 6.2.3. library(forecast,tseries) n = 300 theta = c(-1,-0.4,-0.4) (Mod(polyroot(theta))) y = arima.sim(list(order=c(0,0,2), ma=theta[2:3]), n=n, sd=sqrt(2.3)) layout(1:3) ts.plot(y) acf(y,30) pacf(y,30) # Estimaci´ on: Funci´ on arma librer´ ıa tseries modelo.y = arma(x=y, order=c(0,2)) summary(modelo.y) 96 0 5 10 15 20 25 0.2 0.4 −0.1 0.6 Partial ACF Series y 0.0 ACF Series y 30 5 10 Lag 15 20 Lag (a) F AC (b) F ACP Figura 6.4: F AC y F ACP del Ejemplo. pred.y = predict(modelo.y, n.ahead=2) plot(seq(1,9,1), c(tail(y), pred.y$pred), type=’b’) points(seq(7,9,1), pred.y$pred, type=’b’, col=’red’) 6.3. Procesos Autoregresivos de Orden p, AR(p) Definici´on 6.3.1 (Proceso AR(p)). Se dice que Yn , n ∈ Z sigue un proceso AR(p) si Yn = ϕ1 Yn−1 + ϕ2 Yn−2 + · · · + ϕp Yn−p + εn , (6.12) donde εn ∼ RB(0, σ 2). Usando el operador de rezago L se puede escribir (6.12) como ϕp(L)(Yn ) = εn , (6.13) con ϕp (z) = 1 − ϕ1 z + ϕ2 z 2 + · · · + ϕpz p , z ∈ C, el polinomio autorregresivo. Condici´on Suficiente para que un AR(p) sea Estacionario La condici´on suficiente para que Yt ∼ AR(p) sea estacionario en covarianza es que las p ra´ıces del la ecuaci´on ϕp(z) = 0, z1 , z2 , . . ., zp cumplan |zi | > 1 donde ϕp(z) es el polinomio caracter´ıstico del AR(p) definido por (6.14) 97 ϕp (z) = 1 − ϕ1 z − ϕ2 z 2 − · · · − ϕpz p , z ∈ C, (6.15) q N´otese que si zj = aj ± ibj entonces |zj | = a2j + b2j . La condici´on (6.14) no es, sin embargo, necesaria. En palabras, la condici´on (6.14) se describe como “ para que un proceso autoregresivo de orden p sea estacionario en covarianza, es suficiente que las ra´ıces del polinomio autorregresivo est´en por fuera del c´ırculo unitario”. El c´ırculo unitario aparece en la Figura 6.5. En esta figura se observa la posici´on de la ra´ız zj y su conjugado z¯j . Figura 6.5: C´ırculo Unitario 6.3.1. Algunas Propiedades de los Procesos AR(p) Estacionarios Proposici´on 6.3.1. Para un proceso Yt ∼ AR(p), definido en (6.12), se tiene E(Yt) = 0. Demostraci´on. Si Yt es estacionario en covarianza entonces E(Yt ) = µ. Adem´as, E(Yt) = ϕ1 E(Yt−1 ) + ϕ2 E(Yt−2 ) + · · · + ϕp E(Yt−p) + 0, pero todas las esperanzas son µ luego µ = ϕ1 µ + ϕ2 µ + · · · + ϕpµ. Si µ 6= 0 entonces 1 = ϕ1 + · · · + ϕp por tanto ϕp(1) = 0 98 lo cual es una contradicci´on (→←), ya que ∀ z ∈ C, |z| ≤ 1 entonces ϕp (z) 6= 0. luego debe tenerse que µ = 0, es decir, el proceso definido en (6.12) es de media cero. Un proceso Yt ∼ AR(p) con E(Yt ) = µ 6= 0 se define como ϕp (L)(Yt) = ϕ0 + εt , (6.16) donde ϕ0 = ϕp (L)(µ) = (1 − ϕ1 − ϕ2 − · · · − ϕp )µ. N´otese que tambi´en se puede escribir Yt = (1−ϕ1 −· · ·−ϕp )µ+ϕ1 Yt−1 +· · ·+ϕp Yt−p +εt , de donde Yt − µ = ϕ1 (Yt−1 − µ) + · · · + ϕp (Yt−p − µ) + εt . Es decir, el proceso (Yt − µ) es AR(p) de media cero. La Funci´on de Autocovarianza de los Procesos AR(p) La funci´on de autocovarianza de un proceso Yt ∼ AR(p) estacionario en covarianza, R(k) se puede calcular resolviendo una ecuaci´on recursiva lineal denominada, en plural, las ecuaciones de Yule–Walker. P Proposici´on 6.3.2. Suponga un proceso AR(p), Yn = pj=1 ϕj Yn−j + εt , que satisface la condici´on de estacionario en covarianza ((6.14)). Su funci´on fac R(k) satisface la ecuaci´on recursiva p X R(k) = ϕj R(k − j), k = 1, 2, . . . . (6.17) j=1 denominada, en plural, Ecuaciones de Yule–Walker. P Demostraci´on. Colocando µ = E(Yn ), como Yn = pj=1 ϕj Yn−j + εn , al tomar esperanza P en ambos miembros se obtiene µ = pj=1 ϕj µ + 0. Restando las expresiones anteriores se P obtiene Yn − µ = pj=1 ϕj (Yn−j − µ) + εn . Multiplicando ambos miembros de la identidad anterior por Yn−k − µ, con k ≤ n, y tomando valor esperado E(.) se obtiene R(k) = E((Yn − µ)(Yn−k − µ)) 99 = = p X j=1 p X j=1 ϕE((Yn−j − µ)(Yn−k − µ)) + E(εn (Yn−k − µ)) ϕj R(k − j). En el resultado anterior se tiene E(εn (Yn−k − µ)) = 0 porque, a partir de la definici´on del proceso Yn en (6.12), Yn−k depende de εs con s ≤ n−k, que son variables incorrelacionadas con εn . La Varianza de los Procesos AR(p) Si Yt ∼ AR(p) de media cero, estacionario en covarianza entonces ϕp (L)(Yn) = εn , para εn ∼ RB(0, σ 2 ). Adem´as, se cumple que ∀z, |z| ≤ 1 ϕp (z) 6= 0 entonces el cociente ϕp1(z) se puede desarrollar en serie de potencias de z, y colocar ∞ X 1 = ψj z j , ϕp (z) j=0 para ciertos coeficientes (ψj , j = 0, 1, . . .), con ψ0 = 1. Por tanto, se puede colocar Yn = 1 (εn ) = εn + ψ1 εn−1 + ψ2 εn−2 + . . . . ϕp(L) Tomando varianza a ambos miembros de (6.18), se obtiene V ar(Yn ) = σ 2 (6.18) P∞ j=0 ψj . Estimaci´on de la FAC de un AR(p) ρ(k) = Corr(Yt , Yt+k ), k = 1, 2, . . ., p, p + 1, . . . (6.19) cumple que: 1. Se tiene un sistema lineal p × p que cumple A= 1 ρ(1) ρ(2) .. . ρ(1) ρ(2) ρ(3) .. . ··· ··· ··· ρ(p − 1) ρ(p − 2) · · · ρ(p − 1) ρ(p − 2) ρ(p − 3) .. . 1 , ϕ = ϕ1 ϕ2 .. . ϕp , ρ = ρ(1) ρ(2) .. . ρ(p) , 100 entonces Aϕ = ρ. (6.20) Luego dada ρˆ(1), . . ., ρˆ(p) se puede resolver (6.20) tomando ϕ ˆ = Aˆ−1 ˆρ, los estimadores de Yule-Walker de ϕ 2. ρ(k) = ϕ1 ρ(k − 1) + ϕ2 ρ(k − 2) + · · · + ϕp ρ(k − p), k = p, p + 1, . . . (6.21) Entoces (6.21) forma una ecuaci´on en diferencias finitas con condiciones iniciales ρ(1), . . ., ρ(p), para ρ(k), k ≥ p + 1, con soluci´on ρ(k) = s1 g1k + s2 g22 + · · · + sp g2p, (6.22) donde gi = 1/zi y zi es la i-´esima ra´ız de la ecuaci´on caracter´ıstica 1 − ϕ1 z − ϕ2 z 2 − · · · − ϕp z p = 0 (6.23) con |zi | > 1 ⇔ |gi | < 1, luego se debe cumplir que ρ(k) → 0, k → ∞ Nota 6.3.1. Si gi ≈ 1, por ejemplo gi = 1 − ε se tendr´a si gik = si (1 − ε)k y por tanto ρ(k) decae a cero m´as lento que si gi = ε. 0.8 0.4 0.0 0.4 True ACF 0.8 True ACF 0.0 True ACF True ACF 0 5 10 15 20 0 5 Lag 10 15 20 Lag (a) ϕ = 0.35 (b) ϕ = 0.88 Figura 6.6: FAC de Yt = ϕYt−1 + εt . FACP de los Procesos AR(p) La FACP de un procesos AR(p) es α(k) tal que α(k) ˆ es el coeficiente βˆk,k en la regresi´on Yt = β0 + βk,1 Yt−1 + · · · + βk,k Yt−k + at, k=2 (6.24) 101 45 55 65 pero como βk,k = 0 si k ≥ p + 1 entoces α ˆ (k) = 0 si k ≥ p + 1 2000−09−27 2001−02−20 2001−07−16 Figura 6.7: FACP Muestral de AR(p). Ejemplo 6.3.1. Sea Yt ∼ AR(2) con Yt = ϕ1 Yt−1 + ϕ2 Yt−2 + εt , Yt = 1.5Yt−1 − 0.9Yt−2 + εt , i.i.d. εt ∼ N (0, σ 2) ϕ2 (z) = 1 − 1.5z + 0.9z 2 = 0 z = 0.83 ± 0, 64i, ecuaci´on caracter´ıstica |z| = 1.054 > 1 luego Yt es estacionario en covarianza, adem´as ρ(k) = 1 − 1.5ρ(k − 1) + 0.9ρ(k − 2), k ≥ 2 ϕ1 1.5 ρ(0) = 1, ρ(1) = = = 0.789. 1 − ϕ2 1.9 6.3.2. Proceso AR(1) El proceso AR(1) se ha utilizado anteriormente por ejemplo, en la prueba Durbin-Watson. A continuaci´on se desarrollan algunas de sus propiedades. Si Yt es un AR(1) de media µ, entonces est´a definido por Yt = ϕ0 + ϕ1 Yt−1 + εt , ϕ0 = (1 − ϕ1 )µ, (6.25) donde el proceso Yt es estacionario si todas la ra´ıces z de la ecuaci´on ϕ1 (z) = 0 caen fuera del circulo unitario |z| > 1. Luego el AR(1) es estacionario en covarianza si y solo si |ϕ1 | < 1. Definici´on 6.3.2 (Marcha Aleatoria). Se dice que Yt es una marcha aleatoria (Random Walk) si cumple Yt = µ + Yt−1 + εt , (6.26) 102 n´otese que es un AR(1) con ϕ1 = 1. Propiedades del AR(1) 1. E(Yt) = µ = ϕ0 1 − ϕ1 2. Cov(Yt , Yt+k ) = 3. ρ(k) = ϕk1 , σ 2 ϕk1 , 1 − ϕk 1 k = 0, 1, . . . −1 < ϕ1 < 1. Nota 6.3.2. Diebold [1999, p´ag. 138], Si Yt ∼ AR(1) de media cero estacionario en covarianza entonces Yt = ϕ1 Yt−1 + εt , εt ∼ R.B.(0, σ 2) es decir (1 − ϕ1 L)Yt = εt y se puede escribir como Yt = si se cumple que 1 εt , 1 − ϕ1 L ∞ f (z) = X j 1 = ϕ1 z j = 1 + ϕ1 z + ϕ21 z 2 + . . . 1 − ϕ1 z j=0 por que |ϕ1 z| < 1 ya que |ϕ1 | < 1 y |z| < 1. Entonces Yt = εt + ϕ1 εt−1 + ϕ21 εt−2 + . . . , y como los εt son incorrelacionados V ar(Yt) = σ 2 + ϕ1 σ 2 + ϕ21 σ 2 + . . . 2 = σ (1 + ϕ1 + ϕ21 + . . .) = σ 2 1 1 − ϕ1 Varianza Incondicional Nota 6.3.3. Si Yt ∼ AR(1) de media cero estacionario en covarianza entonces E(Yt|Yt−1 ) = E(ϕ1 Yt−1 + εy |Yt−1 ) = ϕ1 Yt−1 , y si se asume que εt son independientes de yt−1 , Yt−2 , . . . V ar(Yt |Yt−1 ) = V ar(ϕ1 Yt−1 + εt |Yt−1 ) = ϕ21 V ar(Yt−1|Yt−1 ) + V ar(εt ) = σ 2 Varianza Condicional 103 6.4. Procesos Autoregresivos y de Medias M´oviles ARMA(p,q) Si en un proceso Yt ∼ AR(p) Yt − ϕ1 Yt−1 − ϕ2 Yt−2 − · · · − ϕp Yt−p = εt , εt ∼ R.B.(0, σ 2), (6.27) se cambia εt por un modelo M A(q), Zt = εt + θ1 εt−1 + · · · + θq εt−q entonces (6.27) queda Yt − ϕ1 Yt−1 − · · · − ϕp Yt−p = εt + θ1 εt−1 + · · · + θq εt−q , (6.28) donde εt ∼ RB(0, σ 2 ). El efecto de este cambio es que los errores no se toman incorrelacionados sino con autocorrelaci´on d´ebil. Se define entonces un proceso ARMA(p,q) como un modelo que combina las propiedades de memoria larga de los AR(p) con las propiedades de ruido d´ebilmente autocorrelacionado en los MA(q), y que tiene suficiente flexibilidad y parsimonia. Usando la notaci´on del operador de rezago (6.28) se puede definir el proceso ARM A(p, q) por Definici´on 6.4.1. Un proceso Yt ∼ ARM A(p, q) se define mediante la ecuaci´on (6.28), o tambi´en por ϕp (L)(Yt) = θq (L)(εt), t ∈ Z, (6.29) P P donde εt ∼ RB(0, σ 2), y ϕp (z) = 1 − pj=1 ϕj z j , θq (z) = 1 + qj=1 θj z j son los polinomios autoregresivo y de media m´ovil respectivamente. Las condiciones de estacionariedad de la parte AR(p) y de invertibilidad de la parte MA(q) se asumen en el modelo ARMA(p,q), (6.29). Por lo tanto, se asume que las ra´ıces de las ecuaciones ϕp(z) = 0 y θq (z) = 0 est´an fuera del c´ırculo unitario. Adem´as se asume que estos polinomios no tienen ra´ıces en com´un. Si se cumplen estas condiciones el proceso Yt ∼ ARM A(p, q) es estacionario e identificable. Ejemplo 6.4.1. Sea Yt ∼ ARM A(1, 1) dado por ϕ1 (L)(Yt) = θ1 (L)(εt) (6.30) donde ϕ1 (L) = 1 − ϕL y θ1 (L) = 1 + θL. Es decir Yt = ϕYt−1 + εt + θεt−1 . Si |ϕ| < 1 y |θ| < 1 es estacionario e invertible. Por ejemplo Yt = 0.9Yt−1 + εt − 0.4εt−1 , con εt ∼ RB(0, σ 2 ) 104 Ejemplo 6.4.2. Consideremos un modelo de descomposici´on con tendencia lineal y estacionalidad de per´ıodo 12, modelada por variables indicadoras donde el residuo estructural es un proceso ARM A(1, 1). Entonces el modelo se escribe como el sistema de dos ecuaciones siguiente. Yt = β0 + β1 t + 11 X δj Ij (t) + εt , j=1 εt = ϕεt−1 + at + θat−1 , con at ∼ RB(0, σ 2 ), el residuo del proceso arma. N´otese que el n´umero de par´ametros de este modelo es 16, incluyendo la varianza σ 2 . Ejemplo 6.4.3. Considere el proceso Yt ∼ ARM A(2, 1) dado por Yt = 2 + 1 − 0.4L εt , 1 − 1.5L + 0.9L2 εt ∼ R.B.(0, σ 2) osea Yt = 2(1 − 1.5 + 0.9) + 1.5Yt−1 − 0.9Yt−3 + εt − 0.4εt−1 con ecuaci´on caracter´ıstica 1 − 1.5z + 0.9z 2 = 0 y sus ra´ıces dadas por z= 1.5 ± p 1.52 − 4(0.9) = 0.83 ± 0.645i 2(0.9) por tanto |z| = 1.05 > 1 es un proceso estacionario en covarianza e invertible. 6.4.1. Propiedades de los Modelos ARMA 1. Suponga Yt ∼ ARM A(p, q) entonces E(Yt) = 0. Si el proceso es estacionario P P∞ j entonces se puede expresar θq (z)/ϕp(z) = ∞ j=0 ψj z con ψ0 = 1 y j=0 |ψj | < ∞. A partir de ϕp (L)Yt = θq (L)εt, se puede escribir ∞ Yt = X θq (L) εt = ψj εt−j = εt + ψ1 εt−1 + ψ2 εt−2 + . . . , ϕp(L) j=0 105 por tanto E(Yt) = E(εt + ψ1 εt−1 + ψ2 εt−2 + . . . ) = 0. 2. En caso de ser E(Yt) = µ 6= 0 se coloca Yt = µ + θq (L) εt ϕp (L) (6.31) de donde ϕp(L)Yt = ϕp(1)µ + θq (L)εt. Por ejemplo, sea Yt ∼ ARM A(1, 1) con E(Yt) = µ entonces Yt = µ + 1 + θL εt 1 − ϕL luego (1 − ϕL)Yt = (1 − ϕL)µ + (1 − θL)εt pero (1 − ϕL)µ = µ − ϕµ = (1 − ϕ)µ, luego Yt = (1 − ϕ)µ + ϕYt−1 + εt + θεt−1 . 3. La funci´on de autocovarianza de un proceso Yt ∼ ARMA(p,q) estacionario de media cero. Si se indica por R(k) = Cov(Yt , Yt+k ) su funci´on de autocovarianza, para k = 0, 1, . . . un m´etodo para calcular esta funci´on se basa en la representaci´on P j ϕp (L)Yt = θq (L)εt , con θq (z)/ϕp(z) = ∞ j=0 ψj z . Multiplicando ambos miembros por Yt−k y tomando esperanza E(.) se obtienen las ecuaciones recursivas siguientes, similares a las ecuaciones Yule-Walker para AR(p), (6.17). Defina n = max(p, q + 1), R(k)−ϕ1 R(k−1)−. . .−ϕp R(k−p) = σ 2 Pq j=k θj ψj−k , 0, si k = 0, 1, . . ., n − 1 si k = n, n + 1, . . . . (6.32) Ejemplo 6.4.4. (tomado de Brockwell and Davis [2002], pag. 93). Considere el proceso ARMA(2,1) dado por (1−L+ 14 L2 )Yt = (1+L)εt. Entonces n = max(p, q+ 1) = 2, por tanto, para k = 0, 1 se tiene el sistema lineal 1 R(0) − R(1) + R(2) = σ 2 (ψ0 θ0 + ψ1 θ1 ) = σ 2 (1 + ψ1 ), 4 1 R(1) − R(0) + R(1) = σ 2 (θ1 ψ0 ) = σ 2 ψ0 = σ 2 . 4 (6.33) 106 Para calcular los coeficientes (ψj , j = 0, 1, . . .) se puede utilizar la funci´on de R, ARMAtoMA(a,b,m), la cual calcula los coeficientes ψj , j = 1, 2, . . ., m, dados los vectores a = (ϕ1 , . . ., ϕp) y b = (θ1 , . . . , θq ). Entonces, escribiendo ARMAtoMA(c(1.0, -0.25), 1.0, 10), se obtiene el vector [1] 2.00000000 1.75000000 1.25000000 0.81250000 0.50000000 [6] 0.29687500 0.17187500 0.09765625 0.05468750 0.03027344 de donde ψ1 = 2. Usando la segunda ecuaci´on de (6.32), se obtiene R(2) = R(1) − 1 4 R(0), luego, reemplazando en el sistema (6.33), y resolviendo, se obtienen R(0) = 32σ 2 /3, R(1) = 28σ 2 /3. Utilizando la segunda ecuaci´on de (6.32), 1 R(k) = R(k − 1) − R(k − 2), k = 2, 3, . . . 4 se puede calcular la autocovarianza recursivamente. 4. La varianza de un proceso Yt ∼ ARMA(p,q) estacionario de media cero. Es evidente que a partir de la primera ecuaci´on en (6.32) se puede definir un sistema lineal una de cuyas inc´ognitas es R(0), la cual se resuelve en funci´on de σ 2 . 6.4.2. Librer´ıas para identificaci´on, estimaci´on y pron´osticos de modelos ARMA El plan de an´alisis con procesos ARMA consiste en 1. Identificar el modelo ARMA(p,q). 2. Estimar el modelo. 3. Chequeo del ajuste del modelo a los datos. 4. Pron´osticos con el modelo. O simulaci´on del modelo. Algunas de las librer´ıas y funciones a utilizar para este an´alisis son 1. stat, con la funci´on arima(), estima primero por m´ınimos cuadrados condicionales y luego por m´axima verosimilitud. 2. tseries, con la funci´on arma(), estima mediante m´ınimos cuadrados condicionales. 3. forecast, con la funci´on auto.arima(), para identificaci´on de modelos ARIMA. 107 4. FitAR, FitARMA, para estimaci´on de AR(p) y ARMA(p,q). 5. timsac, con la funci´on autoarmafit(), para identificaci´on del modelo ARMA(p,q) con menor AIC. El programa asume que el modelo ARMA(p,q) se define con θq (z) = P 1 − qj=1 θj z j , es decir, los coeficientes θj se cambian de signo en esta librer´ıa. Tambi´en tiene la funci´on armafit() para ajuste de modelos ARMA. 6.4.3. Identificaci´on de modelos ARMA No es f´acil identificar los modelos ARM A(p, q) mediante la FAC y FACP. Si (q ≥ p ≥ 1) entonces para (k ≥ q + 1) se cumple (6.21) y para 1 ≤ k ≤ p − 1, ρ(k) no tiene un patr´on general, luego la FAC muestral presenta un patr´on definido solamente para k ≥ q + 1. Figura 6.8: Fac Muestral de ARM A(p, q). Una alternativa consiste en buscar una pareja de o´ rdenes (p, q) dentro de un rango inicial, por ejemplo p, q = 0, 1, . . . , 10, que minimice alguna funci´on de εˆ2 , como por ejemplo el AIC o´ el BIC. 6.4.4. Estimaci´on de modelos ARMA La estimaci´on de procesos Yt ∼ ARMA(p,q) se basa en un supuesto: que el vector Y = (Y1 , . . . , Yn )0 se distribuye Normal multivariado con media µ, y matriz de covarianzas Σ = [Cov(Yi , Yj )]n×n . Como el proceso se asume estacionario, se cumple Cov(Yi , Yj ) = R(j − i), donde R(k) es la funci´on de autocovarianza de Yt . La forma de Σ es la de una 108 matriz tipo Toeplitz: las diagonales descendentes son constantes: Σ= R(0) R(1) R(2) .. . R(1) R(0) R(1) .. . ··· ··· ··· R(n − 1) R(n − 2) · · · R(n − 1) R(n − 2) R(n − 3) .. . R(0) . (6.34) Por ejemplo, para Yt un AR(p), R(k) se calcula mediante las ecuaciones Yule-Walker, (6.17), P R(k) = µ + pj=1 ϕj R(k − j). Por tanto, colocando β = (µ, σ 2 , ϕ1 , . . . , ϕp, θ1 , . . ., θq )0 , la matriz Σ depende del vector β, y se escribe Σ(β). Este supuesto permite implementar la estimaci´on por m´axima verosimilitud. Se escribe la densidad Normal Multivariada como 1 1 −1 0 q f (y, β) = exp − (y − µ)Σ(β) (y − µ) 2 (2π)n/2 det(Σ(β)) (6.35) donde µ = (µ, . . ., µ)0 ∈ Rn . La funci´on de log-verosimilitud se define a partir del logaritmo de la densidad (6.35), log(f (y, β)), y est´a dada por L(β) := n X log f (yj , β) j=1 = n 1 1 − log(2π) − log det(Σ(β)) − (y − µ)0 Σ(β)−1 (y − µ). 2 2 2 (6.36) El estimador ML de m´axima verosimilitud de β se define como b = argmin(−L(β)). β (6.37) β La identificaci´on con base en el AIC se basa en comparar varios modelos ARM A(p, q) para valores de, por ejemplo, p = 0, 1, . . ., 20 y p = 0, 1, . . . , 20 con base en el criterio AIC el cual est´a definido por b + 2k, AIC = −2L(β) k = p+q (6.38) Entonces identifica un posible modelo parsimonioso escogiendo el modelo con el m´ınimo AIC. Ejemplo 6.4.5. Suponga que se requiere simular un ARM A(3, 2) tal que se escogen las ra´ıces de ϕ3 (z) y θ2 (z), con inversos dentro del c´ırculo unitario. 109 z1 = complex(3) z1[1] = -0.8 - 1.3i z1[2] = conj(z1[1]) z1[3] = 1.2 Entonces ϕ3 (z) = 1 − ϕ1 z − ϕ2 z 2 − ϕ3 z 3 (z-z1[1])(z-z1[2])(z-z1[3]) = −2.796 + 0.41z + 0.4z 2 + z 3 polinomio m´onico -z1[1]z1[2]z1[3] = -2.2796 a = poly.calc(z1) a = a/a[1] z2 = complex(2) z2[1] = -1.2 -0.5i z2[2] = conj(z2[1]) b = poly.calc(z2) b = b/b[1] n = 300 y = arima.sim(list(order=c(3,0,2), ar=-a[2:4], ma=b[2:3]), n=n, sd=sqrt(0.3)) require(forecast) auto.arima(y) y1 = arima.sim(list(order=c(3,0,2), ar=-a[2:4], ma=b[2:3]), n=n, sd=sqrt(0.3), randgeb = function(n,...)) auto.arima(y1) stats::arima(y1) mod1 = stats::arima(y1, c(3,0,2)) py1 = predict(mod1, n.ahead=20) plot(1:70, c(y[(3200-49):3200],py1$pred), 110 ylim=c(min(py1$pred-1.64*py1$se),max()), type=’b’, col=2) points(51:70,py1$pred, type=’b’, col=’blue’) points(51:70, py1$pred+1.64*py1$se, type=’l’, col=’blue’) points(51:70, py1$pred-1.64*py1$se, type=’l’, col=’blue’) 6.4.5. Pron´osticos con modelos ARMA