Cadenas de Markov

CADENAS DE MARKOVGERSON ANDRES ALVARADO PINEDA 062071025 TELESFORO VESGA RONDON UNIVERSIDAD LIBRE DE COLOMBIA MODELOS MATEMÁTICOS BOGOTÁ D. C. NOVIEMBRE 16 DEL 2010 INTRODUCCIÓN A veces estamos interesados en cómo cambia una variable aleatoria con el tiempo. Por ejemplo, podemos saber cómo el precio de las acciones de una empresa evoluciona en el mercado. El estudio de cómo cambia una variable aleatoria con el tiempo incluye los procesos estocásticos. En particular, nos centramos en un tipo de proceso estocástico conocido como cadena de Markov. Estas se han aplicado en áreas como la educación, la comercialización, la salud servicios, finanzas, contabilidad y producción. ¿Qué es un proceso estocástico? Supongamos que observamos alguna característica de un sistema en puntos discretos en el tiempo (con la etiqueta 0, 1, 2,. . .). Donde Xt es el valor de la característica del sistema en el tiempo t. En la mayoría de situaciones, Xt no se sabe con certeza antes de tiempo t y puede ser visto como una variable aleatoria. Un proceso estocástico en tiempo discreto es simplemente una descripción de la relación entre el azar variables X0, X1, X2,. . . . Algunos ejemplos de procesos estocásticos en tiempo discreto seguimiento. 1.0 CADENAS DE MARKOV ¿Qué es una cadena de Markov? Un tipo especial de proceso estocástico en tiempo discreto se llama cadena de Markov. Para simplificar nuestra exposición, suponemos que en cualquier momento, el proceso estocástico en tiempo discreto puede estar en uno de un número finito de estados marcados como 1, 2,. . . , S. Definición: Proceso estocástico de tiempo discreto si, para t= 0, 1, 2, .y todos los estados. En esencia, dice que la distribución de probabilidad del estado en el tiempo t+1 depende de el estado en el tiempo t (it) y no depende de los estados de la cadena pasados a través de la manera que en el tiempo t. En nuestro estudio de las cadenas de Markov, hacemos el supuesto adicional de que para todo estado i y j y toda t, P(Xt+1 = j |Xt = i) es independiente de t. Este supuesto nos permite escribir P(Xt+1 = j |Xt = i) _ pij donde pij es la probabilidad de que, dado el sistema se encuentra en el estado i en el tiempo t, será en un estado j en el tiempo t+1. Si el sistema se mueve desde el estado i durante un período de al estado j durante el próximo período, se dice que una transición de i a j se ha producido. La pij a menudo hace referencia a las probabilidades de transición de la cadena de Markov. La ecuación implica que la ley de probabilidades sobre el estado el próximo período de la actual estado no cambia (o se mantiene estacionaria) con el tiempo. Por esta razón, es a menudo llama la Asunción de estacionariedad. Cualquier cadena de Markov que satisface la ecuacion se llama cadena estacionaria de Markov. Nuestro estudio de las cadenas de Markov también nos obliga a definir el qi que la probabilidad de que la cadena se encuentra en el estado i en el tiempo 0, es decir, P(X0 = i) =qi.. Llamamos al vector q = [q1 q2 «. qs]la distribución de probabilidad inicial de la cadena de Markov. En la mayoría de las aplicaciones, las probabilidades de transición se muestra como un s X s probabilidad de transición de la matriz P. La probabilidad de transición de la matriz P se puede escribir como Puesto que la cantidad de dinero que tengo después de t+ 1 juega del juego depende de la historia pasada . X1= 1. 2. Con una probabilidad p. X0.Dado que el estado en el tiempo t es i. si Xt= 0. . . y tan pronto como. Del mismo modo. pero más tarde X1 y Xt son al azar. el juego ha terminado. y con una probabilidad de 1. Esto significa que para cada i. Tenga en cuenta que X0= 2 es una constante conocida. Mi objetivo es aumentar mi capital a $ 4. Tenga en cuenta que si Xt = 4. . Xt puede ser visto como un proceso estocástico en tiempo discreto. y con una probabilidad de 1 -p. Por razones obvias. Encuentra la matriz de transición. a continuación. y las entradas en cada fila debe sumar 1. En el tiempo 1.. tengo $ 2.0 EJEMPLO El jugador de la ruina A la hora 0. entonces Xt+1 y todos los posteriores Xt también será igual a 4. este tipo de situación se llama un jugador de la ruina. X1=3. Por ejemplo. 2. También sabemos que cada entrada de la matriz P debe ser positivo. Puedo jugar un juego en el que apuesta $ 1. entonces Xt+1 y todos los posteriores Xt serán también igual a 0. Por lo tanto. pierdo el juego. . El juego es también sobre si mi capital se reduce a $ 0. Si definimos Xt a ser mi posición de capital después del juego el tiempo t (si los hay) se reproduce. . . el proceso debe estar en algún lugar en el tiempo t+ 1.. X1. con probabilidad p.p. gano el juego. todas las entradas en la probabilidad de transición de la matriz son no negativos. Para todos los demás estados. Una matriz de transición puede ser representado por un gráfico en el que cada nodo representa un estado y el arco (i. La Figura 1 muestra una representación gráfica de probabilidad de transición de la matriz. 3. La matriz de transición es el siguiente (el estado i significa que tenemos i dólares): Si el estado es de $ 0 o $ 4. definitivamente disponer de una cadena de Markov.p. j) representa la probabilidad de transición pij.del juego sólo a través de la cantidad de dinero que tengo después de t juega. el plazo durante el próximo superará la situación actual por 1. sabemos que con probabilidad p. Puesto que las reglas del juego no cambian con el tiempo. y con una probabilidad de 1. por lo que P00=P44=1. el estado del siguiente período será uno menos que el estado actual. yo no juego el juego más.0 CONCLUSIONES . también tenemos una cadena de Markov estacionaria. por lo que el Estado no puede cambiar. . Elegimos una bola al azar y la vuelta a un moneda. Operations Research Applications and Algorithms 4th.BIBLIOGRAFIA -Wayne Winston. Edition. pintamos el elegido . 2003 Ejemplo 2 Una urna contiene dos bolas sin pintura en la actualidad. Si la bola elegida es sin pintar y la moneda sale cara. entonces uno de los eventos se muestran . Solución Puesto que el estado de la urna después del siguiente lanzamiento de la moneda única depende de la historia pasada de la proceso a través del estado de la urna después del lanzamiento de la moneda actual. tenemos una cadena de Markov estacionaria. Encuentra la matriz de transición para el ejemplo 2. La transición matriz para el ejemplo 2 es la siguiente: Estado [0 1 1] [0 2 0] [0 0 2] [2 0 0] [1 1 0] [1 0 1] P? ? ? Para ilustrar la determinación de la matriz de transición. tenemos una cadena de Markov. Si el balón ya ha sido pintada. Dado que las normas no cambian con el tiempo. si la bola elegida es sin pintar y la moneda sale cruz. pintamos la bola elegida negro sin pintar. se determina el [1 1 0] fila de esta matriz de transición.sin pintar bola roja. entonces (si los jefes o de las colas ha sido lanzado) que cambia el color de la bola (de rojo a negro o de negro a rojo). Si el estado actual es [1 1 0]. Por lo tanto. Y [0 1 1] con una probabilidad? 1 4 ?.en el cuadro 1 debe ocurrir. 0 0 0 ?1 2 ? ?1 2 ? 0 0 0 0 ?1 2 ? 0 ?1 2 ? 0 0 0 0 0 0 ?1 2 ? 0 0 . La figura 2 muestra una representación gráfica de esta matriz de transición. el siguiente estado será [1 0 1] con una probabilidad? 1 2 ?. [0 2 0] con probabilidad? 1 4 ?. 0 0 ?1 4 ? ?1 2 ? 0 0 0 ?1 4 ? 0 0 1 1 0 ?1 4 ? ?1 4 ? [0 1 1] [0 2 0] [0 0 2] [2 0 0] [1 1 0] [1 0 1] Selección de bolas (Continuación) 01 11 234 1-pp p 1-pp 1-p F I GUR E 1 . 0 0. 0 1. 1. 2. 0.Representación gráfica de la matriz de transición para Ruina del jugador TAB E L 1 Los cálculos de probabilidades de transición Si el Estado actual es [1 1 0] Probabilidad de sucesos Estado de Nueva cabezas Flip y elegir sin pintar pelota? un 4 ? [0 2 0] Elija bola roja? Un 2 ? [1 0 1] colas Flip y elegir sin pintar pelota? 1 4 ? [0 1 1] 1 1 0. 2 1. 0. 0. 1. 1 1 4 1 4 1 4 1 2 1 2 1 2 1 2 1 2 1 2 1 4 . 1. 2. 0 0. el consenso es que para la mayoría de las poblaciones el precio diario de la población se puede describir como una cadena de Markov. supongamos el precio diario de una acción de CSL sigue una cadena de Markov. Utilice esta información para el modelo de Villamenor tiempo como una cadena de Markov. y el 80% de todos los días nublados son seguidos por los días nublados. PRLOMBES Grupo A CSL archivo Informática (Continuación) 1 En Smalltown. el "chartistas" que tratan de predecir los precios futuros de acciones sobre la base de los patrones seguida de precios de las acciones pasadas están ladrando al árbol equivocado.F I GUR E 2 Gráfica Representación de Matriz de transición de urna 17. En cualquier situación (o cualquier otra situación que podría haber llevado a precio de 50 dólares de hoy). Esta idea se refiere a menudo como la eficiente mercado de hipótesis. no sobre los precios anteriores de acción de CSL. Entonces. el 90% de todos los días soleados son seguidos por días de sol. Si el precio de una acción de valores puede ser descrito por una de Markov cadena. para predecir el precio futuro de una acción de CSL. los estudiantes de las finanzas han dedicado mucho esfuerzo para responder a la pregunta de si el precio diario de una acción bursátil puede ser descrito por una cadena de Markov. ¿Qué es lo que nos dicen? Simplemente que la distribución de probabilidad de mañana precio de una acción de CSL sólo depende del precio actual de la acción de CSL. 2 ¿Qué es una cadena de Markov? 927 Examp NE 3 En los últimos años. y el precio de hoy para un parte de la acción de CSL es de $ 50. que no importa si el precio ha aumentado o disminuido en cada uno de los últimos 30 días. una predicción del precio de las acciones del futuro debe basarse únicamente en el hecho de que el precio de hoy la acción de CSL es de $ 50. En este momento. . Por ejemplo. Supongamos el precio diario de una parte de acciones (tales como acciones de CSL Computer) puede ser descrito por un cadena de Markov. (4) Se observa el nivel de inventario al inicio de la próximo período. formular una transición probabilidad de la matriz de esta situación. 80% de las veces. (Así. (3) Con probabilidad? 1 3 ?. (2) Si yo? 1. 3 Una empresa cuenta con dos máquinas. La entrega de todas las unidades de orden es inmediata. 0 unidades ordenado. mañana será soleado. de la siguiente manera: (1) Si los dos últimos días han hecho sol.) Dejar que el estado del sistema el número de máquinas de trabajo al principio del día. mañana será soleado. 0 unidades se exigen en el período. y con probabilidad? 1 3 ?. entonces el 60% del tiempo. Si una máquina se descompone en el día. Si i 2. 2 unidades se exigen en el período. 4? i unidades están ordenados. (3) Si ayer estaba soleado y hoy en día está nublado. será de trabajo al principio del día 5. Determinar la matriz de transición que podría se utiliza para modelar este sistema de inventario como una cadena de Markov. mañana será estar nublado. mañana estará nublado. Durante cualquier día. Definir el estado de un período a ser el comienzo del período de nivel de inventario. (2) Si ayer estuvo nublado y hoy en día es soleado. se envía a un centro de reparación y se trabaja en dos días después de que se rompe. el 70% de el tiempo. si una máquina se descompone durante el día 3.2 Considere un sistema de inventario en el que la secuencia de eventos durante cada período es la siguiente. . Una unidad que se exige durante el período. entonces el 95% del tiempo. (1) Se observa el nivel de inventario (lo llaman i) al comienzo del período. con probabilidad? 1 3 ?. suponga que la mañana tiempo Smalltown depende de los dos últimos días de tiempo Smalltown. a continuación. cada máquina que está trabajando en el comienzo del día tiene una? 1 3 ? posibilidad de romper. (4) Si los dos últimos días se han nublado. a continuación. Grupo B 4 En relación con el problema 1. suponga que una máquina que se descompone regresa al servicio de tres días más tarde (por ejemplo. X1.) 5 Sea Xt ser la ubicación de su ficha en el Monopoly bordo una vez dados t rollos. . lo que ocurra primero. Para determinar Pij (2). esta probabilidad será independiente de m. . entonces para que el sistema termine en el estado j dos períodos a partir de ahora. Claramente. Xt.3 Paso n-Las probabilidades de transición Supongamos que estamos estudiando una cadena de Markov con una probabilidad de transición conocida matriz P. tenga en cuenta que si el sistema está ahora en el estado i. no se molestarán en nuestra etiqueta Cadenas de Markov como estacionarias) Una cuestión de interés es la siguiente:. Xt puede ser modelado como una de Markov cadena? Si no. Si el clima de mañana depende de la última tres días de tiempo Smalltown. . Determinar una transición probabilidad de la matriz de esta situación. 928 C H A T P R E 17 Cadenas de Markov 17. ¿cómo podemos modificar la definición del estado en el tiempo t para que X0. por lo que puede escribir P (Xm n j |? Xm i?)? P (Xn j |? X0 i)? Pij (n) donde Pij (n) se llama la probabilidad de n-paso de una transición del estado i al estado j. como Xt? 1 el ejemplo actual. (Puesto que todas las cadenas que vamos a tratar son fijas. Si una cadena de Markov se encuentra en el estado i en m el tiempo. . ¿cuál es la probabilidad de que n períodos posteriores de la cadena de Markov estará en el estado j? Puesto que se trata de una cadena de Markov estacionaria.. el tiempo del modelo Smalltown como cadena de Markov. Este razonamiento nos permite escribir Pij (2)? ? . sería una de Markov cadena? (Pista: ¿Cómo un jugador ir a la cárcel en este problema? suponer que los jugadores que se envían a la cárcel permanecer allí hasta que rollo de dobles o hasta que hayan pasado tres vueltas allí. tenemos que ir del estado i en cierta k estado y luego ir de un estado a otro k j (ver Figura 3). cuántos estados se necesarios para modelar el clima Smalltown como una cadena de Markov? (Nota: El enfoque utilizado en este problema se puede utilizar para modelo de un proceso estocástico en tiempo discreto como una cadena de Markov incluso si Xt? una depende de los estados antes de Xt.Con esta información.) 6 En el problema 3.. . una máquina que se descompone en 3 días estaría de vuelta en el trabajo fin al principio del día 6). Pij (1)? pij. Por lo tanto. Al extender este razonamiento. se puede demostrar que para n 1. Pij (0)? P (X0 j |? X0 i). j 1 2 k s Estado Tiempo 0 Tiempo 1 Tiempo 2 PI1 pi2 pik pis PSJ pk j p1j p2j F I E 3 GUR Pij (2)? 1p1j pi? 2p2j pi? ? ? ? ? pi spsj 17. si j? i si j? i 1 0 i. por lo que debe escribir Pij (0)? ? Se ilustra el uso de la ecuación (4) en el ejemplo 4. que vuelva a escribir la última ecuación como Pij (2)? ? k? s k? 1 pikpkj (3) El lado derecho de (3) es el producto escalar de la fila i de la matriz con la columna P j de la matriz P. 3 Paso N-929 probabilidades de transición . Pij (2) es el elemento ij de la matriz de P2. para el n? 0.k? s k? 1 (Probabilidad de transición de i a k) ? (Probabilidad de transición de k para j) Usando la definición de P. Pij (n)? elemento ij de Pn (4) Por supuesto. la probabilidad de transición de la matriz. 562 . . donde Un Estado? persona ha pasado comprar un refresco de cola Estado 2? persona ha pasado compró cola 2 Si definimos Xn ser el tipo de cola adquirido por una persona en su compra enésima cola futuro (Compra de cola actual? X0).90)? (0. puede ser descrita como la de Markov cadena con la matriz de transición siguientes: Cola Cola 1 2 P? ? ? Ahora podemos responder a las preguntas 1 y 2.781 .34. a continuación.219 . las compras de cada persona de cola puede estar representados por una cadena de Markov de dos estados. . Buscamos una P (X2 1 |? X0 2?)? P21 (2)? elemento 21 de P2: P2? ?? ??? ? Por lo tanto. 1 Si una persona es actualmente una cola 2 comprador. X0. P21 (2)? 0.Examp LE 4 Supongamos que la industria de la cola entera produce sólo dos colas. . 2 Buscamos P11 (3)? elemento 11 de P3: P3? P (P2)? ?? ??? ? Por lo tanto. X1.80) (0.20) (0.. Esto significa que la probabilidad es de 0. ¿cuál es la probabilidad de que invertirá en la compra cola 1 tres compras a partir de ahora? Solución ver las compras de cada persona como una cadena de Markov con el Estado en un momento dado se el tipo de cola la última persona que compró. ¿cuál es la probabilidad de que invertirá en la compra cola 1 dos compras a partir de ahora? 2 Si una persona es actualmente un refresco de cola un comprador.781.34.34 que dos compras en el futuro un bebedor de cola 2 va a comprar un refresco de cola. Teniendo en cuenta que el pasado una persona compra cola 1. hay una probabilidad del 90% que su próxima compra será una cola.20)? 0. Por lo tanto. hay un 80% de probabilidades de que su próxima compra será de cola 2. podemos obtener esta respuesta de una manera diferente (ver Figura 4). Dado que una de cola por última vez comprado dos. Mediante el uso de teoría de la probabilidad de base. Tenga en cuenta que P21 (2)? (Probabilidad de que el próximo compra es un refresco de cola y la segunda compra es un refresco de cola)? (Probabilidad de que la próxima compra es de cola 2 y la segunda compra es un refresco de cola)? p21p11? p22p21? (0. P11 (3)? 0. 20 .20 = 0.80 .438 .80 .90 .83 .90 p11 Cola 2 Cola 2 Cola 1 Cola 1 F I E 4 GUR Probabilidad de que dos Los períodos de ahora.34 .80 .20 p21 = 0.10 . un Cola dos comprador Cola compra una .90 .66 .20 .17 .80 = 0.10 ..34 .20 Cola 1 Cola 2 El ejemplo Cola Tiempo 0 Tiempo 1 Tiempo 2 p22.10 .90 .80 .90 .20 .10 . p21 = 0.66 .83 .17 . Es 0,20 (0,90)? 0.80 (0.20)? .34 930 C H A Cadenas de Markov T P R E 17 En muchas situaciones, no sabemos el estado de la cadena de Markov en el tiempo 0. Tal como se define en la sección 17.2, que el qi la probabilidad de que la cadena está en el estado i en el tiempo 0. A continuación, podemos determinar la probabilidad de que el sistema está en estado i en el tiempo n mediante el siguiente razonamiento (ver Figura 5). Probabilidad de estar en el estado j en el momento n ?? i? s i? 1 (Probabilidad de que el estado es de origen i) ? ? (Probabilidad de ir de i a j en las transiciones n) (5) ?? i? s i? 1 qiPij (n) ? q (columna j de Pn) donde q? [Q1 q2? ? ? cs]. Para ilustrar el uso de (5), responder a la pregunta siguiente: Supongamos que el 60% de todas las personas ahora una bebida cola, y el 40% ya la cola beber 2. Tres compras a partir de ahora, ¿qué fracción de todos los compradores se beber un refresco de cola? Desde q? [0.60 0.40] y q (columna 1 de P-3)? probabilidad de que tres compras a partir de ahora una persona bebe un refresco de cola, la probabilidad deseada [0.60 0.40]? ?? .6438 Por lo tanto, tres compras a partir de ahora, el 64% de todos los compradores se compra un refresco de cola. Para ilustrar el comportamiento de las probabilidades de transición el paso n para valores grandes de n, han calculado varias de las probabilidades de transición el paso n-Cola para el ejemplo en la Tabla 2. .781 .438 s i j 2 1 Tiempo 0 n Tiempo q1 P1j (n) P2j (n) Pij (n) Ps j (n) q2 qi cs F I E GUR 5 Determinación de la Probabilidad de estar en j en el tiempo n Al Estado Estado inicial es Desconocida TAB E L 2 n-Paso Las probabilidades de transición para los bebedores de cola n P11 (n) P12 (n) P21 (n) P22 (n) 1 .90 .10 .20 .80 2 .83 .17 .34 .66 3 .78 .22 .44 .56 4 .75 .25 .51 .49 5 .72 .28 .56 .44 10 .68 .32 .65 .35 20 .67 .33 .67 .33 30 .67 .33 .67 .33 40 .67 .33 .67 .33 17. 4 Clasificación de los Estados en una cadena de Markov 931 Para n grande, tanto P11 (n) y P21 (n) son casi constantes y el enfoque de 0,67. Esto significa que para n grande, sin importar el estado inicial, existe la posibilidad de 0.67 de que una persona ser un refresco de cola un comprador. Del mismo modo, vemos que para n grande, tanto P12 (n) y P22 (n) son casi constante y el enfoque de 0,33. Esto significa que para n grande, sin importar el estado inicial, existe la posibilidad de 0.33 de que una persona será una cola 2 comprador. En la Sección 5.5, se hace una estudio a fondo de este estableciéndose de las probabilidades de transición paso-n. REMAR Nosotros K puede fácilmente multiplicar matrices en una hoja de cálculo utilizando el comando MMULT, como se explica en la sección 13.7. PRLOMBES Grupo A Cada una familia norteamericana se clasifica como vivir en un medio urbano, zona rural o suburbana. Durante un año dado, el 15% de todos los las familias urbanas se mueven a una ubicación suburbana, y el 5% se mueven a una zona rural, también, el 6% de todas las familias suburbanas se mueven a un lugar urbano, y 4% se mueven a una zona rural; Finalmente, el 4% de todas las familias rurales se trasladan a un lugar urbano, y el 6% se mueven a una ubicación suburbana. a Si una familia vive ahora en una ubicación urbana, lo que es la probabilidad de que se vive en un área urbana dos años a partir de ahora? Un área en los suburbios? Una zona rural? b Suponga que en la actualidad, el 40% de todas las familias viven en una zona urbana, 35% vive en una zona suburbana, y el 25% viven en una zona rural. Dos años a partir de ahora, ¿qué porcentaje de las familias estadounidenses a vivir en una zona urbana? c ¿Qué problemas podrían ocurrir si este modelo se utilizaron para predecir la distribución de la población futura de las Naciones Unidas Estados? 17.4 Clasificación de los Estados en una cadena de Markov En la Sección 17.3, se menciona el hecho de que después de muchas transiciones, la transición n-paso probabilidades tienden a precipitarse. Antes de que podamos discutir esto con más detalle, tenemos que estudiar cómo los matemáticos clasificar los estados de una cadena de Markov. Utilizamos las siguientes matriz de transición para ilustrar la mayoría de las definiciones siguientes (ver Figura 6). P? ? 0 0 0 .1 .2 0 0 .7 .4 .8 0 0 .3 .5 0 .6 .5 0 0 nunca dejar el estado. pero el estado 5 no es alcanzable desde el estado 1 (no hay camino 1 a 5 en la Figura 6). ¿cuál es la probabilidad de que el estado es [0 1 1]? (Dibuja un diagrama como la Figura 4. ¿cuál es la probabilidad que voy a tener $ 2? 3 En el ejemplo 2. DE F Inition? . los estados 1 y 2 se comunican (que puede ir de 1 a 2 y 2 a 1). de manera que cada paso en la secuencia tiene un efecto positivo probabilidad de ocurrir. Por supuesto. los estados 0 y 4 están absorbiendo los estados. el estado 5 es accesible desde el estado 3 (a través de la ruta 3-4-5). ¿cuál es la probabilidad de que voy a tener $ 3? ¿Cómo cerca de $ 2? b Después de jugar el juego tres veces. DE F Inition? Cada vez que entramos en un estado absorbente. 4. Observar que una vez que entramos en un conjunto cerrado. un camino de i a j es una secuencia de transiciones que comienza en i y termina en j. ? Un estado j es alcanzable desde el estado i si hay un camino que conduce de i a j. En el ejemplo 1. el jugador ruina.5 0 0 0 2 Las preguntas siguientes se refieren al ejemplo 1. un estado absorbente es un sistema cerrado conjunto que contiene un solo estado.) DE F Inition? Dados dos estados i y j. S1? {1. Después de jugar un juego dos veces. sin arco comienza en S1 y S2 termina en o comienza y termina en S2 en S1). 2} y S2? {3.4 . ¿cuál es la probabilidad que el Estado es [0 2 0]? b Después de tres bolas están pintadas. Además. 5} son conjuntos cerrados. ? 932 C H A Cadenas de Markov T P R E 17 DE F Inition? Para la probabilidad de transición de la matriz P representado en la figura 6. determinar la transición después de n pasos probabilidades: Después de un dos bolas están pintadas. DE F Inition? Desde la cadena de Markov con matriz de transición P de la figura 6.0 . no podemos dejar el conjunto cerrado (en la figura 6. 5 . Después de un gran número de períodos. [2 0 0]. desde el estado 2.1 S1 S2 .7 . ? 1234 5 . los estados 1. Por lo tanto. pero no hay manera de regresar al estado 2 de estado 4. Con probabilidad 1. con el tiempo estamos seguros de entrar en el estado j (y que nunca volverá a su estado i). un estado i es transitorio si hay una manera de dejar el estado i que nunca regresa a estado i.? Dos estados i y j se dice que comunican si j es alcanzable desde i.5 .6 . En el ejemplo de la ruina del jugador. Un estado i es un estado transitorio si existe un estado j es accesible desde i. la pintada bola finalmente se pinta. 2 y 3 son estados transitorios. y es i accesible desde j. Cada vez que entramos en un estado transitorio i.5 .8 .2 .4 .En otras palabras. ? Un estado i es un estado absorbente si pii? 1. es posible ir por el camino 2-3-4. ? Un conjunto de estados S en una cadena de Markov es un conjunto cerrado si ningún estado fuera de S es accesible desde cualquier estado en S.3 F I E 6 GUR Gráfica Representación de Matriz de transición 17. Por ejemplo (Ver Figura 1). Del mismo modo. [1 1 0]. y [1 0 1] son todos los estados transitorios (en la figura 2. Para ilustrar. existe una probabilidad positiva de que vamos a dejar i siempre y terminan en el estado j se describe en la definición de un estado transitorio. pero una vez que ambas bolas están pintadas. la probabilidad de estar en cualquier estado transitorio i es cero. 4 Clasificación de los Estados en una cadena de Markov 933 . en el ejemplo 2. pero el estado i no es alcanzable desde el estado j. no hay manera de volver a [1 0 1]).4 . hay un camino a partir del [1 0 1] a [0 0 2]. en el ejemplo 2. y que nunca volverá a entrar en estado [1 0 1] (véase la figura 2). supongamos que estamos en el estado transitorio [1 0 1]. es un ergódica cadena de Markov. m). P1 y P3 son ergódica. Dondequiera que estemos. Para la matriz de transición P en la figura 6. el retorno a un estado de transición se llevará a 3m. P1? ? Ergódica P2? ? Nonergodic 0 0 ?1 3 ? ?3 4 ? 0 0 ?2 3 ? ?1 4 ? ?1 . y en el ejemplo 2. DE F Inition? ejemplo. [0 2 0].DE F Inition? En el ejemplo 1. [0 0 2]. porque (por ejemplo) los estados 3 y 4 no se comunican. De las tres cadenas de Markov. la ruina del jugador no es una cadena ergódica. DE F Inition? Para la cadena de Markov con matriz de transición Q? ? cada estado tiene periodo 3. el ejemplo de cola. Por lo tanto. si empezamos en el estado 1. todos los estados son recurrentes. por lo que ha estado un periodo de 3. estamos seguros de volver tres períodos posteriores. y [0 1 1] son estados recurrentes. la única manera de volver al estado Una es seguir el camino 1-2-3-1 para un cierto número de veces (por ejemplo. porque (por ejemplo) [2 0 0] y [0 1 1] no se comunican. Ejemplo 4. los estados 0 y 4 son estados recurrentes (y también estados absorbentes). Ejemplo 2 tampoco es una cadena ergódica. y P2 no es ergódica. Por ejemplo. (Ver figura 7). aperiódicos y se comunican entre sí.2 ? ?1 2 ? 0 0 ?1 2 ? ?1 2 ? 0 0 0 ?1 2 ? ?3 4 ? ?2 3 ? 0 ?1 4 ? ?1 3 ? ?1 2 ? 0 Si todos los estados en una cadena son recurrentes. ? 0 1 . la cadena se dice que es ergódica. ? 1 11 1 SIGUER723 Un periódico de Markov Cadena de k? 3 934 C H A T P R E 17 Cadenas de Markov P3? ? Ergódica P2 no es ergódica porque hay dos clases de cierre de los estados (clase 1? {1. Después de las dos secciones siguientes. que se llama un estado recurrente. la importancia de los conceptos introducidos en esta sección se pondrá de manifiesto.0 1 0 0 0 0 1 Un estado i es periódico con periodo k 1 si k es el número más pequeño de tal manera que todos los caminos que conducen desde el estado i de nuevo al estado i tienen una longitud que es múltiplo de k. 4}). 2} y la clase 2? {3. ? Si un estado no es transitorio. que se conoce como aperiódica. Si un estado recurrente no es periódico. y los estados en las diferentes clases no se comunican entre sí. ?1 4 ? 0 ?1 3 ? ?1 2 ? ?1 3 ? ?2 3 . ¿cuál es el período de los estados 1 y 3? 2 ¿Es la cadena de Markov de la sección 17.3. un cadena de Markov ergódica? 3 Considere la siguiente matriz de transición: P? ? un Estado que sean transitorios? b ¿Qué estados son recurrentes? 0 1 0 0 0 ?2 3 ? 0 0 1 0 0 0 0 0 0 ?1 2 ? 0 0 1 .? ?1 4 ? ?2 3 ? 0 PRLOMBES Grupo A 1 En el ejemplo 1. problema 1. d ¿Es esta cadena ergódica? 4 Para cada una de las cadenas siguientes. y absorbente.000. para cada cadena.1 0 1 .0 0 0 0 0 0 0 0 ?1 4 ? 0 ?1 3 ? 0 0 0 ?1 4 ? 1 0 c Identificar todos los conjuntos cerrados de los estados. transitorios. El juego continuó hasta que un jugador había ganado todos los demás el dinero. Si la Serie Mundial de Poker iban a ser modelado como una cadena de Markov. determinar los estados recurrentes. P1? ? P2? ? 5 Cincuenta y cuatro jugadores (incluyendo Gabe Kaplan y James Garner) participaron en la Serie Mundial de Poker 1980. determine si el cadena de Markov es ergódica. ¿cuántos estados absorbentes que la cadena tiene? 6 ¿Cuál de las siguientes cadenas es ergódica? 0 . Además. Cada jugador comienza con $ 10. 33 que sería ser cola 2 (ver Tabla 2). la probabilidad que la compra de una persona cola siguiente sería una cola se acercó a 0.5 0 .2 0 . que se puede utilizar para describir el comportamiento a largo plazo de una cadena de Markov.3 . Estas probabilidades no dependen de si la persona fue inicialmente un refresco de cola 1 o un bebedor de cola 2.4 P1? ? P2? ? 17.5 0 .1 0 . encontramos que después de mucho tiempo.4 0 .0 .2 . En esta sección.3 . EOR TH E M 1 Sea P la matriz de transición de un estado s de la cadena ergódica.2 . Entonces existe un vector p? [P 1 p 2? ? ? p s] tal que .8 .2 0 . El resultado siguiente es de vital importancia para la comprensión de las probabilidades de estado estable y la comportamiento a largo plazo de las cadenas de Markov.9 .67 y 0.5 probabilidades de estado estable y media veces primer paso En nuestra discusión del ejemplo de cola (ejemplo 4).7 .8 0 .1 . se discute el importante concepto de estado estacionario probabilidades. Para una demostración de este teorema.. y (independiente del estado inicial i) existe una probabilidad pj que se encuentran en estado j. consulte Problemas 11 y 12 al final de esta sección. El vector p? [P1 p2??? ] Ps a menudo se llama la distribución en estado estacionario.6 . ver Isaacson y Madsen (1976.7 . 5 probabilidades de estado estable y media veces Primer Paso 935 lim n Pn? ? ? Recordemos que el elemento ij de Pn es Pij (n). Para una cadena dada con la matriz de transición P.6 . la cadena de Markov se establece. Pn se acerca a una matriz con filas idénticas.1 0 0 . lim n Pij (n)? pj Obsérvese que para n grande. 17.4 .4 .4 . o distribución de equilibrio.3 0 Para ver por qué el teorema 1 no lleva a cabo para una cadena de nonergodic.2 .5 .2 . de la cadena de Markov.1 0 .3 . ¿cómo podemos encontrar la distribución de probabilidad de estado estable? Desde el teorema 1. observar . capítulo 3). Teorema 1 nos dice que para cualquier estado inicial i.8 0 . Esto significa que después mucho tiempo.2 .5 0 . podemos utilizar (8) para resolver las probabilidades de estado estable.que para n grande y yo. Para obtener los valores únicos de las probabilidades de estado estable. Pij (n? 1)? Pij (n)? pj (6) Desde Pij (n? 1)? (Fila i de Pn) (columna j.20 936 C H A Cadenas de Markov T P R E 17 [P1 p2]? [P1 p2]? ? p1? 0. podemos escribir Pij (n? 1)? ? k? s k? 1 Pik (n) PKJ (7) Si n es grande. obtenemos el sistema .80 . PI1 (n)? Pi2 (n)? ? ? ? ? Pis (n)? 1 (9) Dejar el infinito n enfoque en (9).90 . el ejemplo de cola.20 p2 p2? 0. el sistema de ecuaciones se especifica en (8) tiene un número infinito de soluciones. nos encontramos con las probabilidades de estado estable para el ejemplo 4. obtenemos p1? p2? ? ? ? ? ps? 1 (10) Así.10 p1? 0. Revisión Problema 21).90 p1? 0. Recordemos que la matriz de transición para el ejemplo 4 fue P? ? Entonces (8) o rendimientos (8) . la sustitución de (6) en (7) se obtiene pj? ? k? s k? 1 pkpkj (8) En forma matricial. tenga en cuenta que para cualquier n y cualquier i.80 p2 Sustitución de la segunda ecuación con la condición de p1? p2? 1.10 . porque el rango de la matriz P siempre resulta ser? s? 1 (véase el capítulo 2. (8) se puede escribir como p? pP (8?) Desafortunadamente. tras el cambio de cualquiera de las ecuaciones en (8) con (10). Para ilustrar cómo encontrar las probabilidades de estado estacionario. P). simplemente utiliza las fórmulas para Pij (n) dada en (4) y (5). que para n grande. la probabilidad de que el sistema está en estado j es pj. las probabilidades de estado estable describe con precisión la probabilidad de estar en cualquier estado. No hay ninguna regla general puede ser dada sobre la rapidez con un cadena de Markov alcanza el estado estacionario. Para estudiar el comportamiento transitorio de una cadena de Markov.p1? 0. Análisis de Transitorio Una mirada a la Tabla 2 se observa que para el ejemplo 4. el estado de equilibrio suele alcanzar muy rápidamente. Es bueno saber. De . sin embargo. La interpretación intuitiva de probabilidades de estado estable Una interpretación intuitiva se puede dar a las ecuaciones de probabilidad de estado estacionario (8).20 p2 1? p1? p2 Solución para p1 y p2 se obtiene p1? ? 2 3 ? y p2? ? 1 3 ?. el estado de equilibrio se alcanza (a dos decimales lugares) después de las transiciones sólo diez. pero si P contiene muy pocas entradas que están cerca de 0 o cerca de 1. hay una? 2 3 ? probabilidad de que una determinada persona va a comprar un refresco de cola y un? 1 3 ? probabilidad de que un determinado persona va a comprar dos refrescos de cola. Por restando pjpjj de ambos lados de (8). Probabilidad de que una transición particular deja el estado j (12) ? probabilidad de que una transición particular. después de mucho tiempo. Por lo tanto. entra en el estado j Recordemos que en el estado estacionario. obtenemos pj (1? PJJ)? ? k? j pkpkj (11) La ecuación (11) afirma que en el estado estacionario.90 p1? 0. El comportamiento de una cadena de Markov antes de que el estado estacionario se alcanza a menudo se llama transitoria (o de corto plazo) de comportamiento. y una distribución en estado estacionario no existiría.90 .80 . 5 probabilidades de estado estable y media veces Primer Paso 937 ?? k? j pkpkj La ecuación (11) es razonable.10 .20 17.esta observación. Esto daría lugar a la probabilidad "Acumulando" en el estado j. la lado derecho de (11) superaría el lado izquierdo de (11). el "flujo" de la probabilidad en cada estado debe ser igual al flujo de la probabilidad de cada estado. si (11) fueron violados de cualquier estado. a continuación. ?2 3 ? . entra en el estado j ?? k (Probabilidad de que el período actual se inicia en k? J) ? ? (Probabilidad de que la actual transición entre j) . para algunos el estado j. se deduce que Probabilidad de que una transición particular deja el estado j ? (Probabilidad de que el período actual se inicia en j) ? ? (Probabilidad de que la transición actual deja j) ? pj (1? PJJ) y Probabilidad de que una transición particular. La ecuación (11) puede ser visto como diciendo que en el estado estacionario. Esto explica por qué las probabilidades de estado estable Supongamos que hay 100 millones de clientes en cola. los monopolios.44 .?2 3 ? 2? 0.2. Cada .80 .20 $ 95.95 . . 9 1 5 . Desde $ 114.80 1 3 1 .000.5 .4 0 4 ? $ 3. 4 0 .17. 0 8 0 0? ? Por Asumir ? . A continuación.Desde ? 1 1? ? Se puede demostrar que ? p 1 i ? ?2 3 ??1 3 ?. 1? 1? . ?3 1? 1? 1? 1? 5. MODELO: 1] FIN I a 1. Por la ecuación 1? ? Grupo A . 8 0 . .8 0 .8 ?1 3 ? ?1 2 ? ?2 3 ? ?1 2 ? 17.2 .una? ? b? ? Una feria Cuesta 0 .2 .2 . . o debo conducir mi coche hasta que se rompe? probabilidad. $ 10. transiciones? $ 20. Durante las pelotas? .coche. Vamos a . ?? Grupo B Un cliente que cliente? ? Sugerencia: lim . lim lim lim ? Si el Si el 0 1 0 1 0 0 0 0 1 0 0 ?2 3 ? . 6 .05 .1 0 .05 .2 .1 .1 .8 .1 .05 .?1 3 ? 0 0 ?1 3 ? ?2 3 ? ?1 2 ? ?1 2 ? 0 0 ?1 2 ? ?1 2 ? 0 0 .8 .7 . .05 Gris Negro Ambos Ni de la máquina.1 . del día. .2 . Cuentas por cobrar 17.cadena. estados. ?? Una pregunta . ?? Por ejemplo..Por ejemplo.. del Estado. Nuevo 1 Mes . P? ? ? ? .. . 1 .70 .2 Meses 3 Meses Pago Mal de la deuda R I Q 0 s? .1 .0 .10 .0 .15 .05 .0 .0 .0 .0 .0 .0 .20 .0 Junior Senior Socio .0 .95 .0 .05 .0 .0 .0 .80 .0 . 05 .10 0 0 . y Q? ? . y Junior Senior Socio ??? 2.05 . ??? 2.17. Respuesta: (Véase 0 0 . 0 .05 .05 .10 .0 .70 .1 .0 .0 .20 .0 .0 .0 .0 .0 .0 .95 .0 .0 Junior Senior Socio 0 0 .80 .0 .80 .0 .95 .0 .1 .0 ..15 .15 .70 .0 .20 .0 . 6 0 0 0 0 0 0 0 0 0 0 .5 .4 .4 0 0 .7 0 0 .3 0 1 .0 .6 .7 1 0 0 0 .4 0 0 0 .5 0 0 .4 .6 .5 .3 . 5 0 0 0 0 .0 .6 0 0 0 0 0 0 0 0 0 0 0 Nuevo 1 mes 2 meses 3 meses Pago ?? A continuación. Yo? ? ? . 940 t1 t2 t3 t4 .0 1 0 0 .60 .1 .0 .1 .?? A continuación.060 .0 .50 . .300 . Pagado.12 .40 .1 .30 .20 . 3 .5 .5 0 0 .4 0 0 .4 .7 0 0 .0 t1 t2 t3 t4 0 0 1 0 1 0 1 0 0 1 0 0 0 0 0 0 .6 0 0 .6 . ? R? ? . Q? ? . 10 ?4 3 0? 20 2. Yo? Q? ? . ? ?? A continuación.5 ?1 3 0? 0 5 0 0 t1 t2 t3 ?0 . ? A continuación.0 0 0 0 0 17. 0 .0 .05 .0 .0 . .0 .20 .95 .15 .05 .0 2 3 4 5 6 7 8 9 10 11 ?? A continuación.80 .20 .70 .10 .0 .0 0 .. .50 ?2 3 ? 1 .50 ?1 3 ? 0 t1 t2 t3 Ahora (I ? ? 1? 5 (I ? ? 1? 2.5 ? 1? 10 2.5? 10? . Gestión 17.socios. Grupo A . 17. Junior Esto es sólo 20 años. Vea la Figura 8. ?? ?? . 05 .80 .0 .6 .0 .0 .05 .0 .10 .1 .05 .05 .1 .2 .1 .0 .0 .5 .05 .1 0 .8 .0 .0 .3 .1 0 100 0 .85 .1 .1 ..1 .10 .0 . 0 .0 .0 .0 .0 .0 .85 .0 .15 .0 .0 .0 Estudiante de primer año Estudiante de segundo año Junior Senior Los graduados hacia abajo? Si la moneda Grupo B p? .10 .10 .0 .80 .0 .0 .0 .. ???? .?? Casas Casas Si el Yo? Q? ? ? ? ? ? ? ? 17. Explicar B? ? R? QB.? ? ?. Grupo C Piensa . 25 .35 .10 .25 .bajo nivel .45 .0 .15 0 0 0 0 0 0 .0 .0 .15 .20 .05 .0 .30 .1 .30 .20 .0 .0 .20 .15 .10 .0 .1 .30 . .15 . solicitud.20 1 2 3 4 5 6 ingresos.05 ..10 . Un catálogos. Un Por esta Por . .. 2.y ? .. 1.. . Durante 85? SUMARI ..cadenas. . . La ecuaciones: ? . Si un .1. ?? Dos 1. ????1 Escribe P? ? ? ? P? s? Hola? resolver Hola? ? R I . Si definimos Xt a ser mi posición de capital después del juego el tiempo t (si los hay) se reproduce. .. X1. .. este tipo de situación se llama un jugador . y tan pronto como. tengo $ 2. si Xt= 0. El juego es también sobre si mi capital se reduce a $ 0. . y con una probabilidad de 1 -p. .Q 0 s? Este Este Una alternativa Ejemplo 1 A la hora 0. pierdo el juego. entonces Xt+1 y todos los posteriores Xt también será igual a 4. Por razones obvias. X1= 1. Del mismo modo. con probabilidad p. Tenga en cuenta que si Xt = 4. el juego ha terminado.p. Puedo jugar un juego en el que apuesta $ 1. Tenga en cuenta que X0= 2 es una constante conocida. . gano el juego. En el tiempo 1. Con una probabilidad p. . X0. a continuación. Xt puede ser visto como un proceso estocástico en tiempo discreto. Por ejemplo. Mi objetivo es aumentar mi capital a $ 4. 2. X1=3. pero más tarde X1 y Xt son al azar. entonces Xt+1 y todos los posteriores Xt serán también igual a 0. y con una probabilidad de 1. podemos estar seguro de que Xt? 1 será [0 1 1]. r es el número de bolas rojas en la urna. Ejemplo 2 Una urna contiene dos bolas sin pintura en la actualidad. pintamos el elegido sin pintar bola roja. un pelota se han pintado de rojo o negro. Por lo tanto. si Xt? [0 2 0]. Por ejemplo. donde u es el número de sin pintar bolas en la urna. Después de la primera moneda cara o cruz. si la bola elegida es sin pintar y la moneda sale cruz. Si el balón ya ha sido pintada. roblema. La estado en cualquier momento puede ser descrito por el vector [urb]. La ruina del jugador 924 C H A T P R E 17 Cadenas de Markov ter la moneda se ha volteado por el momento TTH y la bola elegida ha sido pintada. Estamos teniendo en cuenta que X0? [2 0 0]. Si la bola elegida es sin pintar y la moneda sale cara. Para modelar esta situación como un proceso estocástico. Es evidente que hay debe haber algún tipo de relación entre los Xt. definimos el tiempo t para el tiempo después de Seleccionar las bolas la urna. pintamos la bola elegida negro sin pintar. Examp NE 3 Llamaremos x0 al precio de una acción de CSL acciones de la Computación en el comienzo de la .de la ruina. Elegimos una bola al azar y la vuelta a un moneda. y b es el número de pelotas de negro en la urna. entonces (si los jefes o de las colas ha sido lanzado) que cambia el color de la bola (de rojo a negro o de negro a rojo). podemos estar seguros de que el X1? [1 1 0] o X1? [1 0 1]. y el estado será bien [1 1 0] o [1 0 1]. Es evidente que. Xt nos dice algo sobre la distribución de probabilidades de Xt 1.. Por ejemplo.) Dado que el precio de una acción de las acciones puede ser observado en cualquier momento (no sólo el comienzo de cada día de negociación). el número de personas en un supermercado t minutos después de que abra la tienda para los negocios puede ser visto como un proceso estocástico en tiempo continuo. vamos a Xt el precio de una acción de CSL en el inicio de la negociación TTH día en el futuro. Viendo el precio de una acción de las acciones como continuoustime proceso estocástico ha dado muchos resultados importantes en la teoría de las finanzas.? la pregunta es. . no sólo en instantes discretos en el tiempo. Además.cotización actual día. . (Modelos de participación continua en el tiempo procesos estocásticos se estudian en el capítulo 20. ¿qué significa el pasado (precios de las acciones hasta el momento t) nos hablan de Xt? 1? La respuesta a esta pregunta es de importancia crítica en las finanzas. X1. .) Cerramos esta sección con una breve discusión de los procesos estocásticos en tiempo continuo. conociendo los valores de X0. (Vea la Sección 17. incluyendo la opción famoso Negro-Scholes fórmula de fijación de precios. puede ser visto como un de tiempo continuo proceso estocástico. Un proceso estocástico continuo en el tiempo es simplemente un proceso estocástico en el que el estado del sistema puede ser visto en cualquier momento.2 para más detalles. . Documents Similar To Cadenas de MarkovSkip carouselcarousel previouscarousel nextCadenas AbsorbentesEjercicos de Cadena de MarkovSEGUNDA UNIDAD CADENAS DE MARKOV.docxMarkov Problemas 2012-2Ejercicios de Markov53238281 Cadenas MarkovCadenas de MarkovProblemas Markov continuosapuntes_2-01Cadenas de MarkovProblemas Resueltos - Cadenas de MarkovMarkov Problemas 2012-2 5pccadena de markovMarkov(1)Markov-Prob-2-1probelmascmGuia de Markov Discreto - CopiaÁRBOLES DE DECISIÓN industrialCadenas de MarkovCaracterísticas de Algunas Distribuciones Discretas de ProbabilidadProblemas MarkoProblema 21.2-4 Cadena de Markov (2)Cad MarkConjunto Problemas Cap 17 Markov Chains TAHA 8th EditionProb Resueltos ColasAnálisis de MarkovCadenas de Markov-1I.O.II.principalCadenas de MarkovTaller Colas de Espera SolucionadoFooter MenuBack To TopAboutAbout ScribdPressOur blogJoin our team!Contact UsJoin todayInvite FriendsGiftsLegalTermsPrivacyCopyrightSupportHelp / FAQAccessibilityPurchase helpAdChoicesPublishersSocial MediaCopyright © 2018 Scribd Inc. .Browse Books.Site Directory.Site Language: English中文EspañolالعربيةPortuguês日本語DeutschFrançaisTurkceРусский языкTiếng việtJęzyk polskiBahasa indonesiaSign up to vote on this titleUsefulNot usefulYou're Reading a Free PreviewDownloadClose DialogAre you sure?This action might not be possible to undo. Are you sure you want to continue?CANCELOK