137878959 Cadenas de Markov

CADENAS DE MARKOVEn los problemas de toma de decisiones, con frecuencia nos enfrentamos a situaciones que tienen incertidumbre asociada a ellas. Esta incertidumbre proviene de la variación inherente a las fuentes de esa variación que eluden el control o proviene de la inconsistencia de los fenómenos naturales. En lugar de manejar esta variabilidad como cualitativa, puede incorporarse a un modelo matemático y manejarse en forma cuantitativa. Por lo general, este tratamiento puede lograrse si el fenómeno natural muestra un cierto grado de regularidad, de manera que sea posible describir la variación mediante un modelo probabilístico. Este capitulo presenta modelos de probabilidad para procesos que evolucionan en el tiempo de una manera probabilística. Tales procesos se llaman procesos estocásticos. espu!s de introducir brevemente los procesos estocásticos generales en la primera sección, el resto del capítulo está dedicado a un tipo especial de proceso, llamado Cadena de Markov. "as cadenas de #ar$ov tienen la propiedad particular de que las probabilidades que describen la forma en que el proceso evolucionará en el futuro dependen sólo del estado actual en que se encuentra el proceso y, por lo tanto, son independientes de los eventos ocurridos en el pasado. #uchos procesos se ajustan a esta descripción por lo que las cadenas de #ar$ov constituyen una clase de modelos probabilísticos de gran importancia y por lo tanto, se han aplicado con !%ito en áreas tales como educación, mercadotecnia, servicios de salud, finan&as, contabilidad y producción, entre otros. 1.1 ¿QUÉ ES UN PROCESO ESTOCÁSTICO? 'uponga que se observa una característica de un sistema en un conjunto de puntos discretos del tiempo (que llamaremos T = {0, 1, 2, , t, ) y que no necesariamente son equidistantes* y la cual puede tomar en cada uno de estos tiempos uno de un n+mero finito de estados mutuamente e%cluyentes, etiquetados como 1, 2, , s 1 . 'ea Xt el valor de la característica del sistema en el tiempo t (Xt toma valores en el conjunto S , -1, 2, , s)*. En la mayor parte de los casos no se conoce Xt con certe&a antes del tiempo t y por lo tanto se puede considerar como variable aleatoria. .sí, un ro!e"o e"#o!$"#%!o de #%e&o d%"!re#o ' e"#ado (%n%#o no es más que un conjunto inde%ado de variables aleatorias id!nticamente distribuidas -Xt) sobre un conjunto discreto T, las cuales toman valores en un conjunto S = {1, 2, 3, …, s}, y el cual da una descripción de la relación entre las variables aleatorias X0 , X1, X2, , Xt, . . continuación se dan unos ejemplos de procesos estocásticos de tiempo discreto. E)e&*o 1.1 +a r,%na de* ),-ador. En el tiempo 0 tengo $2000. En los tiempos 1, 2,  participo en un juego en el que solo puedo apostar $1000. /ano con probabilidad p, y pierdo con probabilidad 1 - p. #i meta es aumentar mi capital a $4000, y tan pronto como lo logre se suspende el juego. El juego tambi!n se suspende si mi capital se reduce a $0. 'ea t el tiempo despu!s de terminada la t-ésina partida y Xt la variable aleatoria que representa el capital que poseo despu!s del juego cuando el tiempo es t, si es que lo hay. .sí, los estados que puede tomar el sistema son0 Estado 0 Tener $0 Estado 1 Tener $1000 Estado 2 Tener $2000 Estado 3 Tener $3000 Estado 4 Tener $4000, y por lo tanto S = {0, 1, 2, 3, 4}. Entonces se puede considerar que -Xt} es un proceso estocástico de tiempo discreto. 1ótese que X0 = 2 es una constante conocida, pero que X1 y las demás Xt son aleatorias. Por ejemplo, X1 = 3 con probabilidad p y X1 = 1 con probabilidad 1 - p. 1ótese que si Xt = 4, entonces Xt+1 y todas las demás Xt tambi!n serán iguales a 4. 2 Es indiferente si se inicia a etiquetar desde 1 o desde 0. 2 3gualmente, si Xt , 0, entonces Xt+1 y todas las demás Xt serán tambi!n cero. Por ra&ones obvias, a estos casos se les llama problema de la ruina del jugador. E)e&*o 1.. 4na urna contiene dos bolas, las cuales se encuentran sin pintar. 'e selecciona una bola al a&ar y se lan&a una moneda. 'i la bola elegida no está pintada y la moneda produce cara, pintamos la bola de rojo5 si la moneda produce sello, la pintamos de negro. 'i la bola ya está pintada, entonces cambiamos el color de la bola de rojo a negro o de negro a rojo, independientemente de si la moneda produce cara o sello. Para modelar este caso como proceso estocástico, definimos a t como el tiempo despu!s que la moneda ha sido lan&ada por t-ésina ve& y se ha pintado la bola escogida. En cualquier tiempo se puede representar el estado del sistema mediante el vector 6u, r, b7, donde u es el n+mero de bolas sin pintar en la urna, r el n+mero de bolas rojas y b el de bolas negras. "uego los estados del sistema serán0 Estado 1 [2, 0, 0] Estado 2 [1, 1, 0] Estado 3 [1, 0, 1] Estado 4 [0, 1, 1] Estado 5 [0, 2, 0] Estado 6 [0, 0, 2]. 'e nos dice que X0 = [2, 0, 0]. espu!s del primer lan&amiento una bola habrá sido pintada ya sea de rojo o de negro y el estado será [1, 1, 0] o [1, 0, 1]. Por lo tanto, podemos asegurar que X1 = [1, 1, 0] o X1 = [1, 0, 17. Es claro que debe haber alguna relación entre las Xt. Por ejemplo, si Xt = [0, 2, 0], podemos asegurar que Xt+1 será [0, 1, 1]. E)e&*o 1./ 'ea X0 el precio de una acción de la compa8ía de 9omputadoras 9'" al principio de este día hábil. Tambi!n, sea Xt el precio de esa acción al principio del t-ésimo día hábil en el futuro. Es claro que si se conocen los valores de X0, X1, …, Xt estos valores dicen algo acerca distribución de probabilidad de Xt+15 el asunto es0 :qu! nos dice el pasado (los precios de las acciones hasta el tiempo t* acerca de Xt+1; "a respuesta a esta pregunta es de importancia crítica en finan&as. Para mayores detalles, v!ase la siguiente sección. E)e&*o 1.0 Pro1*e&a de %nven#ar%o". 4na tienda de cámaras tiene en almac!n un modelo especial que se puede ordenar cada semana. 'ean D1, D2, … las demandas de este tipo de cámara durante la primera, segunda, , t-ésima semana, respectivamente. 'uponga que las Dt son variables aleatorias independientes e id!nticamente distribuidas con distribución de probabilidad conocida. 'ea Xt el n+mero de cámaras que se tiene en el momento de iniciar el proceso. El sábado en la noche la tienda hace un pedido que le entrega el lunes en el momento de abrir la tienda. "a tienda usa la siguiente política (s, S* < para ordenar0 'i el n+mero de cámaras en inventario al final de la semana es menor que s = 1 , ordena (hasta* S = 3. e otra manera no coloca la orden. 'e supone que las ventas se pierden cuando la demanda e%cede el inventario. Entonces -Xt) es un proceso estocástico. "os estados posibles del proceso son0 Estado 0 Tener 0 cámaras en inventario al final de la semana Estado 1 Tener 1 9ámara en inventario al final de la semana Estado 2 Tener 2 cámaras en inventario al final de la semana Estado 3 Tener 3 cámaras en inventario al final de la semana. e hecho, es claro que las variables aleatorias Xt son dependientes y se pueden evaluar en forma iterativa por medio de la e%presión < 4na política (s, S* es una política de revisión continua que consiste en ordenar hasta S unidades siempre que el nivel del inventario baje de s (S ≥ s*. 'i el nivel de inventario es s o mayor que, no se ordena. < ¹ ' ¹ ≥ − < − · + + + 1 si } 0 ), {( 1 si } 0 ), 3 {( 1 1 1 t t t t t t máx máx X D X X D X (2* 'e finali&ará esta sección con una e%plicación breve de los procesos estocásticos de tiempo continuo. 4n proceso estocástico de tiempo continuo es simplemente un proceso estocástico en el que el estado del sistema se puede e%aminar en cualquier tiempo y no sólo en instantes discretos. Por ejemplo, se puede considerar que el n+mero de personas en un supermercado a los t minutos despu!s de abrir, es un proceso estocástico de tiempo continuo. "os modelos en los que intervienen estos procesos se estudiaran más adelante. 9omo el precio de una acción se puede observar en cualquier tiempo, y no sólo al abrir la bolsa, este se puede considerar como proceso estocástico de tiempo continuo. .l considerarlo así, se ha podido llegar a importantes resultados en la teoría de finan&as, incluyendo la famosa fórmula de =lac$>'choles para opción de precio. 1.. ¿QUÉ ES UNA CADENA DE MARKOV? Es necesario hacer algunas suposiciones sobre la distribución conjunta de X0, X1,  para obtener resultados analíticos. ?ay una suposición que nos lleva a un tipo especial de procesos estocásticos de tiempo discreto llamados cadenas de #ar$ov. Para simplificar nuestra presentación supondremos que en cualquier tiempo, el proceso estocástico de tiempo discreto puede estar en uno de un n+mero finito de estados identificados por 1, 2, …,s. DEFINICIÓN 4n proceso estocástico de tiempo discreto es una !adena de Markov si para t , 0, 1, 2,  y todos los estados, ( ) ( ) t t t t t i | i P i , i , , i , i | i P · · · · · · · · + + − − + + t t t t t X X X X X X X 1 0 1 1 1 1 0 1 1 1  (<* En esencia, la ecuación (2* dice que la distribución de probabilidad del estado en el tiempo t + 1 depende del estado en el tiempo t (it) y no depende de los estados por los cuales pasó la cadena para llegar a it, en el tiempo t, es decir, el estado que tomará el sistema en el futuro inmediato solo depende del presente más no del pasado. "a probabilidad condicional ( ) t t i | i P · · + + t t X X 1 1 se llama probabilidad de transición, ya que el sistema en período pasa del estado it+1 al estado it. .demás, si para cualquier par de estados i y j ocurre ( ) i j| P · · + t t X X 1 toma el mismo valor para todo t, se dice que la cadena de #ar$ov es estacionaria en el tiempo y se puede escribir0 P(Xt+1 = j | Xt = i) = P(X1 = j | X0 = i) = pij (@* donde pij es la probabilidad de que dado que el sistema está en el estado i en el tiempo t, el sistema estará en el estado j en el tiempo t + 1. 9on frecuencia, en una cadena de #ar$ov, a las pij, se les conoce con el nombre de ro1a1%*%dade" de #ran"%!%2n e"#a!%onar%a". "a Ecc. < indica que la ley de probabilidad que relaciona el estado tomado en el siguiente periodo con el estado actual del sistema no cambia, o que permanece estacionaria, en el tiempo. Por este motivo, a menudo se llama 3%2#e"%" de e"#a1%*%dad a la ecuación (<*. Toda cadena de #ar$ov que cumple con la Ecc. < se **a&a !adena e"#a!%onar%a de Markov. En la mayoría de las aplicaciones, las probabilidades de transición se presentan como una &a#r%4 P de ro1a1%*%dad de #ran"%!%2n s × s. "a matri& de probabilidad de transición P se puede escribir como @ 1 1 1 1 ] 1 ¸ · SS S S S S p p p p p p p p p       2 1 2 22 21 1 12 11 P ado que el estado es i en el tiempo t, el proceso debe estar en alg+n lugar en el tiempo t + 1. Esto significa que para cada i, 1 ) | ( 1 1 · · · ∑ · + s j t t i X j P X o bien que 1 1 · ∑ · s j ij p Tambi!n sabemos que cada elemento de la matri& P debe ser no negativo. Por lo tanto, todos los elementos de la matri& de probabilidad de transición son no negativos y además, los elementos de cada renglón deben sumar 1. El estudio de las cadenas de #ar$ov tambi!n necesita que se defina qi como la probabilidad de que la cadena se encuentre en el estado i en el tiempo 05 en otras palabras, P(X0 = i) = qi. .l vector q = [q1, q2, …, qs] se le llama d%"#r%1,!%2n %n%!%a* de ro1a1%*%dad de la cadena de #ar$ov. E)e&*o ..1 La ruina del jugador (continuación). Encuentre la matri& de transición del Ejemplo 2.2. So*,!%2n 9omo la cantidad de dinero que tengo despu!s de t + 1 jugadas depende de los antecedentes del juego sólo hasta la cantidad de efectivo que tengo despu!s de t jugadas, no hay duda que se trata de una cadena de #ar$ov. ebido a que como las reglas del juego no varían con el tiempo, tambi!n tenemos una cadena de #ar$ov estacionaria. "a matri& de transición es la siguiente0 Estao 0 1 2 3 4 0 1 0 0 0 0 1 1 - p 0 P 0 0 P = 2 0 1 - p 0 P 0 3 0 0 1 - p 0 p 4 0 0 0 0 1 'i el estado es 0 o 4 no juego más y, por lo tanto, el estado no puede cambiar5 entonces p00 = p44 = 1. Para los demás estados sabemos que, con probabilidad p, el estado del siguiente periodo será mayor que el estado actual en 1, y con probabilidad 1 - p, el estado del siguiente periodo será menor en 1 que el estado actual. 4na matri& de transición se puede representar con una gráfica en la que cada nodo represente un estado y arc(i, j) represente la probabilidad de transición pij. "a Aig. 2 es una representación gráfica de la matri& de probabilidad de transición para este ejemplo. 5%-,ra 1 Bepresentación gráfica de la matri& de transición para el ejemplo de la ruina del jugador E)e&*o ... (Continuación) etermine la matri& de transición del Ejemplo 2.< de la sección anterior. C So*,!%2n 9omo el estado de la urna despu!s del siguiente lan&amiento de la moneda depende sólo del pasado del proceso hasta el estado de la urna despu!s del lan&amiento actual, se trata de una cadena de #ar$ov. .demás, las reglas no varían a trav!s del tiempo y por lo tanto tenemos una cadena estacionaria de #ar$ov. "a matri& de transición para el Ejemplo 2.< es la siguiente0 Estao [0, 1, 1] [0, 2, 0] [0, 0, 2] [2, 0, 0] [1, 1, 0] [1, 0, 1] P = [0, 1, 1] 0 ! ! 0 0 0 [0, 2, 0] 1 0 0 0 0 0 [0, 0, 2] 1 0 0 0 0 0 [2, 0, 0] 0 0 0 0 ! ! [1, 1, 0] " " 0 0 0 ! [1, 0, 1] " 0 " 0 ! 0 Para ver cómo se forma la matri& de transición, determinaremos el renglón [1, 1, 0]. 'i el estado actual es [1, 1, 0], dadas las condiciones del problema, no es posible pasar a cualquiera de los estados 60, 0, 27, 62, 0, 07 y 61, 1, 07 y por lo tanto la probabilidad de transición del estado [1, 1, 0] a cualquiera de estos estados es cero. .hora bien, si el estado es [1, 1, 0] para alcan&ar el estado [0, 2, 0] debe ocurrir que se escoge una bola sin pintar (con probabilidad !* y que el resultado del lan&amiento de la moneda sea cara (con probabilidad !*, lo que da una probabilidad de D. Pero si lo que ocurre es que se saca una bola sin pintar (con probabilidad !* y el resultado del lan&amiento de la moneda es sello (con probabilidad !* se alcan&a el estado [0, 1, 1] con probabilidad D. Ainalmente, si se escoge la bolla roja (con probabilidad de !*, sin importar el resultado del lan&amiento de la moneda a esta se le cambiará el color y se alcan&a así el estado [1, 0, 1] con probabilidad E. "o anterior se resume en la Tabla 2. Ta1*a 1 9álculos de las probabilidades de transición si el estado actual es 62, 2, F7 EGE1TH PBH=.=3"3. E'T.H 14EGH 'acar cara en el lan&amiento y escoger un a bola sin pintar D [0, 2, 0] Escoger bola roja E [1, 0, 1] 'acar cru& en el lan&amiento y escoger una bola sin pintar D [0, 1, 1] En la Aig. < se da una representación gráfica de esta matri& de transición. 5%-,ra . Bepresentación gráfica de la matri& de transición para el ejemplo de la urna E)e&*o ../ (Continuación) En los +ltimos a8os, los estudiantes de finan&as han dedicado mucho esfuer&o a contestar la pregunta de si el precio diario de una acción se puede describir mediante una cadena de #ar$ov. 'upongamos que el precio diario de una acción, como el de la compa8ía de computadoras 9'", se puede representar por una cadena de #ar$ov. I :Ju! nos dice esto; 'implemente que la distribución de probabilidad del precio de las acciones ma8ana depende sólo del precio de hoy, pero no de los precios anteriores. 'i el precio de una acción se puede representar como cadena de #ar$ov, los KtablistasL que tratan de predecir los precios futuros sobre la base de los comportamientos seguidos durante el pasado están mal. Por ejemplo, supongan que el precio diario de una acción de 9'" sigue una cadena de #ar$ov y el precio de hoy es 50 dólares. Entonces, para predecir el precio de ma8ana no importa si el precio ha aumentado o disminuido durante cada uno de los +ltimos 30 días. En cualquier caso, o en cualquier otro caso que pudiera haber conducido al precio actual de 50 dólares, la predicción del precio de ma8ana se debe basar sólo en el hecho de que hoy el precio de esas acciones es de 50 dólares. En la actualidad, el consenso es que para la mayor parte de las acciones, su coti&ación diaria se puede describir con una cadena de #ar$ov. . esta idea se le llama con frecuencia 6%2#e"%" de* &er!ado e(%!%en#e. E)e&*o ..0 Pro1*e&a de %nven#ar%o 7!on#%n,a!%2n8. Encontrar la matri& de transición para el ejemplo 2.C, suponiendo que Dt tiene una distribución de probabilidad Poisson con parámetro λ , 1 3 . So*,!%2n Para obtener p00 es necesario evaluar P(Xt+1=0 | Xt=0). 'i Xt,F, entonces Xt+1= m#${(3 % Dt+1), 0}, seg+n la Ecc 2. Pero como Xt+1=0, 3 % Dt+1 ≤ 0 y por lo tanto Dt+1 ≥ 3. .sí, p00= P(Dt+1 ≥ 3) = 1 - P(Dt+1 ≤ 2) = .0&05 y p10= P(Xt+1=0 | Xt=1) se puede obtener de una manera parecida. 'i Xt,2, entonces Xt+1= m#${(1 % Dt+1), 0}. Pero como Xt+1=0, 1 % Dt+1 ≤ 0 y por lo tanto la demanda debe ser 1 o más. Por esto, p10= P(Dt+1 ≥ 1) = 1 - P(Dt+1 = 0) = .632. Para encontrar '21, P(Xt+1=1 | Xt=2), observe que Xt+1= m#${(2 % Dt+1), 0} si Xt,2. En consecuencia, si Xt+1=1, entonces la demanda durante la semana tiene que ser e%actamente 1. Por lo tanto, '21, P(Dt+1=1) = .36&. "os elementos restantes se obtienen en forma similar, lo que lleva a la siguiente matri& de transición0 3 2 1 0 1 1 1 1 ] 1 ¸ · 36& . 36& . 1&4 . 0&0 . 0 36& . 36& . 264 . 0 0 36& . 632 . 36& . 36& . 1&4 . 0&0 . 3 2 1 0 P "a Aig. @ muestra la representación gráfica de esta matri& de transición. 5%-,ra / Bepresentación gráfica para la matri& de transición para el problema de inventario. PROBLEMA !R"PO A 2. En una ciudad, al (0) de los días soleados siguen días soleados, y al &0) de los días nublados siguen días nublados. 9on esta información @ "a distribución Poisson esta dada por0 ¸ ¸ · · · − *aso ot+o *,a-.,i/+ /n , 0 , 2 , 1 , 0 Si 0 ) (  x x e x P x λ λ X M modelar el clima de la ciudad como cadena de #ar$ov. <. 'uponga que la probabilidad de lluvia ma8ana es 0.5 si hoy llueve y que la probabilidad de un día claro (sin lluvia* ma8ana es 0.( si hoy está claro. 'uponga además que estas probabilidades no cambian si tambi!n se proporciona información sobre el clima de días anteriores a hoy. a* E%plique por qu! las suposiciones establecidas implican que la propiedad mar$oviana se cumple para la evolución del clima. b* Aormule la evolución del clima como una cadena de #ar$ov definiendo sus estados y dando su matri& de transición (de un paso*. @. 9onsidere que si el precio de una acción sube o no ma8ana depende de si subió o no hoy y ayer. 'i la acción subió hoy y ayer, ma8ana subirá con probabilidad α1. 'i la acción subió hoy y ayer bajó, ma8ana subirá con probabilidad α2. 'i la acción bajó hoy y ayer subió, la probabilidad de que suba ma8ana es α3. Por +ltimo, si la acción bajó hoy y ayer, la probabilidad de que suba ma8ana es α4. #odele esta situación como una cadena de #ar$ov y determine la matri& de transición de un paso. C. Beconsidere el problema @. 'uponga ahora que el hecho que la acción suba ma8ana depende de si subió o no hoy, ayer y antier. :Puede este problema formularse como una cadena de #ar$ov; 'i se puede, :cuáles son los estados posibles; E%plique por qu! estos estados dan al proceso la propiedad mar$oviana mientras que si definen como se hi&o para los estados en el problema anterior esto no ocurre. I. 4na fábrica tiene dos máquinas. urante cualquier día, cada máquina que trabaja al principio del día tiene probabilidad x de descomponerse. 'i se descompone una máquina durante el día, se manda a un taller de reparación y estará trabajando despu!s que se descompuso. Por ejemplo, si una máquina se descompone durante el día 3, estará trabajando al principio del día 5. 'i se hace que el estado del sistema sea el n+mero de máquinas que trabajan al principio del día, formule una matri& de probabilidad de transición para este caso. !R"PO B M. En relación con el problema 2, suponga que el tiempo de ma8ana en la ciudad depende del tiempo que haya prevalecido los +ltimos dos días, como sigue0 (2* 'i los +ltimos dos días han sido soleados, entonces el (5) de las veces ma8ana será soleado. (<* 'i ayer estuvo nublado y hoy soleado, entonces el 10) de veces ma8ana estará soleado. (@* 'i ayer estuvo soleado y hoy está nublado, entonces el 60) de las veces ma8ana estará nublado. (C* 'i los +ltimos dos días fueron nublados, entonces el &0) de las veces ma8ana será nublado. 9on esta información modele el clima de la ciudad como cadena de #ar$ov. 'i el tiempo de ma8ana dependiera del de los +ltimos tres días, :cuántos estados se necesitarían para modelar el clima como cadena de #ar$ov; No#a: El m!todo que se usa en este problema se puede aplicar para modelar un proceso estocástico de tiempo discreto como cadena de #ar$ov, aun si Xt+1 depende de los estados anteriores a Xt, tal como Xt-1 en este ejemplo. N. En el Prob. @, suponga que una máquina que se descompone regresa al servicio tres días despu!s. Por ejemplo, la máquina que se descompone durante el día 3 estará trabajando al principio del día 6. etermine una matri& de transición de probabilidad para este caso. 1./ PRO9A9I+IDADES DE TRANSICI:N DE n ETAPAS 'uponga que estudiamos una cadena de #ar$ov con matri& P de probabilidad de transición conocida. 9omo todas las cadenas con las que trataremos son estacionarias, no nos importará identificar nuestras cadenas de #ar$ov como estacionarias. 4na pregunta de inter!s es0 si una cadena de #ar$ov está en el estado i en el tiempo t, :cuál es la probabilidad que n períodos despu!s la cadena de #ar$ov est! en el estado j; 9omo se trata de una cadena de #ar$ov estacionaria, esta probabilidad será independiente de t y, por lo tanto, podemos escribir P(Xt+n = j | Xt = i) = P(Xn = j | X0 = i) = Pij(n) donde pi2(n) se llama ro1a1%*%dad en *a e#aa n de una transición del estado i al estado j. Es claro que pij(1) = pij. Para determinar pij(2) nótese que si el sistema se encuentra hoy en el estado i, entonces para que el sistema termine en el estado j dentro de 2 periodos, debe pasar del estado i al estado y despu!s pasar del estado al estado j (Aig. @*. Este modo de ra&onar nos permite escribir N ∑ · · · s ij j i p 1 ) a / n t+ansi*i3 / a '+o4a4i-i )( a / n t+ansi*i3 / a ('+o4a4i-i ) 2 ( e acuerdo con la definición de P, la matri& de probabilidad de transición, replanteamos la +ltima ecuación en la siguiente forma0 ∑ · · · s ! j i ij p p p 1 ) 2 ( (C* El segundo miembro de la ecuación (@* es tan sólo el producto escalar del renglón i de la matri& P por la columna j de esa matri&. Por lo tanto, pij(2) es el ij-ésimo elemento de la matri& P 2 . /enerali&ando este modo de ra&onar, se puede demostrar que para n 5 1, Pij(n) = elemento ij-ésimo de P n (I* "a Ecc. C es conocida como E!,a!%2n de C6a&an;Ko*&o-orov. 5%-,ra 0 pij(2) = pi1 p12 + pi2 p22 +  + pisps2 1aturalmente, para n = 0, pij(0) = P(X0 = j | Xo = i) y, por lo tanto, debemos escribir ¹ ' ¹ ≠ · · i j i j p ij si 0 si 1 ) 0 ( En el Ejem. @.2 mostraremos el uso de la ecuación (I*. E)e&*o /.1 Eje#$lo de Cola% 'uponga que toda la industria de refrescos produce dos colas. 9uando una persona ha comprado la cola 2, hay una probabilidad de (0) de que su siguiente compra sea de cola 2. 'i una persona compró cola <, hay &0) de probabilidades que su pró%ima compra sea de cola <. 2. 'i actualmente una persona es comprador de cola <, :cuál es la probabilidad que compre cola 2 pasadas dos compras a partir de hoy; <. 'i en la actualidad una persona es comprador de cola 2, :cuál es la probabilidad que compre cola 2 pasadas tres compras a partir de ahora; So*,!%2n 9onsideraremos que las compras de cada una de las personas son una cadena de #ar$ov, y que el estado en cualquier momento es el tipo de cola que compró la persona por +ltima ve&. Por lo tanto, las compras de cola por parte de cada una de las personas se pueden representar con una cadena de #ar$ov de dos estados donde Estado 1 , la persona acaba de comprar cola 2 Estado 2 , la persona acaba de comprar cola < O 'i definimos Xn como el tipo de cola que compra una persona en la n-ésima compra futura (la compra actual = X0*, entonces X0, X1, … se pueden describir como una cadena de #ar$ov con la siguiente matri& de transición0 1 2 P = 1 0.(0 0.10 2 0.20 0.&0 Podemos contestar ahora las preguntas 2 y <. 2. 'e busca P(X2 = 1 | X0 = 2) = p21(2) = elemento 21 de P 2 0 1 ] 1 ¸ · 1 ] 1 ¸ 1 ] 1 ¸ · 66 . 0 34 . 0 11 . 0 &3 . 0 &0 . 0 20 . 0 10 . 0 (0 . 0 &0 . 0 20 . 0 10 . 0 (0 . 0 2 P Por lo tanto, p21(2) = 0.34. Esto significa que hay probabilidad 0.34 de que la persona que compra cola < compre cola 2, despu!s de dos compras a partir de ahora. 9on la teoría básica de probabilidad, podemos obtener esta respuesta siguiendo un camino distinto (Aig. C*. 1ótese que p21(2) = (probabilidad que la siguiente compra sea cola 2 y la segunda sea cola 2* P (probabilidad que la siguiente compra sea cola < y la segunda sea cola 2* , p26p11 + p22p21= (0.20)(0.(0) + (0.&0)(0.20) = 0.34. 5%-,ra < Probabilidad de que a dos periodos a partir de ahora, un comprador de cola < compre cola 2. <. =uscamos p11(3) = elemento 11 de P 3 : 1 ] 1 ¸ · 1 ] 1 ¸ 1 ] 1 ¸ · · 562 . 0 43& . 0 21( . 0 1&1 . 0 66 . 0 34 . 0 11 . 0 &3 . 0 &0 . 0 20 . 0 10 . 0 (0 . 0 ) ( 2 3 P P P Por lo tanto, p11(3) = 0.1&1. En muchos casos conocemos el estado de la cadena de #ar$ov en el tiempo 0. 9omo se definió en la 'ecc. 2.<, sea qi la probabilidad que la cadena est! en el estado i en el tiempo 0. Entonces podemos determinar la probabilidad de que el sistema est! en el estado i en el tiempo n mediante el siguiente ra&onamiento (Aig. I*0 Q 5%-,ra = eterminación de la probabilidad de estar en el estado j en el tiempo n cuando se desconoce el estado inicial Probabilidad de estar en el estado j en el tiempo n ∑ · · · s i i 1 (probabilidad de que el estado original sea i* R (probabilidad de pasar de i a 2 en n transiciones* ∑ · · · s i i ij i n p q 1 ) ( = q×(columna j de P n * (M* donde q = [q1, q2, ..., qn]. Para mostrar el uso de la ecuación (M* contestaremos la siguiente pregunta0 supongamos que el 60) de toda la gente toma hoy cola 2 y el 40) cola <. . tres compras a partir de ahora, :qu! fracción de los compradores estará tomando cola 2; 9omo q = [.60, .40] y q×(columna 2 de P 3 ) , probabilidad de que a tres compras a partir de este momento una persona tome cola 2, la probabilidad que se busca es [ ] 643& . 0 43& . 0 1&1 . 0 40 . 0 60 . 0 · 1 ] 1 ¸ Por lo tanto, a tres compras de este momento el 64) de las personas estará comprando cola 2. Para mostrar el comportamiento de las probabilidades de transición en n etapas para grandes valores de n, hemos calculado algunas de las probabilidades transición de n etapas para el ejemplo de la cola y se muestran en la Tabla <. 9uando n es grande, p11(n) y p21(n) son casi constantes y tienden a .61. Esto quiere decir que para n grande, independientemente del estado inicial, hay una probabilidad de 0.61 de que una persona compre cola 2. 3gualmente, vemos que para n grande, tanto p12(n) como p22(n) son casi constantes y tienden a 0.33. Esto significa que para n grande, haciendo caso omiso del estado inicial, hay una probabilidad 0.33 de que una persona sea comprador de cola <. En la 'ecc. 2.I estudiaremos con detenimiento estas tendencias de probabilidad de transición en la etapa n. Ta1*a . Probabilidades de transición en n etapas para el ejemplo de 9ola n P11(n) P12(n) P21(n) P22(n) 1 0.(0 0.10 0.20 0.&0 2 .&3 0.11 0.34 0.66 3 .01& 0.22 0.44 0.56 4 0.15 0.25 0.51 0.4( 2F 5 0.12 0.2& 0.56 0.44 10 0.6& 0.32 0.65 0.35 20 0.61 0.33 0.61 0.33 30 0.61 0.33 0.61 0.33 40 0.61 0.33 0.61 0.33 PROBLEMA !R"PO A 2. 9ada familia colombiana se puede clasificar como habitante de &ona urbana, rural o suburbana. urante un a8o determinado, el 15) de todas las familias urbanas se cambian a una &ona suburbana y el 5) se cambian a una &ona rural. Tambi!n, el 6) de las familias suburbanas pasan a &ona urbana y el 4) se mudan a &ona rural. Por +ltimo, el 4) de las familias rurales pasan a una &ona urbana y el 6) se mudan a una &ona suburbana. (a* 'i una familia actualmente vive en una &ona urbana, :cuál es la probabilidad que despu!s de 2 a8os viva en &ona urbana; :En &ona suburbana; :En &ona rural; (b* 'upongamos que en la actualidad el 40) de las familias viven en &ona urbana, el 35) en &ona suburbana y el 25) en &ona rural. espu!s de dos a8os, :qu! porcentaje de las familias colombianas vivirá en &ona urbana; (c* :Ju! problemas se pueden presentar si este modelo se usara para predecir la distribución futura de la población en 9olombia; <. 'e pregunta lo siguiente acerca del Problema de la ruina del jugador ('ecc. 2 y 'ecc. <*. (a* espu!s de jugar dos veces, :cuál es la probabilidad que tenga S3,000; :9uál la de que tenga S2,000; (b* espu!s de jugar tres veces, :cuál es la probabilidad que tenga S<,FFF; @. En el Ejem. <.<, determine las siguientes probabilidades de transición en n etapas0 (a* espu!s de haber pintado 2 bolas, :cuál es la probabilidad que el estado sea [0, 2, 0]; (b* espu!s de haber pintado tres bolas, :cuál es la probabilidad que el estado sea [0, 1, 1]; Trace un diagrama como el de la Aig. I. C. Beconsidere el problema < de la sección anterior. (a* Encuentre la matri& de transición de n transiciones P(n) para n = 2, 5, 10, 20. (b* "a probabilidad de que llueva hoy es 0.5. 4se los resultados del inciso (a* para determinar la probabilidad de que llueva dentro de n días, para n = 2, 5, 10, 20. I. 'uponga que una red de comunicaciones transmite dígitos binarios, 0 o 1, en donde cada dígito se transmite 10 veces sucesivas. urante cada transmisión, la probabilidad de que ese dígito se transmita correctamente es de .((. En otras palabras, se tiene una probabilidad de .01 de que el dígito transmitido se registre con el valor opuesto al final de la transmisión. 'i X0 denota el dígito binario que entra al sistema, X1 el dígito binario registrado despu!s de la primera transmisión, X2 el dígito binario registrado despu!s de la segunda transmisión, …, entonces -Xt) es una cadena de #ar$ov. (a* etermine la matri& de transición. (b* ise8e un programa que permita encontrar la matri& de transición de 10 pasos P(10). 4se este resultado para identificar la probabilidad de que un dígito que entra a la red se registre correctamente despu!s de la +ltima transmisión. (c* 'uponga que la red se redise8a para mejorar la probabilidad de la e%actitud de una sola transmisión de 0.(( a 0.(((. Bepita el inciso (b* para encontrar la nueva probabilidad de que un dígito que entra a la red se registre correctamente despu!s de la +ltima transmisión. M. 4na partícula se mueve sobre un círculo por puntos marcados 0, 1, 2, 3, 4 (en el sentido de las manecillas del reloj*. "a partícula comien&a en el punto 0. En cada paso tiene una probabilidad de 0.5 de moverse un punto en el sentido de las manecillas del reloj (0 sigue al 4* y una probabilidad de 0.5 de moverse un punto en el sentido opuesto. 'ea Xn (n ≥ 0) la locali&ación en el círculo despu!s del paso n5 -Xn) es entonces una cadena de #ar$ov. (a* Encuentre la matri& de transición. (b* 4se el programa hecho en el problema anterior para determinar la matri& de transición P(n) para n , I, 2F, <F, CF, OF. 1.0 C+ASI5ICACI:N DE ESTADOS EN UNA CADENA DE MARKOV En la 'ecc. 2.@ se mostró que despu!s de muchas transiciones, las probabilidades de transición de n etapas tienden a estabili&arse. .ntes de poder describir esto con más detalle, necesitamos estudiar cómo los 22 matemáticos clasifican los estados de una cadena de #ar$ov. "a siguiente matri& de transición se usará para mostrar la mayoría de las definiciones siguientes (Aig. M*0 1 1 1 1 1 1 ] 1 ¸ · 2 . 0 & . 0 0 0 0 1 . 0 4 . 0 5 . 0 0 0 0 1 . 0 3 . 0 0 0 0 0 0 5 . 0 5 . 0 0 0 0 6 . 0 4 . 0 P DEFINICIÓN ados dos estados i y j, la #ra'e!#or%a de i a j es la sucesión de transiciones que comien&a en i y termina en j, de modo que cada transición de la secuencia tenga probabilidad positiva de presentarse. 5%-,ra > Bepresentación gráfica de la matri& de transición DEFINICIÓN 4n estado j es a*!an4a1*e desde un estado i si hay una trayectoria que vaya de i a j , es decir, si para alg+n n ≥1, pij(n) 5 0. Entonces, que el estado j sea alcan&able desde el estado i significa que es posible que el sistema llegue eventualmente al estado j si comien&a en el estado i. DEFINICIÓN 'e dice que dos estados i y j se !o&,n%!an si j es alcan&able desde i, e i es alcan&able desde j. Para la matri& P de probabilidad de transición representada en la Aig. M, el estado 5 es alcan&able desde el estado 3 (a trav!s de la trayectoria 37475*, pero el estado 5 no es alcan&able desde el estado 1 (no hay trayectoria que vaya de 1 a 5 en la Aig. M*. Tambi!n, los estados 1 y 2 se comunican0 podemos pasar de 1 a 2 y de 2 a 1. DEFINICIÓN 4n conjunto de estados S en una cadena de #ar$ov es !on),n#o !errado si ning+n estado fuera de S es alcan&able desde un estado en S. e la cadena de #ar$ov con la matri& P de la Aig. M, tanto S1 = {1, 2} como S2 = {3, 4, 5} son conjuntos cerrados. Hbserve que una ve& que entramos a un conjunto cerrado no podemos dejarlo nunca. En la Aig. M ning+n arco comien&a en S1 y termina en S2 o principia en S2 y termina en S1. Es evidente que todos los estados de un conjunto cerrado se comunican y por lo tanto estos no son más que clases de equivalencia inducidas por la relación de comunicación. DEFINICIÓN 4na cadena de #ar$ov es %rred,!%1*e si todos sus estados pertenecen al mismo conjunto cerrado. 2< "o anterior significa que todos los estados de la cadena pertenecen a la misma clase de equivalencia inducida por la relación de comunicación y por lo tanto todos sus estados se comunican. El problema de inventario corresponde a una cadena de #ar$ov irreducible (Aig. @*, ya que todos sus estados se comunican. DEFINICIÓN 4n estado i es e"#ado a1"or1en#e si pii = 1 'iempre que entramos a un estado de absorción, nunca lo podremos dejar. En el Ejem. 2, la ruina del jugador, los estados 0 y 4 son absorbentes. Es natural que un estado absorbente sea un conjunto cerrado que sólo contenga un estado. DEFINICIÓN 4n estado i es e"#ado #ran"%#or%o si e%ite un estado j alcan&able desde i, pero el estado i no es alcan&able desde el estado j. En otras palabras, un estado i es transitorio si hay manera de dejar el estado i de tal modo que nunca se regrese a !l. En el ejemplo de la ruina del jugador, los estados 1, 2 y 3 son estados transitorios. Por ejemplo (Aig. 2*, desde el estado 2 es posible pasar por la trayectoria 27374, pero no hay modo de regresar al estado 2 desde el estado 4. 3gualmente, en el Ejem. <.2, [2, 0, 0], [1, 1, 0] 8 [1, 0, 1] son estados transitorios. En la Aig. <, hay una trayectoria desde [1, 0, 1] a [0, 0, 2], pero una ve& que se hayan pintado ambas bolas, no hay manera de regresar a [1, 0, 1]. espu!s de un gran n+mero de periodos, la probabilidad de encontrarse en cualquier estado de transición i es cero. 9ada ve& que entramos a un estado i de transición, hay una probabilidad positiva de dejar i para siempre y terminar en el estado j, descrito en la definición de estado transitorio. .sí, al final, tenemos la seguridad de entrar al estado j (y en ese caso nunca regresaremos al estado i*. .sí, suponga que en el Ejem. <.< nos encontramos en el estado transitorio [1, 0, 1]. 9on probabilidad 1, la bola no pintada la pintaremos finalmente y nunca regresaremos a ese estado [1, 0, 1] (Aig. <*. DEFINICIÓN 'i un estado no es transitorio, se llama e"#ado re!,rren#e. En el Ejem. <.2, los estados 0 y 4 son estados recurrentes (y tambi!n estados absorbentes C *. En el Ejem. <.<, [0, 2, 0], [0, 0, 2] y [0, 1, 1] son estados recurrentes. Para la matri& de transición de la Aig. N todos los estados son recurrentes. "a recurrencia es una propiedad de clase, es decir, todos los estados de una clase (o conjunto cerrado* son recurrentes o son transitorios. Entonces, todos los estados de una cadena de #ar$ov de estado finito irreducible son recurrentes DEFINICIÓN 4n estado i es er%2d%!o con periodo 51 si es el menor n+mero tal que todas las trayectorias que parten del estado i y regresan al estado i tienen una longitud m+ltiplo de . 'i un estado recurrente no es periódico, se llama aer%2d%!o. .l igual que la recurrencia es una propiedad de clase, tambi!n lo es la periodicidad. Esto es, si el estado i en una clase tiene período , todos los estados de esta clase (o conjunto cerrado* tienen período . Para la cadena de #ar$ov cuya matri& de transición es 1 1 1 ] 1 ¸ · 0 0 1 1 0 0 0 1 0 Q cada estado tiene periodo 3. Por ejemplo, si comen&amos en el estado 1, la +nica manera de regresar a ese estado es seguir la trayectoria 1727371 durante, digamos, m veces (Aig. O*. Por lo tanto, cualquier regreso C Todo estado absorbente es recurrente. "o contrario no es cierto. 2@ al estado 1 tomará 3m transiciones, de modo que el estado 1 tiene periodo 3. onde nos encontremos, tenemos la seguridad de regresar allí tres periodos despu!s. 5%-,ra ? 9adena periódica de #ar$ov con = 3. DEFINICIÓN 'i todos los estados de una cadena son recurrentes, aperiódicos y se comunican entre sí, se dice que la cadena es er-2d%!a. El ejemplo de la ruina del jugador no es cadena ergódica porque, por ejemplo, los estados 3 y 4 no se comunican. El Ejem. < tampoco es una cadena ergódica porque, por ejemplo, [2, 0, 0] y [0, 1, 1] no se comunican. El Ejem. C, el ejemplo de la cola, es cadena ergódica de #ar$ov. e las siguientes tres cadenas de #ar$ov, P1 y P3 son ergódicas y P2 no es ergódica. 1 1 1 ] 1 ¸ · 4 3 4 1 2 1 2 1 3 2 3 1 1 0 0 0 P Ergódica 1 1 1 1 1 ] 1 ¸ · 4 3 4 1 3 1 3 2 2 1 2 1 2 1 2 1 0 0 0 0 0 0 0 0 2 P 1o ergódica 1 1 1 ] 1 ¸ · 3 1 3 2 3 1 3 2 4 1 2 1 4 1 0 0 3 P Ergódica P2 no es ergódica porque hay dos clases cerradas de estados (la clase 1 = {1, 2} y la clase 2 = {3, 4}* y los estados en clases diferentes no se comunican entre sí. espu!s de las pró%imas dos secciones, la importancia del concepto presentado en esta sección será aclarada. PROBLEMA !R"POA 2. En el Ejem. <.2, :cuál es el periodo de los estados 1 y 3; <. "a cadena de #ar$ov de la 'ecc. 2.@, Prob. 2, :es ergódica; @. 'e tiene la siguiente matri& de transición0 1 1 1 1 1 1 1 1 ] 1 ¸ · 3 2 3 1 2 1 4 1 4 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 P (a* :9uáles estados son transitorios; (b* :9uáles estados son recurrentes; (c* 3dentifique todos los conjuntos cerrados de estados. (d* :Es ergódica esa cadena; C. Para cada una de las siguientes matrices. etermine si la cadena de #ar$ov es ergódica. Tambi!n, para cada cadena, determine los estados recurrentes, transitorios y absorbentes. 1 1 1 ] 1 ¸ · 1 . 5 . 4 . 0 1 . 3 . 2 . & . 0 1 P 1 1 1 1 1 ] 1 ¸ · 1 0 0 0 0 1 . 5 . 4 . 1 . ( . 0 0 0 0 & . 2 . 2 P I. En la 'erie #undial de Póquer de 1(&0 participaron 54 jugadores. 9ada uno de ellos comen&ó con 10000 dólares. "os juegos continuaron hasta que uno de los jugadores ganó todo el dinero de los demás. 'i se modelara esta 'erie #undial como cadena de #ar$ov, :cuántos estados absorbentes tendría esa cadena; 2C M. :9uál de las siguientes cadenas es ergódica; 1 1 1 ] 1 ¸ · 5 . 5 . 0 4 . 3 . 3 . 6 . 0 4 . 1 P 1 1 1 1 1 ] 1 ¸ · & . 0 0 2 . 2 . 1 . 1 . 6 . 2 . 4 . 2 . 2 . 3 . 0 0 1 . 2 P 1.< PRO9A9I+IDADES DE ESTADO ESTA9+E @ TIEMPOS MEDIOS DE PRIMER PASAAE En nuestra descripción del ejemplo de 9ola (Ejem. C*, encontramos que despu!s de largo tiempo, la probabilidad de que la siguiente compra de una persona fuera de cola 2 tiende a 0.61, y la de que la compra siguiente fuera de cola < a 0.33 (Tabla <*. Estas probabilidades no dependieron de si la persona era al principio tomador de cola 2 o de cola <. En esta sección describiremos el importante concepto de probabilidades de estado estable, el cual se puede usar para describir el comportamiento de una cadena de #ar$ov a largo pla&o. El resultado siguiente es vital para comprender las probabilidades de estado estable y el comportamiento a largo pla&o de cadenas de #ar$ov. &EOREMA ' 'ea P la matri& de transición de una cadena ergódica de s estados I . E%iste entonces un vector [ ] s π π π π  2 1 · tal que 1 1 1 1 ] 1 ¸ · ∞ → s s s n π π π π π π π π π       2 1 2 1 2 1 -im n P Becuerde que el ij-ésimo elemento de P n es pij"n). El teorema 2 establece que para cualquier estado inicial i, j ij n n p π · ∞ → ) ( -im Hbserve que para n grande, P n tiende a una matri& con renglones id!nticos. Esto quiere decir que despu!s de mucho tiempo, la cadena de #ar$ov se estabili&a e, independientemente del estado inicial i, hay una probabilidad πj de que nos encontremos en el estado j. El vector [ ] s π π π π  2 1 · a menudo se llama d%"#r%1,!%2n de e"#ado e"#a1*e, o tambi!n d%"#r%1,!%2n de eB,%*%1r%o para la cadena de #ar$ov. :9ómo podemos encontrar la distribución de probabilidades estacionaria para una cadena dada cuya matri& de transición es P; 'eg+n el teorema 2, para n grande y para toda i, pij(n + 1) ≈ pij(n) ≈ πj, (N* 9omo pij(n + 1) = (renglón i de P n *(columna j de P*, podemos escribir ∑ · · + s j i ij p n p n p 1 ) ( ) 1 ( (O* I Para ver por qu! el teorema 2 no puede ser válido para una cadena no ergódica, v!anse los problemas Q y 2F al final de esta sección. 2I 'i n es grande, al sustituir la ecuación (M* en la (N* se obtiene ∑ · · s j j p 1 π π para j = 0, 1, , s (Q* En forma matricial, la ecuación (O* se puede escribir como0 π , π P (QT* esafortunadamente, el sistema de ecuaciones que especifica la ecuación (O* tiene un n+mero infinito de soluciones, porque el rango de la matri& P siempre resulta ≤1. Para obtener valores +nicos de probabilidades de estado estable, note que para toda n y toda i, pi1(n) + pi2(n) + ... + pis(n) = 1 (2F* .l hacer que n tienda al infinito en la Ecc. (Q*, obtenemos π1 + π2 + ... +πs = 1 (22* .sí, despu!s de reempla&ar cualquiera de las ecuaciones (Q* por (22*, podemos usar el nuevo conjunto de ecuacuines para despejar las probabilidades de estado estable. Para mostrar cómo determinar las probabilidades de estado estable, las calcularemos para el Ejem. C, de la 9ola. Becuerde que la matri& de transición de ese ejemplo era 1 ] 1 ¸ · &0 . 0 20 . 0 10 . 0 (0 . 0 P Entonces las ecuaciones (Q* o (QU* producen [ ] [ ] 1 ] 1 ¸ · &0 . 0 20 . 0 10 . 0 (0 . 0 2 1 2 1 π π π π π1 = 0.(0π1 + 0.20π2 π2 = 0.10π1 + 0.&0π2 .l reempla&ar ha segunda ecuación por la condición π1 + π2 = 1, obtenemos el sistema π1 = 0.(0π1 + 0.20π2 1 = π1 + π2 .l despejar π1 y π2, resulta que π1 = 293 y π2 = 193. Por lo tanto, despu!s de largo tiempo, hay probabilidad 293 de que una persona dada compre cola 2 y 193 de probabilidad de que una persona dada compre cola <. ANÁ+ISIS DE ESTADO TRANSITORIO 4n vista&o a la Tabla < muestra que para el Ejem. @.2 se alcan&a el estado estable, a dos cifras decimales, sólo despu!s de 10 transiciones. 1o se puede dar una regla general acerca de qu! tan rápido alcan&an las cadenas de #ar$ov el estado estable, pero si P contiene muy pocos elementos que queden cerca de 0 o de 1, en general, se alcan&a en forma muy rápida el estado estable. El comportamiento de una cadena de #ar$ov antes de alcan&ar el estado estable se llama !o&or#a&%en#o #ran"%#or%o (o a pla&o corto*. Para estudiar el comportamiento transitorio de una cadena de #ar$ov, tan sólo se usan las fórmulas para pij(n) de las ecuaciones (C* y (I*. 'in embargo es bueno saber que para n grande, las probabilidades de estado estable describen con e%actitud la probabilidad de encontrarse en un estado determinado. INTERPRETACI:N INTUITIVA DE +AS PRO9A9I+IDADES DE ESTADO ESTA9+E 'e puede dar una interpretación intuitiva de las ecuaciones (O* de probabilidad de estado estable. .l restar πjpjj de ambos lados de (O* se obtiene 2M ∑ ≠ · − j j jj j p p π π ) 1 ( (2<* "a ecuación (22* dice que en el estado estable, "a probabilidad de que el sistema en una transición determinada deje el estado j , probabilidad de que en una transición determinada entre al estado j (2@* Becu!rdese que en el estado estable, la probabilidad de que el sistema est! en el estado j es πj. 'eg+n esa observación se concluye que Probabilidad de que una transición particular deje el estado j , (probabilidad de que el periodo actual comience en j* % (probabilidad de que la transición actual deje j* , πj(1 − pjj) y Probabilidad de que determinada transición entre al estado j , ∑ (probabilidad de que el periodo actual comience en ≠ j* % (probabilidad de que la transición actual entre a j* , ∑ ≠j j p π Es aceptable la ecuación (2<*. 'i fuese violada para cualquier estado, entonces para un estado j el lado derecho de (2<* sería mayor que el lado i&quierdo. Esto ocasionaría una probabilidad de KacumulaciónL en el estado j y no e%istiría una distribución de estado estable. 'e puede considerar que la ecuación (2<* dice que en el estado estable, el KflujoL de probabilidad hacia cada estado debe ser igual al flujo de probabilidad que sale de cada estado. Esto e%plica por qu! las probabilidades de estado estable se llaman con frecuencia probabilidades de equilibrio. USO DE +AS PRO9A9I+IDADES DE ESTADO ESTA9+E PARA TOMAR DECISIONES E)e&*o 0.1 'uponga, en el Ejem. @.2, que cada cliente hace una compra de cola durante cualquier semana (52 semanas , 1 a8o*. 'uponga que hay 100 millones de clientes de cola. "a producción de una unidad de venta de cola cuesta 1 dólar y se vende a 2 dólares. 4na empresa de publicidad garanti&a, por 500 millones de dólares al a8o, un decremento del 10) al 5) de la fracción de consumidores de cola 2, que se cambian a cola < despu!s de una compra. :ebe contratar a la empresa de publicidad la compa8ía que fabrica la cola 2; So*,!%2n En la actualidad, una fracción π1 = 293 de todas las compras es de cola 2. 9ada compra de cola 2 le deja al fabricante 1 dólar. 9omo hay un total de 52(100,000,000) = 5,200,000,000 de compras de cola cada a8o, las ganancias actuales del fabricante de cola 2, al a8o, son 293(5200000000) = 3466666661 dólares "a empresa de publicidad ofrece cambiar la matri& P a 1 ] 1 ¸ · &0 . 0 20 . 0 05 . 0 (5 . 0 1 P Para P1, las ecuaciones de estado estable se transforman en π1 = 0.(5π1 + 0.20π2 π2 = 0.05π1 + 0.&0π2 .l reempla&ar la segunda ecuación por π1 + π2 = 1 y despejar, obtenemos π1 = 0.& y π2 = 0.2. 2N En este caso, la ganancia anual de la productora de cola 2 será (.&0)(5200000000) − 500000000 = 3660000000 dólares Por lo tanto, el fabricante de cola 2 debe contratar la agencia de publicidad. TIEMPOS PROMEDIO DE PRIMER PASAAE En una cadena ergódica, sea mij , n+mero esperado de transiciones antes de alcan&ar por primera ve& el estado j, dado que estamos actualmente en el estado i. mij se llama #%e&o ro&ed%o de r%&er a"a)e del estado i al estado j. En el Ejem. @.2, m12 sería el n+mero esperado de botellas de cola que adquiere un comprador de cola 2, antes de comprar una botella de cola <. 'uponga que el sistema se encuentra ahora en el estado i. Entonces, puede suceder que pase en una transición directamente al estado j, con probabilidad pij, o que pase a cualquier estado ≠ j, con probabilidad pi. En este +ltimo caso, se necesitará un promedio de 1 + mj transiciones para pasar de i a j. Este modo de pensar indica que ∑ ≠ + × + × · j j i ij ij m p p m )] 1 ( [ ) 1 ( para j = 1, 2, , s ∑ ∑ ≠ ≠ + + · j j i j i ij ij m p p p m para j = 1, 2, , s 9omo 1 · + ∑ ≠j i ij p p , podemos reformular la +ltima ecuación como ∑ ≠ + · j j i ij m p m 1 para j = 1, 2, , s (2C* .l resolver las ecuaciones lineales representadas en (2C*, podemos encontrar todos los tiempos promedios de primer pasaje. 'e puede demostrar que i ii m π 1 · 9on ello se puede simplificar el uso de las ecuaciones (2C*. Para mostrar el uso de ellas, despejaremos los tiempos promedio de primer pasaje en el Ejem. @.2. Becordemos que π2 , <V@ y que π< , 2V@. Entonces 5 . 1 1 3 2 11 · · m y 3 1 3 1 22 · · m Entonces (2C* lleva a las dos ecuaciones siguientes0 m1# = 1 +p11m1# = 1 + 0.(m1#, m#1 = 1 + p##m#1 = 1 + 0.&m#1 Besolviendo esas ecuaciones encontrarnos que m1# = 10 y m#1 = 5. Esto quiere decir que, por ejemplo, una persona que había tomado cola 2 tomará un promedio de die& botellas de refresco antes de cambiar a cola <. PROBLEMA !R"POA 2. etermine las probabilidades de estado estable para el Prob. 2 de la 'ecc. 2.@. <. En el problema de la ruina del jugador (Ejem. @*, :por qu! no es ra&onable hablar de probabilidades de estado estable; @. Para cada una de las siguientes cadenas de 2O #ar$ov, determine la fracción de las veces, a largo pla&o, que se ocupará cada estado. (a* 1 ] 1 ¸ 2 1 2 1 3 1 3 2 (b* 1 1 1 ] 1 ¸ 0 2 . & . & . 2 . 0 0 2 . & . (c* etermine todos los tiempos promedio de primer pasaje del inciso (b*. C. .l principio de cada a8o, mi automóvil está en buen, regular o mal estado. 4n buen automóvil será bueno al principio del a8o siguiente, con probabilidad .&5, regular con probabilidad .10 y mal con probabilidad .05. 4n automóvil regular estará regular al principio del a8o siguiente con probabilidad 0.10 y mal con probabilidad 0.30. 9uesta 6000 dólares comprar un buen automóvil, uno regular se puede conseguir por 2000 dólares5 uno malo no tiene valor de venta, y se debe reempla&ar de inmediato por uno bueno. 9uesta 1000 dólares al a8o el funcionamiento de un buen automóvil, y 1500 dólares el de uno regular. :ebo reempla&ar mi automóvil tan pronto como se vuelve regular, o debo esperar hasta que se descomponga; 'uponga que el costo de funcionamiento de un automóvil durante un a8o depende del tipo de vehículo que se tiene a la mano al principio del a8o (despu!s de llegar cualquier auto nuevo, si es el caso*. I. 'e dice que una matri& cuadrada es doblemente estocástica si todos sus elementos son no negativos y los elementos de cada renglón y cada columna suman 1. Para cualquier matri& ergódica y doblemente estocástica, demuestre que todos los estados tienen la misma probabilidad de estado estable. M. Este problema mostrará por qu! las probabilidades de estado estable se llaman a veces probabilidades estacionarias. 'ean π1, π2,..., πs las probabilidades de estado estable para una cadena ergódica con matri& P de transición. 'uponga tambi!n que la cadena de #ar$ov comien&a en el estado i con probabilidad πi. (a* :9uál es la probabilidad que despu!s de una transición el sistema se encuentre en el estado i? S,-eren!%a: 4sar la Ecc. O. (b* Para cualquier valor de n (n = 1, 2,...), :cuál es la probabilidad de que una cadena de #ar$ov se encuentre en el estado i despu!s de n transiciones; (c* Por qu! a las probabilidades de estado estable se les llama a veces probabilidades estacionarias; N. 'e tienen dos acciones. "as acciones 2 siempre se venden a 10 dólares o 20 dólares. 'i hoy las acciones 2 se venden a 10 dólares, hay una probabilidad 0.&0 de que ma8ana se vendan a 10 dólares. 'i las acciones 2 se venden hoy a 20 dólares, hay una probabilidad 0.(0 de que ma8ana se vendan a 20 dólares. "as acciones < siempre se venden a 10 dólares o a 25 dólares. 'i se venden hoy a 10 dólares, hay una probabilidad 0.(0 de que se vendan ma8ana a 10 dólares. 'i se venden hoy a 25 dólares, hay una probabilidad 0.&5 de que ma8ana se vendan a 25 dólares. En promedio, :qu! acciones se venden a mayor precio; etermine e interprete todos los tiempos promedio de primer pasaje. !R"PO B O. "a compa8ía de seguros Payoff cobra a sus clientes de acuerdo a su historia de accidentes. 4n cliente que no haya tenido accidentes durante los +ltimos dos a8os paga 100 dólares de prima anual. Juien haya tenido un accidente en cada uno de los dos +ltimos a8os paga una prima anual de 400 dólares. . los que hayan tenido un accidente durante sólo uno de los +ltimos dos a8os se les cobra una prima anual de 300 dólares. 4n cliente que tuvo un accidente durante el +ltimo a8o tiene una probabilidad de 10) de accidentarse durante este a8o. 'i un cliente no ha tenido un accidente durante el +ltimo a8o, tiene una probabilidad de 3) de sufrir un accidente durante este a8o. urante un a8o dado, :cuál es la prima que paga en promedio un cliente de Payoff; (S,-eren!%a: En caso de dificultad, pruebe con una cadena de #ar$ov de cuatro estados.* Q. 'e tiene la siguiente cadena no ergódica0 1 1 1 1 1 ] 1 ¸ · 3 1 3 2 3 2 3 1 2 1 2 1 2 1 2 1 0 0 0 0 0 0 0 0 P (a* :Por qu! esta cadena es no ergódica; (b* E%plique por qu! falla el teorema 2 en esta cadena. S,-eren!%a: etermine si es cierta la siguiente ecuación0 ) ( ) ( 32 12 n p $im n p $im n n ∞ → ∞ → · (c* . pesar del hecho que falla el teorema 2, determine ), ( 13 n p $im % ∞ → ), ( 21 n p $im n ∞ → ), ( 43 n p $im n ∞ → ) ( 41 n p $im n ∞ → 2F. 'e tiene la siguiente cadena no ergódica 1 1 1 ] 1 ¸ · 0 0 1 1 0 0 0 1 0 P (a* :Por qu! esta cadena es no ergódica; (b* E%plique por qu! el teorema 2 falla para esta cadena. S,-eren!%a: emuestre que no e%iste ) ( 11 n p $im n ∞ → al hacer una lista del 2Q comportamiento que sigue P11(n) a medida que aumenta n. 1.= CADENAS A9SOR9ENTES #uchas aplicaciones interesantes de las cadenas de #ar$ov incluyen cadenas en las que algunos de los estados son absorbentes y el resto son transitorios. . esas cadenas se les llama !adena" a1"or1en#e". Geamos una cadena absorbente de #ar$ov0 si comen&amos en un estado transitorio, entonces al final tendremos la seguridad de dejar el estado transitorio y terminar en uno de los estados absorbentes. Para ver por qu! nos interesan las cadenas absorbentes, describiremos las siguientes dos situaciones0 E)e&*C =.1 Cuenta( $or co)rar El estado de cuentas por cobrar en una empresa se modela con frecuencia como cadena absorbente de #ar$ov M . 'uponga que una empresa supone que una cuenta es incobrable si han pasado más de tres meses de su fecha de vencimiento. Entonces, al principio de cada mes, se puede clasificar cada cuenta en uno de los siguientes estados específicos0 Estado 1 9uenta nueva. Estado 2 "os pagos de la cuenta están retrasados un mes. Estado 3 "os pagos de la cuenta están retrasados dos meses. Estado 4 "os pagos de la cuenta están retrasados tres meses. Estado 5 'e ha saldado la cuenta. Estado 6 'e ha cancelado la cuenta por ser mal pagador 'upongamos que los +ltimos datos indican que la siguiente cadena de #ar$ov describe cómo cambia el estado de una cuenta de un mes al siguiente0 :,/;a 1 m/s 2 m/s/s 3 m/s/s <a=aa 6n*o4+a4-/ :,/;a 0.0 0.6 0.0 .0.0 0.4 0.0 1 m/s 0.0 0.0 0.5 0.0 0.5 0.0 2 m/s/s 0.0 0.0 0.0 0.4 0.6 0.0 3 m/s/s 0.0 0.0 0.0 0.0 0.1 0.3 <a=aa 0.0 0.0 0.0 0.0 1.0 0.0 6n*o4+a4-/ 0.0 0.0 0.0 0.0 0.0 1.0 Por ejemplo, si al principio de un mes una cuenta lleva dos meses de vencida, hay 40) de probabilidades de que no se pague al principio del mes siguiente y, por lo tanto, que tenga tres meses de retraso y una probabilidad de 60) de que se pague. Para simplificar el ejemplo, supondremos que despu!s de tres meses, la cuenta o se cobra o se considera incobrable. 4na ve& que una deuda se paga o se considera incobrable, se cierra y no se tienen más transiciones. Por lo tanto, Pagada e 3ncobrable son estados absorbentes. 9omo toda cuenta al final o se paga o se considera incobrable, las cuentas 1ueva, 2 mes, < meses y @ meses son estados transitorios. Por ejemplo, una cuenta vencida hace 2 meses puede seguir la trayectoria < meses − pagada, pero no hay regreso posible de Pagada a < meses. 4na cuenta nueva normal será absorbida ya sea como pagada o como incobrable. 4na pregunta de mayor inter!s es0 :cuál es la probabilidad de que una cuenta nueva finalmente se pueda cobrar; #ás adelante en esta sección se encontrará la respuesta. E)e&*o =.. Plani*icación de $er(onal "a empresa de abogados #ason y =urger emplea a tres categorías de abogados0 principiantes, con e%periencia y socios. urante un a8o M Este ejemplo se basa en 9yert, avidson y Thompson (2QM@*. <F determinado hay una probabilidad 0.15 que un abogado principiante sea ascendido a abogado con e%periencia y una probabilidad 0.05 que deje la empresa. Tambi!n, hay una probabilidad 0.20 que un abogado con e%periencia sea ascendido a socio y una probabilidad 0.10 que deje la empresa. Tambi!n hay una probabilidad 0.05 que un socio deje la empresa. "a empresa nunca degrada a un abogado. 'urgen muchas preguntas interesantes que la empresa podría contestar. Por ejemplo, :cuál es la probabilidad que un abogado principiante reci!n contratado se vaya antes de ser socio; En promedio, :cuánto tiempo permanece un abogado principiante reci!n contratado con la empresa; "as respuestas se deducirán despu!s en esta sección. #odelaremos la trayectoria de un abogado en #ason y =urger como cadena absorbente de #ar$ov con la siguiente matri& de probabilidad de transición0 <+in*i'iant/ E$'/+im/ntao >so*iao Sa-/ sin s/+ so*io Sa-/ si/no so*io <+in*i'iant/ 0.& 0.15 0.00 0.05 0.00 E$'/+im/ntao 0.00 0.10 0.20 0.10 0.00 >so*iao 0.00 0.00 0.(5 0.00 0.05 Sa-/ sin s/+ so*io 0.00 0.00 0.00 1.00 0.00 Sa-/ si/no so*io 0.00 0.00 0.00 0.00 1.00 "os dos +ltimos estados son estados absorbentes y los demás son transitorios. Por ejemplo, E%perimentado es estado transitorio, porque hay una trayectoria de E%perimentado a 'ale sin ser socio, pero no hay trayectoria que regrese de 'ale sin ser socio a E%perimentado. 'uponemos que una ve& que un abogado sale de la empresa nunca regresa. Para toda cadena absorbente se desea conocer0 (2* 'i la cadena comien&a en un estado determinado transitorio, y antes de alcan&ar un estado absorbente, :cuál el n+mero esperado de veces que se llegará a otro estado transitorio;, o dicho de otra manera, :cuántos periodos esperamos pasar por un determinado estado transitorio antes que se efect+e la absorción, partiendo de otro estado transitorio; (<* 'i una cadena inicia en un estado transitorio dado, :cuál es la probabilidad terminar en cada uno de los estados absorbentes; Para contestar estas preguntes necesitamos formular la matri& de transición con los estados en una lista con el siguiente orden0 primero los estados transitorios y despu!s los absorbentes. Para precisar, se supondrá que hay s − m estados transitorios (t1, t#, & & &, ts-m* y m estados absorbentes (a1, a2, . . & , am*. Entonces la matri& de transición para la cadena de absorción puede escribirse como sigue0 s -m m ?o-,mnas *o-,mnas P = s - m +/n=-on/s Q R m +/n=-on/s 0 I En este formato, los renglones y las columnas de P corresponden, en orden, a los estados t1, t#,, ..., ts-m, a1, a#, ..., am. En este caso, I es una matri& identidad m % m que refleja el hecho de que nunca podemos dejar un estado absorbente5 Q es una matri& (s 7 m* % (s 7 m) que representa las transiciones entre los estados transitorios5 R es una matri& (s 7 m* % m que representa las transiciones desde los estados transitorios a los estados absorbentes5 0 es una matri& m % (s ' m) que consta de ceros. Esto refleja el hecho de que es imposible ir de un estado absorbente a uno transitorio. .plicando esta notación al Ejem. M.2, tenemos que t1 , 1ueva t# , 2 mes t( , < meses t) , @ meses a1 , Pagada <2 a# , 3ncobrable Entonces, para ese ejemplo, la matri& de probabilidad de transición se puede e%presar como :,/;a 1 m/s 2 m/s/s 3 m/s/s <a=aa 6n*o4+a4-/ :,/;a 0.0 0.6 0.0 0.0 0.4 0.0 1 m/s 0.0 0.0 0.5 0.0 0.5 0.0 2 m/s/s 0.0 0.0 0.0 0.4 0.6 0.0 3 m/s/s 0.0 0.0 0.0 0.0 0.1 0.3 <a=aa 0.0 0.0 0.0 0.0 1.0 0.0 6n*o4+a4-/ 0.0 0.0 0.0 0.0 0.0 1.0 Entonces s = 6, m = 2 y 4 4 0 0 0 0 4 . 0 0 0 0 0 5 . 0 0 0 0 0 6 . 0 0 × 1 1 1 1 ] 1 ¸ · Q 2 4 3 . 0 1 . 0 0 6 . 0 0 5 . 0 0 4 . 0 × 1 1 1 1 ] 1 ¸ · R Para el Ejem. M.<, sean t1 , Principiante t# , E%perimentado t(, 'ocio a1 , 'ale sin ser socio a# , 'ale siendo socio y podemos escribir la matri& de probabilidad de transición como <+in*i'iant/ E$'/+im/ntao >so*iao Sa-/ sin s/+ so*io Sa-/ si/no so*io <+in*i'iant/ 0.&0 0.15 0.00 0.05 0.00 E$'/+im/ntao 0.00 0.10 0.20 0.10 0.00 >so*iao 0.00 0.00 0.(5 0.00 0.05 Sa-/ sin s/+ so*io 0.00 0.00 0.00 1.00 0.00 Sa-/ si/no so*io 0.00 0.00 0.00 0.00 1.00 Entonces s = 3, m = 2, y 3 3 (5 . 0 0 0 20 . 0 10 . 0 0 0 15 . 0 &0 . 0 × 1 1 1 ] 1 ¸ · Q 2 3 05 . 0 0 0 10 . 0 0 05 . 0 × 1 1 1 ] 1 ¸ · R Podemos ahora investigar algunos hechos acerca de las cadenas absorbentes (Wemeny y 'nell (2QMF**0 (2* 'i la cadena comien&a en un determinado estado transitorio, y antes de alcan&ar un estado absorbente, :cuál es entonces el n+mero esperado de veces en las que el sistema entrará en cada estado transitorio; :9uántos períodos esperamos pasar en un estado transitorio dado antes de que se lleve a cabo la absorción; Re",e"#aD 'i en este momento estamos en el estado transitorio ti, el n+mero esperado de periodos que pasarán en un estado transitorio tj antes de la absorción es el ij-ésimo elemento de la matri& (I ' Q* >2 . Para una demostración vea el Prob. O al final de esta sección. << (<* 'i una cadena inicia en un estado transitorio dado, :qu! probabilidad hay de terminar en cada uno de los estados absorbentes; Re",e"#aD 'i en este momento estamos en un estado transitorio i, la probabilidad de ser absorbidos finalmente por un estado absorbente aj es el ij-ésimo elemento de la matri& (I ' Q* >2 R. Para una demostración vea el Prob. Q al final de esta sección. "a matri& (I ' Q* >2 a menudo se llama matri& (,nda&en#a* de *a !adena de Markov. El lector que se interese en proseguir el estudio de cadenas de absorción debe consultar Wemeny y 'nell (2QMF*. E)e&*C =.1 C,en#a" or !o1rar 7!on#%n,a!%2n8 2. :9uál es la probabilidad que una cuenta nueva sea cobrada alguna ve&; <. :9uál es la probabilidad que una cuenta atrasada un mes se vuelva finalmente incobrable; @. 'i las ventas de la empresa son 2FF FFF dólares en promedio mensual :cuánto dinero será incobrable cada a8o; So*,!%2n e la descripción anterior, recuerde que 1 1 1 1 ] 1 ¸ · 0 0 0 0 4 . 0 0 0 0 0 5 . 0 0 0 0 0 6 . 0 0 Q 1 1 1 1 ] 1 ¸ · 3 . 0 1 . 0 0 6 . 0 0 5 . 0 0 4 . 0 R Entonces 1 1 1 1 ] 1 ¸ − − − · − 1 0 0 0 4 . 0 1 0 0 0 5 . 0 1 0 0 0 6 . 0 1 Q I 4sando el m!todo /auss >Xordan llegamos a 4 3 2 1 t t t t 1 1 1 1 ] 1 ¸ · − − 1 0 0 0 40 . 0 1 0 0 20 . 0 50 . 0 1 0 12 . 0 30 . 0 60 . 0 1 ) ( 4 3 2 1 t t t t 1 Q I Para contestar las preguntas 2 a @ necesitamos calcular 2 1 a a 1 1 1 1 ] 1 ¸ · − − 300 . 0 100 . 0 120 . 0 &&0 . 0 060 . 0 (40 . 0 036 . 0 (64 . 0 ) ( 4 3 2 1 t t t t R Q I 1 Entonces 2. t1 , 1ueva, a1 , Pagada. .sí, la probabilidad de que una cuenta nueva se pague finalmente es el elemento 11 de (I ' Q* >2 R , 0.(64. <. t# , 2 mes, a# , 3ncobrable. Entonces, la probabilidad que una cuenta atrasada un mes se vuelva incobrable es el elemento 22 de (I ' Q* >2 R , 0.060. <@ @. e la respuesta 2, sólo el 3.6) de todas las deudas son incobrables. 9omo las cuentas totales del a8o son 1200000 dólares en promedio, (0.036)(1200000) = 43200 dólares serán impagables al a8o. E)e&*o =.. 7!on#%n,a!%2n8 P*an%(%!a!%2n de* er"ona* 2. :9uál es la duración promedio de un abogado joven reci!n contratado en la empresa; <. :9uál es la probabilidad de que un abogado joven llegue a ser socio; @. :9uál es la duración promedio que pasa un socio en el bufete; So*,!%2n Becordemos que, 1 1 1 ] 1 ¸ · (5 . 0 0 0 20 . 0 10 . 0 0 0 15 . 0 &0 . 0 Q 1 1 1 ] 1 ¸ · 05 . 0 0 0 10 . 0 0 05 . 0 R Entonces, 1 1 1 ] 1 ¸ − · − 05 . 0 0 0 20 . 0 30 . 0 0 0 15 . 0 20 . 0 Q I 4sando el m!todo /auss > Xordan se encuentra que 3 2 1 t t t 1 1 1 ] 1 ¸ · − − 20 0 0 0 10 5 . 2 5 ) ( 3 40 3 10 3 2 1 t t t 1 Q I Entonces, 2 1 a a 1 1 1 ] 1 ¸ · − − 1 0 50 . 0 50 . 0 ) ( 3 2 3 1 3 2 1 t t t R Q I 1 Por lo tanto, 2. El tiempo esperado que un abogado principiante permanece en la empresa , (duración esperada del abogado principiante en la empresa como principiante* P (tiempo esperado que el abogado principiante permanece en la empresa como abogado con e%periencia* P (tiempo esperado que el abogado principiante permanece en la empresa como socio*. Entonces Tiempo esperado como principiante , 11 ) ( 1 Q I − − , 5 Tiempo esperado como con e%periencia , 12 ) ( 1 Q I − − , 2.5 Tiempo esperado como socio , 13 ) ( 1 Q I − − , 10 Por lo tanto, el tiempo total esperado que un abogado principiante permanece en la empresa es 5 + 2.5 + 10 = 11.5 a8os. <C <. "a probabilidad de que un abogado principiante reci!n ingresado llegue a ser socio es tan sólo la probabilidad de que salga de la empresa siendo socio. 9omo t1 , Principiante y a# , 'ale siendo socio, la respuesta es el elemento 12 de (I ' Q* >2 R , 0.50. @. 9omo t( , 'ocio, buscamos el n+mero esperado de a8os que pasa en t(, dado que comen&amos en t(. Este es justamente el elemento 33 de (I ' Q* >2 R , 20 a8os. Es ra&onable, porque durante cada a8o hay una probabilidad en 20 que un socio deje el bufete y, por lo tanto, debe tardar un promedio de 20 a8os en dejar la empresa. PROBLEMA !R"PO A 2. El departamento de admisión del colegio estatal ha modelado la trayectoria de un estudiante en esa institución como cadena de #ar$ov0 @/+ Sa- 4o 3/+ o 2 1/+ 1 1 1 1 1 1 1 1 ] 1 ¸ 1 0 0 0 0 0 0 1 0 0 0 0 &5 . 05 . 10 . 0 0 0 0 05 . &0 . 15 . 0 0 0 05 . 0 &5 . 10 . 0 0 10 . 0 0 &0 . 10 . @/+mina Sa-/ aAo 4o aAo 3/+ aAo 2o aAo 1/+ 'e observa el estado de cada estudiante al principio de cada semestre de oto8o. Por ejemplo, si un estudiante es de 3/+ a8o al principio de este semestre de oto8o, habrá &0) de probabilidades de que al principio del siguiente semestre de oto8o sea de cuarto a8o, 15) de probabilidad de que a+n sea de 3/+ a8o y 5) de que salga. 'uponemos que una ve& que sale un estudiante ya nunca vuelve a inscribirse. (a* 'í un estudiante entra al colegio a primer a8o, :cuántos a8os se espera que pasen siendo estudiante; (b* :9uál es la probabilidad de que se grad+e un estudiante de nuevo ingreso; <. El Herald Trile obtuvo la siguiente información acerca de sus suscriptores0 durante el primer a8o como suscriptores, el 20) cancelan sus suscripciones. e los que se han suscrito por un a8o, el 10) cancelan durante el segundo a8o. e los que se han suscrito por más de dos a8os, el 4) cancelan durante cualquier a8o dado. En promedio, :cuánto tiempo se suscribe una persona al Herald Trile; @. 4n bosque consta de dos tipos de árboles0 los que tienen de 0 a 1.50 m de alto, y los que son más altos. 9ada a8o, muere el 40) de los árboles que tienen menos de 1.50 m, el 10) se venden a 20 dólares cada uno, 30) permanecen entre 0 y 1.50 m, y el 20) crecen más de 2.IF m. 9ada a8o, el 50) de los árboles de más de 1.50 m se venden a 50 dólares, el 20) se venden a 30 dólares, y el 30) permanecen en el bosque. (a* :9uál es la probabilidad de que muera un árbol de 0 a 1.50 m antes de venderse; (b* 'i se planta un árbol de menos de 1.50 m, :cuál es el ingreso esperado que se va a tener con ese árbol; C. "as cadenas absorbentes de #ar$ov se usan en ventas para modelar la probabilidad de que un cliente que se locali&a por tel!fono compre finalmente alg+n producto. 9onsidere un cliente posible a quien nunca le ha llamado acerca de comprar un producto. espu!s de una llamada, hay una probabilidad de 60) de que tenga poco inter!s en el producto, de 30) que muestre un gran inter!s en el producto, y 10) de que sea borrado de la lista de los posibles clientes de la compa8ía. 'e tiene un cliente que actualmente tiene poco inter!s en el producto. espu!s de otra llamada, hay 30) de probabilidades de que compre el producto, 20) de probabilidades de que sea borrado de la lista, 30) de que el cliente a+n tenga poco inter!s y 20) de que e%prese un inter!s alto. Para un cliente que actualmente e%presa alto inter!s, despu!s de otra llamada hay 50) de probabilidades de que compre el producto, 40) de probabilidades de que siga teniendo gran inter!s y 10) de probabilidades que tenga poco inter!s. (a* :9uál es la probabilidad de que un nuevo posible cliente al final compre el producto; (b* :9uál es la probabilidad de que un posible cliente con poco inter!s sea borrado de la lista finalmente; (c* En promedio, :cuántas veces habrá que llamar por tel!fono a un nuevo posible cliente para que compre el producto, o para que sea borrado de la lista; !R"PO B I. En el problema de la ruina del jugador (Ejem. 2*, suponga que p = 0.60. (a* :Ju! probabilidad hay de que alcance a ganar 4 dólares; (b* :9uál es la probabilidad de que salga sin dinero; <I (c* :9uál es la duración esperada del juego; M. En el cuidado de pacientes ancianos en un hospital psiquiátrico, una meta principal es la colocación correcta de los pacientes en pensiones u hospitales para ancianos. El movimiento de pacientes entre el hospital, los hogares e%ternos y el estado absorbente (la muerte* se puede describir mediante la siguiente cadena de #ar$ov. "a unidad de tiempo es un mes0 B,/+ Co= Cos' 1 1 1 ] 1 ¸ 1 0 0 006 . (6( . 025 . 006 . 003 . ((1 . B,/+t/ Co=a+/s Cos'ita- 9ada mes que pasa un paciente en el hospital cuesta 655 dólares al estado, y cada mes que pasa en una pensión le cuesta 226 dólares, tambi!n al estado. Para mejorar la frecuencia de !%itos de colocación de pacientes, el estado recientemente comen&ó un Yprograma de resociali&ación geriátricaY (/BP* para preparar a los pacientes a desempe8arse en las pensiones. .lgunos pacientes se colocan en el /BP y a continuación pasan a pensiones. Es menos probable que estos pacientes no se puedan ajustar a sus pensiones. Htros pacientes contin+an pasando en forma directa del hospital a las pensiones sin haber tomado parte en el (/BP*. El estado paga 6&0 dólares cada mes lo que cuesta el paciente en el /BP. El movimiento de los pacientes está gobernado por la siguiente cadena de #ar$ov0 B,/+ </nsi </n.DE< Cos' DE< 1 1 1 1 1 1 ] 1 ¸ 1 0 0 0 0 006 . (6( . 0 025 . 0 006 . 0 (6( . 0 025 . 006 . 003 . 0 (1& . 013 . 006 . 0 112 . 02& . &54 . B,/+t/ </nsi </n.DE< Cos' DE< (a* El /BP, :ahorra fondos al estado; (b* =ajo el sistema anterior y bajo el /BP, calcule el n+mero esperado de meses que pasa un paciente en el hospital. N. Aree&co, 3nc., vende refrigeradores. "a fábrica otorga una garantía en todos los refrigeradores que especifica de cambio gratis de cualquier unidad que se descomponga antes de tres a8os. 'e nos da la siguiente información0 (2* el 3) de todos los refrigeradores nuevos falla durante su primer a8o de funcionamiento5 (<* el 5) de todos los refrigeradores con 1 a8o de funcionamiento falla durante el segundo a8o de trabajo, y (@* el 1) de todos los refrigeradores con dos a8os de funcionamiento falla durante su tercer a8o. "a garantía no vale para el refrigerador de repuesto. (a* 4se la teoría de cadenas de #ar$ov para predecir la fracción de todos los refrigeradores que deberá cambiar Aree&co. (b* 'uponga que a Aree&co le cuesta 500 dólares cambiar un refrigerador y que vende 10,000 refrigeradores al a8o. 'i la fábrica redujera el pla&o de garantía a dos a8os, :cuánto dinero se ahorraría en costos de reempla&o; O. Para una matri& Q que represente las transiciones entre estados transitorios en una cadena absorbente de #ar$ov, se puede demostrar que (I — Q) -1 = I + Q + Q 2 + ... + Q n + ... (a* E%plique por qu! es posible esta e%presión de (I — Q) -1 . (b* efina a mij , n+mero esperado de períodos pasados en el estado transitorio tj antes de la absorción, si se sabe que iniciamos en el estado ti. 'uponga que el periodo inicial se pasa en el estado ti. E%plicar por qu! mij , (probabilidad de que estemos al principio en el estado ti* P (probabilidad que estemos en el estado tj despu!s de la primera transición* P (probabilidad que estemos en el estado tj despu!s de la segunda transición* P ... P (probabilidad que estemos en el estado tj despu!s de la n>!sima transición* P ∝. (c* E%plique por qu! la probabilidad de que estemos inicialmente en el estado tj , elemento i2-ésimo de la matri& identidad (s ' m) $ (s ' m). E%plique por qu! la probabilidad de que estemos en el estado ti despu!s de la n- ésima transición , elemento ij-ésimo de Q n . (d* .hora e%plique por qu! mij , elemento ij de (I — Q) -1 . Q. efina bij , probabilidad de terminar en un estado absorbente aj dado que iniciamos en un estado transitorio tj. rij , ij-ésimo elemento de R qi , i-ésimo elemento de Q. B , matri& (s ' m) $ m cuyo ij-ésimo elemento es bij. 'uponga que iniciamos en el estado ti. En nuestra primera transición, pueden suceder tres tipos de eventos0 E+ento ' Pasamos al estado absorbente aj, con probabilidad rij. E+ento , Pasamos al estado absorbente que no es aj, con probabilidad ∑ ≠j j i b q . E+ento - Pasamos al estado transitorio t, con probabilidad qi. (a* E%plique por qu! ∑ − · · + · m s j i ij ij b q r b 1 (b* .hora demuestre que bij , ij>!simo elemento de (R + QB) y que B = R + QB. (c* emuestre que B = (I —Q) -1 R y que bij = ij- ésimo elemento de B = (I — Q) -1 R. !R"PO C Q. /eneral #otors tiene tres divisiones automotrices (división 2, división < y división @*. Tambi!n tiene una división de contabilidad y una de consultoría <M de administración. "a pregunta es0 :Ju! fracción del costo de las divisiones de contabilidad y de consultoría de administración se debe cargar a cada división automotri&; 'uponemos que el costo total de los departamentos de contabilidad y consultoría se deben repartir entre las tres divisiones automotrices. urante un a8o determinado, el trabajo de las divisiones de contabilidad y consultoría se asigna como se ve en la Tabla C. Por ejemplo, contabilidad emplea el 10) de su tiempo en problemas generados por el departamento de contabilidad, 20) en trabajos generados por la división @, etc. 9ada a8o, cuesta 63 millones de dólares la operación del departamento de contabilidad, y 210 millones de dólares la del departamento de consultoría de administración. :Ju! fracción de esos costos se debe asignar a cada división automotri&; 3maginar 1 dólar en costos incurridos en trabajos de contabilidad. ?ay una probabilidad 0.20 de que estos costos se asignen a cada división automotri&, probabilidad 0.30 de que se asigne a consultoría y probabilidad 0.10 que se asigne a contabilidad. 'i el dólar se asigna a una división automotri&, sabemos a qu! división se debe cargar ese dólar. Por ejemplo, si el dólar se carga a consultoría, repetimos el proceso hasta que, por +ltimo, el dólar se cargue a una división automotri&. 4se el conocimiento de cadenas de #ar$ov para establecer como asignar los costos de funcionamiento de los departamentos de contabilidad y asesoría entre las tres divisiones automotrices. Tabla 4 ?F:@>G6H6I>I ?F:SJH@FE6> IE >IBF: I6K6S6F: 2 I6K6S6F: 3 ?onta4i-ia 10) 30) 20) 20) 20) >minist+a*i3n 30) 20) 30) 0) 20) 1.> MODE+OS DE P+ANEACI:N DE PERSONA+ #uchas empresas, como por ejemplo #ason y =urger del Ejem. M.<, emplean varias categorías de personal. 9on fines de planeación a largo pla&o, a menudo es +til poder predecir el n+mero de empleados de cada categoría que, sí las tendencias actuales contin+an, estarán disponibles en el estado estable. 'e pueden hacer esas predicciones a trav!s de un análisis semejante al de la 'ecc. 2.I de probabilidades de estado estable para cadenas de #ar$ov. #ás formalmente, se tiene una organi&ación cuyos miembros se clasifican en cualquier punto en el tiempo en uno de los s grupos (identificados como 1, 2,..., s*. urante cada periodo, una fracción pij de los que inician un periodo en el grupo i, al siguiente periodo inician en un grupo j. Tambi!n, durante cada periodo, una fracción pis+1 de todos los miembros del grupo i dejan la organi&ación. 'ea P la matri& s % (s + 1* cuyo elemento ij es pij. .l principio de cada periodo, la organi&ación contrata *i miembros del grupo i. 'ea %i(t) el n+mero de miembros del grupo i al principio del periodo t. 4na pregunta de inter!s natural es si %i(t) tiende a un límite a medida que crece t, o no. 'i e%iste el límite, lo llamaremos %i. 'i cada %i(t) tiende a un límite, llamamos a N = (%1, %#, &&& ,%s) el censo de estado estable de la organi&ación. 'i e%iste censo de estado estable podemos encontrarlo al resolver un sistema de s ecuaciones que se plantea como sigue0 tan sólo nótese que para que e%ista ese estado, debe ser válido que, para i = 1, 2, ..., s 1+mero de personas que entran al grupo i durante cada periodo , n+mero de personas que salen del grupo i durante cada periodo (2C* espu!s de todo, si la ecuación (2C* no fuera válida para todos los grupos, entonces el n+mero de personas en al menos un grupo se acumularía a medida que pasara el tiempo. 1ótese que ∑ ≠ + · i i i p % * i '/+Loo *aa ,+ant/ /stao a- /nt+an .,/ '/+sonas / :Mm/+o ∑ ≠ · i i i p % i '/+Loo *aa ,+ant/ /stao /- sa-/n .,/ '/+sonas / :Mm/+o <N Entonces la ecuación que se usa para calcular el censo de estado estable es ) , , 2 , 1 ( s i p % p % * i i i i i i  · · + ∑ ∑ ≠ ≠ (2CU* ados los valores de las pij y de las *i, se puede usar la ecuación (2CU* para despejar el censo de estado estable. . la inversa, dadas las pij y un censo deseado de estado estable, se puede usar la ecuación (2CU* para determinar una política de contratación, especificada por los valores de *1, *#, &&& ,*s, que logre el censo deseado de estado estable. Podrá ser imposible mantener algunos censos de estado estable a menos que algunas *i sean negativas, lo que equivale a despedir empleados. "os dos ejemplos que siguen muestran el uso de la ecuación de censo de estado estable. E)e&*o >.1 'uponga que se puede clasificar a cada norteamericano en uno de tres grupos0 ni8os, adultos que trabajan, o retirados. urante un periodo de un a8o, 0.(5( de los ni8os a+n son ni8os, 0.04 de los ni8os pasan a ser adultos que trabajan y 0.001 de los ni8os mueren. urante cualquier a8o, 0.(6 de los adultos que trabajan permanecen como tales, 0.03 pasan a ser retirados y 0.01 mueren. Tambi!n, 0.(5 de los retirados permanecen retirados y 0.05 de los retirados mueren. 1acen mil ni8os cada a8o. 2. etermine el censo de estado estable. <. 9ada persona retirada recibe una pensión de 5000 dólares por a8o. El fondo de pensión se sufraga con pagos de los adultos que trabajan. :9uánto dinero debe aportar cada adulto que trabaja, al a8o, para el fondo de pensión; So*,!%2n 2.'ea /rupo 2 , ni8os /rupo < , adultos que trabajan /rupo @ , retirados /rupo C , muertos "os datos son *1 = 1000, *2 =*3 = 0 y 1 1 1 ] 1 ¸ · 050 . 0 (50 . 0 0 0 010 . 0 030 . 0 (60 . 0 0 001 . 0 0 040 . 0 (5( . 0 P Entonces la ecuación (2C* o la (2CU* es0 1+m. que entra al grupo i cada a8o , 1+m. que sale del grupo i cada a8o 1000 = (0.04 + 0.001)%1 (ni8os* 0.04%1 = (0.030 + 0.010)%2 (adultos que trabajan F.03%2 = 0.050%( (retirados* .l resolver este sistema de ecuaciones nos encontramos con que %1 = %2 = 243(0.24, y %3 = 14634.14. <. 9omo en el estado estable hay 14634.14 personas retiradas, en el estado estable reciben 14634.14 % (5000) dólares al a8o. Por lo tanto, cada adulto que trabaja debe pagar aAo 'o+ o-a+/s 3000 24 . 243(0 5000 14 . 14634 · × Este resultado es ra&onable, porque en el estado estable hay 593 de adultos que, trabajan en comparación con los retirados. <O E)e&*o >.. Begresemos al bufete de abogados #ason y =urger (Ejem. M.<*. 'upongamos que la meta a largo pla&o de ese bufete es tener IF abogados principiantes, @F con e%periencia y 2F socios. Para alcan&ar este censo de estado estable, :cuántos abogados de cada tipo deben contratar cada a8o; So*,!%2n 'ean /rupo 2 , abogados principiantes /rupo < , abogados con e%periencia /rupo @ , socios /rupo C , abogados que salen del bufete #ason y =urger desean obtener %1 = 50, %# = 30 y %( = 10. Becu!rdese que en el Ejem. M.< 1 1 1 ] 1 ¸ · 05 . 0 (5 . 0 0 0 10 . 0 20 . 0 10 . 0 0 05 . 0 0 15 . 0 &0 . 0 P Entonces la ecuación (2C* o la (2CU* es 1+m. que entra al grupo i , 1+m. que sale del grupo i *1 = (0.15 + 0.05)50 (abogados principiantes* (0.15)50 + *2 = (0.20 + 0.10)30 (abogados con e%periencia* (0.20)30 + *3 = (0.05)10 (asociados* "a solución +nica de este sistema de ecuaciones es *1 = 10, *2 = 1.5, *3 = -5.5. Esto significa que para mantener el censo deseado de estado estable, #ason y =urger deben despedir I.I socios cada a8o. Esto es ra&onable, porque cada a8o hay 0.20(30) = 6 abogados con e%periencia que pasan a ser socios, y una ve& que lo hacen, permanecen en ese puesto un promedio de <F a8os. Esto muestra que para mantener el n+mero de asociados en 10, deben despedirse algunos de ellos. Htra solución podría ser reducir, a menos de su valor actual de 0.20, la fracción de abogados con e%periencia que pasan a ser socios cada a8o. Para mayor información acerca de los modelos de planeación de personal, se aconseja consultar el e%celente libro de /rinold y #arshall (2QNN*. PROBLEMA !R"PO A 2. Este problema es acerca del Prob. 2 de la 'ecc. 2Q.M. 'upongamos que cada a8o el colegio estatal admite 1,000 estudiantes de nuevo ingreso, 500 de segundo a8o y 500 de tercer a8o. . largo pla&o, :cuál será la composición del estudiantado en ese colegio; <. En el Ejem. Q, suponga que el progreso de la medicina ha reducido la tasa anual de mortalidad de retirados de 5) a 3). :9uánto aumenta la contribución anual para pensiones, debido a esto, que pagan los adultos que trabajan; @. "a ciudad de 1ueva Zor$ produce 1,000 ton de contaminación al día, Xersey 9ity 100, y 1e[ar$ 50. 9ada día 193 de la contaminación de 1ueva Zor$ es llevada por el viento a 1e[ar$, 193 se disipa y 193 permanece en 1ueva Zor$. Tambi!n diariamente, 193 de la contaminación de Xersey 9ity es llevada por el viento a 1ueva Zor$, 193 permanece en Xersey 9ity y 193 pasa a 1e[ar$. Z por +ltimo, 193 de la contaminación de 1e[ar$ permanece allí y el resto pasa a Xersey 9ity. En un día normal, :cuál ciudad será la más contaminada; C. 9ircula dinero entre los tres planetas YcapitalesY de la federación0 Gulcano, Aobos y #arte. En forma ideal, a la federación le gustaría tener 5 mil millones de dólares en circulación en cada planeta. 9ada mes 193 de todo el dinero de Gulcano sale de circulación, 193 permanece allí y 193 termina en Aobos. 9ada mes, 193 del dinero en #arte permanece allí, 193 pasa a Aobos y 193 pasa a Gulcano. Tambi!n cada mes, 293 del dinero de Aobos pasa a #arte y 193 permanece allí. "a federación inyecta dinero al sistema en Gulcano. <Q :?ay alg+n modo de tener un nivel de estado estable de 5 mil millones de dólares en circulación en cada planeta; !R"PO B I. Todos los profesores de la Aacultad de 9omercio de una universidad se clasifican como de tiempo completo y de tiempo parcial. 9ada a8o el 2F\ de los de tiempo parcial pasan a ser de tiempo completo y el 2F\ salen de la Aacultad5 el QI\ de los de tiempo completo permanecen y el I\ salen. "a Aacultad de 9omercio desea mantener un profesorado de 2FF miembros, de los cuales el x+ son de tiempo parcial. etermine una política de contratación que logre esta meta. :Para qu! valores de x se necesita despedir profesores de tiempo completo, de acuerdo con la política de contratación; escriba una política que mantenga un 2F\ de tiempo parcial. escriba una política de contratación que mantenga CF\ del profesorado de tiempo parcial; !R"PO C M. Por simplicidad, supongamos que la sangre fresca que obtiene un hospital se echa a perder si no se utili&a en ! días. El hospital recibe 2FF medios litros de sangre fresca diariamente de un banco de sangre local. 'on posibles dos políticas para determinar el orden en el que se hacen transfusiones de sangre (v!ase tabla I*. Por ejemplo, seg+n la política 2, la sangre tiene un 2F\ de probabilidades de usarse en transfusión durante su primer día en el hospital. 'eg+n la política <, la sangre con cuatro días de antig]edad tiene el 2F\ de probabilidad de ser usada. Tabla 5 EI>I IE H> S>:DEE (a- ini*io /- La) <+o4a4i-ia / ,so /n t+ansN,sion/s 0 1 2 3 4 <o-Lti*a 1 .10 .20 .30 .40 .50 <o-Lti*a 2 .50 .40 .30 .20 .10 (a* "a política A3AH ("irst#in, "irst#out), primeras entradas primeras salidas, usa primero la sangre YviejaY, mientras que la política "3AH ($ast#in, "irst out) +ltimas entradas primeras salidas emplea primero la sangre YnuevaY. :9uál política es "3AH y cuál A3AH; (b* Para cada política, determine la probabilidad de que se eche a perder un medio litro de sangre reci!n llegada al hospital. (c* Para cada política, determine el n+mero promedio de medios litros de sangre en inventario. (d* Para cada política, determine la edad promedio de la sangre que se usa en transfusiones. (e* ?aga comentarios de los m!ritos relativos de las políticas A3AH y "3AH. 1.? DISTRI9UCI:N EEPONENCIA+ En esta sección nos dedicaremos al estudio de una distribución de probabilidad que es de gran importancia en el estudio de las cadenas de #ar$ov de tiempo continuo, la distribución e%ponencial. 4na distribución e%ponencial con parámetro λ tiene una función de densidad ¹ ' ¹ < ≥ · − 0 si 0 0 si ) ( t t e t , t λ λ . (2I* En la Aig. < se muestra la función de densidad para la distribución e%ponencial. .quí se observa que ,(t) disminuye rápidamente a medida que t crece. Esto indica que son poco probables valores muy grandes de la variable y por lo tanto [ ] [ ] t t t P t P ∆ + ≤ ≤ > ∆ ≤ ≤ T T 0 5%-,ra F Aunción de densidad para una variable aleatoria X con distribución e%ponencial @F 'e puede demostrar que la función de densidad acumulada para una variable X que tenga distribución de probabilidad e%ponencial esta dada por ¹ ' ¹ ≥ − < · ≤ · 0 si 1 0 si 0 ) ( ) ( x e x x P - x λ X X . (2M* 3gualmente, e integrando por partes, podemos demostrar que el promedio de una variable aleatoria X con distribución e%ponencial, E(X), está dado por λ 1 ) ( · X E . (2N* . su ve&, la varian&a de esta misma variable es 2 1 λ · X .ar (2O* PROPIEDAD DE AMNESIA DE +A DISTRI9UCION EEPONENCIA+. "a ra&ón por la cual es importante la distribución e%ponencial para el estudio de las cadenas de #ar$ov de tiempo continuo se encuentra en el siguiente, lema0 LEMA ' 'i T tiene distribución e%ponencial, entonces para todo valor no negativo de t y s, [ ] ) ( | t P s s t P > · > + > T T T (2Q* De#o(tración 1otaremos primero que, [ ] [ ] t t x t x e e dx e t P λ λ λ λ − ∞ − ∞ − · − · · > ∫ T (<F* Entonces [ ] [ ] [ ] s P s s t P s s t P > > ∩ + > · ≥ + > T T T T T | e la Ecc. (<F*, [ ] [ ] s s t e s P e s s t P λ λ − + − · > · > ∩ + > T T T 8 ) ( .sí, [ ] [ ] t P e e e s s t P t s s t > · · · > + > − − + − T T T λ λ λ ) ( | 'e puede demostrar que no hay otra función de densidad que satisfaga la Ecc. (2Q* (v!ase Aeller (2QIN**. Por ra&ones que se hacen evidentes, se dice que una función de densidad que satisfaga la Ecc. (2Q* tiene la ro%edad de a&ne"%a, o de no memoria. 'uponga que sabemos que un sistema no ha cambiado de estado durante las +ltimas s horas, lo que equivale a que nos digan que T 5 s y que nos pregunten cuál es la probabilidad que no cambie de estado durante las siguientes t horas, es decir T 5 t + s. Entonces, la Ecc. (2Q* quiere decir que esta probabilidad no depende del valor de s, y que para todos los valores de s esta probabilidad es igual a P[T 5 t]. En resumen, si conocemos que han pasado al menos s unidades de tiempo durante las cuales el sistema se encuentra en un determinado estado, entonces la distribución del tiempo que queda para que el sistema cambie de estado, t, no depende de s. Por ejemplo, si t = 4, entonces la Ecc. (2Q* produce, para s = 5, s = 3, s = 2 8 s = 0, [ ] [ ] [ ] [ ] [ ] 4 0 | 0 4 2 | 2 4 3 | 3 4 5 | 5 4 > · > + > · > + > · ≥ + > · ≥ + > T T T T T T T T T P P P P P "a propiedad de amnesia de la distribución e%ponencial es importante porque establece que la distribución de probabilidad del tiempo que falta para que el sistema cambie de estado, es independiente del tiempo @2 %aya transcurrido desde el &ltimo camio de estado. Para decirlo en t!rminos concretos, suponga que nuestro sistema es un banco en donde el estado del sistema esta dado por el n+mero de clientes que hay dentro de !l y que el estado del sistema cambia cuando entra o sale un cliente del banco. Para simplificar consideremos solo la entrada de clientes al banco y supóngase que los tiempos entre llegadas se distribuyen e%ponencialmente con λ = 6. Entonces la propiedad de amnesia significa que no importa cuánto tiempo haya pasado desde la +ltima llegada, la distribución de probabilidades que rige el tiempo para la siguiente llegada tiene la función de densidad 6e -6t . Esto significa que para predecir los comportamientos de las llegadas futuras no necesitamos mantener registro de cuánto tiempo haya pasado desde la +ltima llegada. Esta observación puede simplificar mucho el análisis de un sistema. RE+ACI:N ENTRE +A DISTRI9UCI:N DE POISSON @ +A DISTRI9UCI:N EEPONENCIA+ 'i los tiempos entre la ocurrencia de un mismo tipo de evento son e%ponenciales, la distribución de probabilidad del n+mero de eventos que ocurren en cualquier intervalo de tiempo t está dada por el siguiente teorema importante0 &EOREMA ' "os tiempos entre ocurrencia de un mismo tipo eventos son e%ponenciales con parámetro λ si y sólo si el n+mero de eventos que suceden en un intervalo t sigue una distribución de Poisson con parámetro λt. 4na variable aleatoria discreta N tiene una distribución de Poisson con parámetro λ si, para n = 0, 1, 2, …, ) , 2 , 1 , 0 ( 0 ) (  · · · − n n e n P n λ λ N (<2* 'i N es una variable aleatoria de Poisson, se puede demostrar que E(N) = Ka+N = λ. 'i hacemos que Nt sea el n+mero de ocurrencias de eventos de un mismo tipo durante cualquier intervalo de tiempo de longitud t, el Teorema 2 establece que ) , 2 , 1 , 0 ( 0 ) ( ) (  · · · − n n t e n P n t t λ λ N 9omo Nt, es de Poisson con parámetro λt, E(%t) = Ka+na = λt. 4n promedio de λt llegadas se suceden durante un intervalo de tiempo de longitud t y, entonces se puede pensar que λ es el n+mero promedio de llegadas por unidad de tiempo, o rapide& de llegadas. :Ju! hipótesis se necesitan para que los tiempos entre ocurrencias de un mismo tipo de eventos sean e%ponenciales; El Teorema <, más adelante, nos da una respuesta parcial. Geamos las dos hipótesis siguientes0 2. "as ocurrencias de eventos del mismo tipo definidas en intervalos de tiempo que no se traslapan son independientes (por ejemplo, el n+mero de llegadas que se tiene entre los tiempos 1 y 10 no nos da información alguna acerca del n+mero de llegadas entre los tiempos 30 y 50*. <. Para ∆t peque8o, y cualquier valor de t, la probabilidad de que se tenga la ocurrencia de un evento entre los tiempos t y t + ∆t es λ∆t + σ(∆t), donde σ(∆t) es cualquier cantidad que satisfaga 0 ) ( -im 0 · ∆ ∆ → ∆ t t t σ Tambi!n, la probabilidad de que no ocurra el evento durante el intervalo entre t y t + ∆t es 1 - λt + σ(∆t) y la probabilidad que ocurre más de un evento en ese intervalo es σ(∆t). &EOREMA , 'i son válidas las hipótesis 2 y <, entonces N, sigue una distribución de Poisson con parámetro λt, y los tiempos entre llegadas son e%ponenciales con parámetro λ. Esto es, ,(t) = λ/ -λt . @< En esencia, el Teorema < establece que si la rapide& de ocurrencia de eventos es estable, es decir, si no pueden tenerse ocurrencia de eventos en masa y si los eventos ocurridos en el pasado no afectan los que ocurrirán en el futuro, entonces los tiempos entre ocurrencia de eventos del mismo tipo seguirán una distribución e%ponencial con parámetro λ y el n+mero de eventos ocurridos en cualquier intervalo de longitud t es de Poisson con parámetro λt. "as hipótesis del Teorema < pueden parecer demasiado restrictivas, pero con frecuencia los tiempos entre ocurrencias de eventos del mismo tipo son e%ponenciales aun cuando no se satisfagan las hipótesis del Teorema < (v!ase enardo (2QO<**. 'ucede que en muchas aplicaciones, la hipótesis de tiempos e%ponenciales entre ocurrencia de eventos del mismo tipo es una muy buena apro%imación a la realidad. El Ejem. O.2 ilustra la relación entre la distribución e%ponencial y la de Poisson EAEMP+O ?.1 El n+mero de tarros de cerve&a pedidos en el Dic'(s )u sigue una distribución de Poisson con promedio de 30 cerve&as por hora. 2. 9alcule la probabilidad de que se pidan e%actamente 60 cerve&as entre las 10 p.m. y las 12 de la noche. <. etermine el promedio y la desviación estándar del n+mero de cerve&as pedidas entre las ( p.m. y la 1 a.m. @. 9alcule la probabilidad de que el tiempo entre dos pedidos consecutivos sea entre 1 y 3 minutos. So*,!%2n 2. El n+mero de cerve&as pedido entre las 10 p.m. y las 12 de la noche sigue una distribución de Poisson con parámetro 2(30) = 60. e la Ecc. (2Q*, la probabilidad de que se pidan 60 cerve&as entre las 10 p.m. y la medianoche es 0 60 60 60 60 e <. λ = 30 cerve&as por hora5 t = 4 horas. Entonces, el n+mero promedio de cerve&as pedidas entre las ( p.m. y la 1 a.m. es 4(30) = 120 cerve&as. "a desviación estándar del n+mero de cerve&as pedido entre las 10 p.m. y la 1 a.m. es (120) 192 = 10.(5. @. 'ea T el tiempo en minutos entre pedidos sucesivos de cerve&a. El n+mero promedio de pedidos por minuto es e%ponencial con parámetro, o ra&ón 5 . 0 60 30 · cerve&as por minuto. Entonces la función de densidad de probabilidad entre pedidos de cerve&a es 0.5e -0.5t . Entonces 3& . 0 ) 5 . 0 ( ) 3 1 ( 5 . 1 5 . 0 3 1 5 . 0 · − · · ≤ ≤ − − − ∫ e e dt e P t T PROBLEMA !R"PO A 2. El tiempo entre llegadas de autobuses sigue una distribución e%ponencial con promedio de MF minutos. (a* :9uál es la probabilidad de que lleguen e%actamente cuatro autobuses durante las siguientes < horas; (b* :9uál es la probabilidad de que por lo menos dos autobuses lleguen durante las siguientes < horas; (c* :9uál es la probabilidad de que no lleguen autobuses durante las pró%imas < horas; (d* .caba de llegar un autob+s. :9uál es la probabilidad de que pasen entre @F y QF minutos para que llegue el siguiente; 1.F CADENAS DE MARKOV DE TIEMPO CONTINUO Todas las secciones anteriores hacen la suposición de que el parámetro t del tiempo es discreto (es decir5 t , F, 2, <, ...*. Tal suposición es adecuada para muchos problemas, pero e%isten ciertos casos (como en @@ algunos modelos de líneas de espera* en los que se requiere un parámetro (llamado tU* de tiempo continuo, debido a que la evolución del proceso se está observando de manera continua a trav!s del tiempo. "a definición de una cadena de #ar$ov dada en la sección < tambi!n se e%tiende a esos procesos continuos. Esta sección está dedicada a la descripción de estas cadenas de #ar$ov de tiempo continuo y sus propiedades. Para modelar este este tipo de de procesos, como antes, se etiquetan los estados posibles del sistema como 1, …, s. 9omen&ando en el tiempo 0 y dejando que el parámetro t/ corra continuamente, para t/ ≥ 0 sea la variable aleatoria X(t/) el estado del sistema en el tiempo t/. Entonces X(t/) tomará uno de sus s valores posibles en un intervalo 0 ≤ t/ O t1, despu!s saltará a otro valor en el siguiente intervalo t1 ≤ t/ O t2 y así sucesivamente, donde los puntos de tránsito t1, t2, P son puntos aleatorios en el tiempo (no necesariamente enteros*, tal como se ilustra en la Aigura 2F. 5%-,ra 1C Estados tomados por un sistema en diferentes puntos del tiempo cuando este corre de manera continua .hora consideremos los siguientes tres puntos en el tiempo0 2. tQ = r ( donde r ≥ 0*, <. t/ = s (donde s 0 r* y @. t/ = s + t ( donde t5 0*, interpretados como sigue0 t/ = r es un tiempo pasado, t/ = s es el tiempo presente, t/ = s + t es t unidades hacia el futuro. Por lo tanto, el estado del sistema se ha observado en los tiempos t/ = s y t/ = r. Estos estados se etiquetan como X(s)=i y X(r)=x(r). ada esta información, el paso natural es buscar la distribución de probabilidad del estado del sistema en el tiempo t/ = s + t. En otras palabras, determinar el valor de P[X(s+t) = j | X(s) = i 8 X(r) = x(r)], para cada 2 = 0,1,..., s. 9on frecuencia es muy difícil derivar estas probabilidades condicionales. 'in embargo, esta tarea se simplifica considerablemente si el proceso estocástico involucrado posee la siguiente propiedad clave. PROPIEDAD MAR.O/IANA 4n proceso estocástico de tiempo continuo {X(t/)1 tQ5 0} tiene la propiedad mar$oviana si P[X(t+s) = j | R(s)=i 2 R(r) = x(r)] = P[X(t+s) = j |X(s) = i] Para toda i,j = 0, 1,…, s y para toda r 5 0, s 5 r y t00. Hbserve que P[X(t+s) = j | X(s) = i] es una probabilidad de transición, igual a las probabilidades de transición de las cadenas de #ar$ov de tiempo discreto que se estudiaron en las secciones anteriores, donde la +nica diferencia es que ahora no es necesario que t sea entero. @C DEFINICIÓN 'i las probabilidades de transición son independientes de s, de manera que P[X(t+s) = j | X(s) = i] = P[X(t) = j | X(0) = i] para toda s 5 0, se dice que las probabilidades de transición son estacionarias. Para simplificar la notación se denotarán estas probabilidades estacionarias por Pij(t) = P{X(t) = j | X(0) = i} en donde se hará referencia a Pij(t) como la función de probabilidad de transición de tiempo continuo. 'e supone que ¹ ' ¹ ≠ · · → j i j i t P ij t si , 0 si , 1 ) ( -im 0 .sí, un proceso estocástico de tiempo continuo {X(t/)1 tQ5 0} es una cadena de #ar$ov de tiempo continuo si cumple la propiedad mar'oviana. .quí se restringirá el estudio a las cadenas de #ar$ov de tiempo continuo a aquellas con un n+mero finito de estados y el donde las probabilidades de transición sean estacionarias. A+GUNAS VARIA9+ES A+EATORIAS IMPORTANTES En el análisis de las cadenas de #ar$ov de tiempo continuo, un conjunto importante de variables aleatorias es el siguiente. &IEMPO DE PERMANENCIA EN EL E&ADO i 9ada ve& que el proceso entra en el estado i, la cantidad de tiempo que pasa en ese estado antes de moverse a uno diferente es una variable aleatoria Ti, donde i = 0, 1, …, s& 'uponga que el proceso entra en el estado i en el tiempo t/ = s. Entonces, para cualquier cantidad de tiempo fija t 5 0, observe que Ti 5 t si y sólo si X(t/) = i para toda t/ en el intervalo s ≤ t/ ≤ s + t. Por lo tanto, la propiedad mar$oviana (con probabilidades de transición estacionarias* implica que P[Ti 0 t+s | Ti 0 s] = P[Ti 0 t]. ^sta no es más que la propiedad de amnesia e%hibida por la distribución de probabilidad e%ponencial, la cual significa que la distribución de probabilidad del tiempo *ue +alta para que el proceso haga una transición fuera de un estado dado siempre es la misma, independientemente del valor s, es decir, del tiempo haya pasado el proceso en ese estado. Este resultado lleva a una forma equivalente de definir una cadena de #ar$ov de tiempo continuo0 2. "a variable aleatoria Ti tiene una distribución e%ponencial con media i λ 1 . <. 9uando sale de un estado i, el proceso se mueve a otro estado j, con probabilidad pij en donde pij satisface las condiciones i p ii toa 'a+a , 0 · , y @I . toa 'a+a 1 0 i p S j ij · ∑ · @. El siguiente estado que se visita despu!s del estado i es independiente del tiempo que pasó en el estado i. 3gual que las probabilidades de transición de un paso jugaron un papel primordial al describir una cadena de #ar$ov de tiempo discreto, el papel análogo para la cadena de #ar$ov de tiempo continuo lo tienen las intensidades de transición. "as inten(idade( de tran(ición son s i t t p p dt d ii t ii i , , 2 , 1 'a+a , ) ( 1 -im ) 0 ( 0  · − · − · → λ y i j p t t p p dt d ij i ij t ij ij ≠ · · · → toa 'a+a , ) ( -im ) 0 ( 0 λ λ donde pij(t) es la +unción de proailidad de transición de tiempo continuo introducida al principio de la sección y pij es la probabilidad descrita en la propiedad < el párrafo anterior. #ás a+n, λi seg+n se definió aquí, resulta ser tambi!n el parámetro de la distribución e%ponencial para Ti (vea la propiedad 2 del párrafo anterior*. "a interpretación intuitiva de λi y λij es que son tasas de transición. En particular, λi es la tasa de transición %acia a+uera del estado i en el sentido de que λi es el n+mero esperado de veces en las que el proceso deja el estado i por unidad de tiempo que pasa en el estado i. .sí, λi es el recíproco del tiempo esperado de permanencia en el estado i cada ve& que este estado es visitado5 es decir, ) ( 1 i T E i · λ . (<<* e manera similar, λij es la tasa de transición del estado i al estado j en el sentido de que λij es el n+mero esperado de veces que el proceso transita directamente del estado i al estado j por unidad de tiempo que pasa en el estado i. .sí, ∑ ≠ · i j ij i λ λ (<@* 3gual que λi es el parámetro de la distribución e%ponencial para Ti, cada λij es el parámetro de una distribución e%ponencial para una variable aleatoria relacionada que se describe en seguida. 9ada ve& que el proceso entra al estado i, la cantidad de tiempo que pasará en el estado i antes de que ocurra una transición directa al estado j es una variable aleatoria Tij donde i, j = 0,1,…, s y j ≠ i. "as Tij, son variables aleatorias independientes, donde cada Tij tiene una distriución e,ponencial con parámetro λij, de manera que ij E λ 1 ) ( · ij T . (<C* El tiempo que pasa en el estado i hasta que ocurre una transición (Ti* es el m-nimo (sobre j ≠ i* de las Tij. 9uando ocurre la transición, la probabilidad de que sea al estado j es i ij ij p λ λ · . (<I* PRO9A9I+IDADES DE ESTADO ESTA9+E @M 3gual que las probabilidades de transición de una cadena de #ar$ov de tiempo discreto satisfacen las ecuaciones de 9hapman>Wolmogorov, la función de probabilidad de transición de tiempo continuo satisface estas ecuaciones. Entonces, para cualesquiera estados i y j, y n+meros no negativos t y s (0 ≤ s ≤ t*, ∑ · − · S j i ij s t p s p t p 1 ) ( ) ( ) ( (<M* 'e dice que un par de estados i y j se comunican si e%isten tiempos t1 y t2 tales que pij(t1) 5 0 y pij(t2) 5 0. 'e dice que todos los estados que se comunican forman una clase. 'i todos los estados en una cadena forman una sola clase, es decir, si la cadena de #ar$ov es irreducile (lo que se supondrá de aquí en adelante*, entonces, pij(t)5 0, para toda t 0 0 y todos los estados i y j. #ás a+n, j ij t t p π · ∞ → ) ( -im siempre e%iste y es independiente del estado inicial de la cadena de #ar$ov, para j = 0, 1. …, s. Estas probabilidades se conocen com+nmente como las probabilidades de estado estable (o proailidades estacionarias* de la cadena de #ar$ov. "as πj satisfacen las ecuaciones 0 toa 'a+a 8 , , 2 , 1 'a+a ) ( 1 ≥ · · ∑ · t s j t p s j j  π π . (<N* Bestando a ambos miembros de la Ecc. <N πjpjj(t), se tiene0 ( ) ∑ ≠ · − j j jj j t p t p ) ( ) ( 1 π π . ividiendo cada t!rmino de la anterior igualdad por t y calculando el límite cuando t tiende a cero se obtiene0 ( ) ∑ ≠ → → · − j j t jj t j t t p t t p ) ( -im ) ( 1 -im 0 0 π π s j j j j j , , 2 , 1 'a+a ,  · · ∑ ≠ λ π λ π (<O* Este nuevo conjunto de s ecuaciones es más +til para el cálculo de las probabilidades de estado estable, que el obtenido en las Eccs. <N. 1uevamente el conjunto de Ecc. <O no es linealmente independiente, ya que se obtiene del conjunto de Eccs. <N que tampoco lo es, y por lo tanto debe eliminarse una cualquiera de sus ecuaciones y reempla&arse por . 1 0 · ∑ · s j π (<Q* El conjunto de Eccs. <O tiene una interpretación intuitiva. El lado i&quierdo (πj λj* es la tasa a la que el proceso deja el estado j, ya que πj es la probabilidad (de estado estable* de que el proceso est! en el estado j y λj es la tasa de transición hacia afuera del estado j dado que el proceso se encuentra en el estado j. e manera similar, cada t!rmino de lado derecho (π λj* es la tasa a la que el proceso entra al estado j desde el estado , ya que λj es la tasa de transición del estado al j dado que el proceso se encuentra en el estado . 'umando sobre toda ≠ j, todo el lado derecho proporciona la tasa a la que el proceso entra al estado j desde cualquier estado. Por eso la ecuación global establece que la tasa a la cual el proceso deja el estado j debe ser igual a la tasa en la que el proceso entra al estado j. 9omo cada una de las primeras s ecuaciones de estado estale requiere que las dos tasas est!n alanceadas (sean iguales*, a veces estas ecuaciones se llaman ecuaciones de balance. @N EAEMP+O F.1 4n taller tiene dos máquinas id!nticas que operan continuamente e%cepto cuando se descomponen. 9omo lo hacen con bastante frecuencia, la tarea con más alta prioridad para una persona de mantenimiento que trabaja tiempo completo es repararlas en cuanto lo necesiten. El tiempo requerido para reparar una máquina tiene distribución e%ponencial con media de 2 1 día. 4na ve& que se termina la reparación, el tiempo que transcurre hasta la siguiente descompostura tiene distribución e%ponencial con media de 2 día. Estas distribuciones son independientes. So*,!%2n efinamos la variable aleatoria X(t/) como X(t/) , n+mero de máquinas descompuestas en el tiempo t/, de forma que los valores posibles de X(t/) son 0, 1, 2. Por lo tanto, si se corre el parámetro t/ de manera continua desde el tiempo 0, el proceso estocástico de tiempo continuo {X(t/)1 t/ ≥ 0} proporciona la evolución del n+mero de máquinas descompuestas. 9omo tanto el tiempo de reparación como el tiempo hasta la siguiente descompostura tienen distribuciones e%ponenciales, {X(t/)1 t/ ≥ 0} este proceso es una cadena de .ar'ov de tiempo continuo con estados 0, 1, 2. En consecuencia, se pueden usar las ecuaciones <O y <Q para encontrar la distribución de probabilidad de estado estable del n+mero de máquinas descompuestas. Para hacer esto, se deben determinar todas las tasas de transición, esto es, las λj y λj para , j = 0, 1, 2. El estado (n+mero de máquinas descompuestas* aumenta en 1 cuando ocurre una descompostura y disminuye en 1 cuando se termina una reparación. 9omo tanto las descomposturas como las reparaciones ocurren una a la ve&, λ02 λ20 = 0. El tiempo esperado de reparación es 2 1 día, de manera que la tasa a la que se terminan las reparaciones (cuando hay máquinas descompuestas* es 2 por día, lo que implica que λ21 = λ10 = 2. e igual forma, el tiempo esperado hasta que se descompone una máquina en operación es 1 día, de manera que la tasa a la que se descompone (cuando está operando* es 1 máquina por día5 esto implica que λ12 = 1. urante los tiempos en los que las dos máquinas operan, las descomposturas ocurren a una tasa de 1 + 1 = 2 máquinas por día, así, λ01 , 2. Estas tasas de transición se resumen en el diagrama de tasas que se muestra en la figura 22. 5%-,ra 11 iagrama de tasas para el ejemplo de una cadena de ?ar$ov de tiempo continuo 'e pueden usar estas tasas para calcular la tasa de transición total hacia afuera de cada estado (Ecc. <F*, así0 2 3 2 21 20 2 12 10 1 02 01 0 · + · · + · · + · λ λ λ λ λ λ λ λ λ 'ustituyendo todas las tasas en las ecuaciones de estado estable (Eccs 2O y 2Q*, se obtiene Ecuación de balance para el estado F0 2π0 = 2π1 @O Ecuación de balance para el estado 20 3π1 = 2π0 + 2π2 Ecuación de balance para el estado <0 2π2 = π1 "as probabilidades suman 20 π0 + π1 + π2 = 1 9ualquiera de las ecuaciones de balance (digamos, la segunda* se puede eliminar como redundante, y la solución simultánea de las ecuaciones restantes da la distribución de estado estable como ( ) ( ) 5 1 5 2 5 2 2 1 0 , , , , · π π π Entonces, a la larga, ambas máquinas estarán descompuestas simultáneamente 20) del tiempo y estará descompuesta una máquina otro 40) del tiempo. El siguiente capítulo (sobre teoría de colas* contiene muchos ejemplos de cadenas de #ar$ov de tiempo continuo. e hecho, la mayor parte de los modelos básicos de la teoría de colas caen dentro de esta categoría. El ejemplo que se acaba de dar en realidad se ajusta a uno de estos modelos (la variación de fuente de entrada finita al modelo 3434s). PROBEMA !R"PO A 2. Beconsidere el ejemplo presentado al final de esta sección. 'uponga que ahora se agrega al taller una tercera máquina, id!ntica a las dos primeras. "a persona de mantenimiento debe atender a todas las máquinas. a* esarrolle un diagrama de tasas para esta cadena de #ar$ov. b* 9onstruya las ecuaciones de estado estable. c* Besuelva estas ecuaciones para obtener las probabilidades de estado estable. <. El estado de una cadena de #ar$ov de tiempo continuo está definido como el n+mero de trabajos que hay en el momento actual en cierto centro de trabajo, donde se permite un má%imo de tres trabajos. "os trabajos llegan individualmente. 'iempre que hay menos de tres trabajos, el tiempo que transcurre hasta la siguiente llegada tiene distribución e%ponencial con media de de E día. "os trabajos se procesan uno a la ve& y dejan el centro de inmediato. "os tiempos de procesado tienen una distribución e%ponencial con media de D de día. a* 9onstruya el diagrama de tasas para esta cadena de #ar$ov. b* Escriba las ecuaciones de estado estable. c* Besuelva estas ecuaciones para obtener las probabilidades de estado estable. @Q