הרצאה 9-12 - תהליכים סטוכסטיים

Question 1

write the joint probability function for both a regular and a stationary independent stochastic process

Answer 1

Question 2

וירוס מסוים יכול להתרבות או למות בהסתברות מסוימת. מסתכלים על כמות הוירוסים כפונקציה של הזמן בתור משתנה אקראי. האם זה תהליך מרקוב או לא

Answer 2

כן, זה תהליך מרקוב, כיוון שהמצב העתידי תלוי במצב הנוכחי, למשל אם אדם אחד חולה או 1000 התוצאה תהיה שונה

Question 3

define a markov process. what is the condition for a markov process?

Answer 3

Question 4

define a stationary process, and develop the expression for a stationary markov process

Answer 4

Question 5

define a homogeneous process. is it the same as a stationary process?

Answer 5

תהליך הומוגני הוא תהליך בו הסתברות המעבר היא בלתי תלויה בזמן, כלומר

p( x₁ , t₁ + c | x₂ , t₂ + c ) = p( x₁ , t₁ | x₂ , t₂ )

ההבדל בין תהליך זה לתהליך סטציונרי היא שבתהליך סטציונרי מתקיימים הן התנאי הנ”ל והן התנאי שההסתברות האפריורי בלתי תלויה בזמן, כלומר

p( x₁ , t₁ + c ) = p( x₁ , t₁ ) = p( x₁ )

ולכן תהליך סטציונרי הוא גם הומוגני, אך ההפך לא נכון בהכרח

Question 6

Answer 6

Question 7

name the two approaches for solving stochastic processes and the key parameter of each

Answer 7

Question 8

develop and explain the chapman Kolmogorov equation

Answer 8

Question 9

אפשר לחשוב על תהליך מרקוב כעל אוטומט, עבורו יש לנו מטריצת הסתברויות מעבר בין אתר לאתר. תארו את תכונות מטריצה זו

Answer 9

Question 10

whats the difference between an irreducible and a reducible markov chain?

Answer 10

Irreducible = you can get from any vertex to any other vertex in a finite number of steps. In particular, all vertices must have an incoming and an outgoing probability.

as a result, for an irreducible markov chain, the transition matrix must have at least one off-diagonal non-zero value in every row and column

Question 11

define a periodic state in a markov chain

Answer 11

periodic state__– A state in a Markov chain is periodic if the chain can return to the state only at multiples of some integer larger than 1. one can prove all states of an irreducible markov chain have the same period.

Question 12

explain the frobenius perron theorem

Answer 12

Question 13

A rat in a closed maze moves in a random direction at each intersection. The process is:

1. Irreducible aperiodic
2. Reducible aperiodic
3. Irreducible periodic
4. Reducible periodic

How would the answer change if we block of a section of the maze?

Answer 13

1. Irreducible aperiodic

ניתן להגיע מכל צומת במבוך לכל צומת אחרת בכמות סופית של צעדים

אין מחזוריות מוגדרת

אם נחסום חלק מהמבוך אז התהליך ישתנה ויהפוך להיות

reducible

Question 14

write the Fokker-Plank eq and show that the diffusion equation is a private case of it

Answer 14

Question 15

write down and explain the master equation

Answer 15

Question 16

we can look at the random walk problem as a markov chain. which of the following is true about the chain?

1. Irreducible aperiodic
2. Reducible aperiodic
3. Irreducible periodic
4. Reducible periodic

Answer 16

3. Irreducible periodic

ניתן להגיע מכל אתר לכל אתר אחר, וניתן להגיע לאתרים הזוגיים רק בצעדים זוגיים

Question 17

Define the Transitional probability rate matrix Wnl. can its values be larger than one?

Answer 17

Question 18

what are the starting conditions of the Master equation?

Answer 18

Question 19

what is detailed balance. what is the further assumption that we can make for physical systems and what can we derive from it?

Answer 19

Question 20

what is the kolmogorov criteria?

Answer 20

Question 21

• True or false: A Markov chain with a symmetric transition matrix in not reversible (meaning there is no detailed balance)*
• what can we say about the stationary state of such a chain?*

Answer 21

לא נכון. עבור מטריצה סימטרית, ההסתברות לכל מסלול זהה עבור המסלול ההופכי , כלומר תנאי

קולמוגורוב מתקיים ולכן יש

detailed balance

נשים לב כי עבור מטריצת מעבר סימטרית המצב הסטציונרי מקיים שההסתברות להיות בכל אחד מהמצבים זהה

Question 22

Answer 22

True - The transitions to D are irreversible since there is no way out of it, which means the chain can not be in detailed balance. The stationary state in this case is D. Also, we learn from this that if the chain is reducible, than we can’t have detailed balance

Question 23

Develop the master equation for random walk in 1D. show that in the thermodynamic limit this reduces to the diffusion equation.

Answer 23

Question 24

use the langevin approach to show that random walk acts according to the diffusion equation

Answer 24

Question 25

In an absence of food gradient and E.Coli bacterium performs a jump of distance l in a random direction. When a food gradient is present (for example a linearly increasing food amount in a given direction) the bacterium has a statistical preference to go to higher food gradients. Is it true that the probability to find the bacterium at a late time, P(x,t) is well described by a Gaussian?

Answer 25

נתרגם את השאלה לקונטקסט שלנו. כשאין גרדיאנט של אוכל נקבל גאוסיאן. בהינתן הגרדיאנט, ישנה העדפה לכיוון מסוים, ולכן נקבל שהמומנט הראשון כבר לא יהיה אפס (כמו בתרגיל מהשיעורי בית שמקבלים גאוסיאן שנע ימינה), כלומר נקבל פונקציה עולה בזמן. אף על פי כן, הקורלציה (המומנט השני) תישאר זהה. המומנט השני סופי, וקיים המומנט הראשון, לכן מתקיימים התנאים למשפט הגבול המרכזי, ולכן נקבל התפלגות נורמלית.

Question 26

Define the standard Langevin equation for a stochastic markov process. what are the assumptions that were made to recieve it? what do A and D represent

Answer 26

A (drift) represents the change in average value of X, while D represents the change in X’s variance.

Question 27

show the diffrential form of the Langevin Equation. explain the physical meaning of the expression

Answer 27

Question 28

True or False

A Process with D(X(t),t) = 0 is deterministic

Answer 28

נכון. המשמעות היא שהשונות של הצעדים שאנחנו עושים היא 0, כלומר בכל פרק זמן עושים צעד קבוע (או כזה שמשתנה בצורה קבועה), ולכן ניתן בעזרת המיקום ההתחלתי וגודל הצעד לחשב את המיקום של החלקיק בכל זמן שנרצה (כמו לפתור משוואת תנועה סטנדרטית).

Question 29

Answer 29

Question 30

• True or false*
• The random walk process / Weiner process is a stationary process*

Answer 30

• he process is not stationary since the variance is time dependant*
• Yvgeny’s answer:* The process is not stationary since it depends on t’

Question 31

• True or false*
• Continuous Markov processes (described by general A, D) are time-reversal invariant. (Reminder: time-reversal invariance means that nothing changes after simultaneously changing the flow of time and flipping the velocities)*

Answer 31

False. Let us assume that A=0 and D>0. Then when we reverse the time and velocity, the L.H.S of the Fokker-Planck equation changes sign while the right side does not since D is positive by definition. An alternate explanation: the definition of a stationary state is that the system reaches it eventually regardless of the starting conditions, so if we reverse all the velocities, we will still reach the same stationary state (meaning the progression with regards to time does not flip sign). Thus, time reversal symmetry is broken. It’s the major difference between thermodynamics (where all states strive to the same equilibrium state) and statistical mechanics, which are generally time reversal invariant.

Question 32

find the average values for the velocity and its square average value as well of the stationary state of the system

Answer 32

Question 33

Answer 33

Question 34

give an exmaple of fluctuation-dissipation relations for Brownian motion and explain its significance

Answer 34