// Knuth's model of a fair die using only fair coins
mdp

module die

	// local state
	s : [0..7] init 0;
	// value of the dice
	d : [0..6] init 0;
	
	[fair]      s=0 -> 0.5 : (s'=1) + 0.5 : (s'=2);
        [ufair1]    s=0 -> 0.6 : (s'=1) + 0.4 : (s'=2);
        [ufair2]    s=0 -> 0.7 : (s'=1) + 0.3 : (s'=2);
	[fair]      s=1 -> 0.5 : (s'=3) + 0.5 : (s'=4);
	[ufair1]    s=1 -> 0.6 : (s'=3) + 0.4 : (s'=4);
        [ufair2]    s=1 -> 0.7 : (s'=3) + 0.3 : (s'=4);
        [fair]      s=2 -> 0.5 : (s'=5) + 0.5 : (s'=6);
	[ufair1]    s=2 -> 0.6 : (s'=5) + 0.4 : (s'=6);
	[ufair2]    s=2 -> 0.7 : (s'=5) + 0.3 : (s'=6);
        [fair]      s=3 -> 0.5 : (s'=1) + 0.5 : (s'=7) & (d'=1);
	[ufair1]    s=3 -> 0.6 : (s'=1) + 0.4 : (s'=7) & (d'=1);
	[ufair2]    s=3 -> 0.7 : (s'=1) + 0.3 : (s'=7) & (d'=1);
	[fair]      s=4 -> 0.5 : (s'=7) & (d'=2) + 0.5 : (s'=7) & (d'=3);
	[ufair1]    s=4 -> 0.6 : (s'=7) & (d'=2) + 0.4 : (s'=7) & (d'=3);
	[ufair2]    s=4 -> 0.7 : (s'=7) & (d'=2) + 0.3 : (s'=7) & (d'=3);
	[fair]      s=5 -> 0.5 : (s'=7) & (d'=4) + 0.5 : (s'=7) & (d'=5);
	[ufair1]    s=5 -> 0.6 : (s'=2) + 0.4 : (s'=7) & (d'=6);
	[ufair2]    s=5 -> 0.7 : (s'=2) + 0.3 : (s'=7) & (d'=6);
	[]          s=7 -> 1: (s'=7);
	
endmodule

rewards "coin_flips"
	[fair] s<7 : 1;
	[ufair1] s<7 : 1;
	[ufair2] s<7 : 1;
endrewards

label "one" = s=7&d=1;
label "two" = s=7&d=2;
label "three" = s=7&d=3;
label "four" = s=7&d=4;
label "five" = s=7&d=5;
label "six" = s=7&d=6;
label "done" = s=7;