甲、乙两人玩一种扑克游戏,每局开始前每人手中各有 $6$ 张扑克牌,点数分别为 $1 \sim 6$ ,两人各随机出牌 $1$ 张,当两张牌的点数之差为偶数时,视为平局,当两张牌的点数之差为奇数时,谁的牌点数大谁胜,重复上面的步骤,游戏进行到一方比对方多胜 $2$ 次或平局 $4$ 次时停止,记游戏停止时甲、乙各出牌 $X$ 次,则 $P(X=4)=$
$\text{A.}$ $\frac{1}{16}$
$\text{B.}$ $\frac{5}{32}$
$\text{C.}$ $\frac{5}{64}$
$\text{D.}$ $\frac{11}{64}$