甲、乙两人玩一种扑克游戏，每局开始前每人手中各有 $6$ 张扑克牌，点数分别为 $1 \sim 6$ ，两人各随机出牌 $1$ 张，当两张牌的点数之差为偶数时，视为平局，当两张牌的点数之差为奇数时，谁的牌点数大谁胜，重复上面的步骤，游戏进行到一方比对方多胜 $2$ 次或平局 $4$ 次时停止，记游戏停止时甲、乙各出牌 $X$ 次，则 $P(X=4)=$
A. $\frac{1}{16}$
B. $\frac{5}{32}$
C. $\frac{5}{64}$
D. $\frac{11}{64}$