یه راهش اینه که خودتون به صورت دستی با دستوری مثل \\[3mm] بهش فاصله بدین:
\documentclass{article}
\usepackage{amsmath,amssymb,amsthm,}
\usepackage{xepersian}
\settextfont[Scale=1.1]{XB Niloofar}
\setdigitfont[Scale=1.1]{XB Niloofar}
\begin{document}
\thispagestyle{empty}
\begin{align*}
{\normalsize f(x)=
\begin{cases}
a[x+2] & \ x > 4 \\[3mm]
[\frac{x}{3}]+b & \ x=4 \\[3mm]
\frac{x^2 -16}{x-4} & \ x<4
\end{cases}
}
\end{align*}
\end{document}
