با سلام، اول خواهش می کنم که همین کارهایی که انجام دادید را درقالب فایل کمینه در صورت سوال قرار بدید تا مفهوم خواسته شما به درستی منتقل شود.
آنچه خواسته شما است در کد زیر به راحتی اجرا می شود.
\documentclass{article}
\usepackage{subfig,amsmath}
\usepackage{xepersian}
\settextfont{XB Yas}
\setdigitfont{XB Yas}
\begin{document}
\begin{figure}[ht]
\centering
\subfloat[اولی $X^2+Y^2=Z^2$]{\includegraphics[width=3cm]{example-image-a}}
\qquad
\subfloat[دومی\newline $\frac{\sqrt{x^2+y^2}}{\sqrt{z^2}}$]{\includegraphics[width=3cm]{example-image-a}}
\qquad
\subfloat[سومی\newline $ \int_{0}^{5}\int_{0}^{K}x^2+y^2 dxdy$]{\includegraphics[width=3cm]{example-image-a}}
\caption{زیرنویس شکل \\ $k^2 + z^2 + \sqrt{x^2}$ \\ متن آزمایشی}
\label{3fig}
\end{figure}
\end{document}
خروجی کد بالا به صورت زیر است:
