فایل شما رو با تکلایو 2017 (و کمی اصلاحات) اجرا کردم و مشکلی نداره:
\documentclass{article}
\usepackage{amsthm,amssymb,amsmath}
\usepackage{algorithm}
\usepackage{algorithmic}
\usepackage{xepersian}
\newtheorem{algoritm}{الگوریتم}
\settextfont{Yas}
\begin{document}
\begin{algorithm}
\caption{$ \textbf{یک الگوریتم عملی $ \mathbf{GN} $ برای $ \mathbf{SLRP} $ ($ \mathbf{SLRPGN} $) } $}
\begin{algorithmic}[1]
\STATE $ A\in \mathbb{R}^{n\times n}$ را بگیر و $ k<n $ و پارامتر $ \varepsilon > 0 $ را مشخص کن.
\STATE قرار بده $ i = 0 $ و ماتریس رتبه-$ k $ $ X_{0}\in \mathbb{R}^{n\times k}$ را مشخص کن.
\STATE اگر شرط توقف برقرار است، توقف کن، در غیر این‌صورت به گام 4 برو.
\STATE $ Y:=X^{i}((X^{i})^{T}X^{i})^{-1} $ و $ Z=AY $ را محاسبه کن.
\STATE $ X^{i+1}:=Z - X^{i}(Y^{T}Z-I)/2 $ را محاسبه کن.
\STATE یکی به $ i $ اضافه کن و به گام 3 برگرد.
\STATE اگر لازم بود، زوج‌های ریتز $ A $ را از آخرین تکرار $ X $ به دست می‌آوریم.
\end{algorithmic}
\end{algorithm}
\end{document}
و خروجی:
