علت خطا اینه که از دستور \item
در محیط description
استفاده نکردید؛ بنابراین این محیط رو باید به این صورت بنویسید:
\documentclass{book}
\usepackage{amsmath,amssymb}
\usepackage{xepersian}
\settextfont{Yas}
\DeclareMathOperator{\dev}{dev}
\begin{document}
\begin{description}
\item
\[
(\underline{T}\, \underline{S}\, \underline{T}^{-1})_0 =
\dev(\underline{T} \,\underline{S}\, \underline{T}^{-1}) = \underline{T}\, \underline{S}_0\underline{T}^{-1} .
\]
\end{description}
\end{document}