باید دستور \@begintheorem را تغییر بدهی:
\documentclass[11pt]{book}
\usepackage{xepersian}
\settextfont{Yas}
\makeatletter
\bidi@patchcmd{\@begintheorem}{\itshape}{\itshape\leavevmode\\}{\typeout{Succeeded}}{\typeout{Failed}}
\makeatother
\newtheorem{example}{مثال}[chapter]
\begin{document}
\begin{example}
متن مورد نظر
\end{example}
\end{document}
هرچند با این کار شما پیش‌فرض لاتک را برای هر محیط قضیه‌مانندی که توسط دستور \newtheorem تعریف می‌شود، تغییر می‌دهی که کار درستی نیست. بهتر است محیطی جداگانه برای این کار تعریف کنی و دستور \@begintheorem و در نتیجه \newtheorem` را تغییر ندهی:
\documentclass[11pt]{book}
\usepackage{xepersian}
\settextfont{Yas}
\makeatletter
\@definecounter{example}
\newenvironment{example}{\refstepcounter{example}\trivlist
\item[\hskip \labelsep{\bfseries مثال \arabic{chapter}\@SepMark\arabic{example}}]\itshape}
{\endtrivlist}
\makeatother
\begin{document}
\begin{example}
متن مورد نظر
\end{example}
\begin{example}
متن مورد نظر
\end{example}
\end{document}
