سلام
اون بیرون‌زدگی به‌خاطر اینه که در انتهای خط، یک عبارت ریاضی اومده و نتونسته بشکنه. دو تا راه پیشنهاد می‌کنم.
۱) تغییراتی در کاما ایجاد بشه که لیتک بتونه در محیط ریاضی، بعد از کاما رو ببره خط بعد. کافیه این دستورها رو بذارید قبل از \begin{document}:
\makeatletter
\def\old@comma{,}
\catcode`\,=13
\def,{%
\ifmmode
\old@comma\discretionary{}{}{}%
\else
\old@comma
\fi
}
\makeatother
۲) روش دوم اینه که عبارتی رو که میاد به فهرست، کوتاه‌تر کنین و یا قبل از آخرین عبارت ریاضی، ببرینش خط بعدی.
\caption[short text]{long text}
یا
\caption[first line \newline second line]{first line second line}
