سلام
۱- اگه دقیقا قبلا \end{proof} یک خط فرمول حالت displaystyle مثل equation یا align یا ... هست، می‌تونین خط آخر فرمول \qedhere بذارین تا اون مربعه جلوی آخرین خط فرمول بیافته.
\documentclass{report}
\usepackage{amsmath}
\usepackage{amsthm,amssymb}
\begin{document}
\begin{proof}
...
\begin{align*}
A&= B \qedhere
\end{align*}
\end{proof}
\end{document}
۲- یا مجبورین جمله‌بندی و کلمات را کمتر کنین تا مربع جا بشه.
۳- یا فاصله خطوط اون صفحه یا قسمتی از اون صفحه را کم کنین.
۴- از فاصله عمودی منفی \vspase{-3mm} جاهایی (مثلاً بعد \end{proof} اما مواظب باشین باعث نشه مربع بیافته روی متن) استفاده کنین تا قد عمودی متن کمتر بشه.
