با سلام
برای این کار چند راه دارید:
الف) کوچک کردن فونت و یا فرمول ها که اصلا توصیه نمی شود.
ب) خلاصه نویسی فرمول. به عنوان مثال پیوند زیر را مطالعه کنید.
Formatting of long equation containing a matrix?
ج) چند تکه کردن فرمول.
د) اگر بر یکپارچگی روابط اصرار دارید یک راه نیز عمود نویسی فرمول است.
نکته: Latex برای نوشتن ماتریس ها ابزارهای مناسبی دارد. لطفا قسمت Matrices and arrays پیوند زیر را مطالعه کنید.
LaTeX/Mathematics
البته سلیقه من این است که کد شما را به صورت زیر بازنویس کنم.
\begin{align} \label{DCM}
DCM=
&
\begin {bmatrix}{ccc} 1&0&0\\ \noalign{\medskip}0&\cos \left( \phi
\right) &\sin \left( \phi \right) \\ \noalign{\medskip}0&-\sin
\left( \phi \right) &\cos \left( \phi \right) \end {bmatrix}.
\begin {bmatrix}{ccc} \cos \left( \theta \right) &0&-\sin
\left( \theta \right) \\ \noalign{\medskip}0&1&0\\ \noalign{\medskip}
\sin \left( \theta \right) &0&\cos \left( \theta \right) \end {bmatrix}
. \begin {bmatrix}{ccc} \cos \left( \psi
\right) &\sin \left( \psi \right) &0\\ \noalign{\medskip}-\sin
\left( \psi \right) &\cos \left( \psi \right) &0\\ \noalign{\medskip}0
&0&1\end {bmatrix} \nonumber\\
=&\begin {bmatrix}{ccc} \cos \left( \theta \right) \cos \left(
\psi \right) &\cos \left( \theta \right) \sin \left( \psi \right) &-
\sin \left( \theta \right) \\ a & b & c \\ d & e &\cos \left( \phi
\right) \cos \left( \theta \right) \end {bmatrix}
\end{align}
\begin{align}
a & = \sin \left( \phi
\right) \sin \left( \theta \right) \cos \left( \psi \right) -\cos
\left( \phi \right) \sin \left( \psi \right)\nonumber\\
b & = \sin \left( \phi
\right) \sin \left( \theta \right) \sin \left( \psi \right) +\cos
\left( \phi \right) \cos \left( \psi \right)\nonumber\\
c& = \sin \left( \phi
\right) \cos \left( \theta \right)\nonumber\\
d & = \cos \left(
\phi \right) \sin \left( \theta \right) \cos \left( \psi \right) +\sin
\left( \phi \right) \sin \left( \psi \right)\nonumber\\
e & = \cos \left( \phi
\right) \sin \left( \theta \right) \sin \left( \psi \right) -\sin
\left( \phi \right) \cos \left( \psi \right)\nonumber
\end{align}
که خروجی به صورت زیر خواهد شد.
اگر دقت کنید به جای استفاده از
\left[ \begin {array}{ccc}
\end {array} \right]
از محیط زیر استفاده شده است:
\begin {align}{ccc}
\end {align}