برای این کار میتونید از محیط ماتریس در داخل محیط ماتریس استفاده کنید. برای نمونه، مثال زیر رو ببینید.
\documentclass{article}
\usepackage{mathtools}
\begin{document}
\[
\left[
\begin{matrix*}[l]
1 & 2 & 3 \\
\left. \begin{matrix}
2 \\ 3 \\ 4
\end{matrix}\right\}a &
\begin{matrix}
3 \\ 3 \\ 4
\end{matrix} &
\begin{matrix}
4 \\ 3 \\ 4
\end{matrix}
\end{matrix*}
\right]
\]
\end{document}