\documentclass{book}
\usepackage{amsmath}
\begin{document}
\begin{equation*}\left[ \!\!\!\!
\begin{tabular}{c}
\begin{tabular}{ccc|ccc}
a&a&a&a&a&a\\
b&b&b&b&b&b\\
\hline
\end{tabular}\\
\begin{tabular}{cccccc}
a&a&a&a&a&a\\
b&b&b&b&b&b
\end{tabular}
\end{tabular}\!\!\!\! \right]
\end{equation*}
\end{document}
با این کد خروجی زیر به دست میاد:
با توضیحات شما من این شکل رو برداشت کردم. اگر شکل دیگه ای مد نظرتون هست بفرمایید تا اصلاح کنم.
