با سلام
شما می توانید از دستورات زیر استفاده کنید:
\documentclass{report}
\usepackage{amsmath}
\begin{document}
$\{ 1 2 3\}$
$\big\{ 1 2 3\big\}$
$\Big\{ 1 2 3\Big\}$
$\bigg\{ 1 2 3\bigg\}$
$\Bigg\{ 1 2 3\Bigg\}$
$\left\{ {\begin{array}{*{20}{c}}
1&2&3\\
4&5&6\\
7&8&9
\end{array}} \right\}$
\end{document}
نتیجه به صورت زیر خواهد بود:
ویرایش
با توجه به ویرایش سوال پاسخ شما به صورت زیر خواهد بود:
\documentclass{report}
\usepackage{amsmath}
\begin{document}
$\{ [1 2 3]\}$
$\big\{ \big[1 2 3\big]\big\}$
$\Big\{\Big[ 1 2 3\Big]\Big\}$
$\bigg\{ \bigg[1 2 3\bigg]\bigg\}$
$\Bigg\{\Bigg[1 2 3\Bigg]\Bigg\}$
$\left\{ \left[{\begin{array}{*{20}{c}}
1&2&3\\
4&5&6\\
7&8&9
\end{array}} \right]\right\}$
\end{document}
و نتیجه به صورت زیر است:
