باسلام
فایلتان اصلا کمینه نبود. مثلا شما میتوانستید با یک فایل کمینه به صورت زیر مشکل خود را مطرح کنید:
\documentclass{report}
\usepackage{amsmath}
\usepackage{amssymb}
\begin{document}
$\mathcal{w} \in $
\end{document}
که جوابش این بود که باید آرگومان mathcal را با حرف بزرگ بنویسید تا w بگذارد، یعنی:
\documentclass{report}
\usepackage{amsmath}
\usepackage{amssymb}
\begin{document}
$\mathcal{W} \in $
\end{document}
خروجی:
نکات:
الف) در واقع حالت قبلی نیز درست بود، اما در واقع کاراکتر متناظر با W کوچک در mathcal را میگذاشت.
ب) صفحه http://tex.stackexchange.com/questions/58098/what-are-all-the-font-styles-i-can-use-in-math-mode را مشاهده کنید.
ج) برخی از این موارد مثل mathcal و mathbb باید آرگومانشان حرف بزرگ باشد. جدول بخش Formatting mathematics symbols در LaTeX/Mathematics را مشاهده کنید.