سلام
میتونین از دستور \markboth{}{} استفاده کنین. اولین ورودی برای قسمت فصله و دومیش برای بخش. البته میتونه به تنظیمات قالب هم بستگی داشته باشه.
\documentclass{book}
\usepackage{lipsum}
\begin{document}
\chapter{Introduction}
\lipsum[1-10]
\chapter*{Conclusion}
\markboth{Conclusion}{} % <--- مثل این باید استفاده کنین
\lipsum[10-20]
\end{document}
