سلام
به‌جای بستۀ subfigure از بستۀ subcaption استفاده کنین.
\documentclass[12pt, a4paper, openany]{book}
\usepackage{subcaption}
\usepackage{newfloat}
\usepackage{graphicx, xcolor}
\usepackage[localise=on, Kashida=off]{xepersian}
\SepMark{-}
\settextfont[Scale=1.2]{Amiri} %{B Nazanin}%{IRNazanin}
%\setdigitfont[Scale=1.2]{IRMitra} %{Yas}%{IRNazanin}
%\setmathsfdigitfont[Scale=1.4]{IRMitra} %{Yas}%{IRNazanin}%{IRMitra}
\DeclareFloatingEnvironment[%
placement={!htb},%
name=نمودار,%
listname={فهرست نمودارها},%
within=chapter%
]{scheme}
\begin{document}
\tableofcontents
{%
\let\oldnumberline\numberline%
\renewcommand{\numberline}{\schemename~\oldnumberline}%
\listofschemes%
}
\chapter{فصل اول}
\section{قسمت اول}
تست
\begin{scheme}
\centering
\begin{subscheme}{3cm}
\includegraphics[width=3cm]{example-image-a}
\label{fig1}
\caption{کپشن 1}
\end{subscheme}
\begin{subscheme}{3cm}
\includegraphics[width=3cm]{example-image-b}
\label{fig1}
\caption{کپشن 2}
\end{subscheme}
\caption{کپشن اصلی}
\label{fig2-11}
\end{scheme}
\end{document}
در تعریف محیط جدید، آپشن‌های
within=chapter
placement={!htb}
نیز اضافه کردم تا شمارۀ نمودارها در هر فصل از یک شروع بشه و اینکه دیگه نیاز نباشه هر سری برای این محیط شناور اون آپشن محل قرارگیری رو بزنین.
برای اضافه‌شدن کلمۀ «نمودار» به فهرست، دستور فهرست نمودار هم کمی تغییر داده شده است:
{%
\let\oldnumberline\numberline%
\renewcommand{\numberline}{\schemename~\oldnumberline}%
\listofschemes%
}
خروجی:
