Нужно просто в корневом шаблоне (/) после открывающего тэга <html> вставить строку:

<xsl:text disable-output-escaping = 'yes'>&lt;!DOCTYPE html></xsl:text>

было найдено ещё одно решение: вместо:

<xsl:output encoding="utf-8" method="html" indent="yes" />

нужно поставить:

<xsl:output encoding="utf-8" method="html" doctype-system="about:legacy-compat" />

и всё: заголовок станет <!DOCTYPE html> как для HTML5