Нужно просто в корневом шаблоне (/) после открывающего тэга <html> вставить строку:
<xsl:text disable-output-escaping = 'yes'><!DOCTYPE html></xsl:text>
было найдено ещё одно решение: вместо:
<xsl:output encoding="utf-8" method="html" indent="yes" />
нужно поставить:
<xsl:output encoding="utf-8" method="html" doctype-system="about:legacy-compat" />
и всё: заголовок станет <!DOCTYPE html> как для HTML5