说下我的方案吧， mathjax 公式外层增加识别串，例如：

^^^mathjax

f(x) = \int_{-\infty}^\infty
\hat f(\xi)\,e^{2 \pi i \xi x}
\,d\xi

^^^

marked 处理前先匹配出该串，将该串哈希 ID 替换原字符串，并存放到变量中， marked 解析完毕，再将哈希 ID 替换回原内容并做解析。

可以参考这里： https://github.com/seqs/tractor/blob/master/app/helpers/markdown.js#L81
我这里用的 KaTeX