結論から言うと、どちらでも構わない。
HTML5を使用したから良いサイト、XHTMLだから悪いサイトという訳でもない。
IE8などのブラウザではHTML5要素をサポートしていないので、それらを認識させるにはいくつかのプラグインを使用する必要がある。その分、当然ファイル容量は大きくなり、負荷がかかる分、表示速度にも影響が出てくる恐れもある。
要は、状況に応じて使い分ければいいだけのこであって、必ずしもHTML5やCSS3を使用して作る必要はないということである。無理して使用しても、かえって自分の首を絞めることにもなりかねない。
例えば、古いバージョン(IE8など)のブラウザも対象となっていて、HTMLのバージョンの指定は特にないといった場合には、XHTMLを使用した方が、余計なファイル等を使用する必要もなく、結果的にはスマートなサイトが出来上がって、むしろ良いのではないかもしれない。
その他にも、プログレッシブエンハンスメント(PE)といった考え方もあったりするので、それぞれの状況に応じて、妥協点などを見つけて、一番よい制作方法で進めていけば良いでしょう。
とはいえ、最近はブラウザのバージョンアップも速く、古いブラウザにも完全に対応するということも少なくなってくると思われますし、またスマートフォンのみの制作といった場合には、ブラウザの種類も限定されるので、そういったときには積極的にHTML5を取り入れていっても良いでしょう。