あるサイト内に別のサイトの RSS フィードをページ内に表示するにはウィジェットを使うと簡単です。
しかし、ページのコンテンツの一部として表示するには自由にタグ付けや情報を取り出して出力したい。

WordPress 2.8 以降には fetch_feed というキャッシュ機構を備えるフィード取得関数が用意されてます。
Function Reference/fetch feed « WordPress Codex
※使うには、feed.php をインクルードしておく必要がある。

これを使って ul, li のリストとしてはてなダイアリーの RSS を取得して書き出す処理を作ったので載せておきます。

fetch_feed は SimplePie を使って実装されているので、各フィードのエントリに関する項目は SimplePie Documentation: SimplePie_Item を参考にできます。

エントリーのタイトルから [タグ] は取り除くようにしています。自分は最後のタグとタイトルの間にスペースを1つ入れるルールにしているため上記のような簡略処理で書きました。