Primeiro coloque esse código dentro da tag <head>
para fixar o problema de suporte a html5 do Internet Explorer:
<!--[if IE]>
<script src"http://html5shiv.googlecode.com/svn/trunk/html5.js"></script>
<![endif]-->
Depois utiliize este código para colocar o Audio Player no site:
<audio controls preload>
<source src="URL-do-arquivo.ogg" audio/ogg />
<source src="URL-do-arquivo.mp3" audio/mp3 />
<source src="URL-do-arquivo.wav" audio/wave />
<object class="playerpreview" data="http://www.alsacreations.fr/flashswf/dewplayer-bubble.swf"
height="20" type="application/x-shockwave-flash" width="200">
<param name="movie" value="http://www.alsacreations.fr/flashswf/dewplayer-bubble.swf" />
<param name="FlashVars" value="mp3=URL-do-arquivo-Mp3" />
<embed href="http://www.alsacreations.fr/flashswf/dewplayer-bubble.swf"
width="200" height="20" name="movie" align="" type="application/x-shockwave-flash"
flashvars="mp3=URL-do-arquivo-Mp3">
</embed>
</object>
</audio>
Obs.: Onde está de azul claro você deve substituir pelo link de seu arquivo de audio hospedado no servidor.