我找到原因了，原來是和我的k-lite codec pack相衝！我移除它以後，就可以用virtual dub 編輯了！
但是現在變成有好多avi的電影檔沒有聲音了！因為k-lite codec pack裡有很多聲音的codec都沒了說…

最後只好慢慢找可以install的codec…
只install
3ivx、WMP8、WMA、AC3，最於搞定！

謝謝大家的回應！

只是不知道有沒有單獨只有各種audio codec的合成包下載？那就不用怕不小心install到其他東西了。