什麼是Robot程式？
http://help.yam.com/search/wps/424....j%B4M%AAA%B0%C8


我猜的---->此網站已經將此討論主題的連結及關鍵字均 加入在User-agent 及 Disallow之中, 所以不管是用yahoo還是google, 其都不會找到這個主題及連結。<----我猜的

User-agent
User-agent行指出的是您想拒絕Robot的名稱。在User-agent行，"*"表示您想拒絕所有的Robot造訪。如果您想特定指定某一個 Robot，只要將該Robot的名字列出即可。或許您會質疑，這麼多的Robot中，有沒有機構在管理呢？答案是沒有。但是有許多組織在整理這些資訊，您可以參考webcrawler網站的詳細資料。 參考範例： User-agent: * #表示不接受任何一個Robot造訪。 User-agent: WebCrawler #表示不接受WebCrawler這個Robot，其他的可以接受。

Disallow
Disallow行表示你不希望Robot訪問的URL，每個URL必須單獨占一行，不能出現"Disallow: /cgi-bin/ /tmp/"這種情形。
參考範例：
Disallow: /~joe/ #表示/~joe/目錄下不歡迎瀏覽。
Disallow: / #表示全部不歡迎。