宣告方式 :
User-agent : * => 指適用所有引擎
User-agent : baiduspider => 指只適用百度
User-agent : googlebot =>指只適用google
Disallow : /tmp/ => 各行要分開寫
Disallow : /cgi-bin/
Allow : *.htm = > 同意所有 htm 副檔可以檢索
Disallow : /*.htm = > 不同意所有 htm 副檔可以檢索
宣告方式 :
User-agent : * => 指適用所有引擎
User-agent : baiduspider => 指只適用百度
User-agent : googlebot =>指只適用google
Disallow : /tmp/ => 各行要分開寫
Disallow : /cgi-bin/
Allow : *.htm = > 同意所有 htm 副檔可以檢索
Disallow : /*.htm = > 不同意所有 htm 副檔可以檢索