• 河南网站建设-郑州网站建设-上海网站建设-SEO优化-网络营销-经典美文

  • 专注网站建设 服务热线: 13061801310

当前位置:东东网 > 近期动态 > 东东观点 > 正文

Robots.txt 文件应放在哪里?

发布时间:2017-01-04 | 发布者: 东东工作室 | 浏览次数:

  robots.txt文件放在哪里
  robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如 http://www.abc.com)时,首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

转载请标注:东东工作室——Robots.txt 文件应放在哪里?