李大壮在解决了织梦内容管理系统(dede)网站地图的问题后(详见:http://www.lidazhuang.com/open-source/584.html),开始着手对robotx.txt文件进行编写了。

重新下载后发现织梦内容管理系统(dede)的目录结构如下图所示。

 

dede目录结构

(眼尖的同学会发现,里面多了奇怪的东西phpmyadmin、l.php、phpinfo.php这些是我本地环境的文件,大家请忽略。)

这些目录都是什么意思呢?对照官方的文档。我们就可以知道,每个目录代表的内容。

“a”:  默认HTML文件存放目录

“data”: 系统缓存或其它可写入数据存放目录

“dede”: 默认后台管理目录

“images”: 系统默认模板图片存放目录

“include”: 类库文件目录

“install”: 安装程序目录,安装完后可删除

“member”: 会员目录

“plus”: 附助程序目录

“special”: 专题目录

“templets”: 系统默认内核模板目录

“uploads”: 默认上传目录

“index.php”: 网站默认首页

“robots.txt”: 搜索控制文件

“tags.php”: 标签页

对照后我们可以发现,a、images、member、plus、special、uploads、index.php、tags.php这几个目录是必须被收录的,其他的都是网站展现给访客的内容了。 我们可以屏蔽掉。所以最后的出来robotx.txt文件如下:

# robots.txt generated at http://www.lidazhuang.com
User-agent: *
Allow: /
Disallow: /data
Disallow: /cwa
Disallow: /include
Disallow: /install
Disallow: /templets
Sitemap:http://*.com/sitemap.xml

 

实际使用替换*.com为你的网站域名