这是学习robots.txt代码语法学习笔记
为什么要用robots.txt?
屏蔽一些不想搜索引擎搜漫游器搜取的页面。
屏蔽一些404页面，没用的页面等等，提高搜索引擎质量等，
让所有搜索引擎User-agent:*
禁止所有搜索引擎Disallow:/
robots文件夹屏蔽User-agent:Baiduspider
Disallow:/admin/
...
SEM-37计
学习和分享搜索引擎营销(sem) 电子商务经验!
2010年1月6日
robots用法，robots.txt代码语法学习笔记
Tags: robots 搜索引擎
发布:37计 | 分类:网站研究 | 评论:0 | 引用:0 | 浏览:
网站分类
Search
热文排行
最近发表
文章归档
- 2011 May (2)
- 2011 April (2)
- 2010 November (6)
- 2010 October (1)
- 2010 July (3)
- 2010 January (1)
- 2009 September (4)
- 2009 August (2)
- 2009 July (5)
- 2009 June (13)
- 2009 May (12)
- 2009 April (22)
- 2009 March (53)
- 2009 February (41)
- 2009 January (22)
- 2008 December (48)
- 2008 November (104)
- 2008 October (19)
- 2008 September (4)
- 2008 August (26)
- 2008 July (12)
- 2008 June (5)
- 2008 May (1)
Tags
- 新奇酷 (69)
- 设计师 (37)
- 创意 (28)
- 设计 (25)
- 笔记 (22)
- 淘宝网 (18)
- 手机 (9)
- 工具 (8)
- iPhone (8)
- 淘宝 (7)
- 环保 (7)
- 灯 (7)
- 搜索引擎 (6)
- 37计 (6)
- google (6)
- 珠宝设计 (6)
- TBW淘宝网 (6)
- 电子商务 (5)
- 软件 (5)
- 百度 (5)
- 电脑 (5)
- 鼠标 (5)
- 太阳能 (5)
- 马云 (4)
- 关键字 (4)
- 阿里妈妈 (4)
- 网络 (4)
- NETiTV (4)
- LED (4)
- 新颖 (4)
- 充电器 (4)
- 游戏 (4)
- 余世维 (3)
- PR (3)
- 网站 (3)
- seo (3)
- 赚钱 (3)
- 技术 (3)
- 阿里巴巴 (3)
- 百度有啊 (3)
- USB (3)
- 温度计 (3)
- 插座 (3)
- 电池 (3)
- 机器人 (3)
- 音箱 (3)
- 淘江湖 (3)
- JewelCAD (3)
- 阿里旺旺 (3)
- 360聊天软件 (3)