作为未来的SEO精英，你需要深入了解并充分利用robots.txt和网站地图，这些都是SEO的必备知识之一，龙阳网络总结了网站地图和robots.txt的各种相关问题，给大家参考。
一，关于robots.txt的相关问题
1，如果网站以前某些页面被收录了，而现在我不想让搜索引擎收录。需要注意的事项：
- 当你的网页已被收录，但想用robots.txt删除掉，一般需要1-2个月。
- 结合Google网站管理员工具，你可以马上删除被Google收录的网页。（推荐阅读：屏蔽网页被搜索引擎收录的方法）
2，我发现有一个网站被K了，但它加了我的网站链接，我可以把它屏蔽吗？
被K的网站加你网站的链接，对你网站是没有太大影响的。通过robots.txt也没有办法屏蔽外部链接。
3、我的首页是index.html，我可以把index.asp屏蔽吗？
理论上是没大问题，但为了安全起见，请不要屏蔽。不屏蔽是一定没事，但屏蔽了，可能存在隐患。
4、我不喜欢我网站的后台登陆地址被搜索引擎收录，同时也不希望放在robots.txt里被其他人知道。我怎么来屏蔽呢？
你可以在后台登陆地址的首页里，添加noindex标签。
5、如果我只是具体某一个页面不希望被收录，怎么办？
可以用robots.txt屏蔽这个页面，也可以用noindex标签在该页面里屏蔽这个页面。（noindex标签的使用，菜鸟可以不看的）
noindex标签的使用介绍！确实有这方面需求的同学，详细说明了解这里：
使用<META>标签拦截或删除网页：在网页的 <HEAD> 部分添加适当的 <META> 标签。
拦截所有搜索引擎把网页收录：
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
只是拦截百度蜘蛛爬取网页，而允许其他搜索引擎收录：
<META NAME="baiduspider" CONTENT="NOINDEX, NOFOLLOW">
允许搜索引擎收录你的网页，但禁止其追踪外部链接（如：zh.wikipedia.org 为了防止链接泛滥采用了此例）：
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
允许搜索引擎收录你的网页，但禁止其收录网页上的图片：
<META NAME="ROBOTS" CONTENT="NOIMAGEINDEX">
注：哪一个网页需要拦截或删除，则在那个网页添加<META> 标签，其他页面不会受影响。<META> 标签针对的是具体的某个网页，而不是整个网站。
二，关于网站地图的相关问题
所谓网站地图，是指指明了一个网站结构、栏目和内容说明等基本信息的网页，就像人们对一个陌生城市的了解需要借助于城市地图一样，对于一个网站信息的快速了解也可以借助于网站地图进行，反过来说就是，一个设计良好的网站地图应该可以发挥让用户快速了解网站的结构和内容的作用。这只是深圳SEO站(http://www.baidu-seo.net.cn/)对网站地图的一种描述，并不是规范的定义，如果其他资料中有不同的表达方式也是完全正常的。
正常的网站地图实际上并不是一个图片（有些网站错误地用图片来制作“网站地图”），而是一个清晰地列出了网站各个栏目、网页及其相互链接关系的静态网页，并且通常以“sitemap.htm”为文件名，放置在根目录下。
网站地图的作用，除了为用户快速了解网站结构和内容提供方便之外，更重要的一个作用是，大部分技术型搜索引擎为了收录网站中的内容页面，搜索蜘蛛都会先通过网站地图的链接来进入深层次网页，也就是所，设计规范的网站地图还要给搜索引擎“看”，这对于网站的搜索引擎优化推广策略尤其重要。
网站地图示例：http://www.baidu-seo.net.cn/sitemap.xml
（推荐阅读：网站SEO地图生成器-比老虎要好）
（推荐阅读：生成google网站地图最简单的工具）
（推荐阅读：入门知识：做seo需要robots.txt吗？）
推荐阅读
