META标签最常用：
<meta name="description"content="" />
<meta name="keywords" content="" />
而对于用来屏蔽搜索引擎蜘蛛或允许比较少见：
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
NAME="ROBOTS" //是泛指所有的搜索引擎，也可以特指某个搜索引擎，例如META NAME="Googlebot"、META NAME="Baiduspide"
content=“index”//部分有四个命令：index、noindex、follow、nofollow
INDEX命令：告诉搜索引擎抓取这个页面
FOLLOW命令：告诉搜索引擎可以从这个页面上找到链接，然后继续访问抓取下去。
NOINDEX命令：告诉搜索引擎不允许抓取这个页面
NOFOLLOW命令：告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。
根据以上的命令，我们就有了一下的四种组合
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW" >：可以抓取本页，而且可以顺着本页继续索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">：不许抓取本页，但是可以顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">：可以抓取本页，但是不许顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">：不许抓取本页，也不许顺着本页抓取索引别的链接。
