1. 使用关键词丰富的 URL 路径。如 www.example.com/product/phone.html 要优于 www.example.com/p.php?id=123。
2. 避免使用大量参数的动态 URL。可以采用静态 URL 或使用 URL rewrite 技术。
3. 合理规划分类页面和详情页面的 URL 结构。如 www.example.com/product/phone/iphone.html。
4. 使用连字符（-）分隔关键词而非下划线（_）。
5. 保持 URL 路径简洁明，避免过长的 URL。
1. 合理设置 Disallow 指令，禁止爬虫抓取不需要被收录的页面。
2. 对于移动端网页，可以使用独立的移动端 robots.txt 文件。
3. 借助 robots.txt 文件指定网站的 sitemap 位置，方便搜索引擎抓取。
4. 根据网站的内容和结构，有针对性地设置 robots.txt 文件。
5. 定期检查 robots.txt 文件，保证其设置的合理性。
