robots.txt

Contents

1. 历史
2. robots.txt
3. nginx
4. 总结

中文名：一行代码，让客户侧设备远离搜索引擎魔爪 为了让搜索引擎更好地为我们服务，大家都对SEO有所耳闻吧。然而有时候，卖给客户的设备，并不希望搜索引擎能够搜索到……

历史

我们的设备不应该暴露在搜索引擎头条，但是这个真的出现过，我们公司同事内部发出来的，以及在某些漏洞信息平台上… 客户该不该让某些设备暴露在公网，我们先不予讨论，本文讨论的是：设备暴露在公网之后

robots.txt

我们需要告诉搜索引擎，不要爬我。robots.txt 早已是业界规范，更多信息： http://www.robotstxt.org/

nginx

location = /robots.txt {return 200 "User-agent: *\nDisallow: /\n";}

一行代码，需要放在合适的位置即可，配置好的示例：https://23.106.155.32/robots.txt

总结

针对有些设备被搜索引擎搜索到，可能给客户造成一定影响，特写此文，让我们的设备更专业。