一般我们使用nginx常用的就那么几项，简单代理、反向代理、代理转发、负载均衡、重定向，等等。但是有时候又不得不进行另外的一些配置，下面介绍几种"防盗"配置。

爬虫 User-Agent 过滤

我们通过变量$http_user_agent来实现，变量$http_user_agent可以直接在location中引用。~*表示不区分大小写的正则匹配，其实，大部分爬虫都是Python爬虫，通过python就可以过滤掉80%的Python爬虫。

location / {
  if ($http_user_agent ~* "python|curl|java|wget|httpclient|okhttp") {
      return 503;
  }
  # 正常处理
  # ...
}

屏蔽文件目录

在Nginx中屏蔽文件目录，我们可以使用location指令和deny指令来实现。比如，通常我们会禁止访问版本控制的目录.git和.svn，另外，隐藏文件目录我们也会拒绝访问。

#通用备份和归档文件

location ~* "\.(old|orig|original|php#|php~|php_bak|save|swo|aspx?|tpl|sh|bash|bak?|cfg|cgi|dll|exe|git|hg|ini|jsp|log|mdb|out|sql|svn|swp|tar|rdf)#34; {
    deny all;
}

#拒绝访问 .git 和 .svn 目录

location ~ (.git|.svn) {
    deny all;
}

#拒绝访问隐藏文件和目录

location ~ /\.(?!well-known\/) {
    deny all;
}

图片防盗链

我们通过使用valid_referers指令来定义合法的引荐网址列表，只有这些网址才能正常地获取到图片。如果请求没有提供或者不属于合法的引荐网址，直接返回404或者重定向到某个页面。

location ~* \.(gif|jpg|png|swf|flv)$ {
  root html;

  valid_referers none blocked *.nginx.com;

  if ($invalid_referer) {
    rewrite ^/ www.nginx.cn;
    # return 404;
  }
}

防盗图配置

跟上面一样，我们也是通过使用valid_referers指令来定义合法的引荐网址列表，只有这些网址才能正常地获取到图片。但是，如果请求没有提供或者不属于合法的引荐网址，我们返回一张固定的图片，让它获取不到真正的图片。

location ~ \/public\/(css|js|img)\/.*\.(js|css|gif|jpg|jpeg|png|bmp|swf) {
  valid_referers none blocked *.jslite.io;
  if ($invalid_referer) {
      rewrite ^/  http://wangchujiang.com/piratesp.png;
  }
}

阻止常见攻击

像base64编码的网址、javascript eval()的网址，通常是攻击来源，我们可以阻止它，不让它访问。

#base64编码的网址

location ~* "(base64_encode)(.*)(\()" {
    deny all;
}

#javascript eval() url

location ~* "(eval\()" {
    deny all;
}

使网站不可索引

如果我们不想搜索引擎收录我们的网站，我们可以通过向请求头中添加X-Robots-Tag标签，这个标签会告诉搜索引擎爬虫不要索引网站的任何内容。另外，可以配置我们的网站地图robots.txt返回全部都不允许，这样，搜索引擎爬虫也不会索引我们的网站。

add_header X-Robots-Tag "noindex";

location = /robots.txt {
  return 200 "User-agent: *\nDisallow: /\n";
}