Swiftbot

Swiftype是一个为你的网站定制的搜索引擎。它结合了 “最好的搜索技术、算法、内容摄取框架、客户端和分析工具”。

Swiftype是一个可以为你的网站搜索提供动力的软件

如果你有一个有许多页面的复杂网站，Swiftype提供了一个有用的界面，为你的所有页面编目和索引。

Swiftbot是Swiftype的网络爬行器。然而，与其他机器人不同，Swiftbot只抓取他们的客户要求的网站。

不过对于国内网站来说不会带来什么流量，可以选择robots.txt协议禁止。

User-agent: Swiftbot

Disallow: /

如果还是禁止不了，可以选择nginx规则禁止访问，如下：

if ($http_user_agent ~* "Swiftbot") {

 return 403;

}