各大网站屏蔽搜索引擎爬虫是否是一件好事？

算是件好事，我搜索内容一般是 Reddit + Stack Exchange 的站内搜索，基本能解决99%的技术难题，搜索引擎对我来说没那么重要。

谷歌可以决定任何一个网站的生死，它能把你的网站从搜索结果移除，不需要任何理由，也没有任何规则。

如果你经营一个个人博客，可以添加一个站内搜索，如果文章很多，可以使用Elasticsearch这样的全文搜索引擎。我的博客大概有五百篇文章，使用ES后搜索达到毫秒级别。不过ES挺吃资源的，并且数据量小的时候有点杀鸡用牛刀，可以看看其它的替代品。