再谈 ZoomEye：打造世界领先网络空间测绘能力

预览

我虽然已经不在知道创宇，不负责 ZoomEye，但后续工作都由 heige 带领团队在持续“克制🎅”地加强。客观来说，ZoomEye 一直是个很强大的网络空间搜索引擎，创造时，我都不知道有 Shodan。下文是 heige 的一些见解，供对网络空间安全感兴趣的各位参考。开放式讨论很好，欢迎更多 PK。

By 余弦

——————

文/heige

好吧，首先我必须承认我基本不关注Alexa这个排名，基本也很少关注SEO的东西，我记得好像是去年我发现我们Google搜索ZoomEye跟Seebug第一页好像都没有，为此我还批评了下我们的相关leader，不过我们自己的百度统计里PV/UV啥的数据我记得还是关注一段时间的，给领导汇报的时候顺带提一下，不过这个也只是我们对比自己同期的一些数据变化而已！

我确实对Alexa这个算法啥的是基本不了解的，姑且认为它有一定的科学性，如果说Alexa数据可以侧面发现一些近期（90天）访问量啥的应该还算好。

在我看来：由近90天的alexa排名靠前来推出是“最大的”这种结论，无疑就是一个笑话！

如果上面说我们不太重视Alexa、SEO啥的指标，那么下面我要说的无疑是我们“自宫”了！！！！

正常情况下ZoomEye的查询速度还是相对非常快的，但是前面有段时间一直被500错误困扰，后面排查有几次是有人CC攻击（当时我还在朋友圈吐槽来的），当然一般情况都是因为爬虫（是的，我们也是被爬对象），导致占用大量的查询资源，所以我们不得不上线我们自己的CDN产品创宇盾进行拦截。

作为国内最早（国际上第二）网络空间搜索引擎，ZoomEye一直都是网络测绘上的引领者，所谓“能力越大责任越大”，按Cos(余弦)的说法我们一直有种“自我克制”，比如对于中国区的数据我们的查询结果是要求用户使用中国IP实名（手机号）登陆才能获取的。再比如我们对个别一些敏感泄露的数据做马赛克处理等

我曾经在在朋友圈里写过“如果抛开那些外在环境等因素，ZoomEye绝对是最好的网络空间搜索引擎，没有之一”，这个也是我对Shodan的看法，如果你还在纠结所谓的”恐怖“的Alexa排名，我建议就不要搞了！Shodan作为最早的“网络空间搜索引擎”践行者有这天然的先天优势，另外它本身的美帝“国际”属性，基本所有的科技媒体及技术文档里无疑是必提的，随后才是Censys/ZoomEye，而且提到ZoomEye一般就被称呼为“中国的Shodan“，而天朝在某些歪果仁那就是一个敏感词！

Shodan确实是有很多东西值得学习的，尤其是在响应速度及协议解析支持，一些新的模式的尝试等等。至于Censys虽然每次我们也提它，但是实际上在我看来之前查询非常难用都算不上是一个“搜索引擎”，不过后来有一些优化改进尤其是我注意到今年他们完成了新的融资，定位可能不在是“学术”了，他们在产品形态上，搜索体验上也做了不少优化，让我感觉自我良好的是整整迹象表明ZoomEye的一些设计上点被Shodan/Censys“参考” 比如全局匹配，所以这点上来说Shodan/Censys都是在不断优化的。

当然Shodan最大的特点就是“胆子大”（当然国内也有些胆子大的），这个可能就是上面朋友圈提到的一个主要的“外在环境因素”之一！这个可能是我们学不来的 :(

相比国内从2015年后一段时间每家公司都宣称自己有一套自己的网络空间搜索引擎并逐步转为内部，国际上也对应的出现了一些新（有种每个国家要有个搜索引擎的假象）比如BinaryEdge为此前面还有个国外小伙做个测评《Shodan BinaryEdge ZoomEye网络空间搜索引擎测评》：

https://www.freebuf.com/articles/network/206656.html

当然国内也有一些做过这些测评的文章，做这种测评其实还是有很多坑的，这个跟每个搜索引擎的设计机制有关系 比如ZoomEye是有历史数据的，如果你要比对可能指定时间段可能更加合适。再比如关于重复数据的问题:

https://www.zhihu.com/question/27697042/answer/860639315

关于网络空间测绘上的一些理解，我在今年KCon 2019上404发布环节了做一个《打造世界领先网络空间测绘能力》上做了一些介绍，事后我也写了篇e文简单介绍：

https://medium.com/@80vul/talking-about-zoomeye-on-kcon-2019-4af27978c655

不过可能很多没有到KCon现场的同学可能也不太习惯我那种蹩脚的e文，我这里就把PPT给大家分享一下：

https://github.com/knownsec/KCon/blob/master/2019/24%E6%97%A5/%E6%89%93%E9%80%A0%E4%B8%96%E7%95%8C%E9%A2%86%E5%85%88%E7%BD%91%E7%BB%9C%E7%A9%BA%E9%97%B4%E6%B5%8B%E7%BB%98%E8%83%BD%E5%8A%9B.pdf

总而言之，网络空间测绘或者网络空间搜索引擎是一个非常庞大的体系有非常非常多的工作要去做，这个很多的取决于成本投入，抛开人才及技术突破上的投入就存储等上的投入可能就不少，当然这种数据类的核心要素主要是两个方面：“获取更多的数据、赋予数据灵魂” 围绕这2个核心你的理解基本不会有太多偏差！