雷池社区版 7.2.3 更新公告
十有八九
更新于 21 分钟前
0
2
如何应对 AI 崛起带来的爬虫横行
齐天大圣孙悟空
更新于 1 天前
大家好,我是雷池 WAF 社区版的开发者。
前几天在公司群里聊天,大家表示最近逛国内的很多技术论坛(segmentfault、oschina、gitee等等)都能看到雷池 WAF 的人机验证页面。
听到这个首先是非常荣幸,这说明雷池 WAF 得到了国内顶尖技术群体的认可。然后我们就在猜会不会是 AI 的崛起带来了爬虫的横行。
ChatGPT 的发布为技术工作者提供了很多便利,我自己日常也会通过豆包和 kimi 咨询很多技术问题,虽然 AI 回答的挺好,但是给我的答案大部分也来于各种技术论坛,典型的 ”拿你的数据,抢你的流量“。
和几个做技术社区的朋友交流了一番以后,证实了我们的想法。
“原先就被爬,AI 起来以后,防不胜防,爬的更狠了”——某位大论坛的 CEO 如是说。
一般来说,在网站根目录下放一个 robots.txt
文件,可以用于告知爬虫哪些链接可以爬,哪些链接不能爬,然而 99% 的爬虫都不会遵守 robots 协议。
最高人民检察院在 2022 年就发布了对于网络爬虫的相关处罚条例,然而还是有很多恶意爬虫逍遥法外。
除了管理规范以外,技术上一般会用以下方式来防止网站被爬:
针对以上讲到的传统反爬虫方式,其实有很多破解方案,可以轻易逃过检测:
雷池 WAF 包含了市面上绝大部分的反爬虫技术,而且可以免费使用。
关于怎么安装雷池,请参考官网的技术文档:https://waf-ce.chaitin.cn/
安装好雷池 WAF 以后开启防爬虫相关的功能即可生效,如下图:
不出意外的话,1 分钟就能完成配置。完成配置以后,访问被雷池 WAF 防护的网站,就会看到雷池正在检查客户端环境的安全性。
合法用户等待两三秒以后真正的网页内容会自动载入,恶意用户则会被阻拦。
如果检测到本地客户端被自动化程序控制,访问依然会被阻止,如下图:
验证通过后查看网页源代码,会发现 HTML 和 JS 代码也都做了动态加密保护,虽然是相同的网页,但每次刷新看到的 HTML 代码结构都不同。
看一个例子,服务端的 HTML 文件如下图:
经过雷池动态防护以后,浏览器里看到的 HTML 文件如下图:
这里要说一下,雷池的人机识别是采用的是云端验证方式,每一次验证都会调用长亭的云端 API 来辅助验证,结合长亭的 IP 威胁画像数据,浏览器指纹数据,最终对于爬虫的识别率超过 99.9%。于此同时,云端的算法和 JS 逻辑会持续自动更新,即使被厉害的大佬破解,破解的也只是过去的版本,我们永远跑在攻击者的前面。
另外,如果有人能绕过雷池的人机验证,欢迎来长亭办公室找我,我请你吃一个月的 KFC。
看着这么高的识别率,网站站长们肯定会担心这会不会影响 SEO,会不会影响搜索引擎对于网站页面的收录情况。
答案当然是 “不会”,雷池贴心的提供了各大搜索引擎的爬虫 IP 列表,如果对 SEO 有需求,只需要对这些 IP 加白即可。
最后,对爬虫技术、或者反爬虫技术、或者 WAF 技术感兴趣的同学,欢迎扫描下方二维码加入雷池社区版技术交流群与我们一起交流。
4
2
你的WAF能力如何?雷池社区版的安全能力测试
张华杰
更新于 8 小时前
最近雷池社区版很火,各大技术群都在讨论
引用官网文档的一段话:
SafeLine,中文名 "雷池",是一款简单好用, 效果突出的 Web 应用防火墙(WAF)
,可以保护 Web 服务不受黑客攻击。
雷池通过过滤和监控 Web 应用与互联网之间的 HTTP 流量来保护 Web 服务。可以保护 Web 服务免受 SQL 注入
、XSS
、 代码注入
、命令注入
、CRLF 注入
、ldap 注入
、xpath 注入
、RCE
、XXE
、SSRF
、路径遍历
、后门
、暴力破解
、CC
、爬虫
等攻击。
作为一个见证雷池社区版从几百人使用到几十万人的元老用户,感觉十分欣慰,大家都看到这款国产waf的崛起。
说到WAF,很多人都会疑惑,为何雷池社区版能脱颖而出,一定是安全能力。
网上有大量的工具可以测试waf的安全能力
下面介绍一款工具,据说是热心的社区版用户为测试雷池社区版的能力专门研发的,有需要的小伙伴可以进行二次开发。
项目地址:https://github.com/chaitin/blazehttp
简单介绍
BlazeHTTP 是一款简单易用的 WAF 防护效果测试工具。
📦 样本丰富:目前总样本33669条,可以手动替换样本
🚀 无需配置:提供图形化界面和命令行版本,可直接通过 Release 下载预编译版本,也可以克隆代码本地自行编译
📖 报告导出:导出所有样本的执行结果,包括样本属性,执行时间,状态码,是否拦截等
为了方便大家使用,这里使用GUI版本测试
输入:git clone https://github.com/chaitin/blazehttp.git && cd blazehttp 进行代码克隆
下载完成后可以使用ls 看到文件都已经存在
2.本地执行go run gui/main.go 启动gui界面
执行完成后正常情况会自动弹出一个界面,弹出后,后续相关操作就直接在界面执行即可
3.填入需要测试的站点,直接测试
注意需要关闭雷池社区版的高级功能,比如人机验证、动态防护和频率限制,因为会把攻击ip直接拦截,测试不到真实的检测拦截效果
输入目标网站,开始测试!根据实际电脑配置设置工作线程,线程越多理论速度越快
有些低配置机器会因为工具的高pqs打满带宽,目的不是为了ddos,需合理设置线程
雷池的表现,如果出现高pqs打满带宽和cpu的情况,部分请求会走by pass(放通的逻辑,业务至上
如果降低qps,设置30个工作线程,可以明显的看到雷池的检出率上升为92.5%
再降低速度,观察雷池的拦截情况,效果非常好
在雷池的管理端,可以看到所有的攻击日志,也可以对每一个攻击请求进行ai分析
关于工具 还是可以查看样本的
查看白样本和黑样本,确认样本是否合理
还可以直接找到测试结果中没有拦截的样本进行分析,然后手动加一些自定义的黑名单规则进行补充拦截
0
1
雷池社区版 7.1.1 LTS 更新公告
十有八九
更新于 1 天前
LTS(Long Term Support,长期支持版本)是软件开发中的一个概念,表示该版本将获得较长时间的支持和更新,通常包含稳定性、性能改进和安全修复,但不包含频繁的新特性更新。LTS 版本适合企业和生产环境使用,因为它提供了更高的稳定性和可靠性。
0
3
为什么老外如此钟爱国产 WAF
齐天大圣孙悟空
更新于 3 天前
大家好,我是长亭雷池 WAF 社区的开发者,这段时间一直在忙着搞雷池国际版,前后搞了两三个月,总算初步有了一些收获,写个帖子和大家分享一下。
雷池 WAF 社区版是由长亭科技打造的一款面向开发者社区的 Web 应用防火墙(WAF)
, 优点是简单好用,效果突出,可以保护 Web 服务不受黑客攻击。
雷池官网:https://waf-ce.chaitin.cn/
雷池 WAF 社区版最早发布在 GitHub,到目前已有一年多时间,累计装机量也超过了 25 万台,收获了 12.7k 颗 star,是 GitHub 上最受欢迎的 WAF 项目,没有之一。
起初雷池 WAF 只有中文版,虽然也有不少老外提出希望推出英文版的想法,当时我认为这些只不过是 GitHub 上自动刷 ISSUE 的机器人,一律不予理睬。
过了一段时间,我发现是我错怪了老外,他们人还怪好嘞。老外们看到我没有响应这些翻译的需求,着急的不行,希望我们开放翻译文件就行,他们自己来做翻译。
在这期间,老外们天天顶着 Google 翻译在用雷池,看到他们截图的机翻页面,效果实在有点惨不忍睹。
让我想起多年前汉化版的 AWVS 扫描器,上面有个大大的按钮叫 “救命”,研究了一番,才知道这个按钮实际上应该叫 “帮助(Help)”。
甚至还有一批老外,想方设法注册微信来联系我们,还有一批老外,历经磨难注册支付宝来我们国内的平台上购买雷池授权,并表示 “就是爱用,钱不是问题”。
为什么说 “历经磨难注册支付宝” 呢,因为我尝试用海外身份注册了一下支付宝,搞了两天也没搞定。
此刻的我终于感受到了自 1840 年鸦片战争以来从未有过的扬眉吐气。看来老外们真的很需要雷池,是时候做一个英文版了。
伴随着上面的故事,在今年的八月底,雷池国际版终于诞生了。
要说国际版和中文版除了翻译以外,到底有什么区别:
经过两个月的时间,雷池国际版的装机量也有一万台了,这个发展速度甚至超过了起初雷池中文版刚刚发布的时候。
我们创建了一个 Discord 讨论组,里面的人也逐渐多了起来,讨论氛围也越来越热烈。
国际版 Discord: https://discord.gg/BDUa5UQnTW
期间有个意外的收获,和老外聊天聊多了以后,我的英文读写水平短时间内得到了很大提升,以前的只能 ”hello, thank you, do you like mi band“,现在能在不查字典的情况下顺利解决老外遇到的问题,如果上大学的时候就能搞一搞雷池国际版,那我的六级铁定能过。
自从雷池国际版上线以后,雷池多了很多真爱粉,最直观的反应是 “国际版的付费用户占比要比中文版高好几倍”。
从日常交流的情况来看,海外用户喜欢雷池的原因主要是:
还有一些让我印象深刻的用户:
从雷池国际版的装机分布情况来看,主要用户集中在西欧和东南亚,其中西欧占了总量的一小半,而科技发达、经济繁荣的漂亮国却占比不高。
海外用户普遍 gentle,讲话很有礼貌,表达情感也很热烈,大部分用户在使用雷池以后都会积极地表达对雷池的喜爱。
然而当他们知道雷池的背后是一家中国企业的时候,有一部分人的态度会进行 180 度转变,温和一些的用户会建议我们隐藏 Logo 和品牌,在美国注册公司,而极端一点的用户因为无法接受这一点会立即停止使用雷池。
总体来说,国内的安全产品想在国际上站稳脚跟困难重重、任重道远,而我们也会持续努力,让雷池成为真正具有全球影响力的世界级安全软件。
10
3
雷池等待室自定义整活大赏
Panniyanjie
更新于 1 天前
图一 来源:@小淡淡
图二 来源:@pananniyanjie
1
2
当前 IP
雷池社区版 7.2.3 更新公告
十有八九
更新于 21 分钟前
0
2
如何应对 AI 崛起带来的爬虫横行
齐天大圣孙悟空
更新于 1 天前
大家好,我是雷池 WAF 社区版的开发者。
前几天在公司群里聊天,大家表示最近逛国内的很多技术论坛(segmentfault、oschina、gitee等等)都能看到雷池 WAF 的人机验证页面。
听到这个首先是非常荣幸,这说明雷池 WAF 得到了国内顶尖技术群体的认可。然后我们就在猜会不会是 AI 的崛起带来了爬虫的横行。
ChatGPT 的发布为技术工作者提供了很多便利,我自己日常也会通过豆包和 kimi 咨询很多技术问题,虽然 AI 回答的挺好,但是给我的答案大部分也来于各种技术论坛,典型的 ”拿你的数据,抢你的流量“。
和几个做技术社区的朋友交流了一番以后,证实了我们的想法。
“原先就被爬,AI 起来以后,防不胜防,爬的更狠了”——某位大论坛的 CEO 如是说。
一般来说,在网站根目录下放一个 robots.txt
文件,可以用于告知爬虫哪些链接可以爬,哪些链接不能爬,然而 99% 的爬虫都不会遵守 robots 协议。
最高人民检察院在 2022 年就发布了对于网络爬虫的相关处罚条例,然而还是有很多恶意爬虫逍遥法外。
除了管理规范以外,技术上一般会用以下方式来防止网站被爬:
针对以上讲到的传统反爬虫方式,其实有很多破解方案,可以轻易逃过检测:
雷池 WAF 包含了市面上绝大部分的反爬虫技术,而且可以免费使用。
关于怎么安装雷池,请参考官网的技术文档:https://waf-ce.chaitin.cn/
安装好雷池 WAF 以后开启防爬虫相关的功能即可生效,如下图:
不出意外的话,1 分钟就能完成配置。完成配置以后,访问被雷池 WAF 防护的网站,就会看到雷池正在检查客户端环境的安全性。
合法用户等待两三秒以后真正的网页内容会自动载入,恶意用户则会被阻拦。
如果检测到本地客户端被自动化程序控制,访问依然会被阻止,如下图:
验证通过后查看网页源代码,会发现 HTML 和 JS 代码也都做了动态加密保护,虽然是相同的网页,但每次刷新看到的 HTML 代码结构都不同。
看一个例子,服务端的 HTML 文件如下图:
经过雷池动态防护以后,浏览器里看到的 HTML 文件如下图:
这里要说一下,雷池的人机识别是采用的是云端验证方式,每一次验证都会调用长亭的云端 API 来辅助验证,结合长亭的 IP 威胁画像数据,浏览器指纹数据,最终对于爬虫的识别率超过 99.9%。于此同时,云端的算法和 JS 逻辑会持续自动更新,即使被厉害的大佬破解,破解的也只是过去的版本,我们永远跑在攻击者的前面。
另外,如果有人能绕过雷池的人机验证,欢迎来长亭办公室找我,我请你吃一个月的 KFC。
看着这么高的识别率,网站站长们肯定会担心这会不会影响 SEO,会不会影响搜索引擎对于网站页面的收录情况。
答案当然是 “不会”,雷池贴心的提供了各大搜索引擎的爬虫 IP 列表,如果对 SEO 有需求,只需要对这些 IP 加白即可。
最后,对爬虫技术、或者反爬虫技术、或者 WAF 技术感兴趣的同学,欢迎扫描下方二维码加入雷池社区版技术交流群与我们一起交流。
4
2
你的WAF能力如何?雷池社区版的安全能力测试
张华杰
更新于 8 小时前
最近雷池社区版很火,各大技术群都在讨论
引用官网文档的一段话:
SafeLine,中文名 "雷池",是一款简单好用, 效果突出的 Web 应用防火墙(WAF)
,可以保护 Web 服务不受黑客攻击。
雷池通过过滤和监控 Web 应用与互联网之间的 HTTP 流量来保护 Web 服务。可以保护 Web 服务免受 SQL 注入
、XSS
、 代码注入
、命令注入
、CRLF 注入
、ldap 注入
、xpath 注入
、RCE
、XXE
、SSRF
、路径遍历
、后门
、暴力破解
、CC
、爬虫
等攻击。
作为一个见证雷池社区版从几百人使用到几十万人的元老用户,感觉十分欣慰,大家都看到这款国产waf的崛起。
说到WAF,很多人都会疑惑,为何雷池社区版能脱颖而出,一定是安全能力。
网上有大量的工具可以测试waf的安全能力
下面介绍一款工具,据说是热心的社区版用户为测试雷池社区版的能力专门研发的,有需要的小伙伴可以进行二次开发。
项目地址:https://github.com/chaitin/blazehttp
简单介绍
BlazeHTTP 是一款简单易用的 WAF 防护效果测试工具。
📦 样本丰富:目前总样本33669条,可以手动替换样本
🚀 无需配置:提供图形化界面和命令行版本,可直接通过 Release 下载预编译版本,也可以克隆代码本地自行编译
📖 报告导出:导出所有样本的执行结果,包括样本属性,执行时间,状态码,是否拦截等
为了方便大家使用,这里使用GUI版本测试
输入:git clone https://github.com/chaitin/blazehttp.git && cd blazehttp 进行代码克隆
下载完成后可以使用ls 看到文件都已经存在
2.本地执行go run gui/main.go 启动gui界面
执行完成后正常情况会自动弹出一个界面,弹出后,后续相关操作就直接在界面执行即可
3.填入需要测试的站点,直接测试
注意需要关闭雷池社区版的高级功能,比如人机验证、动态防护和频率限制,因为会把攻击ip直接拦截,测试不到真实的检测拦截效果
输入目标网站,开始测试!根据实际电脑配置设置工作线程,线程越多理论速度越快
有些低配置机器会因为工具的高pqs打满带宽,目的不是为了ddos,需合理设置线程
雷池的表现,如果出现高pqs打满带宽和cpu的情况,部分请求会走by pass(放通的逻辑,业务至上
如果降低qps,设置30个工作线程,可以明显的看到雷池的检出率上升为92.5%
再降低速度,观察雷池的拦截情况,效果非常好
在雷池的管理端,可以看到所有的攻击日志,也可以对每一个攻击请求进行ai分析
关于工具 还是可以查看样本的
查看白样本和黑样本,确认样本是否合理
还可以直接找到测试结果中没有拦截的样本进行分析,然后手动加一些自定义的黑名单规则进行补充拦截
0
1
雷池社区版 7.1.1 LTS 更新公告
十有八九
更新于 1 天前
LTS(Long Term Support,长期支持版本)是软件开发中的一个概念,表示该版本将获得较长时间的支持和更新,通常包含稳定性、性能改进和安全修复,但不包含频繁的新特性更新。LTS 版本适合企业和生产环境使用,因为它提供了更高的稳定性和可靠性。
0
3
为什么老外如此钟爱国产 WAF
齐天大圣孙悟空
更新于 3 天前
大家好,我是长亭雷池 WAF 社区的开发者,这段时间一直在忙着搞雷池国际版,前后搞了两三个月,总算初步有了一些收获,写个帖子和大家分享一下。
雷池 WAF 社区版是由长亭科技打造的一款面向开发者社区的 Web 应用防火墙(WAF)
, 优点是简单好用,效果突出,可以保护 Web 服务不受黑客攻击。
雷池官网:https://waf-ce.chaitin.cn/
雷池 WAF 社区版最早发布在 GitHub,到目前已有一年多时间,累计装机量也超过了 25 万台,收获了 12.7k 颗 star,是 GitHub 上最受欢迎的 WAF 项目,没有之一。
起初雷池 WAF 只有中文版,虽然也有不少老外提出希望推出英文版的想法,当时我认为这些只不过是 GitHub 上自动刷 ISSUE 的机器人,一律不予理睬。
过了一段时间,我发现是我错怪了老外,他们人还怪好嘞。老外们看到我没有响应这些翻译的需求,着急的不行,希望我们开放翻译文件就行,他们自己来做翻译。
在这期间,老外们天天顶着 Google 翻译在用雷池,看到他们截图的机翻页面,效果实在有点惨不忍睹。
让我想起多年前汉化版的 AWVS 扫描器,上面有个大大的按钮叫 “救命”,研究了一番,才知道这个按钮实际上应该叫 “帮助(Help)”。
甚至还有一批老外,想方设法注册微信来联系我们,还有一批老外,历经磨难注册支付宝来我们国内的平台上购买雷池授权,并表示 “就是爱用,钱不是问题”。
为什么说 “历经磨难注册支付宝” 呢,因为我尝试用海外身份注册了一下支付宝,搞了两天也没搞定。
此刻的我终于感受到了自 1840 年鸦片战争以来从未有过的扬眉吐气。看来老外们真的很需要雷池,是时候做一个英文版了。
伴随着上面的故事,在今年的八月底,雷池国际版终于诞生了。
要说国际版和中文版除了翻译以外,到底有什么区别:
经过两个月的时间,雷池国际版的装机量也有一万台了,这个发展速度甚至超过了起初雷池中文版刚刚发布的时候。
我们创建了一个 Discord 讨论组,里面的人也逐渐多了起来,讨论氛围也越来越热烈。
国际版 Discord: https://discord.gg/BDUa5UQnTW
期间有个意外的收获,和老外聊天聊多了以后,我的英文读写水平短时间内得到了很大提升,以前的只能 ”hello, thank you, do you like mi band“,现在能在不查字典的情况下顺利解决老外遇到的问题,如果上大学的时候就能搞一搞雷池国际版,那我的六级铁定能过。
自从雷池国际版上线以后,雷池多了很多真爱粉,最直观的反应是 “国际版的付费用户占比要比中文版高好几倍”。
从日常交流的情况来看,海外用户喜欢雷池的原因主要是:
还有一些让我印象深刻的用户:
从雷池国际版的装机分布情况来看,主要用户集中在西欧和东南亚,其中西欧占了总量的一小半,而科技发达、经济繁荣的漂亮国却占比不高。
海外用户普遍 gentle,讲话很有礼貌,表达情感也很热烈,大部分用户在使用雷池以后都会积极地表达对雷池的喜爱。
然而当他们知道雷池的背后是一家中国企业的时候,有一部分人的态度会进行 180 度转变,温和一些的用户会建议我们隐藏 Logo 和品牌,在美国注册公司,而极端一点的用户因为无法接受这一点会立即停止使用雷池。
总体来说,国内的安全产品想在国际上站稳脚跟困难重重、任重道远,而我们也会持续努力,让雷池成为真正具有全球影响力的世界级安全软件。
10
3
雷池等待室自定义整活大赏
Panniyanjie
更新于 1 天前
图一 来源:@小淡淡
图二 来源:@pananniyanjie
1
2