手机运行Docker: 从修改内核到刷入原生Linux

背景

最近收拾东西翻出了抽屉里吃灰的小米6。小米6当年可以说是神机一部，最好的835遇到了最好的MIUI9。如今放在抽屉里吃灰实在可惜，想着拿来做点什么让它继续发挥余热。

随后就萌生了一个想法：在手机上跑Docker。这样的话就可以用到很多打包好的Docker应用。后来发现有这个想法的人不止我一个，有很多大佬已经实现了。

原生安卓无法直接运行Docker的原因是：安卓虽然基于Linux，但是内核阉割了很多东西，很多Docker相关的的内核选项没有开启，需要通过刷机来进行修改。

本人总共尝试了两种方案：一种是重新编译安卓内核，开启对应选项。不过在本人的小米6，LineageOS 19.1，内核4.4上这个方案失败了；另一种是直接刷入原生的Linux系统，最终成功启动了Docker。在这里跟大家分享一下刷机的过程。

方案一：重新编译安卓内核

如果可以通过修改安卓内核来开启Docker应该是最理想的方案：这样可以在保留安卓原有功能的基础上来提高我们的可玩性。老外写过一篇详细的教程，可以按照这个来：

https://gist.github.com/FreddieOliveira/efe850df7ff3951cb62d74bd770dce27

不过很遗憾，最后这种方案失败了，一直出现报错。找了很久也没有找到解决办法，希望知道原因的小伙伴告知我一下。

准备工作

首先要找一份第三方维护的你的手机内核的源码，如lineageOS，PixelExperience等。这些内核代码热度较高，更新频繁，有什么bug马上就被修复了，编译的时候成功率较大。

另外注意，如果是小米手机，最好不要用小米官方github上的内核。本人亲身经历，编译过程不仅一堆BUG，刷入系统后还开不了机。后来看到看雪的帖子，很多人也遇到了同样的情况：https://bbs.pediy.com/thread-262263.htm

经过一番查找对比，最后选择以lineageOS维护的小米6(sagit)的内核源码作为基础：

https://github.com/LineageOS/android\_kernel\_xiaomi\_msm8998

git clone https://github.com/LineageOS/android_kernel_xiaomi_msm8998 --depth=1

sagit是小米6的手机代号，这个代号独一无二，可以百度搜一下自己手机的对应代号。

修改内核

我们首先不做修改，编译一次看报不报错。

`cd ./android_kernel_xiaomi_msm8998``sudo apt install build-essential openssl pkg-config libssl-dev libncurses5-dev pkg-config minizip libelf-dev flex bison  libc6-dev libidn11-dev rsync bc liblz4-tool`  `sudo apt install gcc-aarch64-linux-gnu dpkg-dev dpkg git``   ``export ARCH=arm64``export SUBARCH=arm64``export CROSS_COMPILE=aarch64-linux-gnu-``   ``make O=out sagit_defconfig``make O=out -j$(nproc)`

    不出意外会遇到几个报错

error：CROSS_COMPILE_ARM32 not defined or empty

kernel config 里面删掉 CONFIG_COMPAT_VDSO

error: statement with no effect [-Werror=unused-value]

`../drivers/staging/qcacld-3.0/core/hdd/src/wlan_hdd_cfg.c: In function ‘hdd_cfg_print’:``../drivers/staging/qcacld-3.0/core/hdd/src/wlan_hdd_cfg.c:6896:43: error: statement with no effect [-Werror=unused-value]``   ``   ` `error: ‘staid’ may be used uninitialized in this function [-Werror=maybe-uninitialized]`  `911 |         hdd_dhcp_indication(pAdapter, staid, skb, QDF_RX);`      `|         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~`  `CC      drivers/soc/qcom/early_random.o`  `CC      drivers/video/fbdev/msm/mdss_mdp_ctl.o`  `CC      drivers/video/fbdev/msm/mdss_mdp_pipe.o`

　临时解决办法：增加

-Wno-error=unused-value  -Wno-error=maybe-uninitialized

见一种加一种。最后觉得太麻烦了，直接Makefile里增加-w选项，屏蔽所有警告。

开启内核支持

安装termux。这里为了控制方便我开启了ssh，用电脑连接上去操作。然后下载check脚本看缺少哪些内核选项。

`pkg install tsu``pkg install wget``wget https://raw.githubusercontent.com/moby/moby/master/contrib/check-config.sh``chmod +x check-config.sh``sed -i '1s_.*_#!/data/data/com.termux/files/usr/bin/bash_' check-config.sh``sudo ./check-config.sh`

Generally Necessary下面必须要全部是绿色才有可能安装Docker，这里看到还是有很多内核选项是缺失的。

常规的修改内核选项是需要通过menuconfig，但是缺的太多了，一个个手动开启很麻烦。我们可以用一个偷懒的方法：直接编辑defconfig文件，手动添加进去。可以按照酷安上的一个帖子来操作：

https://www.coolapk.com/feed/38099071?shareKey=YTdhYmE1NWRkZjE3NjM3MzgwZjQ~&shareUid=23564717&shareFrom=com.coolapk.market\_12.5.2

vim arch/arm64/configs/sagit_defcofig

加入以下内容，并保存。

`CONFIG_NAMESPACES=y``CONFIG_NET_NS=y``CONFIG_PID_NS=y``CONFIG_IPC_NS=y``CONFIG_UTS_NS=y``CONFIG_CGROUPS=y``CONFIG_CGROUP_CPUACCT=y``CONFIG_CGROUP_DEVICE=y``CONFIG_CGROUP_FREEZER=y``CONFIG_CGROUP_SCHED=y``CONFIG_CPUSETS=y``CONFIG_MEMCG=y``CONFIG_KEYS=y``CONFIG_VETH=y``CONFIG_BRIDGE=y``CONFIG_BRIDGE_NETFILTER=y``CONFIG_IP_NF_FILTER=y``CONFIG_IP_NF_TARGET_MASQUERADE=y``CONFIG_NETFILTER_XT_MATCH_ADDRTYPE=y``CONFIG_NETFILTER_XT_MATCH_CONNTRACK=y``CONFIG_NETFILTER_XT_MATCH_IPVS=y``CONFIG_NETFILTER_XT_MARK=y``CONFIG_IP_NF_NAT=y``CONFIG_NF_NAT=y``CONFIG_POSIX_MQUEUE=y``CONFIG_NF_NAT_IPV4=y``CONFIG_NF_NAT_NEEDED=y``CONFIG_CGROUP_BPF=y``CONFIG_USER_NS=y``CONFIG_SECCOMP=y``CONFIG_SECCOMP_FILTER=y``CONFIG_CGROUP_PIDS=y``CONFIG_MEMCG_SWAP=y``CONFIG_MEMCG_SWAP_ENABLED=y``CONFIG_IOSCHED_CFQ=y``CONFIG_CFQ_GROUP_IOSCHED=y``CONFIG_BLK_CGROUP=y``CONFIG_BLK_DEV_THROTTLING=y``CONFIG_CGROUP_PERF=y``CONFIG_CGROUP_HUGETLB=y``CONFIG_NET_CLS_CGROUP=y``CONFIG_CGROUP_NET_PRIO=y``CONFIG_CFS_BANDWIDTH=y``CONFIG_FAIR_GROUP_SCHED=y``CONFIG_RT_GROUP_SCHED=y``CONFIG_IP_NF_TARGET_REDIRECT=y``CONFIG_IP_VS=y``CONFIG_IP_VS_NFCT=y``CONFIG_IP_VS_PROTO_TCP=y``CONFIG_IP_VS_PROTO_UDP=y``CONFIG_IP_VS_RR=y``CONFIG_SECURITY_SELINUX=y``CONFIG_SECURITY_APPARMOR=y``CONFIG_EXT4_FS=y``CONFIG_EXT4_FS_POSIX_ACL=y``CONFIG_EXT4_FS_SECURITY=y``CONFIG_VXLAN=y CONFIG_BRIDGE_VLAN_FILTERING=y``CONFIG_CRYPTO=y CONFIG_CRYPTO_AEAD=y``CONFIG_CRYPTO_GCM=y``CONFIG_CRYPTO_SEQIV=y``CONFIG_CRYPTO_GHASH=y CONFIG_XFRM=y``CONFIG_XFRM_USER=y``CONFIG_XFRM_ALGO=y``CONFIG_INET_ESP=y``CONFIG_INET_XFRM_MODE_TRANSPORT=y``CONFIG_IPVLAN=y``CONFIG_MACVLAN=y``CONFIG_DUMMY=y``CONFIG_NF_NAT_FTP=y``CONFIG_NF_CONNTRACK_FTP=y``CONFIG_NF_NAT_TFTP=y``CONFIG_NF_CONNTRACK_TFTP=y``CONFIG_AUFS_FS=y``CONFIG_BTRFS_FS=y``CONFIG_BTRFS_FS_POSIX_ACL=y``CONFIG_BLK_DEV_DM=y``CONFIG_DM_THIN_PROVISIONING=y``CONFIG_OVERLAY_FS=y`

但是注意，这里是有坑的：按照这个帖子中的操作后刷入内核，再跑一遍check脚本会发现还是会有missing，原因是部分内核选项需要依赖另外的选项，而这些另外的依赖没有开启，所以还是missing的状态。

所以最完整的做法，是加入之后再手动make  menuconfig，看哪些缺失开哪些。

`rm -rf out``make O=out sagit_defconfig``make O=out menuconfig``make O=out savedefconfig` `make O=out -j$(nproc)`

经过等待之后，如果出现如下提示，就说明我们的内核已经编译好了。

刷入内核

刷入内核使用的是Anykernel3，详细可以看这篇教程：https://www.akr-developers.com/d/125

    修改完配置文件后，把上一步arch/arm64/boot/Image.gz-dtb放到Anykernel3的根目录下，然后在根目录中执行zip -r <压缩包名.zip> *即可

最后通过twrp：adb sideload xxx.zip刷入内核。

Termux安装docker

Termux里面再跑一遍check脚本，保证Generally Necessary是绿的。然后进入下一步：安装Docker。

通过Termux执行以下命令

`apt update && apt upgrade -y``pkg install root-repo``pkg install golang make cmake ndk-multilib tsu tmux docker`

然后编译tini

`mkdir $TMPDIR/docker-build``cd $TMPDIR/docker-build``wget https://github.com/krallin/tini/archive/v0.19.0.tar.gz``tar xf v0.19.0.tar.gz``cd tini-0.19.0``mkdir build``cd build``cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=$PREFIX ..``make -j8``make install``ln -s $PREFIX/bin/tini-static $PREFIX/bin/docker-init`

编译的时候会有一个报错

`/data/data/com.termux/files/usr/tmp/docker-build/tini-0.19.0/src/tini.c:434:19: error: a function declaration without a prototype is deprecated in all versions of C [-Werror,-Wstrict-prototypes]``void reaper_check () {`                  `^`                   `void`

手动修一下，在报错的地方加一个void，或者make的时候加入gcc参数忽略报错。

启动Docker

sudo dockerd --iptables=false &>/dev/null &

测试Docker是否正常运行

sudo docker run hello-world

    这里我的设备报错了，搜了很久也没找到原因跟解决办法，在老外帖子下面的评论区也有人回复说遇到了一模一样的情况。无奈只好放弃。

报错日志

docker: Error response from daemon: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error mounting "mqueue" to rootfs at "/dev/mqueue": mount mqueue:/dev/mqueue (via /proc/self/fd/6), flags: 0xe: device or resource busy: unknown.

方案二：刷入postmarkOS

安卓内核阉割的东西太多了，鬼知道改了什么东西。修改安卓内核的方式行不通，只能转换思路。那么能否在手机上去安装一个完整的Linux呢，当然是可以的，那就是postmarkOS。

postmarkOS是一个运行在手机上的Linux系统，基于Alpine Linux，比Ubuntu Touch更为接近原始的Linux，并且尽量使用Mainline kernel。

官网：https://wiki.postmarketos.org/

准备工作

之前研究这个项目的时候，官方还没有合并小米6的分支：https://gitlab.com/postmarketOS/pmaports/-/merge\_requests/3134，只能手动本地编译一波。当时查看底层代码后发现postmarketOS官方的安装工具pmbootstrap对本地开发分支不太友好，例如构建rootfs下载驱动的时候，会硬编码从pmos的gitlab项目去拉取驱动，而我们使用的是本地修改的分支，当然是下载不到的。后来又魔改了一波pmbootstrap的代码，将硬编码的部分改为本地获取。不过网上对于pmOS移植这块的文档很少，也可能是我操作的姿势不对，最后勉强build好了一个zip，刷入系统但是开不了机。

不过好消息是两周前官方已经把小米6的分支合并进去了，也就意味着我们不用自己去手动移植了。更详细的教程可以参考这一篇：

https://www.cnblogs.com/hongshao/p/14351045.html。

首先在Linux中执行以下命令：

`pip3 install --user pmbootstrap``pip3 install --user --upgrade pmbootstrap``pmbootstrap init`

刷入postmarkOS

在官方的教程中 ，默认是通过pmbootstrap flasher 命令直接刷入，但是我选择了制作卡刷包来刷入系统，这样卡刷包可以后期反复使用：https://wiki.postmarketos.org/wiki/Installation\_from\_recovery\_mode

注意一定要加 --recovery-install-partition=data参数，不然刷入后你的分区会非常的小。

`pmbootstrap install --android-recovery-zip --recovery-install-partition=data``pmbootstrap export``cd $(dirname $(readlink /tmp/postmarketOS-export/pmos-*.zip))`

这里有一个坑，拿到zip文件后这个时候还不能直接adb sideload，会报错：

正确的做法是要先进入twrp，然后unmount所有的分区，再进行sideload刷入。

adb sideload pmos-xiaomi-sagit.zip

刷完后twrp会有一个提示：挂载data失败。别着急，因为data分区已经被我们修改了，其实系统已经刷入完成了。

重启就可以进入我们刷好的postmarketOS系统了。

安装RNDIS驱动

首先按照官方的教程，开启手机的SSH：https://wiki.postmarketos.org/wiki/SSH。

这里出现了一个问题，开启SSH服务后连接电脑，提示无法识别设备，原因是电脑上没有对应的驱动，需要按照我下面的步骤来安装。

安装完毕后就可以正常识别手机设备了，成功连接上了SSH。

通过USB共享网络

当前的系统版本WIFI有BUG不能用，修复的分支官方还没有merge：https://gitlab.com/msm8998-mainline/linux/-/merge\_requests/2，所以我们要想一些另外的办法来联网。

按照官方教程 https://wiki.postmarketos.org/wiki/USB\_Internet，在Ubuntu中以root权限输入以下命令：

`sysctl net.ipv4.ip_forward=1``iptables -A FORWARD -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT``iptables -A FORWARD -s 172.16.42.0/24 -j ACCEPT``iptables -A POSTROUTING -t nat -j MASQUERADE -s 172.16.42.0/24``iptables-save``ufw disable`

然后ping一下百度试试，这个时候已经可以联网了。

Hello from Docker!

终于要进入安装Docker的环节了，首先更新一下系统，然后apk add docker

Hello from Docker!  我们终于成功在手机上运行了Docker。

看下htop

空间使用

玩法扩展

小米6的处理器是骁龙835，8核，10nm，2.45GHz，对比树莓派4B CPU BCM2711 4核 28nm 1.5 GHz。旧手机拿来当开发板，这不比树莓派香？触摸屏WIFI蓝牙红外都配齐了。

根据cpubenchmark的跑分对比，835的跑分几乎是树莓派CPU的三倍：https://www.cpubenchmark.net/compare/4297vs3919/BCM2711-vs-Qualcomm-Technologies,-Inc-MSM8998

不过美中不足的是小米的手机一直是USB2.0，IO简直是龟速。。。外接个硬盘也就十几M速度。。。跑重IO的业务是不太行了。

现在，我们的小米6摇身一变，变成了一个性能还不错的Linux开发板。我们可以安装php+nginx搭个博客，或者在家里跑Homeassistant等等。

作为一个安全从业者，还是会想是否能在安全场景下有所应用。想象一个场景：在近源渗透的时候，如果拿着电脑或者树莓派，一眼就看起来很奇怪。但是如果我们把这些东西装进手机，这样伪装性就会大大增加，之前也有师傅研究过这个课题：https://www.anquanke.com/post/id/204544。Kali虽然有NetHunter，但是受限于安卓系统，NetHunter还是很难发挥出原生Kali的所有功能；而安装pmOS后的手机是一个完整的Linux，理论上能够实现所有原生Kali的功能。不过以上只是猜想，具体可行性还有待验证。

最后

终于给手机安装上了Docker，不过然后呢？好像也并不会真的用到它。不过刷机享受的就是折腾的过程，在手机上跑Docker，不觉得很酷吗？作为一名理工男我觉得这太酷了，很符合我对未来生活的想象，科技并带着趣味。

如果本篇文章能帮助到你，就再好不过了。