背景
安全测试工作中经常遇到各种加密加签或者添加了其它安全措施的数据包。以加密为例,为了测试正常进行,我们需要解密后修改数据包再进行加密还原,手工的话很是繁琐且没必要,所以我们需要一个工具帮我们自动化的实现。由于我们一般使用burp来进行抓包,所以具有此功能的burp插件是个很好的选择。笔者试过几个具有此功能的插件,不过或多或少的总有些地方不是那么好用,笔者不想自己迁就工具,决定开发一个可以满足自己需求的小插件。
需求
首先笔者是想开发一款burp插件,这款插件的功能是定制修改数据包,同时需要解决下面几个问题。
- 在burp收发数据包的生命周期各个环节都能进行修改数据包的操作。
- 实际对数据包修改的行为用python脚本完成,实现高度可定制化和普适性。
- Python脚本的修改效果实时反映在插件中,方便调试。
- 对不同测试项目的数据包实现自定义拦截修改。
- 在不发送数据包的情况下实现对选定部分文本的自定义修改。
解决方案
下面一一列举笔者在编写插件的过程中对上述这些问题的解决方案,因为是初步方案,所以不会很完善,后续会迭代优化。
问题一
针对问题一,首先认识一下burp作为中间代理转发数据包的流程,当使用burp作为代理后,客户端发出的请求数据包会首先来到burp的proxy模块,如果我们设置intercept为on,就会看到该请求数据包,接着proxy会把请求数据包发往burp的请求引擎,然后请求引擎将数据包发出burp。
处理响应的过程正好相反,burp的响应引擎收到响应数据包,将响应数据包发送到proxy模块,然后proxy转发响应数据包到客户端,如果我们设置了proxy拦截响应,看到的就是该数据包。
知晓了流程后,接下来我们就要想办法在这个流程的各个环节插入自己的处理逻辑,以burp插件的形式。本篇文章不会从头开始介绍如何开发burp插件,所以没有开发过插件的同学建议先去瞅一眼相关文章,避免一头雾水。
Burp现在推出了一版全新的API用来取代旧有的API,称为MontoyaApi,该API体系在上述的数据包流转流程中都有相应的接口,我们只需要在其中的方法里实现自己的处理逻辑就可以,很方便。比如如果我们想处理proxy接收的客户端请求,可以这样操作,首先定义一个类实现相应的接口,然后重写其中方法,添加自己的处理逻辑,如下图。
这样我们就完成了对流程其中一个节点的数据包处理,只要在整个流程中的节点都实现相应的接口,添加自己的处理逻辑,就解决了问题一,最后记得要在Burp中注册我们的类。
问题二
现在我们已经可以实现对数据包的自定义处理逻辑了,但是出现一个问题,如果使用java编写,然后编译成插件的话,那只能实现固定的逻辑,不具有普适性。如果可以使用python自定义具体的逻辑,java实现RPC的调用框架就比较符合想法,那么如何实现呢?首先笔者去翻了下Burpy的源码,是使用的pyrolite(这是一个用于java与python通信的库),因为是现成的方案,笔者就直接也用pyrolite了,属实白嫖,不过后来发现该机制其实不是那么好,或者说笔者实现的不是那么好,其中一个问题是在扫描这种高并发数据包场景下很容易出现丢包情况,造成错误,这个问题放在下一步计划中通过通信机制的重构来解决,但这不妨碍我们利用rpc来调用python代码的思路。
Java中使用pyrolite也比较简单,添加依赖后,实现一个pyro客户端,然后像http一样对python实现的pyro服务端发出请求就可以了,如下图。
- 添加依赖。
实现客户端连接服务端。
3 客户端调用Python方法,其中这个invoke_method参数可以类比于http请求中的路径,后面的参数是具体的方法和base64编码后的请求内容,使用base64编码是为了方便传输。
相应的python服务端的实现,和实现一个http服务端大致一样,这里只贴了方法调用的逻辑。笔者这里是白嫖的burpy的python服务端,没有重新自己实现,因为是人家的东西,所以没改名字,同时为了解决后面的问题做了一些自己的修改,顺便python脚本的名字也沿用了burpy后缀,如下图。
然后使用Python脚本处理具体逻辑,pyro服务端会加载Python脚本文件,调用其中的方法,也就是前面参数中指定的方法,如下图。
这是一个模板文件,可以在里面自定义自己的处理逻辑,到现在基本可以实现python修改数据包的目标了。
总结一下,java插件实现MontoyaAPI的接口拿到数据包后,通过pyrolite与python通信,将数据包发送给python,python处理好数据包后返回给插件,最后插件将数据包交还给burp,进入下一个环节。
问题三
现在我们基本实现了一个具有在数据包流转burp的各个环节中自定义处理数据包的功能的插件,并且具体的处理逻辑由python脚本实现,这样可以实现对任意请求的任意修改。不过又出现了一个新的问题,就是调试环节,我们不能保证一次就正确写完所有的逻辑,至少笔者不能,总归要慢慢调试的,现有的pyro服务端加载python脚本是一次性的,其逻辑是将python脚本当作模块导入内存中,如下图。
所以如果我们修改脚本文件,就需要重启服务,很麻烦。因此笔者想到了热加载,在不重启服务的情况下,监控脚本文件的变化,如果文件发生修改,就重新加载该文件,在这里笔者使用的是watchdog监控文件的变化,如下图。
从代码中可以看到,如果文件发生变化,就用exec_module方法重新加载该文件,利用这种方法避免了服务的频繁重启。
同时为了防止服务与watchdog的冲突,笔者是单独开了一个线程用于监控文件的变化。
问题四
这个问题的提出是基于两个情况,一个是不同测试项目我们要进行的处理是不同的,另一个是笔者不怎么会写插件的图形化,所以代码中需要的信息一般来自于配置文件。笔者希望能通过不同的配置文件动态加载相应的python脚本文件,将不同项目的脚本文件通过名字区分开,进而实现不同脚本文件的热加载。这个问题解决很简单,首先将相关信息写在配置文件中,如下图。
然后从该配置文件提取这些信息,如下图。
这样对于不同的项目,我们就只需要添加不同的配置文件就行了,不同项目的python脚本文件可以用名字区分开,然后动态加载。虽然不如图形化方便,但笔者实在不擅长写界面。
问题五
这个问题其实不能算一个问题,算是附加的一个小功能,其作用就是在burp可修改请求响应的地方,比如repeater模块,可以用鼠标选定一部分文本,将该部分文本通过插件发送到python,然后处理完再返回回来,主要用于在repeater模块中手动操作的一些场景。
首先用鼠标选定部分文本后,右键发送到插件,实现该功能的代码如下图。
可以看到获取到文本后,就将base64编码后的文本发送到python,python处理完后返回到插件,插件将返回的文本替换原数据包被选中的文本内容,这里主要是处理加解密逻辑。实现的效果就是,我们鼠标选中文本后,右键选择插件菜单的选项,然后文本就被替换成我们处理后的内容了。对应的python代码如下。
下一步计划
重构java与python的通信机制,不再使用pyrolite。
实现一个python库,里面预设一些通用的python脚本模板,包含通用的处理逻辑,比如各种常用的签名,加解密算法等,拿来即用。
总结
本文基于MontoyaApi实现了一个burp插件,其功能是在Burp流转数据包的各个环节中加入自己的处理逻辑,为了具有普适性,不是只有一种固定处理逻辑,于是通过java远程调用python方法,由python脚本实现具体的处理逻辑,又为了方便调试,加入了热加载机制,在不重启服务的前提下,对修改过的python进行重新加载,同时为了方便区分不同项目,使用配置文件机制,从配置文件中提取相关信息,在代码中动态加载各种配置,最后,添加了手工处理选定文本的功能,任意选择部分文本后,将其发送到python进行处理,返回的内容将即时替换被选中的文本。
以上内容大致就是开发插件的整个过程,简陋的代码示例提供一个思路,希望可以作为一个小小的参考。