卖护肤在哪个网站做宣传好,wordpress 批量标签,DANI主题wordpress,陕西启康建设有限公司网站JVM 基础-字节码的增强技术详解 本文是JVM第三讲#xff0c;JVM 基础-字节码的增强技术。在上文中#xff0c;着重介绍了字节码的结构#xff0c;这为我们了解字节码增强技术的实现打下了基础。字节码增强技术就是一类对现有字节码进行修改或者动态生成全新字节码文件的技术…JVM 基础-字节码的增强技术详解 本文是JVM第三讲JVM 基础-字节码的增强技术。在上文中着重介绍了字节码的结构这为我们了解字节码增强技术的实现打下了基础。字节码增强技术就是一类对现有字节码进行修改或者动态生成全新字节码文件的技术。接下来我们将从最直接操纵字节码的实现方式开始深入进行剖析。 文章目录 JVM 基础-字节码的增强技术详解1、字节码增强技术有哪些1.1、ASM1、ASM API核心API树形API 2、直接利用ASM实现AOP3、ASM工具 1.2、 Javassist 2、运行时类的重载2.1、问题引出2.2、Instrument ☆2.3、JVMTI Agent Attach API2.4、使用场景 3、总结4、参考文献5、作者简介 1、字节码增强技术有哪些
在上文中着重介绍了字节码的结构这为我们了解字节码增强技术的实现打下了基础。字节码增强技术就是一类对现有字节码进行修改或者动态生成全新字节码文件的技术。接下来我们将从最直接操纵字节码的实现方式开始深入进行剖析 1.1、ASM
对于需要手动操纵字节码的需求可以使用ASM它可以直接生产 .class字节码文件也可以在类被加载入JVM之前动态修改类行为如下图所示。ASM的应用场景有AOPCglib就是基于ASM、热部署、修改其他jar包中的类等。当然涉及到如此底层的步骤实现起来也比较麻烦。接下来本文将介绍ASM的两种API并用ASM来实现一个比较粗糙的AOP。但在此之前为了让大家更快地理解ASM的处理流程强烈建议读者先对访问者模式进行了解。简单来说访问者模式主要用于修改或操作一些数据结构比较稳定的数据而通过第一章我们知道字节码文件的结构是由JVM固定的所以很适合利用访问者模式对字节码文件进行修改。
访问者模式可以参考这篇文章JAVA设计模式第四讲行为型设计模式 第7节
1、ASM API
核心API
ASM Core API 可以类比解析XML文件中的SAX方式不需要把这个类的整个结构读取进来就可以用流式的方法来处理字节码文件。好处是非常节约内存但是编程难度较大。然而出于性能考虑一般情况下编程都使用Core API。在Core API中有以下几个关键类
ClassReader用于读取已经编译好的.class文件。ClassWriter用于重新构建编译后的类如修改类名、属性以及方法也可以生成新的类的字节码文件。各种Visitor类如上所述CoreAPI根据字节码从上到下依次处理对于字节码文件中不同的区域有不同的Visitor比如用于访问方法的 MethodVisitor、用于访问类变量的FieldVisitor、用于访问注解的 AnnotationVisitor 等。为了实现AOP重点要使用的是MethodVisitor。
树形API
ASM Tree API可以类比解析XML文件中的DOM方式把整个类的结构读取到内存中缺点是消耗内存多但是编程比较简单。TreeApi不同于CoreAPITreeAPI通过各种Node类来映射字节码的各个区域类比DOM节点就可以很好地理解这种编程方式。
2、直接利用ASM实现AOP
利用ASM的CoreAPI来增强类。这里不纠结于AOP的专业名词如切片、通知只实现在方法调用前、后增加逻辑通俗易懂且方便理解。首先定义需要被增强的Base类其中只包含一个process()方法方法内输出一行“process”。增强后我们期望的是方法执行前输出“start”之后输出”end”。
public class Base {public void process(){System.out.println(process);}
}为了利用ASM实现AOP需要定义两个类一个是MyClassVisitor类用于对字节码的visit以及修改另一个是Generator类在这个类中定义 ClassReader 和 ClassWriter其中的逻辑是classReader读取字节码然后交给MyClassVisitor类处理处理完成后由ClassWriter 写字节码并将旧的字节码替换掉。Generator类较简单我们先看一下它的实现如下所示然后重点解释 MyClassVisitor 类。
import org.objectweb.asm.ClassReader;
import org.objectweb.asm.ClassVisitor;
import org.objectweb.asm.ClassWriter;public class Generator {public static void main(String[] args) throws Exception {//读取ClassReader classReader new ClassReader(meituan/bytecode/asm/Base);ClassWriter classWriter new ClassWriter(ClassWriter.COMPUTE_MAXS);//处理ClassVisitor classVisitor new MyClassVisitor(classWriter);classReader.accept(classVisitor, ClassReader.SKIP_DEBUG);byte[] data classWriter.toByteArray();//输出File f new File(operation-server/target/classes/meituan/bytecode/asm/Base.class);FileOutputStream fout new FileOutputStream(f);fout.write(data);fout.close();System.out.println(now generator cc success!!!!!);}
}MyClassVisitor 继承自 ClassVisitor用于对字节码的观察。它还包含一个内部类MyMethodVisitor继承自MethodVisitor用于对类内方法的观察它的整体代码如下
import org.objectweb.asm.ClassVisitor;
import org.objectweb.asm.MethodVisitor;
import org.objectweb.asm.Opcodes;// 增强类
public class MyClassVisitor extends ClassVisitor implements Opcodes {public MyClassVisitor(ClassVisitor cv) {super(ASM5, cv);}Overridepublic void visit(int version, int access, String name, String signature,String superName, String[] interfaces) {cv.visit(version, access, name, signature, superName, interfaces);}Overridepublic MethodVisitor visitMethod(int access, String name, String desc, String signature, String[] exceptions) {MethodVisitor mv cv.visitMethod(access, name, desc, signature,exceptions);// Base类中有两个方法无参构造以及process方法这里不增强构造方法if (!name.equals(init) mv ! null) {mv new MyMethodVisitor(mv);}return mv;}// 增强方法class MyMethodVisitor extends MethodVisitor implements Opcodes {public MyMethodVisitor(MethodVisitor mv) {super(Opcodes.ASM5, mv);}Overridepublic void visitCode() {super.visitCode();mv.visitFieldInsn(GETSTATIC, java/lang/System, out, Ljava/io/PrintStream;);mv.visitLdcInsn(start);mv.visitMethodInsn(INVOKEVIRTUAL, java/io/PrintStream, println, (Ljava/lang/String;)V, false);}// 访问到无参数指令Overridepublic void visitInsn(int opcode) {if ((opcode Opcodes.IRETURN opcode Opcodes.RETURN)|| opcode Opcodes.ATHROW) {// 方法在返回之前打印endmv.visitFieldInsn(GETSTATIC, java/lang/System, out, Ljava/io/PrintStream;);mv.visitLdcInsn(end);mv.visitMethodInsn(INVOKEVIRTUAL, java/io/PrintStream, println, (Ljava/lang/String;)V, false);}mv.visitInsn(opcode);}}
}利用这个类就可以实现对字节码的修改。详细解读其中的代码对字节码做修改的步骤是
首先通过MyClassVisitor类中的 visitMethod方法判断当前字节码读到哪一个方法了。跳过构造方法 init后将需要被增强的方法交给内部类 MyMethodVisitor 来进行处理。接下来进入内部类 MyMethodVisitor 中的 visitCode方法它会在ASM开始访问某一个方法的Code区时被调用重写visitCode方法将AOP中的前置逻辑就放在这里。 MyMethodVisitor 继续读取字节码指令每当ASM访问到无参数指令时都会调用MyMethodVisitor 中的 visitInsn 方法。我们判断了当前指令是否为无参数的“return”指令如果是就在它的前面添加一些指令也就是将AOP的后置逻辑放在该方法中。综上重写 MyMethodVisitor 中的两个方法就可以实现AOP了而重写方法时就需要用ASM的写法手动写入或者修改字节码。通过调用methodVisitor的visitXXXXInsn()方法就可以实现字节码的插入XXXX对应相应的操作码助记符类型比如mv.visitLdcInsn(“end”)对应的操作码就是ldc “end”即将字符串“end”压入栈。 完成这两个visitor类后运行Generator中的main方法完成对Base类的字节码增强增强后的结果可以在编译后的target文件夹中找到Base.class 文件进行查看可以看到反编译后的代码已经改变了。然后写一个测试类MyTest在其中new Base()并调用 base.process() 方法可以看到下图右侧所示的AOP实现效果
3、ASM工具
利用ASM手写字节码时需要利用一系列visitXXXXInsn()方法来写对应的助记符所以需要先将每一行源代码转化为一个个的助记符然后通过ASM的语法转换为visitXXXXInsn()这种写法。第一步将源码转化为助记符就已经够麻烦了不熟悉字节码操作集合的话需要我们将代码编译后再反编译才能得到源代码对应的助记符。第二步利用ASM写字节码时如何传参也很令人头疼。ASM社区也知道这两个问题所以提供了工具ASM ByteCode Outline。
安装后右键选择“Show Bytecode Outline”在新标签页中选择“ASMified”这个tab如图19所示就可以看到这个类中的代码对应的ASM写法了。图中上下两个红框分别对应AOP中的前置逻辑于后置逻辑将这两块直接复制到visitor中的visitMethod()以及visitInsn()方法中就可以了。 1.2、 Javassist
ASM是在指令层次上操作字节码的阅读上文后我们的直观感受是在指令层次上操作字节码的框架实现起来比较晦涩。故除此之外我们再简单介绍另外一类框架强调源代码层次操作字节码的框架Javassist。
利用Javassist实现字节码增强时可以无须关注字节码刻板的结构其优点就在于编程简单。直接使用java编码的形式而不需要了解虚拟机指令就能动态改变类的结构或者动态生成类。其中最重要的是ClassPool、CtClass、CtMethod、CtField这四个类
CtClasscompile-time class编译时类信息它是一个class文件在代码中的抽象表现形式可以通过一个类的全限定名来获取一个CtClass对象用来表示这个类文件。ClassPool从开发视角来看ClassPool是一张保存CtClass信息的HashTablekey为类名value为类名对应的CtClass对象。当我们需要对某个类进行修改时就是通过pool.getCtClass(“className”)方法从pool中获取到相应的CtClass。CtMethod、CtField这两个比较好理解对应的是类中的方法和属性。
了解这四个类后我们可以写一个小Demo来展示 Javassist 简单、快速的特点。我们依然是对Base中的 process() 方法做增强在方法调用前后分别输出“start”和“end”实现代码如下。我们需要做的就是从pool中获取到相应的 CtClass对象 和 其中的方法然后执行method.insertBefore 和 insertAfter 方法参数为要插入的Java代码再以字符串的形式传入即可实现起来也极为简单。
import com.meituan.mtrace.agent.javassist.*;public class JavassistTest {public static void main(String[] args) throws NotFoundException, CannotCompileException, IllegalAccessException, InstantiationException, IOException {ClassPool cp ClassPool.getDefault();CtClass cc cp.get(meituan.bytecode.javassist.Base);CtMethod m cc.getDeclaredMethod(process);m.insertBefore({ System.out.println(\start\); });m.insertAfter({ System.out.println(\end\); });// JVM不允许运行时重新加载类信息该行代码会报错Class c cc.toClass();cc.writeFile(/Users/zen/projects);Base h (Base)c.newInstance();h.process();}
}2、运行时类的重载
2.1、问题引出
上一章重点介绍了两种不同类型的字节码操作框架且都利用它们实现了较为粗糙的AOP。其实为了方便大家理解字节码增强技术在上文中我们避重就轻将ASM实现AOP的过程分为了两个main方法第一个是利用MyClassVisitor对已编译好的class文件进行修改第二个是new对象并调用。这期间并不涉及到JVM运行时对类的重加载而是在第一个main方法中通过ASM对已编译类的字节码进行替换在第二个main方法中直接使用已替换好的新类信息。另外在Javassist的实现中我们也只加载了一次Base类也不涉及到运行时重加载类。
如果我们在一个JVM中先加载了一个类然后又对其进行字节码增强并重新加载会发生什么呢模拟这种情况只需要我们在上文中Javassist 的Demo中main()方法的第一行添加 Base bnew Base()即在增强前就先让 JVM加载Base类然后在执行到c.toClass()方法时会抛出错误如下图所示。跟进c.toClass()方法中我们会发现它是在最后调用了ClassLoader的native方法 defineClass() 时报错。也就是说JVM是不允许在运行时动态重载一个类的。 显然如果只能在类加载前对类进行强化那字节码增强技术的使用场景就变得很窄了。我们期望的效果是在一个持续运行并已经加载了所有类的JVM中还能利用字节码增强技术对其中的类行为做替换并重新加载。为了模拟这种情况我们将Base类做改写在其中编写main方法每五秒调用一次process()方法在process()方法中输出一行“process”。
我们的目的就是在JVM运行中的时候将process()方法做替换在其前后分别打印“start”和“end”。也就是在运行中时每五秒打印的内容由”process”变为打印”start process end”。那如何解决JVM不允许运行时重新加载类信息的问题呢为了达到这个目的我们接下来一一来介绍需要借助的Java类库。
import java.lang.management.ManagementFactory;public class Base {public static void main(String[] args) {String name ManagementFactory.getRuntimeMXBean().getName();String s name.split()[0];//打印当前PidSystem.out.println(pid:s);while (true) {try {Thread.sleep(5000L);} catch (Exception e) {break;}process();}}public static void process() {System.out.println(process);}
}2.2、Instrument ☆
instrument是JVM提供的一个可以修改已加载类的类库专门为Java语言编写的插桩服务提供支持。它需要依赖JVMTI的Attach API机制实现JVMTI这一部分我们将在下一小节进行介绍。在JDK 1.6以前instrument只能在JVM刚启动开始加载类时生效而在JDK 1.6之后instrument支持了在运行时对类定义的修改。要使用instrument的类修改功能我们需要实现它提供的ClassFileTransformer接口定义一个类文件转换器。接口中的transform() 方法会在类文件被加载时调用而在transform方法里我们可以利用上文中的ASM 或 Javassist对传入的字节码进行改写或替换生成新的字节码数组后返回。
我们定义一个实现了 ClassFileTransformer 接口的类 TestTransformer依然在其中利用Javassist对Base类中的process()方法进行增强在前后分别打印“start”和“end”代码如下
import java.lang.instrument.ClassFileTransformer;public class TestTransformer implements ClassFileTransformer {Overridepublic byte[] transform(ClassLoader loader, String className, Class? classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) {System.out.println(Transforming className);try {ClassPool cp ClassPool.getDefault();CtClass cc cp.get(meituan.bytecode.jvmti.Base);CtMethod m cc.getDeclaredMethod(process);m.insertBefore({ System.out.println(\start\); });m.insertAfter({ System.out.println(\end\); });return cc.toBytecode();} catch (Exception e) {e.printStackTrace();}return null;}
}现在有了Transformer那么它要如何注入到正在运行的JVM呢还需要定义一个Agent借助Agent的能力将 Instrument 注入到JVM中。我们将在下一小节介绍Agent现在要介绍的是Agent中用到的另一个类Instrumentation。在JDK 1.6之后Instrumentation 可以做启动后的Instrument、本地代码Native Code的Instrument以及动态改变Classpath等等。我们可以向Instrumentation中添加上文中定义的Transformer并指定要被重加载的类代码如下所示。这样当Agent被Attach到一个JVM中时就会执行类字节码替换并重载入JVM的操作。
import java.lang.instrument.Instrumentation;public class TestAgent {public static void agentmain(String args, Instrumentation inst) {// 指定我们自己定义的Transformer在其中利用 Javassist 做字节码替换inst.addTransformer(new TestTransformer(), true);try {//重定义类并载入新的字节码inst.retransformClasses(Base.class);System.out.println(Agent Load Done.);} catch (Exception e) {System.out.println(agent load failed!);}}
}2.3、JVMTI Agent Attach API
上一小节中我们给出了Agent类的代码追根溯源需要先介绍JPDAJava Platform Debugger Architecture。如果JVM启动时开启了JPDA那么类是允许被重新加载的。在这种情况下已被加载的旧版本类信息可以被卸载然后重新加载新版本的类。正如JDPA名称中的DebuggerJDPA其实是一套用于调试Java程序的标准任何JDK都必须实现该标准。
JPDA定义了一整套完整的体系它将调试体系分为三部分并规定了三者之间的通信接口。三部分由低到高分别是Java 虚拟机工具接口JVMTIJava 调试协议JDWP以及 Java 调试接口JDI三者之间的关系如下图所示 现在回到正题我们可以借助JVMTI的一部分能力帮助动态重载类信息。JVM TIJVM TOOL INTERFACEJVM工具接口是JVM提供的一套对JVM进行操作的工具接口。通过JVMTI可以实现对JVM的多种操作它通过接口注册各种事件勾子在JVM事件触发时同时触发预定义的勾子以实现对各个JVM事件的响应事件包括类文件加载、异常产生与捕获、线程启动和结束、进入和退出临界区、成员变量修改、GC开始和结束、方法调用进入和退出、临界区竞争与等待、VM启动与退出等等。
而Agent就是JVMTI的一种实现Agent有两种启动方式一是随Java进程启动而启动经常见到的java -agentlib就是这种方式二是运行时载入通过attach API将模块jar包动态地Attach到指定进程id的Java进程内。
Attach API 的作用是提供JVM进程间通信的能力比如说我们为了让另外一个JVM进程把线上服务的线程Dump出来会运行jstack或jmap的进程并传递pid的参数告诉它要对哪个进程进行线程Dump这就是Attach API做的事情。在下面我们将通过Attach API的 loadAgent()方法将打包好的Agent jar包动态Attach到目标JVM上。具体实现起来的步骤如下
定义Agent并在其中实现AgentMain方法如上一小节中定义的代码块7中的TestAgent类然后将TestAgent类打成一个包含MANIFEST.MF的jar包其中MANIFEST.MF文件中将Agent-Class属性指定为TestAgent的全限定名如下图所示 最后利用Attach API将我们打包好的jar包Attach到指定的JVM pid上代码如下
import com.sun.tools.attach.VirtualMachine;public class Attacher {public static void main(String[] args) throws AttachNotSupportedException, IOException, AgentLoadException, AgentInitializationException {// 传入目标 JVM pidVirtualMachine vm VirtualMachine.attach(39333);vm.loadAgent(/Users/zen/operation_server_jar/operation-server.jar);}
}由于在MANIFEST.MF中指定了Agent-Class所以在Attach后目标JVM在运行时会走到TestAgent类中定义的agentmain()方法而在这个方法中我们利用Instrumentation将指定类的字节码通过定义的类转化器TestTransformer做了Base类的字节码替换通过javassist并完成了类的重新加载。由此我们达成了“在JVM运行时改变类的字节码并重新载入类信息”的目的。
以下为运行时重新载入类的效果先运行Base中的main()方法启动一个JVM可以在控制台看到每隔五秒输出一次”process”。接着执行Attacher中的main()方法并将上一个JVM的pid传入。此时回到上一个main()方法的控制台可以看到现在每隔五秒输出”process”前后会分别输出”start”和”end”也就是说完成了运行时的字节码增强并重新载入了这个类。 2.4、使用场景
至此字节码增强技术 的可使用范围就不再局限于JVM加载类前了。通过上述几个类库我们可以在运行时对JVM中的类进行修改并重载了。通过这种手段可以做的事情就变得很多了 热部署不部署服务而对线上服务做修改可以做打点、增加日志等操作。 javassist instrument 实现热部署 Mock测试时候对某些服务做Mock。 性能诊断工具比如bTrace就是利用Instrument实现无侵入地跟踪一个正在运行的JVM监控到类和方法级别的状态信息。
3、总结
字节码增强技术相当于是一把打开运行时JVM的钥匙利用它可以动态地对运行中的程序做修改也可以跟踪JVM运行中程序的状态。此外我们平时使用的动态代理、AOP也与字节码增强密切相关它们实质上还是利用各种手段生成符合规范的字节码文件。综上所述掌握字节码增强后可以高效地定位并快速修复一些棘手的问题如线上性能问题、方法出现不可控的出入参需要紧急加日志等问题也可以在开发中减少冗余代码大大提高开发效率。
4、参考文献
《ASM4-Guide》Oracle:The class File FormatOracle:The Java Virtual Machine Instruction Setjavassist tutorialJVM Tool Interface - Version 1.2
5、作者简介
泽恩美团点评研发工程师。
文章来源美团技术团队 字节码增强技术探索
