要单独将一个处理器类导出为 jar 包，除了用 Eclipse，用 jar 命令和 maven 打包也是很方便的。本文介绍了导出 Jar 包的几种方式。

阅读全文

对象的实例化

对象实例化的几种方式

美团：

• 对象在 JVM 中饭是怎么存储的？
• 对象头信息里面有哪些东西？

蚂蚁金服：

• 二面：Java 对象头里有什么？

对象的实例化：

• 创建对象的方式
  • new
    • new 最常见的方式
    • 变形 1 : Xxx 的静态方法
    • 变形 2 : XxxBuilder/XxxFactory 的静态方法
  • Class 的 newInstance()
    • 反射的方式，只能调用空参的构造器，权限必须是 public
  • Constructor 的 newInstance(Xxx)
    • 反射的方式，可以调用空参、带参的构造器。权限没有要求
  • 使用 clone()
    • 不调用任何构造器，当前类需要实现 Cloneable 接口, 实现 clone()
  • 使用反序列化
    • 从文件、网络中获取一个对象的二进制流
  • 第三方库 Objenesis
• 创建对象的步骤
  1. 判断对象对应的类是否加载、链接、初始化
     虚拟机遇到一条 new 指令 ，首先去检查这个指令的参数能否在 Metaspace 的常量池中定位到一个类的符号引用，并且检查这个符号引用代表的类是否已经被加载、解忻和初始化。( 即判断类元信息是否存在)。如果没有，那么在双亲委派模式下，使用当前类加载器以 ClassLoader+包名+类名 为 Key 进行查找对应的 .class 文件。如果没有找到文件，则抛出 ClassNotFoundException 异常，如果找到，则进行类加载，并生成对应的 Class 类对象
  2. 为对象分配内存
     首先计算对象占用空间大小，接着在堆中划分一块内存给新对象。如果实例成员变量是引用变量，仅分配引用变量空间即可，即4个字节大小。
     1. 如果内存规整
        1. 指针碰撞
     2. 如果内存不规整
        1. 虚拟机需要维护一个列表
        2. 空闲列表分配
     3. 说明
  3. 处理并发安全问题
     1. 采用 CAS 配上失败重试保证更新的原子性
     2. 每个线程预先分配一块 TLAB
  4. 初始化分配到的空间
     1. 所有属性设置默认值，保证对象实例字段在不赋值时可以直接使用
  5. 设置对象的对象头
  6. 执行 init 方法进行初始化

从字节码角度看对象的创建过程

对象的内存布局

对象的访问定位

常见面试题

阅读全文

方法区概述

• 1 栈和堆和方法区间的交互关系
• 2 方法区的理解
  • 方法区在哪里
  • HotSpot中方法区的演进
• 3 设置方法区大小与OOM
• 4 方法区的内部结构
  • 方法区 (Method Area) 存储什么
    • 类型信息
    • 域 (Field) 信息
    • 方法 (Method) 信息
    • 字节码角度举例查看
  • non-final 的类变量
  • 补充说明：全局常量：final static
  • class 文件中常量池的理解
    • 运行时常量池 VS 常量池
    • 为什么需要常量池
    • 常量池中有什么
    • 小结
  • 运行时常量池的理解
    • 运行时常量池
• 5 方法区使用举例
• 6 方法区的演进细节
  • 永久代为什么要被元空间替换
  • StringTable为什么要调整位置
  • 如何证明静态变量存在哪
• 7 方法区的垃圾回收
• 8 总结

阅读全文

1 堆的核心概述

• ● 一个 JVM 实例只存在一个堆内存，堆也是 Java 内存管理的核心区域。
• ● Java 堆区在 JVM 启动的时候即被创建，其空间大小也就确定了。是 JVM 管理的最大一块内存空间。
  • ➢ 堆内存的大小是可以调节的。
• ● 《Java 虚拟机规范》规定，堆可以处于物理上不连续的内存空间中，但在逻辑上它应该被视为连续的。
• ● 所有的线程共享 Java 堆，在这里还可以划分线程私有的缓冲区 (ThreadLocal Allocation Buffer， TLAB)

一个 JVM 实例对应一个进程，方法区和堆是一个进程一份，而程序计数器、本地方法栈、虚拟机栈是一个线程对应一份，一个进程中的所有线程共享方法区和堆（并不是完整的堆都一定是共享的，比如 TLAB）。

阅读全文

• 1 虚拟机栈概述
• 2 栈的存储单位
• 3 局部变量表
• 4 操作数栈
• 5 代码追踪
• 6 栈顶缓存技术
• 7 动态链接
• 8 方法的调用:解析与分派
• 9 方法返回地址
• 10 一些附加信息
• 11 栈的相关面试题

阅读全文

JVM内存布局及Java线程、PC寄存器

JVM内存划分

内存是非常重要的系统资源，是硬盘和CPU的中间仓库及桥梁，承载着操作系统和应用程序的实时运行。JVM内存布局规定了JAVA在运行过程中内存申请、分配、管理的策略，保证了JVM的高效稳定运行。不同的JVM对于内存的划分方式和管理机制存在着部分差异。

阅读全文

概述类的加载器及类加载过程

• 类的加载过程一： Loading 加载
• 类的加载过程二： Linking 链接
  • Verification 验证
  • Preparation 准备
  • Resolution 解析
• 类的加载过程三： Initialization 初始化

阅读全文

该错误告诉我们，我们的类是在比尝试运行它的版本更高的Java版本下编译的。 更具体地说，在这种情况下，我们使用Java 11编译了我们的类，并尝试使用Java 8运行它。

阅读全文

问题描述：

通过http://ip:8088/能够访问All Applications页面，但是在执行一个application完之后，通过网页中的Tracking UI -> History链接跳转到http://localhost:8088/proxy/application_..._0001/jobhistory/job/job_..._0001,http://localhost:19888/jobhistory页面。但是因为Hadoop服务器是部署在公网的，而8088端口的管理界面中的jobhistory链接和Logs链接、Node链接中的主机名（hostname）都是 localhost 而不是服务器的公网ip地址。

而且查看Mapreduce执行时终端的日志信息有这么一句：
INFO mapreduce.Job: The url to track the job: http://localhost:8088/proxy/application_..._0001/
这说明了jobtracker服务的url地址是服务器本地主机，并不是公网ip，所以job tracker url没能正确被生成。

解决方法：

在NameNode节点的服务器上执行netstat -nltp | grep LISTEN命令之后发现几个重要端口如8088、8042等服务监听都正常，试着手动将浏览器url地址中的localhost改成服务器的公网ip地址，发现是能够打开Logs和Job History等页面的。所以推测是在生成jobtracker url的时候将hostname设置成了localhost。

解决步骤： 在修改了$HADOOP_HOME/etc/hadoop/mapred-site.xml 和 $HADOOP_HOME/etc/hadoop/yarn-site.xml 两个配置文件中的几处address hostname为服务器的公网ip或者域名之后就正常了。注意：不能填0.0.0.0！

• $HADOOP_HOME/etc/hadoop/mapred-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
     <name>mapreduce.jobhistory.address</name>
     <value>23.105.206.170:10020</value>
    </property>
    <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>23.105.206.170:19888</value>
    </property>
    <property>
     <name>mapreduce.jobhistory.done-dir</name>
     <value>/history/done</value>
    </property>
    <property>
     <name>mapreduce.jobhistory.intermediate-done-dir</name>
     <value>/history/done_intermediate</value>
    </property>
    <property>
     <name>mapreduce.jobtracker.address</name>
     <value>23.105.206.170</value>
    </property>

</configuration>

• $HADOOP_HOME/etc/hadoop/yarn-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

<configuration>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!--开启日志聚合-->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
        <source>yarn-default.xml</source>
    </property>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.bind-host</name>
        <value>23.105.206.170</value>
    </property>
    <property>
        <name>yarn.nodemanager.hostname</name>
        <value>23.105.206.170</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>23.105.206.170:8088</value>
    </property>
</configuration>

修改完这两个配置文件之后重启HDFS和YARN服务，再次用hadoop jar执行一个application：
INFO mapreduce.Job: The url to track the job: http://23.105.206.170.16clouds.com:8088/proxy/application_1593439350379_0001/
终端输出的日志信息中的jobtracker url从localhost变成了服务器的ip地址或者域名，此时应该就正常了。再次浏览器打开8088 applications页面，发现网页中的所有超链接都正常指向了公网ip或域名。

默认配置项及配置项说明文件：

• https://hadoop.apache.org/docs/r2.4.1/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
• https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn-default.xml