2. 并发机制底层实现原理

JAVA代码编译后会变成JAVA字节码，字节码被类加载器加载到JVM中，JVM执行字节码，最终需要转换为汇编指令在CPU上执行。

JAVA中使用的并发机制，依赖于JVM的实现和CPU的指令

volatile的应用

它比synchronized使用执行成本更低，因为它不会引起线程上下文切换和调度。

volatile定义和原理

属于	英文单词	描述
内存屏障	memory barriers	一组处理器指令，实现对内存操作的顺序限制
缓冲行	cache line	缓存中可以分配的最小存储单��
原子操作	atomic operations	不可中断的一个或一系列操作
缓冲行填充	cache line fill	当处理器识别从内存中读取操作数是可缓存的，处理器读取整合缓冲行到合适的内存(L1,L2,L3或所有)
缓存命中	cache hit	如果进行高速缓存行操作的内存位置仍然是下次处理器访问的地址时，处理器从缓存读取数据，而不是从内存
写命中	write hit	当处理器将操作数写回到一个内存缓存的区域时，会检查这个缓存的内存地址是否在缓存行中，如果存在一个有效缓存行，则处理器将操作数写回到缓存，而不是写回内存，这个操作成为写命中
写缺失	write misses the cache	一个有效的缓存行被写入到不存在的内存区域

有volatile变量修饰的共享变量，进行写操作时，lock前缀的命令在多核处理器下引发两件事：

将当前处理器缓存行的数据写回到主内存
这个写回内存的操作会使在其他CPU里缓存了该内存地址的数据无效

多核处理器下，为了保证各个处理器的缓存是一致的：就会实现一个一致性协议，每个处理器通过嗅探在总线上传播的数据，来检查自己缓存的值是否过期。当处理器发现自己缓存行对应的内存地址被修改，就会将当前处理器的缓存行设为无效状态。处理器对改数据进行操作时，会重新从主内存读取到缓存行中

volatile实现原则：

lock前缀指令会引起处理器缓存回写到内存
- 多线程环境中，lock#信号确保在声言该信号期间，处理器可以独占任何共享内存
- 最近的处理器中，一般不锁总线，而是锁缓存，因为总线消耗大
- 锁缓存，使用缓存一致性协议确保修改的原子性
一个处理器的缓存回写到内存会导致其他处理器缓存无效
- 强制实行缓存行填充

volatile的使用优化：

LinkedTransferQueue，使用volatile时，用一种追加字节的方式来优化队列出队和入队的性能

/** 队列中的头部节点 */
private transient final PaddedAtomicReference<QNode> head;
/** 队列中的尾部节点 */
private transient final PaddedAtomicReference<QNode> tail;
static final class PaddedAtomicReference <T> extends AtomicReference T> {
    // 使用很多4个字节的引用追加到64个字节
    Object p0, p1, p2, p3, p4, p5, p6, p7, p8, p9, pa, pb, pc, pd, pe;
    PaddedAtomicReference(T r) {
        super(r);
    }
}
public class AtomicReference <V> implements java.io.Serializable {
    private volatile V value;
    // 省略其他代码
｝

追加字节能优化性能？

LinkedTransferQueue这个类，它使用一个内部类类型来定义队列的
头节点（head）和尾节点（tail），而这个内部类PaddedAtomicReference相对于父类AtomicReference只做了一件事情，就是将共享变量追加到64字节。我们可以来计算下：

一个对象的引用占4个字节，它追加了15个变量（共占60个字节），再加上父类的value变量，一共64个字节

为什么追加64字节能够提高并发编程的效率呢？

因为对于英特尔酷睿i7、酷睿、Atom和NetBurst，以及CoreSolo和PentiumM处理器的L1、L2或L3缓存的高速缓存行是64个字节宽，不支持部分填充缓存行

这意味着，如果队列的头节点和尾节点都不足64字节的话，处理器会将它们都读到同一个高速缓存行中，在多处理器下每个处理器都会缓存同样的头、尾节点，当一个处理器试图修改头节点时，会将整个缓存行锁定，那么在缓存一致性机制的作用下，会导致其他处理器不能访问自己高速缓存中的尾节点，而队列的入队和出队操作则需要不停修改头节点和尾节点，所以在多处理器的情况下将会严重影响到队列的入队和出队效率。

Doug lea使用追加到64字节的方式来填满高速缓冲区的缓存行，避免头节点和尾节点加载到同一个缓存行，使头、尾节点在修改时不会互相锁定

那么是不是在使用volatile变量时都应该追加到64字节呢？

不是的

缓存行非64字节宽的处理器

P6系列和奔腾处理器，它们的L1和L2高速缓存行是32个字节宽

共享变量不会被频繁地写。

因为使用追加字节的方式需要处理器读取更多的字节到高速缓冲区，这本身就会带来一定的性能消耗，如果共享变量不被频繁写的话，锁的几率也非常小，就没必要通过追加字节的方式来避免相互锁定

synchronized的实现原理与应用

先来看下利用synchronized实现同步的基础：Java中的每一个对象都可以作为锁。具体表现
为以下3种形式。

对于普通同步方法，锁是当前实例对象。
对于静态同步方法，锁是当前类的Class对象。
对于同步方法块，锁是Synchonized括号里配置的对象

JVM基于进入和退出Monitor对象来实现方法同步和代码块同步，但两者的实现细节不一样

代码块同步是使用monitorenter和monitorexit指令实现的
方法同步是使用另外一种方式实现。但是，方法的同步同样可以使用这两个指令来实现。
monitorenter指令是在编译后插入到同步代码块的开始位置
monitorexit是插入到方法结束处和异常处

JVM要保证每个monitorenter必须有对应的monitorexit与之配对。

任何对象都有一个monitor与之关联，当且一个monitor被持有后，它将处于锁定状态。线程执行到monitorenter指令时，将会尝试获取对象所对应的monitor的所有权，即尝试获得对象的锁

Java对象头

对象在内存中存储的布局可以分为3块区域：对象头（Header），实例数据（Instance Data）和对齐填充（Padding）

也就是说 JAVA对象 = 对象头 + 实例数据 + 对象填充

对象头由两部分组成，一部分用于存储自身的运行时数据，称之为 Mark Word，另外一部分是类型指针，及对象指向它的类元数据的指针。

对象头 = Mark Word + 类型指针

（未开启指针压缩的情况下）

在32位系统中，Mark Word = 4 bytes = 32 bits，对象头 = 8 bytes = 64 bits
在64位系统中，Mark Word = 8 bytes = 64 bits ，对象头 = 16 bytes = 128bits

synchronized用的锁是存在Java对象头里的。如果对象是数组类型，则虚拟机用3个字宽（Word）存储对象头，如果对象是非数组类型，则用2字宽存储对象头。

32位虚拟机和64位虚拟机对象头

长度	内容	说明
32/64bit	Mark Word	存储对象的hashCode或锁信息
32/64bit	Class Metadata Address	存储到对象类型数据的指针
32/64bit	Array Length	数组的长度(如果当前对象是数组)

Java对象头里的Mark Word里默认存储对象的HashCode、分代年龄和锁标记位。

JAVA对象头存储结构

锁状态	25bit	4bit	1bit是否是偏向锁	2bit锁标志位
无锁状态	对象的hashCode	对象的分代年龄	0	01

在运行期间，Mark Word里存储的数据会随着锁标志位的变化而变化。Mark Word可能变
化为存储以下4种数据

在64位虚拟机下，Mark Word是64bit大小的，其存储结构如下：

锁状态	25bit	31bit	1bit	4bit	1bit	2bit
			cms_free	分代年龄	偏向锁	锁标志位
无锁	unused	hashCode			0	01
偏向锁	ThreadID(54bit) Epoch(2bit)				1	01

类型指针

类型指针即代表对象指向它的类元数据的指针，虚拟机通过这个指针来确定该对象是哪个类的实例。

但查找对象的元数据信息并不一定要经过对象本身。如果对象是一个Java数组，在对象头中还须有一块用于记录数组长度的数据，因为虚拟机可通过普通Java对象的元数据信息确定Java对象的大小，但从数组的元数据中无法确定数组的大小。

实例数据

真正存储有效信息，即程序代码中所定义的各种类型的字段内容，包括父类继承下来的和子类定义的。这部分存储顺序受虚拟机分配策略参数（FiledsAllocationStyle)和字段在Java源码中定义的顺序的影响。

HotSpot虚拟机默认分配策略为longs/double、ints、shorts/chars、bytes/booleans、oops(Ordinary ObjectPointers)，从分配策略可以看出，相同宽度的字段总是被分配到一起。

在此前提条件下，父类中定义的变量会出在子类之前，若CompactFileds的参数值为true，那么子类中较窄的变量也可能会插到父类变量的空隙中。

原生类型(primitive type)的内存占用如下：

Primitive Type	Memory Required(bytes)
boolean	1
byte	1
short	2
char	2
int	4
float	4
long	8
double	8

reference类型在32位系统上每个占用4bytes, 在64位系统上每个占用8bytes

对齐填充

对齐填充并不是必然存在的，也没有什么特别的意义，他仅仅起着占位符的作用，由于HotSpot VM的自动内存管理系统要求对象起始地址必须是8字节的整数倍，换句话说，就是

对象的大小必须是8字节的整数倍。-
对象头正好是8字节的倍数
因此，当对象实例数据部分没有对齐时，就需要通过对齐填充来补全。

锁的升级与对比

Java SE 1.6中，锁一共有4种状态，级别从低到高依次是：无锁状态、偏向锁状态、轻量级锁状态和重量级锁状态，这几个状态会随着竞争情况逐渐升级。

锁可以升级但不能降级，意味着偏向锁升级成轻量级锁后不能降级成偏向锁。这种锁升级却不能降级的策略，目的是为了提高获得锁和释放锁的效率

偏向锁

当一个线程访问同步块并获取锁时，会在对象头和栈帧中的锁记录里存储锁偏向的线程ID，以后该线程在进入和退出同步块时不需要进行CAS操作来加锁和解锁，只需简单地测试一下对象头的MarkWord里是否存储着指向当前线程的偏向锁。

测试成功，表示线程已经获��了锁。
测试失败，则需要再测试一下MarkWord中偏向锁的标识是否设置成1（表示当前是偏向锁）
- 没有设置，则使用CAS竞争锁；
- 设置了，则尝试使用CAS将对象头的偏向锁指向当前线程。

偏向锁的撤销

偏向锁使用了一种等到竞争出现才释放锁的机制，所以当其他线程尝试竞争偏向锁时，持有偏向锁的线程才会释放锁。偏向锁的撤销，需要等待全局安全点（在这个时间点上没有正在执行的字节码）

首先暂停拥有偏向锁的线程
然后检查持有偏向锁的线程是否活着
- 线程不处于活动状态，则将对象头设置成无锁状态
- 线程仍然活着，拥有偏向锁的栈会被执行，遍历偏向对象的锁记录，栈中锁记录和对象头的MarkWord
  - 要么重新偏向于其他线程
  - 要么恢复到无锁或者标记对象不适合作为偏向锁
最后唤醒暂停的线程

流程

关闭偏向锁

偏向锁在Java 6和Java7里是默认启用的，但是它在应用程序启动几秒钟之后才激活，如有必要可以使用JVM参数来关闭延迟：-XX:BiasedLockingStartupDelay=0。

如果你确定应用程序里所有的锁通常情况下处于竞争状态，可以通过JVM参数关闭偏向锁：-XX:-UseBiasedLocking=false，那么程序默认会进入轻量级锁状态

轻量级锁

轻量级锁加锁

线程在执行同步块之前，JVM会先在当前线程的栈桢中创建用于存储锁记录的空间，并将对象头中的MarkWord复制到锁记录中，官方称为DisplacedMarkWord。然后线程尝试使用CAS将对象头中的MarkWord替换为指向锁记录的指针。如果成功，当前线程获得锁，如果失败，表示其他线程竞争锁，当前线程便尝试使用自旋来获取锁。

在MarkWord中保存当前线程的指针
修改锁标识位为“00”

采用CAS操作的原因是，不想在加锁解锁上再加同步

如果对象处于无锁状态（偏向锁标志位为”0”，锁标志位为”01”），会在线程的栈中开辟个锁记录空间（LockRecord），将MarkWord拷贝一份到LockRecord中，称为Displaced Mark Word，在Lock Record中保存对象头的指针（owner）。

接下来CAS更新MarkWord，将MarkWord指向当前线程，owner指向MarkWord，如果失败了，则意味着出现了另一个线程竞争锁，此时需要锁膨胀为轻量级锁。

轻量级锁解锁

轻量级解锁时，会使用原子的CAS操作将DisplacedMarkWord替换回到对象头，

如果成功，则表示没有竞争发生。
如果失败，表示当前锁存在竞争，锁就会膨胀成重量级锁。

因为自旋会消耗CPU，为了避免无用的自旋（比如获得锁的线程被阻塞住了），一旦锁升级成重量级锁，就不会再恢复到轻量级锁状态。当锁处于这个状态下，其他线��试图获取锁时，都会被阻塞住，当持有锁的线程释放锁之后会唤醒这些线程，被唤醒的线程就会进行新一轮的夺锁之争。

锁的优缺点对比

锁	优点	缺点	适用场景
偏向锁	加锁和解锁不需要额外的消耗，和执行非同步方法相比仅存在纳秒级的差距	如果线程之间存在锁竞争，会带来额外的锁撤销的消耗	适用于只有一个线程访问同步块场景
轻量级锁	竞争的线程不会阻塞，提高了程序的响应速度	如果始终得不到锁竞争的线程，使用自旋会消耗CPU	追求响应时间，同步块执行速度非常快
重量级锁	锁竞争不使用自旋，不会消耗CPU	线程阻塞，响应时间缓慢	追求吞吐量，同步块执行时间较长

原子操作的实现原理

CPU术语定义

术语名称	英文	解释
缓存行	Cache line	缓存的最小单位
比较并交换	Compare and Swap	CAS操作需要输入两个值，一个旧值(期望操作前的值)，一个新值，在操作期间先比较旧值有没有发生变化，如果没有，才交换生成新值，发生了变化则不交换
CPU流水线	CPU pipeline	CPU流水线的工作方式就像是工业流水线，在CPU中由56个不同功能的电路单元组成一条指令处理流水线，然后将一条X86指令分成56步，再由这些电路单元分别执行。这样就能在一个时钟周期内完成一个指令，提高CPU运转速度
内存顺序冲突	Memory order violation	内存顺序冲突是由假共享引起的，假共享是指多个CPU同时修改同一个缓存行的不同部分而引起其中一个CPU的操作无效，当出现内存顺序冲突时，CPU必须清空流水线

处理器如何实现原子操作

32位IA-32处理器使用基于对缓存加锁或总线加锁的方式来实现多处理器之间的原子操作。

首先处理器会自动保证基本的内存操作的原子性。处理器保证从系统内存中读取或者写入一个字节是原子的，意思是当一个处理器读取一个字节时，其他处理器不能访问这个字节的内存地址。

Pentium 6和最新的处理器能自动保证单处理器对同一个缓存行里进行16/32/64位
的操作是原子的，但是复杂的内存操作处理器是不能自动保证其原子性的，比如跨总线宽度、跨多个缓存行和跨页表的访问。但是，处理器提供总线锁定和缓存锁定两个机制来保证复杂内存操作的原子性。

使用总线锁保证原子性

如果多个处理器同时对共享变量进行读改写操作（i++就是经典的读改写操作），那么共享变量就会被多个处理器同时进行操作，这样读改写操作就不是原子的，操作完之后共享变量的值会和期望的不一致

原因可能是多个处理器同时从各自的缓存中读取变量i，分别进行加1操作，然后分别写入系统内存中。那么，想要保证读改写共享变量的操作是原子的，就必须保证CPU1读改写共享变量的时候，CPU2不能操作缓存了该共享变量内存地址的缓存。

处理器使用总线锁就是来解决这个问题的。所谓总线锁就是使用处理器提供的一个
LOCK＃信号，当一个处理器在总线上输出此信号时，其他处理器的请求将被阻塞住，那么该处理器可以独占共享内存

使用缓存锁保证原子性

在同一时刻，我们只需保证对某个内存地址的操作是原子性即可，但总线锁定把CPU和内存之间的通信锁住了，这使得锁定期间，其他处理器不能操作其他内存地址的数据，所以总线锁定的开销比较大，目前处理器在某些场合下使用缓存锁定代替总线锁定来进行优化

频繁使用的内存会缓存在处理器的L1、L2和L3高速缓存里，那么原子操作就可以直接在处理器内部缓存中进行，并不需要声明总线锁，在Pentium6和目前的处理器中可以使用“缓存锁定”的方式来实现复杂的原子性

所谓“缓存锁定”是指内存区域如果被缓存在处理器的缓存行中，并且在Lock操作期间被锁定，那么当它执行锁操作回写到内存时，处理器不在总线上声言LOCK＃信号，而是修改内部的内存地址，并允许它的缓存一致性机制来保证操作的原子性，因为缓存一致性机制会阻止同时修改由两个以上处理器缓存的内存区域数据，当其处理器回写已被锁定的缓存行的数据时，会使缓存行无效，在如图2-3所示的例子中，当CPU1修改缓存行中的i时使用了缓存锁定，那么CPU2就不能同时缓存i的缓存行

但是有两种情况下处理器不会使用缓存锁定

第一种情况是：当操作的数据不能被缓存在处理器内部，或操作的数据跨多个缓存行（cache line）时，则处理器会调用总线锁定。

第二种情况是：有些处理器不支持缓存锁定。对于Intel486和Pentium处理器，就算锁定的内存区域在处理器的缓存行中也会调用总线锁定

针对以上两个机制，我们通过Intel处理器提供了很多Lock前缀的指令来实现。
例如

位测试和修改指令：BTS、BTR、BTC；
交换指令XADD、CMPXCHG
其他一些操作数和逻辑指令（如ADD、OR）等

被这些指令操作的内存区域就会加锁，导致其他处理器不能同时访问它

Java如何实现原子操作

在Java中可以通过锁和循环CAS的方式来实现原子操作

使用循环CAS实现原子操作

JVM中的CAS操作正是利用了处理器提供的CMPXCHG指令实现的。自旋CAS实现的基本
思路就是循环进行CAS操作直到成功为止

CAS实现原子操作的三大问题

在Java并发包中有一些并发框架也使用了自旋CAS的方式来实现原子操作，比如
LinkedTransferQueue类的Xfer方法。CAS虽然很高效地解决了原子操作，但是CAS仍然存在三大问题。

ABA问题
循环时间长开销大
只能保证一个共享变量的原子操作

ABA问题

因为CAS需要在操作值的时候，检查值有没有发生变化，如果没有发生变化
则更新，但是如果一个值原来是A，变成了B，又变成了A，那么使用CAS进行检查时会发现它的值没有发生变化，但是实际上却变化了。

ABA问题的解决思路就是使用版本号。在变量前面追加上版本号，每次变量更新的时候把版本号加1，那么A→B→A就会变成1A→2B→3A。

JDK的Atomic包里提供了一个类AtomicStampedReference来解决ABA问题。这个类的compareAndSet方法的作用是首先检查当前引用是否等于预期引用，并且检查当前标志是否等于预期标志，如果全部相等，则以原子方式将该引用和该标志的值设置为给定的更新值

public void compareAndSet {
    V expectedReference, //预期引用
    V newReference, //更新后的引用
    int expectedStamp, //预期标志
    int newStamp; //更新后的标志
}

循环时间长开销大

自旋CAS如果长时间不成功，会给CPU带来非常大的执行开销。如果JVM能支持处理器提供的pause指令，那么效率会有一定的提升

它可以延迟流水线执行指令（de-pipeline），使CPU不会消耗过多的执行资源，延迟的时间取决于具体实现的版本，在一些处理器上延迟时间是零
它可以避免在退出循环的时候因内存顺序冲突（Memory Order Violation）而引起CPU流水线被清空（CPU Pipeline Flush），从而提高CPU的执行效率

只能保证一个共享变量的原子操作

当对一个共享变量执行操作时，我们可以使用循环CAS的方式来保证原子操作，但是对多个共享变量操作时，循环CAS就无法保证操作的原子性，这个时候就可以用锁

有一个取巧的办法，就是把多个共享变量合并成一个共享变量来
操作

使用锁机制实现原子操作

锁机制保证了只有获得锁的线程才能够操作锁定的内存区域。JVM内部实现了很多种锁机制，有偏向锁、轻量级锁和互斥锁。有意思的是除了偏向锁，JVM实现锁的方式都用了循环CAS，即当一个线程想进入同步块的时候使用循环CAS的方式来获取锁，当它退出同步块的时候使用循环CAS释放锁