浅析Linux设备驱动：DMA内存映射

文章目录

- 概述
- DMA与Cache一致性
- DMA映射类型
- 一致性DMA映射
- - dma_alloc_coherent
- 流式DMA映射
- - dma_map_single
  - 数据同步操作
  - - dma_direct_sync_single_for_cpu
    - dma_direct_sync_single_for_device
- 相关参考

概述

现代计算机系统中，CPU访问内存需要经过Cache，但外部设备通常不感知Cache的存在，因此CPU和外设在访问DMA内存时，必须谨慎处理内存数据的一致性问题。为了处理这种一致性问题，同时为了兼顾多种设备类型，Linux系统会采用不同的规则来映射DMA内存，开发者遵循这套规则对DMA内存进行操作。

DMA与Cache一致性

DMA内存中的数据会涉及到CPU和设备的共同访问，区别在于CPU通常经过Cache访问内存，但常规的设备通常不会感知Cache的存在。因此，CPU写入的数据可能因为还存在Cache中而未及时刷入内存，从而导致设备没有DMA到最新的数据；反过来，设备已经向设备DMA了新的数据，但CPU可能仍然在使用Cache中旧的数据。
在这里插入图片描述
解决这种DMA与Cache间数据一致性的方法通常有两种，一种是设备硬件支持Cache一致性协议；另外一种就是软件通过同步操作来保证数据一致性。根据硬件是否支持Cache一致性，可以将设备分成两类：

cache coherence设备：设备之间的读写不需要关心cache的一致性问题，硬件将确保数据一致，比如连接在ARM CCI端口上的设备就是cache coherence设备；
non-coherence设备：需要额外的软件操作（flush/invalidate）等操作来确保数据一致；

DMA映射类型

Linux系统支持两种DMA映射类型：一致性DMA映射（Consistent DMA Mapping）和流式DMA映射（Streaming DMA Mapping）。二者的核心差异在于：

一致性DMA映射情况下，无论是CPU还是设备，在访问DMA内存时，全程都不使用Cache，从而避免数据一致性问题；
流式DMA映射则只在DMA传输数据时，通过软件操作来处理Cache的同步，以减轻关闭Cache对性能的影响。

一致性DMA映射

一致性DMA映射本质上是利用了硬件的支持，禁用了DMA内存缓存区的Cache功能。 CPU和DMA controller在发起对DMA缓冲区的并行访问的时候不需要考虑cache的影响，也就是说不需要软件进行Cache操作，CPU和DMA controller都可以看到对方对DMA缓冲区的更新。

dma_alloc_coherent

DMA一致性映射使用dma_alloc_coherent接口来分配DMA内存，实现流程如下：
在这里插入图片描述
dma_alloc_cohrent通过几种不同的方式分配DMA内存：

优先从Device Cohorent Pool申请内存，这是设备专用的DMA内存池；
若设备使用直接映射，通过dma_direct_alloc分配内存；
若设备使用IOMMU，通过IOMMU提供的操作接口分配内存。

流式DMA映射

流式DMA映射是一次性的，一般是需要进行DMA传输的时候才进行mapping，一旦DMA传输完成，就立刻ummap，或者使用dma_sync_*接口进行同步，并且硬件可以为顺序化访问进行优化。流式DMA映射是怎么保证数据一致性的呢，它的方式更加复杂，让我们从数据的两个方向来分析：

DMA_TO_DEVICE：CPU将数据写入cache，然后同步cache与RAM(映射区域)，同步操作完成后设备再从RAM(映射区域)获取数据；
DMA_FROM_DEVICE：CPU标记RAM(映射区域)对应的cache line为无效状态，以避免设备将数据写入RAM(映射区域)后，CPU从cache中获得"脏数据"。

流式DMA映射根据数据方向对cache进行"flush/invalid"，既保证了数据一致性，也避免了完全关闭cache带来的性能影响。
在这里插入图片描述