视频添加滤镜的预览和导出

最新推荐文章于 2026-04-30 10:03:41 发布

原创最新推荐文章于 2026-04-30 10:03:41 发布 · 3.3k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

ios开发专栏收录该内容

13 篇文章

订阅专栏

该博客探讨了如何在视频播放过程中添加滤镜并实现实时预览。通过利用缓冲区获取和处理像素信息，确保视频每显示一帧就处理一帧，实现平滑的滤镜应用效果。在预览部分，提到了关键代码用于视频输出和刷新时获取像素。在导出阶段，介绍了一种不需逐帧读取和转换的高效方法，通过AVAssetWriterInput直接将处理效果渲染到输出文件中，避免了CPU模拟GPU导致的卡顿问题，真机上表现更佳。

原理：利用CIFilter对视频进行逐帧处理

预览

AVPlayerItemVideoOutput能够处理视频播放过程中像素级别的buffer，其方法hasNewPixelBufferForItemTime:(CMTime)itemTime可以判断在itemTime 这个时刻是否有可用的像素信息，copyPixelBufferForItemTime: itemTimeForDisplay:可以取到这个时刻的像素CVPixelBufferRef。buffer可以用来生成CIImage，之后可以用CIFilter进行处理。
CADisplayLink是一个可以保证与屏幕刷新同步的定时器，利用它可以使视频每显示一帧就处理一帧，这样可以播放经过滤镜处理后的视频。

关键代码

为视频添加输出

_player = [[AVPlayer alloc]initWithURL:url];
_videoOutput = [[AVPlayerItemVideoOutput alloc]initWithPixelBufferAttributes:nil];
[player.currentItem addOutput:videoOutput];
CADisplayLink *displayLink = [CADisplayLink displayLinkWithTarget:self selector:@selector(refreshDisplay:)];
[displayLink addToRunLoop:[NSRunLoop mainRunLoop] forMode:NSRunLoopCommonModes];
[_player play];

刷新时获取像素的方法：

- (void)refreshDisplay:(CADisplayLink *)sender {
    CMTime itemTime = [_videoOutput itemTimeForHostTime:CACurrentMediaTime()];    
    if ([_videoOutput hasNewPixelBufferForItemTime:itemTime]) {
        CVPixelBufferRef pixelBuffer = [_videoOutput copyPixelBufferForItemTime:itemTime itemTimeForDisplay:nil];
        CIImage *image = [CIImage imageWithCVPixelBuffer:pixelBuffer];
        // 利用 CIFilter 处理 CIImage
        CVPixelBufferRelease(pixelBuffer);
    }
}

`CIImage`->`CGImage`

CIContext *context = [CIContext contextWithOptions:nil];
CGImageRef cgImage = [context createCGImage:ciImage fromRect:[ciImage extent]];

ps：模拟器使用CPU模拟GPU，会有严重的卡顿，使用真机时十分流畅。

导出

大部分教程写的是使用AVAssetReader对素材逐帧读取，转换为CIImage，处理后使用AVAssetWriter写回文件。这里使用另一种更为简便的方法。

使用videoCompositionWithAsset: applyingCIFiltersWithHandler:构造出的AVMutableVideoComposition在导出时会将handler中处理的效果渲染到输出文件中。

关键代码

// 初始化 AVMutableComposition
AVMutableVideoComposition *videoCompostion = [AVMutableVideoComposition videoCompositionWithAsset:compostion applyingCIFiltersWithHandler:^(AVAsynchronousCIImageFilteringRequest * _Nonnull request) {
        CIImage = request.sourceImage;
        CIFilter *filter = [CIFilter filterWithName:filterName];
        // 处理 image
        if (filtered) // 成功
            [request finishWithImage:filtered context:nil];
        else // 失败
            [request finishWithError:err];
}];
// export