今天安利一个我认为的最强AI图像修复模型DiffBIR，可以将模糊照片一键变高清，特别是在人像照片修复方面非常强。DiffBIR由中国科学院深圳先进技术研究院、上海人工智能实验室、香港中文大学联合发布并开源，它利用生成扩散先验（Generative Diffusion Prior）来逐步修复模糊图像，核心作用就是能够解决图片模糊和老图片细节丢失的问题。
先来看看官方演示效果图。
对人像图片的修复非常强。
DiffBIR架构
DiffBIR 将盲图像恢复问题分解为两个阶段：
退化去除：在第一阶段，模型通过去除与图像无关的内容，初步修正模糊区域和噪声。这一过程使用使用Swin Transformer模型来完成基本的去噪，恢复模块消除退化并获得高保真度的恢复结果。
信息再生：在第二阶段，模型生成丢失的图像内容，进一步细化图像的细节。研究团队提出了IRControlNet，它利用经典的Stable Diffusion模型的生成能力来生成逼真的细节，并运用classifier gudance技术来进行真实性和多样性的平衡。IRControlNet基于专门制作的条件图像进行训练的，没有分散注意力的噪声内容，以实现稳定的生成性能。此阶段的目标是恢复图像的高质量特征，使得最终输出的图像更加清晰和真实。
与主流图像修复模型对比
大量实验表明，DiffBIR 在盲图像超分辨率、盲人脸修复和盲图像去噪任务方面优于最先进的方法。官方展示了跟StableSR、PASD、RealESR-GAN、SwinIR、CodeFormer等模型的对比效果。
目前图像修复模型有很多，官方列举的对比模型只是其中少部分，而且还是最弱的几个。B站有个叫“deepfree3”的up主，对比了目前主流的图像修复模型，包括DiffBIR 、Flux Upascler、SUPIR、CCSR、TTPlanet v2、PMRF、InstantIR、StableSR 八种模型的效果对比视频。有兴趣的朋友可以去看一下。
从我的使用感觉来看，DiffBIR强于模糊人像照片的修复，特别是盲脸修复，主要特点就是对原图的高保真修复，修复后能很好地跟原有图片信息保持一致，不像有些图像修复模型，人像修复后就不太像了。也许其他图像修复模型在高清细节修复上面比DiffBIR好，但是人脸保真修复这块，我认为DiffBIR是最强的。
使用及部署
官方贴心的在replicate上开放了使用页面，不用部署直接免费使用。
ComfyUI也有DiffBIR的插件，可以在ComfyUI中使用。只是ComfyUI-DiffBIR是使用的DiffBIR v2模型，前不久官方发布的v2.1模型，并不支持。
在网上找了一圈，没有大神做最新的DiffBIR v2.1整合包，只有自己动手了。因为我也是编程小白，磕磕碰碰花了几天时间才做好这个Windows一键整合包。下面说一下一键整合包的使用，主要是部分参数设置。
下载解压后，点“启动.bat”文件，启动完成后打开浏览器输入“http://127.0.0.1:7860/”就打开了使用界面。只是官方介绍说集成了LLaVA来生成图片提示词，虽然下载了LLaVA模型，但怎么试都不成功，这个功能没法使用。
参数中的Task主要是选择sr盲图修复还是face人脸修复。Upsample factor选择放大的倍数。平铺选项中可以勾选Tiled diffusion，tile size=512。提示词可填可不填，影响不大。
除了Steps生成步数参数可以调外，其他可以默认，如果想生成更精细些，步数可以再调大点，当然生成时间花费更久。
看看我的照片修复效果。大图看不清楚，我裁了看看脸部细节，修复后人脸保持了高度一致，放大后的皮肤纹理也很好，不像PMRF修复模型，虽然人脸一致性也很好，但修复后的皮肤纹理放大后根本没法看。
除了真实照片外，DiffBIR对古画的修复效果也不错。
官方说DiffBIR v2.1 可以在具有8GB VRAM 的显卡上运行。当然这是理论上的，如果修复比较大的图片，或者放大倍数太高还是比较费显存。最后说一下，DiffBIR最大的问题就是慢，在所有图像修复模型中，DiffBIR的慢可以排到前三。
好了，今天就介绍到这里，关注我私信“DiffBIR”获取一键整合包夸克网盘下载链接，不要再问我为什么没有百度网盘，我恨死百度网盘了，锁了我上传保存的10多G的电子书，亏我充了好多年的VIP。看在我辛苦几天做整合包的面上，家人们，点个赞再走啊。
项目页：
github.com/XPixelGroup/DiffBIR
免费使用网页：
replicate.com/zsxkib/diffbir
DiffBIR v2的Comfyui插件：
github.com/jtscmw01/ComfyUI-DiffBIR
一键整合包夸克网盘：
https://pan.quark.cn/s/1e90834438e3
发表评论 取消回复