百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Python图片马赛克工具:photomosaic

off999 2024-09-14 07:05 26 浏览 0 评论

编者注:文章中有很多有用的链接,如果需要查看链接内容,请查看原文。微信公众号文章无法链接到外部地址。原文地址为:https://github.com/worldveil/photomosaic。

使用机器学习 & 相似性搜索从你的家庭照片中创建有趣的图片马赛克、GIF和壁画。

如果你想使用一个很酷的网络界面,那就上传你的照片,我会打印出来邮寄给你,快来试试我的服务:http://photofun.strikingly.com。(之后我们会删除所有照片。)

因为我很容易沉迷于某些东西,所以你也可以(虽然这与photomosaics无关,但却可以让你的相册更酷)将面部蒙太奇特效贴到一个特定的人的脸上:

这利用了一个嵌入网络,一个有优势的简单的线性分类器,和一个扭曲矩阵将每个图像的眼睛对齐,并对其进行合适的比例调整。你只需要建立一个文件夹,里面有几个例子,这样它就可以知道应该包括哪张脸部照片。

它是如何运行的?

我们正在做一项非常古老技术的数字版本-创建马赛克:

除了不使用实体瓷砖图片,你可以使用你的照片集,表情符号,或任何你想要的数字图片集。

找一张目标照片,比如说一张全家福。你可以使用以其他图像作为图案块的“codebook”算法重新创建目标图像作为马赛克。如果你能够智能地搜索并选择图案块集中最好的“codebook”算法图片,你就可以任意地对目标图片进行更好的重建。

本项目将目标图像分割成图案块(使用scale参数控制块大小),对于每个图案块补丁,使用L2相似性度量法(使用Facebook的faiss库进行超快查找) 来找到最接近的codebook算法图案块来替换它。

因为这个查找非常快,你甚至可以对视频中的每一帧都这样做并创建视频马赛克(见video.py)。如果你感兴趣的话,你还可以使用performance.py运行一系列有趣的性能指标。

安装

确保你已经安装了:

  • Docker

  • XQuartz (版本: 2.7.5或更高) 如果你想运行interactive.py OpenCV GUI浏览器的话就安装,否则就不需要安装它。 .

对于 XQuartz库,打开远程设置,然后退出并重启XQuartz (!).

我只在Mac OS X上测试过,但是由于它是Docker化的,所以应该可以在Docker运行的任何地方运行!

接下来,构建Docker镜像并运行一个容器:

如果你想通过SSH连接到Docker容器上,运行上述命令后执行以下命令:

sh enter.sh

最后,也是最重要的,收集一些你想要用来创建图像(作为马赛克图案块)或创建马赛克(把你的照片/视频变成马赛克)的照片和视频。我把过去几年的iPhone照片/视频都放在一个文件夹里,你可以在下面看到一些很酷的效果。

Photomosaic脚本

请注意,所有这些脚本的默认设置都是使用缓存的,这意味着一旦你以一定的比例(即:图案块大小)索引了一个特定文件夹中的照片之后,就不需要再做一次。

如果你从文件夹中添加或删除一个文件,photomosaic会智能地进行重新索引。缓存索引的pickle文件默认存储在缓存文件夹中。

1)使用图像创建马赛克

使用一组其他图像重新构建一个图像,缩小图像尺寸并将其作为图案块。

参数:

  • --savepath: 保存位置. %s是默认文件名 ,%d 是比例。

  • --target: 使用其他图片进行重构的目标图片

  • --codebook-dir: 用来使用codebook算法创建图案块的图片

  • --scale: 将要创建的图案块多大/小. 方向比例最大值

  • --height-aspect: 高度方向

  • --width-aspect:宽度方向

  • --vectorization-factor: 如果查询之前缩小特征向量 (一般不需要调整此项)

2)创建马赛克视频

对视频的每一帧进行同样的操作。

例子(Tipper 音乐会):

保存路径输出仅使用*.mp4,目前只支持mp4。

参数:

  • --target:用其他图案块图像重新构建的目标视频

  • --codebook-dir: 用来使用codebook算法创建图案块的图片

  • --scale: 创建的图案块多大/小. 方向比例最大值.

  • --height-aspect: 高度方向

  • --width-aspect: 宽度方向

  • --savepath: 视频文件输出目录 (仅以.MP4扩展名测试过)

ffmpeg用于音频拼接,因为OpenCV并不能真正处理这些。

你也可以在这里调整高宽比,但这些和其他的都是可选参数。

3) 交互式探究马赛克比例

不确定哪个比例看起来最好?想尝试一些不同的设置吗?运行以下命令。

然后只要按下s键,你就可以将选择的比例保存到磁盘上!

或者,按ESC退出窗口而不保存。

参数:

  • --target: 使用其他图案块图像创建的目标图像

  • --codebook-dir: 用于创建图案块的图像(codebook)

  • --min-scale:按照此比例开始(整数)

  • --max-scale:允许用户增加比例到此值(整数)

  • --savepath:保存位置。%s 是初始文件名,%d 是比例

你也可以在这里调整高宽比,但这些和其他的都是可选参数。

4)从带有各种不同图案块比例的一连串马赛克创建GIF

这将创建一系列各种比例的马赛克,然后将它们组合在一起,形成每秒具有指定帧的GIF。你可以用—ascending参数来调整顺序。

如果你选择了一个很大的数值范围,预计要等待一个半小时左右,这取决于你的机器。

注意,第一次在容器上运行它时,你可能会看到一个“a Imageio: "ffmpeg-linux64-v3.3.1" was not found on your computer; downloading it now.”的消息,这很正常。

优化GIF文件大小

如果你简单地运行上述操作,你可能会得到一个200 MB的GIF文件,这很荒谬。最简单的补救方法是使用像gifsicle这样的工具。

以下是我的建议:

$ brew install gifsicle

$ gifsicle -O3 --resize-height 400 --colors 256 < your/gigantic.gif > totally/reasonable/sized.gif

例如,我使用该命令将一个130 MB的GIF压缩为2MB。EZgif是一个非常好的在线工具,可以以不同的权重压缩gif文件,但它们只能支持100MB以内的gif文件。

其它设置

下面是一些其他设置,允许你调整可视化输出。

1) 随机性(--randomness)

如果你想给你的图片马赛克带来一点混乱,使用随机性参数。

它是[0,1)范围内的一个浮点数,这是给定的图案块被填充的概率,不是使用codebook中最接近的块,而是完全随机的。

例(以0.05的随机性):

2) 视频马赛克稳定性(--stabilization-threshold)

视频马赛克只是图片马赛克功能的重复应用。因此,帧与帧之间的微小变化可能会导致视频中相同的对象使用不同的图案块显示。这并不可怕,但它影响视觉稳定性,因为它总是在变化。

--stabilization-threshold 是一个浮点数,表示该块的前一段距离的一部分。我们只有在以下情况下才会更换那个位置的图案块:

`current closest tile"s distance` < `--stabilization-threshold` * `last frame"s distance`

否则,我们只需要保持图案块与该帧一样。这是一个粗略的稳定性探索法,在未来我会进行改进。

3) 不透明度(--opacity)

一些图片马赛克有点欺骗性,它只是在原始图像上按指定比例叠加带有马赛克图案块。这是一个很流行的技术,我决定引入它。只需使用--opacity 标志即可:

4) 最佳-K (--best-k)

你可能会注意到你的许多图片赛克将有大块区域的颜色相似,所以一个单一的图像将被平铺在你的大部分图像。如果你想加入一点(合理的)随机性,而不是使用(--randomness)功能,你可以使用--best-k参数。

在每个图案块上,使用--best-k参数,,k个优先匹配项将被随机选择,按距离大致进行反向加权(因此“更接近”的图像最有可能)。

这是与上面相同的图像,但使用了 --best-k 5参数:

面部蒙太奇效果

我真的很想做面部蒙太奇,尽管它们和图片马马赛克没有任何关系,本部分就是!

简单来说,就是使用一个人的不同照片来创建GIF,并将全部照片对齐到此人的脸部。

工作原理:.

1.将只包含你想加入蒙太奇效果的脸部图像的照片(例如你自己)放在一个文件夹(--target-face-dir)。自拍照片是最好的选择。

2.将包含其他脸部图像的照片放在一个文件夹(--other-face-dir),越多越好。不要加入你的脸部照片。如果你真的很缺少其他人 的照片/有很多合影,那就把自己P掉。

3.将你想要用来绘制蒙太奇效果的照片目录放在一起(--photos-dir)。

作为一个开始,我已经在media/faces/other_faces (不太可能是你的脸部照片)中加入了450张脸部图片的学术数据集(Caltech Faces Dataset)。如果你出于学术原因使用的话,请务必引用它们和dlib库。

如果你想要更好的准确度,我会试着在--target-face-dir 和 --other-face-dir 目录添加至少100张照片。我添加了这一点,使用face_montage.py运行的 结果是大约每300张照片有1个错误正片(在运行create_gif_from_photos_folder.py步骤之前很容易将其删除)。

你可以从这个地方找到更多随机的脸部照片。

总之,以下是更详细的描述来帮助你运行人脸嵌入,训练线性分类器,对人脸进行对齐:

然后,要将它们实际编译成GIF,要在上面的描述中使用--savedir参数,然后运行:

将这两个步骤分开很好,因为你可能想要从第一步创建的文件夹中删除错误正片和不好看的图片,不然会搞乱生成的GIF中你想要的每秒多少帧。我在嵌入过程中实现了缓存,但是运行一组完整的照片(仅我有耐心运行的照片库部分就有4000多张照片)仍然需要一些时间。

使用 ffprobe / ffmpeg

本项目中的一些例程使用了来自视频/音频文件的参数。我经常通过转到一个单独的进程来直接调用命令行程序,虽然有点麻烦,但是也可以完成任务。

FFProbe是一个很好的工具,命令行接口非常强大。推荐你阅读此指南来掌握它。

类似地,ffmpeg使音频/视频流的拼接和重组变得容易。以下是一些具体的ffmpeg资源:

  • ffmpeg编码课程

  • ffmpeg教程

  • 数字视频简介

图片魔法

转换工具用来制作GIF也很不错:

$ cd your/cool/folder/with/jpg/images

$ convert -delay 5 -layers optimize *.jpg output.gif

然后,你可能想使用gifsicle技巧来压缩/调整GIF的大小,使其变成合适大小。

单元测试

有一个小型的(但令人尴尬的是不完整的)测试套件,你可以使用它进行测试:

sh test.sh

目前资料还不是很全

英文原文:https://github.com/worldveil/photomosaic
译者:野生大熊猫

相关推荐

推荐一款Python的GUI可视化工具(python 可视化工具)

在Python基础语法学习完成后,进一步开发应用界面时,就需要涉及到GUI了,GUI全称是图形用户界面(GraphicalUserInterface,又称图形用户接口),采用图形方式显示的计算机操...

教你用Python绘制谷歌浏览器的3种图标

前两天在浏览matplotlib官方网站时,笔者无意中看到一个挺有意思的图片,就是用matplotlib制作的火狐浏览器的logo,也就是下面这个东东(网页地址是https://matplotlib....

小白学Python笔记:第二章 Python安装

Windows操作系统的python安装:Python提供Windows、Linux/UNIX、macOS及其他操作系统的安装包版本,结合自己的使用情况,此处仅记录windows操作系统的python...

Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字

Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字一、项目功能利用Tkinter组件中的Canvas绘制图形和文字。二、项目分析要在窗体中绘制图形和文字,需先导入Tkinter组...

一文吃透Python虚拟环境(python虚拟环境安装和配置)

摘要在Python开发中,虚拟环境是一种重要的工具,用于隔离不同项目的依赖关系和环境配置。本文将基于windows平台介绍四种常用的Python虚拟环境创建工具:venv、virtualenv、pip...

小白也可以玩的Python爬虫库,收藏一下

最近,微软开源了一个项目叫「playwright-python」,作为一个兴起项目,出现后受到了大家热烈的欢迎,那它到底是什么样的存在呢?今天为你介绍一下这个传说中的小白神器。Playwright是...

python环境安装+配置教程(python安装后怎么配置环境变量)

安装python双击以下软件:弹出一下窗口需选择一些特定的选项默认选项不需要更改,点击next勾选以上选项,点击install进度条安装完毕即可。到以下界面,证明安装成功。接下来安装库文件返回电脑桌面...

colorama,一个超好用的 Python 库!

大家好,今天为大家分享一个超好用的Python库-colorama。Github地址:https://github.com/tartley/coloramaPythoncolorama库是一...

python制作仪表盘图(python绘制仪表盘)

今天教大家用pyecharts画仪表盘仪表盘(Gauge)是一种拟物化的图表,刻度表示度量,指针表示维度,指针角度表示数值。仪表盘图表就像汽车的速度表一样,有一个圆形的表盘及相应的刻度,有一个指针...

总结90条写Python程序的建议(python写作)

  1.首先  建议1、理解Pythonic概念—-详见Python中的《Python之禅》  建议2、编写Pythonic代码  (1)避免不规范代码,比如只用大小写区分变量、使用容易...

[oeasy]python0137_相加运算_python之禅_import_this_显式转化

变量类型相加运算回忆上次内容上次讲了是从键盘输入变量input函数可以有提示字符串需要有具体的变量接收输入的字符串输入单个变量没有问题但是输入两个变量之后一相加就非常离谱添加图片注释,不超过1...

Python入门学习记录之一:变量(python中变量的规则)

写这个,主要是对自己学习python知识的一个总结,也是加深自己的印象。变量(英文:variable),也叫标识符。在python中,变量的命名规则有以下三点:>变量名只能包含字母、数字和下划线...

掌握Python的&quot;魔法&quot;:特殊方法与属性完全指南

在Python的世界里,以双下划线开头和结尾的"魔法成员"(如__init__、__str__)是面向对象编程的核心。它们赋予开发者定制类行为的超能力,让自定义对象像内置类型一样优雅工...

11个Python技巧 不Pythonic 实用大于纯粹

虽然Python有一套强大的设计哲学(体现在“Python之禅”中),但总有一些情况需要我们“打破规则”来解决特定问题。这触及了Python哲学中一个非常核心的理念:“实用主义胜于纯粹主义”...

Python 从入门到精通 第三课 诗意的Python之禅

导言:Python之禅,英文名是TheZenOfPython。最早由TimPeters在Python邮件列表中发表,它包含了影响Python编程语言设计的20条软件编写原则。它作为复活节彩蛋...

取消回复欢迎 发表评论: