脑洞大开,将文本存入视频中
发现一个脑洞大开的项目memvid,作者为pdf文件占用空间太大,突发奇想将10000个pdf文件中的文本存到了二维码中,再将二维码压缩成了视频帧存放到视频中,大大减少了空间的占用,同时也有效提升了检索的时间。不得不佩服作者的脑洞。来看看作者的原话。
作者的视频介绍:
脑洞大开,将文本存入视频中
今天咱们来试着复现下这个项目。
1、下载源码
git clone https://github.com/Olow304/memvid
2 .安装环境
pip install memvid
pip install memvid PyPDF2
安装很顺利,没出现什么问题。
开始试着跑下代码。
参考作者的视频是先跑examples/book-chat.py,先来试试这个。
报错了,如图
这个是要从huggingface上面下载模型文件,连接超时了,没关系,咱们把huggingface的代理加到代码中。
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
再来跑下试试
成功下载,下载后会继续执行代码,会在文件中生成个output文件夹,里面是生成的文件。
接着就可以聊天了,如图:
看着回复怎么跟原视频中的效果不一样呢?我接着看了下代码,哦原来需要openai的key,不设置的话只能看到原始的上下文
大家可以设置体验一下。
大家在体验的过程中有遇到什么问题,或者有什么想复现的项目欢迎私信、留言,大家一起讨论学习,共同成长。