查看原文
其他

Jina AI x DataWhale|跨模态神经搜索实践的教程正式上线!

Jina AI Jina AI 2023-03-21

Datawhale x Jina AI 联合推出跨模态神经搜索教程!本教程基于 MLOps 框架 Jina 与 CLIP 模型搭建,通过前后端分离的模式,帮助你快速地搭建自己的神经搜索应用,接触前沿的多模态 AI 技术。


教程背景

在当下互联网信息爆发且形式愈加丰富的背景下,多模态、跨模态的人工智能崛起单一模态往往难以提供对图文、视频等信息的完整描述,而多模态人工智能颠覆了传统单模态的互动方式,用户可以使用任何模态的组合进行输入输出,包括且不限于文本、图像、视频、音频等,为计算机提供更接近于人类感知的场景,打造了全新的用户体验。

本次跨模态神经搜索实践教程由 Datawhale 和 Jina AI 社区联合推出。

教程亮点

有别于传统的搜索引擎的关键词匹配,本教程带你实现的是一个跨模态的神经搜索,通过输入对画面的描述文本即可获得高度对应的视频片段。如图,输入“几个戴着麻将面具的人”,就能得到如下的视频片段。

教程内容

内容说明:教程以 Jina 框架[1]和 CLIP 模型为基础,生动介绍了如何从零搭建起一个跨模态的神经搜索应用。从环境搭建,到容器化部署,每一步教程贡献者们都提供了清晰的文档。学习路线

12天学习路线

任务一

环境搭建

24h

任务二

上手 MLOps 框架 Jina

48h

任务三

跨模态模型 CLIP

48h

任务四

项目前端搭建

24h

任务五

项目后端搭建

48h

任务六

Docker 容器化部署

24h

进阶任务*

项目功能拓展

72h


适合同学:对多模态 AI 、神经搜索技术感兴趣,有一定 Python 基础。
教程激励:顺利完成基础教程的同学,将有机会抽取 Jina AI 周边。进阶任务*可以自行选择是否参与,完成进阶任务者均可获得 Jina AI 周边礼包。学习模式

Datawhale 社区的开源教程旨在创造自主设计学什么、如何学的过程。由学习者自身需求出发,依托社区的内容和社群资源,自主设计学习路径和产出,并随着学习者的参与和贡献,不断迭代进化。

学习者可以通过任务打卡,博客写作等方法,输出倒逼输入,沉淀知识网络;同时也可以通过组队连接志同道合的同伴,建构长期的社交网络,从传统网络教学中知识单向传播转向学生主体参与,互相协作,长期发展。
特别致谢

特别感谢本次教程[2]的贡献者们!他们是苏鹏、韩颐堃、崔腾松、范致远、十一、边圣陶、吴祥、张帆、席颖。

同时也特别感谢项目原作者,UP 主人工智能小黄鸭给本项目提供了灵感,本项目的基础代码来自于 ArthurKing01[3]

最后,要特别感谢 CLIP-as-service 的重要贡献者茂轩,基于开源项目 CLIP-as-service,使用 60 行代码复现了本项目[4],并对核心代码逻辑进行了介绍。

教程报名

希望参与的小伙伴扫码添加小助手,加入 Jina AI 社区,以获取更多社区支持,同时报名参与本期教程,也有机会获取 Jina AI 周边!

引用链接

[1] Jina 开源仓库: https://github.com/jina-ai/jina
[2] Datawhale教程: https://github.com/datawhalechina/vced
[3] 原项目作者Arthur仓库: https://github.com/ArthurKing01/jina-clip
[4] 单茂轩60行代码复现项目: https://github.com/shan-mx/Video-CLIP-Indexer


更多精彩内容(点击图片阅读)


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存