中文CLIP快速上手指南

最新推荐文章于 2024-09-13 21:47:08 发布
alimuhamad 最新推荐文章于 2024-09-13 21:47:08 发布
阅读量4.1k 收藏 17
点赞数 1
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接： https://blog.csdn.net/alimuhamad/article/details/128403673
版权

当前OpenAI提出的CLIP是AI领域内最火热的多模态预训练模型，简单的图文双塔结构让多模态表征学习变得异常简单。此前CLIP只有官方英文版本，如果想在中文领域尤其是业务当中使用这种强大的表征模型，需要非常麻烦的翻译工作。近期达摩院提出中文版本CLIP，Chinese CLIP系列，在ModelScope和Github均已开源，并且代码也已经并入Huggingface Transformers，在检索任务上效果非常好。这里就根据Chinese CLIP官方介绍来做个简单的快速上手指南。

Github: GitHub - OFA-Sys/Chinese-CLIP: Chinese version of CLIP which achieves Chinese cross-modal retrieval and representation generation.

ArXiv: https://arxiv.org/abs/2211.01335

中文CLIP简介

Chinese CLIP作为CLIP的中文版，几乎没有做太多复杂的模型改进，主要就

最低0.47元/天 解锁文章
alimuhamad
关注 关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
CLIP_inChinese
04-18
多语言CLIP 适用于任何语言的OpenAI CLIP文本编码器 ·· 概述 最近发布了一篇论文，《中 ，其中介绍了CLIP（对比语言-图像预训练）模型。 使用对比学习目标，通过匹配文本和图像的相应矢量表示，训练该模型以使其连接文本和图像。 CLIP由两个单独的模型组成，一个视觉编码器和一个文本编码器。 这些内容接受了高达4亿张的图像和相应的字幕的培训。 此后，OpenAI发布了一组较小的CLIP模型，可以在上找到它们。 我们建议进行微调，以使用任何语言的预训练文本模型替换原始英语文本编码器。 这种方法可以使强大的CLIP模型在大约24个GPU小时内适应任何语言。 该存储库包含 pytorch推断代码 Tensorflow培训代码 预训练的CLIP-Text编码器可支持多种语言 训练数据和预先计算的CLIP文本编码，用于 + MSCOCO + VizWiz图像标题的很大一部分 要求
Chinese-CLIP使用教程
m0_63213284的博客
04-27 1772
1.用Make_json.py将xlsx里的文本转换成json格式（对于测试集只有文本，不知道图文对匹配关系的情况，每行的image_ids字段处理为空列表即可，即"image_ids": []）；用Img2base64将图片编码成base64格式（.tsv文件）2.用build_Imdb_dataset.py把.tsv和.json文件转换为内存索引的LMDB数据库文件2.5.对模型进行finetune(微调)。（可以不进行，直接用预训练模型）
Chinese-CLIP安装与配置完全指南
最新发布
gitblog_09385的博客
09-13 489
Chinese-CLIP安装与配置完全指南 Chinese-CLIP 针对中文场景下设计和构建的CLIP模型变体，它能够完成跨视觉与文本模态的中文信息检索，并能够生成有效的多模态表示。这样的工具主要用于提升人工智能系统对于不同模态（如图像和文本）数据的理解、关联与检索能力。 ...
Chinese CLIP原理及实践(更新中)
November、Chopin
03-17 3407
中文CLIP原理及使用
【多模态】4、Chinese CLIP | 专为中文图文匹配设计
呆呆的猫的博客
05-20 7452
本文主要介绍 Chinese CLIP
多模态表征—CLIP及中文版Chinese-CLIP：理论讲解、代码微调与论文阅读
小小帅
02-26 9733
1.讲解CLIP的主要内容；2.讲解Chinese-CLIP的主要内容；3.CLIP/Chinese-CLIP代码微调；4.CLIP/Chinese-CLIP论文重点阅读
Android Jetpack Compose 超快速上手指南，面试必备技巧
2401_84102979的博客
04-21 979
长期以来，Android视图层次结构一直可以表示为界面微件树。界面更新方式是使用等函数遍历树，这种手动操纵视图的方式会提高出错的可能性。在过去的几年中，移动端已开始转向声明性界面模型，比如FlutterSwift UI，所以框架应该也是后续发展的一个方向。客观地讲，Compose 确实是一套比较难学的东西，因为它毕竟太新也太大了，它是一个完整的、全新的框架，确实让很多人感觉「学不动」，这也是个事实。那怎么办呢？学不动怎么办呢？如果你是因为缺少学习资料，而我正好薅到这本谷歌内部大佬根据实战编写的《
ArcGIS 9 Geoprocessing Commands 快速上手指南
"英文版ArcGIS快速入门教程，涵盖了ArcGIS 9 Geoprocessing Commands的速查指南，由ESRI出版并享有版权。本教程适用于希望快速掌握ArcGIS基础操作的用户，尤其是地理处理命令的使用。" ArcGIS是Esri公司开发的一款...
iPad中文使用指南：快速上手操作详解
"本iPad中文使用手册详细指南涵盖了iPad的基本操作和高级功能，旨在帮助用户充分利用这款设备。以下是章节内容概要： 1. 第1章：概览 - 提供了iPad的整体介绍，包括其主要部件如按钮（如Home、Sleep/Wake和音量控制...
Android Jetpack Compose 超快速上手指南(1)，2024年最新腾讯Android面经
m0_46608024的博客
03-24 907
长期以来，Android视图层次结构一直可以表示为界面微件树。界面更新方式是使用等函数遍历树，这种手动操纵视图的方式会提高出错的可能性。在过去的几年中，移动端已开始转向声明性界面模型，比如FlutterSwift UI，所以框架应该也是后续发展的一个方向。客观地讲，Compose 确实是一套比较难学的东西，因为它毕竟太新也太大了，它是一个完整的、全新的框架，确实让很多人感觉「学不动」，这也是个事实。那怎么办呢？学不动怎么办呢？如果你是因为缺少学习资料，而我正好薅到这本谷歌内部大佬根据实战编写的《
Chinese-CLIP 使用教程
gitblog_00800的博客
08-08 1215
Chinese-CLIP 使用教程 Chinese-CLIP针对中文场景下设计和构建的CLIP模型变体，它能够完成跨视觉与文本模态的中文信息检索，并能够生成有效的多模态表示。这样的工具主要用于提升人工智能系统对于不同模态（如图像和文本）数据的理解、关联与检索能力。项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-CLIP 项目介绍 Chinese-CL...
clips中文手册，学clips必备
03-29
CLIPS中文手册 学习CLIPS的各种规范 很有用的~~~~~ 看完这个，再看些例程就容易明白了，并可以修改程序了
【深度学习】Chinese-CLIP 使用教程，图文检索，跨模态检索，零样本图片分类
q742971636的博客
10-09 2500
【代码】【深度学习】Chinese-CLIP 使用教程，图文检索，跨模态检索，零样本图片分类。
多模态预训练模型CLIP：中文版本开放使用
Real_Brilliant的博客
08-01 1725
重在实践！
Chinese-CLIP 项目使用教程
gitblog_00806的博客
08-08 585
Chinese-CLIP 项目使用教程 Chinese-CLIP针对中文场景下设计和构建的CLIP模型变体，它能够完成跨视觉与文本模态的中文信息检索，并能够生成有效的多模态表示。这样的工具主要用于提升人工智能系统对于不同模态（如图像和文本）数据的理解、关联与检索能力。项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-CLIP 1. 项目的目录结构及介绍...
中文多模态 图文对比学习模型CLIP学习
weixin_42357472的博客
07-13 2551
参考：https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-Roberta-102M-Chinese https://github.com/OFA-Sys/Chinese-CLIP主要用的这个，他还是用的官方openai 的CLIP模型结构，只单独把文本塔换成中文，图片塔还是用训练好的vit模型，训练的时候也把图像模型冻结；所以图像还是用openai 的vit模型，文本模型用这里的中文模型Taiyi-CLIP-Roberta-102M-Chinese***官方案例 ***
CLIP与Chinese-CLIP：多模态预训练模型解读和图文检索体验
热门推荐
梦坠凡尘
07-03 1万+
CLIP是2021年OpenAI提出的基于图文对比学习的多模态预训练模型，具备强大的zero-shot迁移能力。数据集：来源于互联网上搜集的4亿个image-text对，涵盖了50万个qurey，并尽量保持不同qurey的数据量均衡。核心思想：将image-text对当做一个整体，基于对比学习的方法，模型训练时尽可能地提高image与对应text的特征相似度，尽可能的降低image与不配对text的相似度。
CLIP-Chinese：中文多模态对比学习预训练模型
zenRRan的博客
12-06 4339
每天给你送来NLP技术干货！来自：YeungNLP点击这里进群—>加入NLP交流群笔者最近尝试在业务中引入多模态，基于CLIP论文的思想，实现了基于Vit-Bert的CLIP模型，下面将其称为BertCLIP模型。笔者用140万的中文图文数据，基于LiT-tuning的方式，训了一版BertCLIP模型。BertCLIP模型在中文图文相似度、文本相似度、图片相似度等任务上都有着不错的表现。本...
**CLIP-Chinese：中文多模态世界的桥梁**
gitblog_00095的博客
06-08 451
CLIP-Chinese：中文多模态世界的桥梁 去发现同类优质开源项目:https://gitcode.com/ 在数字化的世界中，理解和交互多种媒体形式的能力变得至关重要。OpenAI的CLIP模型开创性地将自然语言和视觉信息相结合，解锁了零样本学习的新可能。然而，原版CLIP仅针对英文数据进行训练。为了满足中文领域的多模态研究需求，我们欣喜地向您推荐CLIP-Chinese——一个专为中文定制...
写文章

热门文章

  • 中文CLIP快速上手指南 4118

最新评论

  • 中文CLIP快速上手指南

    CSDN-Ada助手: 推荐 Python入门 技能树：https://edu.csdn.net/skill/python?utm_source=AI_act_python

大家在看

  • C++——继承 1886
  • 敏捷开发过程-需求管理 404
  • C# 标准绘图控件 chart 多 Y 值的编程应用 342
  • MySQL【知识改变命运】09 885
  • Java--File类与IO流操作

最新文章

2022年1篇

目录

目录

评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值

玻璃钢生产厂家北京节庆商场美陈销售厂家红色玻璃钢卡通雕塑怎么样玻璃钢雕塑会裂纹吗开封镂空玻璃钢卡通雕塑加工玻璃钢霸王茶姬雕塑小提琴玻璃钢花盆价格玻璃钢雕塑基础做法福建省景观玻璃钢雕塑夏邑制作玻璃钢雕塑产品选哪家玻璃钢汪汪队狗雕塑白死玻璃钢雕塑江苏商场美陈销售大冶玻璃钢花盆花器湘潭玻璃钢座椅雕塑批发九江园林玻璃钢雕塑淮阴玻璃钢花盆制作校园玻璃钢雕塑安装公司扬州火烈鸟玻璃钢雕塑定制珠海玻璃钢雕塑制作玻璃钢人物卡通雕塑价格成都户内玻璃钢雕塑定制清远欧式玻璃钢雕塑云南人物玻璃钢雕塑安装清远玻璃钢楼盘景观雕塑生产商场美陈3d图石河子玻璃钢花盆崇左玻璃钢雕塑厂家深圳景观玻璃钢雕塑市场湘潭玻璃钢雕塑凳子鱼池玻璃钢鱼群雕塑香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人？张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身！外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫：哈马斯三号人物被杀测试车高速逃费 小米：已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化