aiweker

深度学习-分享几个AI模型库

现在市面上有很多的深度学习预训练模型库，这些预训练库收集了不同AI任务的SOTA模型，有的还提供推理的SDK。这对于做AI应用和AI开发来说，是宝贵的开源资源。

今天分享几个AI预训练模型库，希望对你有帮助。

• pytorch hub

  pytorch Hub 提供了许多SOTA Pre-trained模型

  • 经典的分类模型 Resnet50，Inception_v3，ResNext，Densenet，EfficientNet等
  • 目标检测模型 SSD，YOLOP，YOLOv5
  • PyTorch-Transformers
  • NLP：RoBERTa

  使用可以通过load方式加载模型

  import torch
  model = torch.hub.load('pytorch/vision', 'resnet18', pretrained=True)
  

  

• ModelZoo

  ModelZoo（https://modelzoo.co/）提供不同框架（caffe、pytorch、TensorFlow，JAX等）的不同的任务的开源预训练模型和代码github

  

• modelscope modelscope（魔搭社区）是阿里达摩院推出的开源模型社区，不仅有预训练模型，还有推理SDK和GPU环境。

  

• Hugging Face

  Hugging Face最早是以提供Transformer预训练模型起家的，是一个优秀的开源社区。

  • https://huggingface.co/models

  

AI一周资讯1

谷歌推出深度学习调参手册

5位谷歌工程师合力推出深度学习调参手册，调参侠们的福音；炼丹宝典值得收藏 https://github.com/google-research/tuning_playbook

从0到1构建ChatGPT

最近大火的ChatGPT 0到1教程来了！李飞飞高徒、特斯拉前AI主管Andrej Karpathy推出ChatGPT 0到1教程，欢迎前往学习

• nanoGPT：https://github.com/karpathy/nanoGPT

• 视频：https://www.youtube.com/watch?v=kCc8FmEb1nY （https://www.bilibili.com/video/BV1E14y1M75n/?uid=42563145313479314D37356E&vd_source=864e754528092a5b022c30bebe3325ce）

  

音乐大模型MusicLM

谷歌发布MusicLM模型，能生成各种各样的音乐，这下音乐也可以生成了。 paper：https://arxiv.org/pdf/2301.11325.pdf code：https://google-research.github.io/seanet/musiclm/examples/

![](/api/content-img/python小知识/img/yyq-2023-01-29-23-11-51.png)

ChatGPT惹争议

ChatGPT惊艳的同时，也惹来了不少争议；Meta AI的LeCun 批评ChatGPT没有创新，新瓶装旧酒；更多人担心ChatGPT给学生和学术界带来不良风气，Nature给学术界立规矩：ChatGPT等大模型不可以成为作者

AI一周资讯

chatGPT 一如既往的火爆，但国内访问不了

最近OPENAI推出月费20美元的「ChatGPT Plus」会员服务之后，1月月末ChatGPT月活用户达到了1亿。大量围绕chatGPT的应用应用而生，如广告文案 copy.ai，Landing Page的sitekick.ai等。

但中国国内访问不了，注册不了账号，第三方如vscode插件也不可用了。

国内访问不了，但是国内的大厂可以自己搞，2月7日下午，百度在公众号上官宣：「百度版ChatGPT」——文心一言（Ernie Bot），将于三月份向公众开放，期待。

另外创业圈也一片火热；2023年2月10日，王慧文宣布复出，携5000万美元带资入组，ChatGPT激活国内的创投圈，苦于寻找下一个风口久矣的各方势力，是久旱逢甘霖。

Yann LeCun 新作！大幅超越 MAE，图像语义表示卷出新高度

• Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture
• https://arxiv.org/pdf/2301.08243.pdf

谷歌版ChatGPT上线翻车

谷歌推出的chatGPT [Bard]， 信心满满却遭遇首席滑铁卢。一位用户问Bard：「关于詹姆斯·韦伯太空望远镜，我可以告诉我9岁的孩子它有哪些新发现？」Bard给出了‘错误’答案。这直接导致谷歌母公司Alphabet股价暴跌8%，市值缩水1000多亿美元。出师不利！

了解chatGPT背后的故事

万字长文追溯ChatGPT各项能力的起源，感谢yaofu等，有中文版本可下载。

• https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Models-to-their-Sources-b9a57ac0fcf74f30a1ab9e3e36fa1dc1

如何用用一个统一的接口处理四大视觉任务

来自Hinton团队的研究工作用一个统一的接口处理四大视觉任务，已经开源

• paper：https://arxiv.org/pdf/2206.07669v2.pdf

• code ://github.com/google-research/pix2seq

AI一周资讯

700多页机器学习笔记

分享一个Jim Liang整理的机器学习笔记，大家快来学习， 也感谢Jim Liang。

下载链接: https://pan.baidu.com/s/1RGQjBhbI_JrnwrYdhqsIvQ 提取码: d59p

openAI 重金购买ai.com

openAI是目前推出大火的ChatGPT的母公司，背后的金主是微软。目前OpenAI将ChatGPT的官网chat.openai.com链接到新域名AI.com，野心勃勃可见一斑。

视觉大模型battle LLM: 谷歌升级ViT到220亿参数

谷歌近日推出220亿参数的新版ViT：ViT-22B， 将视觉Transformer扩展到220亿参数

• 题目：Scaling Vision Transformers to 22 Billion Parameters
• 论文：https://arxiv.org/abs/2302.05442

沐神团队推出超越GPT-3.5的小模型

亚马逊发布的一篇论文《Multimodal Chain-of-Thought Reasoning in Language Models》中，他们提出了包含视觉特征的 Multimodal-CoT，该架构在参数量小于 10 亿的情况下，在 ScienceQA 基准测试中，比 GPT-3.5 高出 16 个百分点 (75.17%→91.68%)，甚至超过了许多人类。

• 论文：https://arxiv.org/abs/2302.00923
• code：https://github.com/amazon-science/mm-cot

AI一周资讯

好多食品Foot2k

美团和中科院构建一个食品识别的大规模数据集Foot2K；在此基础上提出渐进式区域增强网络用于食品图像识别算法。《Large Scale Visual Food Recognition》

可解释AI揭秘

当前以深度学习为代表的人工智能技术，虽然取得了令人瞩目的成绩；但是深度学习模型作为一个黑盒，如果理解模型是一个具有挑战的工作。Naveed Akhtar的这篇可解释AI综述拿走不送。

• A Survey of Explainable AI in Deep Visual Modeling: Methods and Metrics
• https://arxiv.org/abs/2301.13445

大语言模型(LLM)持续走热

随着ChatGPT的风靡全球，与大语言模型相关的消息热度不减，不论是大语言模型的人才之争，还是新的大语言模型的出现，声称性能超过ChatGPT，又是， 都分分钟上头条，赚足眼球。

• 最近几周，至少有4名来Google Brain的其他研究人员已转向了OpenAI，而此前ChatGPT的推出至少有5 名前谷歌研究人员帮助
• Meta 推出全新大语言模型，单卡GPU可推理：2 月 24 日，Meta 公司宣布一款名为 LLaMA-13B 的新型 AI 大语言模型（LLM），宣称尽管规模仅为竞争对手 ChatGPT 的“十分之一”，但性能却优于 OpenAI 的 GPT-3 模型， 后续可开源
• 如何用单卡跑1750亿参数的ChatGPT：FlexGen有解决方案（https://github.com/FMInference/FlexGen）

致敬会18种语言的程序员：Jeff Dean

是的，他就是谷歌最好的程序员Jeff Dean；MapReduce、Bigtable， TensorFlow，TPU都和Dean有关。

AI一周资讯

CVPR2023论文接收完成，接收率25.78%，提升12%

日前顶会CVPR2023共有9155篇投稿，接收了2360篇，大家看看有没有你感兴趣的主题

• https://cvpr2023.thecvf.com/
• https://github.com/amusi/CVPR2023-Papers-with-Code

目标检测王者YOLOv7登录CVPR2023

YOLOvx系列一直是工业应用的检测王者，在时隔多年，YOLOv7再次被CVPR收录（最近的YOLOv2被CVPR 2017接收），快来看看如何更快更好。

YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors

• 论文：https://arxiv.org/abs/2207.02696
• 代码（已破8k stars）：https://github.com/WongKinYiu/yolov7

ChatGPT开发API，超低价

3月1日，OpenAI 宣布正式推出面向商业用户的 ChatGPT API，2美元可输出约75万个单词。开放的模型为gpt-3.5-turbo。

AI生成图像，可以有多逼真？

AIGC领域除了ChatGPT文本生成，还有基于扩散模型的AI生成图像。典型的方法有DALE-2，Stable Diffusion。

• https://civitai.com/

AI一周资讯

AI 李沐离职创业，方向是大模型

上周最大的瓜莫不是亚马孙首席科学家李沐随导师Alex Smola创业，方向也是最近热门的大模型，敬请期待；公司网站为 https://boson.ai/

GPT-4，下周就要来了

以ChatGPT为代表的GPT 3.5在过去牵起了全民的热潮；3 月 9 日，微软德国 CTO Andreas Braun 在一场名为 “AI in Focus - Digital Kickoff” 的活动中表示，GPT-4 将在下周发布，将提供多模态模型。

微软团队此前也公开了多模态版的GPT（Visual ChatGPT）

• 论文链接： https://arxiv.org/abs/2303.04671
• 开源代码： https://github.com/microsoft/visual-chatgpt

ChatGPT应用ChatPDF，ChatExcel

让ChatGPT帮你读PDF，聊着天把Excel处理了

• ChatPDF：https://www.chatpdf.com/?continueFlag=cc734774b142837d5cb04bc1df00296d

• ChatExcel https://chatexcel.com/

AI一周资讯

CVPR2023最全整理：论文分方向汇总 / 代码 / 解读 / 直播 / 项目【计算机视觉】

随着CVPR2023论文接收的完成，cvmart对论文的做了整理，在这里分享给大家

• https://www.cvmart.net/community/detail/7422

Pandas 2.0它来了

Pandas是python中最流行的数据处理和数据分析的库，Pandas 2.0 引入Pyarrow提高大数据的读写能力，Pyarrow是一个提供列式内存格式的库，它是一种组织数据的方式，使其更容易读取和并行处理。

• https://datapythonista.me/blog/pandas-20-and-the-arrow-revolution-part-i

GPT4.0 vs 文心一言

正如预告的那样，OpenAI继ChatGPT之后推出升级版本GPT4.0， 支持多模态输入。百度也顶着压力发布了百度版ChatGPT 文心一言，大家有没有收到内测邀请!

AI一周资讯

GPT-5停或不停

最近，OpenAI最初发起人伊隆·马斯克联合一些人工智能专家和高管由未来生命研究所发出公开信呼吁：在未来六个月暂停对GPT模型的训练，以免该模型变得更加强大，从而对社会和人类造成潜在风险。公开信指出：只有当我们确信它们的影响是积极的，并且它们的风险是可控的时候，才能开发更强大的人工智能系统。

不过，LeCun，吴恩达、田渊栋等一众AI大牛发文公开反对暂停GPT；吴恩达表示，在GPT-4出现之后要求AI训练暂停6个月是很可怕的事情。

你支持哪种？

Twitter新动态：马斯克开源Twitter算法

硅谷钢铁侠伊隆·马斯克在收购Twitter之后，Twitter动荡不断，或积极或激进；3月31号，马斯克兑现了此前的诺言，开源了Twitter部分算法，想让Twitter更公开更透明，算法的有没有兴趣看下？

• https://github.com/twitter/the-algorithm

AI经典论文合集，李沐点赞

同济子豪兄精读AI论文系列，李沐老师也点赞，快来围观！

• 论文清单：https://github.com/TommyZihao/zihao_course/tree/main/Paper
• 视频合集：https://space.bilibili.com/1900783/channel/seriesdetail?sid=250032
• 同济子豪兄自述：https://www.bilibili.com/video/BV1us4y177NQ
• 同济子豪兄主讲的公开课系列：https://github.com/TommyZihao/zihao_course

AI一周资讯

CV领域或引来GPT时刻

GPT4足够惊艳了，近日Meta在一篇名为Segment Anything的论文，零样本分割一切；Meta发布了模型Segment Anything Model (SAM) ，Meta声称：SAM 已经学会了关于物体的一般概念，并且它可以为任何图像或视频中的任何物体生成 mask，甚至包括在训练过程中没有遇到过的物体和图像类型。SAM 足够通用，可以涵盖广泛的用例，并且可以在新的图像领域上即开即用，无需额外的训练。

CV领域或引来GPT时刻

• 论文地址：https://arxiv.org/abs/2304.02643
• 项目地址：https://github.com/facebookresearch/segment-anything
• Demo 地址：https://segment-anything.com/

百度正式上线AIGC中文教程

AIGC如何玩？百度飞桨AI Studio重磅推出3大AIGC入门必修课。让大家更好理解大模型，了解 AIGC 领域应用与技术要点，提升 AIGC 技术能力。

快来报名，免费学习

李飞飞发布2023年斯坦福AI Index

Stanford HAI发布了《2023 年人工智能指数报告》（Artificial Intelligence Index Report 2023)细数AI最新进展及年度发展趋势。推荐大家看看

• https://aiindex.stanford.edu/report/
• https://siliconangle.com/2023/04/03/stanford-hai-releases-latest-ai-index-report/
• https://hai.stanford.edu/news/2023-ai-index-year-technical-achievement-newfound-public-scrutiny

AI一周资讯

OpenAI图像生成新成果：Consistency Models

在AI画图领域，有Stable Diffusion、Midjourney、DALL-E等，这些都是基于扩散模型，通常需要多步操作，OpenAI的Consistency Models克服这个问题，一步生图

• 论文地址：https://arxiv.org/pdf/2303.01469.pdf

• 代码地址：https://github.com/openai/consistency_models

最火AutoGPT

如果让ChatGPT自动完成一个任务会是怎么样？AutoGPT给出了探索。

AutoGPT集成了搜索，ChatGPT, 代码生成等多个技术，针对一个任务，自动的完成任务。比如要开一家店，AutoGPT会进行选址，取名，市场调研，采购，建站等等操作。

• AutoGPT 地址：https://github.com/torantulino/auto-gpt

大模型分割SAM后继者：SEEM

META推出分割一切的SAM之后，这个领域很多新作也逐步跟进，比如微软的SEEM：Segment Everything Everywhere All at Once，一起来看看，AI迭代太快了。

• 论文链接: https://arxiv.org/abs/2304.06718

• 项目地址: https://github.com/ux-decoder/segment-everything-everywhere-all-at-once

• Demo地址: https://36771ee9c49a4631.gradio.app/

AI一周资讯

Stability AI推出DreamStudio开源版本

DreamStudio是文生图模型Stable Diffusion新模型和功能的主要界面。最近，Stability AI 发布了 DreamStudio 的开源版本StableStudio。

• https://github.com/Stability-AI/StableStudio

GAN新范式：交互式drag GAN

只要在图片中拖动需要改变的位置，就可以修改生成图片。让大象转个生，让眼睛大一点，拖动一下就可以。

• 代码：https://github.com/XingangPan/DragGAN

• 论文链接：https://arxiv.org/abs/2305.10973

• 项目主页：https://vcai.mpi-inf.mpg.de/projects/DragGAN/

回归OPENAI后，Andrej Karpathy首次演讲谈State Of GPT

最近，微软开发者大会Microsoft Build 2023完美落幕。在该会议上，OpenAI联合创始人Andrej Karpathy发表了一场名为《GPT的现状》的演讲。他首先讲解了GPT的训练流程各个阶段，接着展示了GPT在完成任务方面的应用，提供了简单易懂的实例。最后，他还就GPT的实际应用提出了一些非常有建设性的建议。

• 视频地址：https://youtu.be/bZQun8Y4L2A
• B站：https://www.bilibili.com/video/BV1Xh4y1x7BT/?vd_source=864e754528092a5b022c30bebe3325ce

AI一周资讯

大语言模型+数据分析

大语言模型如果结合数据分析会是怎么样？最近github上开源了pandasai，利用交互式的方式进行数据。

pandas-ai =Pandas + ChatGPT

• https://github.com/jarulraj/pandas-ai

另外一个开源是利用大语言模型的文本处理能力，Scikit-LLM将大语言模型整合进Sklearn的工作流。

• https://github.com/iryna-kondr/scikit-llm

ChatGLM-6B推出第二代，性能更强

国产ChatGPT替代开源方案ChatGLM-6B，近期推出第二代ChatGLM2-6B

• 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。

• 更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。但当前版本的 ChatGLM2-6B 对单轮超长文档的理解能力有限，我们会在后续迭代升级中着重进行优化。 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。

• 更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。如果您发现我们的开源模型对您的业务有用，我们欢迎您对下一代模型 ChatGLM3 研发的捐赠。

• https://github.com/THUDM/ChatGLM2-6B

AI重写排序算法，性能超70%

经典的排序算法还能有性能的提升？Google DeepMind CEO 哈萨比斯如是说：「AlphaDev 发现了一种全新且更快的排序算法，我们已将其开源到主要 C++ 库中供开发人员使用。这只是 AI 提升代码效率进步的开始。」

通过交换和复制，AlphaDev找到了更快的算法。

• 论文地址：https://www.nature.com/articles/s41586-023-06004-9