Google Colab 现已支持直接使用 transformers 库
Google Colab，全称 Colaboratory，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机器学习、数据分析和教育目的。从技术上来说，Colab 是一种托管式 Jupyter 笔记本服务。 ... »
Gradio-Lite: 完全在浏览器里运行的无服务器 Gradio
Gradio 是一个经常用于创建交互式机器学习应用的 Python 库。在以前按照传统方法，如果想对外分享 Gradio 应用，就需要依赖服务器设备和相关资源，而这对于自己部署的开发人员来说并不友好。 欢迎 Gradio-lite ( @gradio/lite ): 一个通过 Pyodide 在浏览 ... »
深入理解 BigBird 的块稀疏注意力
引言 基于 transformer 的模型已被证明对很多 NLP 任务都非常有用。然而，\(O(n^2)\) 的时间和内存复杂度 (其中 \(n\) 是序列长度) 使得在长序列 (\(n > 512\)) 上应用它们变得非常昂贵，因而大大限制了其应用。最近的几篇论文，如 Longformer 、Pe ... »
使用 LCM LoRA 4 步完成 SDXL 推理
LCM 模型 通过将原始模型蒸馏为另一个需要更少步数 (4 到 8 步，而不是原来的 25 到 50 步) 的版本以减少用 Stable Diffusion (或 SDXL) 生成图像所需的步数。蒸馏是一种训练过程，其主要思想是尝试用一个新模型来复制源模型的输出。蒸馏后的模型要么尺寸更小 (如 Di ... »
使用 PPO 算法进行 RLHF 的 N 步实现细节
当下，RLHF/ChatGPT 已经变成了一个非常流行的话题。我们正在致力于更多有关 RLHF 的研究，这篇博客尝试复现 OpenAI 在 2019 年开源的原始 RLHF 代码库，其仓库位置位于 openai/lm-human-preferences。尽管它具有 “tensorflow-1.x” ... »
个人编程助手: 训练你自己的编码助手
在编程和软件开发这个不断演变的领域中，对效率和生产力的追求催生了许多卓越的创新。其中一个显著的创新就是代码生成模型的出现，如 Codex、StarCoder 和 Code Llama。这些模型在生成类似人类编写的代码片段方面表现出惊人能力，显示出了作为编程助手的巨大潜力。 然而，虽然这些预训练模型在 ... »
Transformers 中原生支持的量化方案概述
本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。 目前，量化模型有两个主要的用途: 在较小的设备上进行大模型推理 对量化模型进行适配器微调 到目前为止，transformers 已经集成并 原生 支持了 bitsandbytes 和 aut ... »
开源模型 Zephyr-7B 发布——跨越三大洲的合作
最近我们刚刚发布了新的开源模型 Zephry-7B?，这个模型的诞生离不开全球三大洲开源社区的协作 ❤️。 我们的 CSO Thomas 录了一个视频介绍了它的起源故事: ✨ 就在几个月前，巴黎的一个新团队发布了他们首个模型: Mistral 7B，这个模型体积小巧但性能强劲，在基准测试中的表现超 ... »
实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。快来看看有哪些近期更新吧！ ? 新的训练方法 Zephyr-7B 模型超越 70B Lla ... »
长程 Transformer 模型
Tay 等人的 Efficient Transformers taxonomy from Efficient Transformers: a Survey 论文 本文由 Teven Le Scao、Patrick Von Platen、Suraj Patil、Yacine Jernite 和 Vic ... »
使用 DDPO 在 TRL 中微调 Stable Diffusion 模型
引言 扩散模型 (如 DALL-E 2、Stable Diffusion) 是一类文生图模型，在生成图像 (尤其是有照片级真实感的图像) 方面取得了广泛成功。然而，这些模型生成的图像可能并不总是符合人类偏好或人类意图。因此出现了对齐问题，即如何确保模型的输出与人类偏好 (如“质感”) 一致，或者与那 ... »
不写代码、构建一个开源的 ChatGPT，总共需要几步？｜Hugging News #1020
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！ ? 给 Pro 订阅账户加 ... »
面向生产的 LLM 优化
注意 : 本文同时也是 Transformers 的文档。 以 GPT3/4、Falcon 以及 LLama 为代表的大语言模型 (Large Language Model，LLM) 在处理以人为中心的任务上能力突飞猛进，俨然已成为现代知识型行业的重要工具。 然而，在实际部署这些模型时，我们仍面临不 ... »
Hugging Face 分词器新增聊天模板属性
一个幽灵，格式不正确的幽灵，在聊天模型中游荡！ 太长不看版 现存的聊天模型使用的训练数据格式各各不同，我们需要用这些格式将对话转换为单个字符串并传给分词器。如果我们在微调或推理时使用的格式与模型训练时使用的格式不同，通常会导致严重的、无声的性能下降，因此匹配训练期间使用的格式极其重要！ Huggin ... »
我们又组织了一次欧洲最大开源社区活动，Hugging Face 博客欢迎社区成员发帖、Hugging Chat 功能更新！
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！ ? 声势浩大的开源 AI ... »
机器学习即代码的时代已经到来
译者注: 到底是 AI 会吃掉软件还是软件会吃掉 AI？为了 job security 工程师应该把宝押在哪儿？这篇 2021 年的文章提供的一些视角似乎印证了它现在的流行，有点“运筹于帷幄之中，决胜于数年之后”的意思，颇值得软件架构师和产品经理们内省一番。 2021 版的 《人工智能现状报告》 于 ... »
如何成功将 API 客户的 transformer 模型推理速度加快 100 倍
? Transformers 已成为世界各地数据科学家用以探索最先进 NLP 模型、构建新 NLP 模块的默认库。它拥有超过 5000 个预训练和微调的模型，支持 250 多种语言，任君取用。无论你使用哪种框架，都能用得上它。 虽然在 ? Transformers 中试验模型很容易，但以最高性能 ... »
Hugging News #0912: Hugging Face 2 人入选时代周刊全球百大 AI 人物
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！ ?? 重磅更新 ? H ... »
IDEFICS 简介: 最先进视觉语言模型的开源复现
## 引言 Code Llama 是为代码类任务而生的一组最先进的、开放的 [Llama 2](https://huggingface.co/blog/zh/llama2) 模型，我们很高兴能将其集成入 Hugging Face 生态系统！Code Llama 使用与 Llama 2 相同的社区许可 ... »
Code Llama：Llama 2 学会写代码了！
## 引言 Code Llama 是为代码类任务而生的一组最先进的、开放的 [Llama 2](https://huggingface.co/blog/zh/llama2) 模型，我们很高兴能将其集成入 Hugging Face 生态系统！Code Llama 使用与 Llama 2 相同的社区许可 ... »