阅读全文

⭐⭐⭐ Spring Boot 项目实战	⭐⭐⭐ Spring Cloud 项目实战
《Dubbo 实现原理与源码解析 —— 精品合集》	《Netty 实现原理与源码解析 —— 精品合集》
《Spring 实现原理与源码解析 —— 精品合集》	《MyBatis 实现原理与源码解析 —— 精品合集》
《Spring MVC 实现原理与源码解析 —— 精品合集》	《数据库实体设计合集》
《Spring Boot 实现原理与源码解析 —— 精品合集》	《Java 面试题 + Java 学习指南》

摘要: 原创出处 新智元 「桃子」欢迎转载，保留摘要，谢谢！

• 数据不够，拿什么凑？
• OpenAI深陷数据风波
• 另谋他法？

---

🙂🙂🙂关注**微信公众号：【芋道源码】**有福利：

1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
4. 新的源码解析文章实时收到通知。每周更新一篇左右。
5. 认真的源码交流微信群。

---

深陷数据风波的OpenAI，背后真正原因竟是优秀的数据太少了。

穷尽「全网」，生成式AI很快无数据可用。

近日，著名UC伯克利计算机科学家Stuart Russell称，ChatGPT和其他AI工具的训练可能很快耗尽「全宇宙的文本」。

换句话说，训练像ChatGPT这样的AI，将因数据量不够而受阻。

这可能会影响生成式AI开发人员，在未来几年收集数据，以及训练人工智能的方式。

同时，Russell认为人工智能将在「语言输入，语言输出」的工作中取代人类。

数据不够，拿什么凑？

Russell近来的预测引起了大家重点关注。

OpenAI和其他生成式AI开发人员，为训练大型语言模型，开始进行数据收集。

然而，ChatGPT和其他聊天机器人不可或缺的数据收集实践，正面临着越来越多的审查。

其中就包括，未经个人同意情况下创意被使用，以及平台数据被自由使用感到不满的一些高管。

但Russell的洞察力指向了另一个潜在的弱点：训练这些数据集的文本短缺。

去年11月，MIT等研究人员进行的一项研究估计，机器学习数据集可能会在2026年之前耗尽所有「高质量语言数据」。

论文地址：https://arxiv.org/pdf/2211.04325.pdf

根据这项研究，「高质量」集中的语言数据来自：书籍、新闻文章、科学论文、维基百科和过滤后的网络内容等。

而加持当红炸子鸡ChatGPT背后的模型GPT-4同样接受了大量优质文本的训练。

这些数据来自公共在线的资源（包括数字新闻来源和社交媒体网站）

从社交媒体网站「数据抓取」，才导致马斯克出手限制用户每天可以查看的推文数量。

Russell表示，尽管许多报道未经证实，但都详细说明了OpenAI从私人来源购买了文本数据集。虽然这种购买行为可能存在解释，但自然而然的推断是，没有足够的高质量公共数据了。

一直以来，OpenAI尚未公开GPT-4背后训练的数据。

而现在，OpenAI需要用「私人数据」来补充其公共语言数据，以创建该公司迄今最强大、最先进的人工智能模型 GPT-4。

足见，高质量数据确实不够用。

OpenAI在发布前没有立即回复置评请求。

OpenAI深陷数据风波

近来，OpenAI遇上了大麻烦，原因都和数据有关。

先是16人匿名起诉OpenAI及微软，并提交了长达157页的诉讼，声称他们使用了私人谈话和医疗记录等敏感数据。

他们的索赔金额高达30亿美元，诉讼中指出，

尽管制定了购买和使用个人信息的协议，但是OpenAI和微软系统性地从互联网中窃取了3000亿个单词，包括数百万未经同意获取的个人信息。

这其中包含账户信息、姓名、联系方式、电子邮件、支付信息、交易记录、浏览器数据、社交媒体、聊天数据、cookie等等。

这些信息被嵌入到ChatGPT中，但这些恰恰反映出个人爱好、观点、工作履历甚至家庭照片等。

而负责这次起诉的律师事务所Clarkson，此前曾负责过数据泄露和虚假广告等问题的大规模集体诉讼。

紧接着，这周又有几位全职作者提出，OpenAI未经允许使用了自己的小说训练ChatGPT，构成侵权。

那么是如何确定使用自己小说训练的呢？

证据就是，ChatGPT能够针对他们的书生成准确的摘要，这就足以说明这些书被当作数据来训练ChatGPT。

作者Paul Tremblay和Mona Awad表示，「ChatGPT未经许可就从数千本书中拷贝数据，这侵犯了作者们的版权」。

起诉书中预估，OpenAI的训练数据中至少包含30万本书，其中很多来自侵权网站。

比如，GPT-3训练数据情况披露时，其中就包含2个互联网图书语料库，大概占比为15%。

2位起诉的作者认为，这些数据就是来自一些免费的网址，比如Z-Library、Sci-Hub等。

另外2018年，OpenAI曾透露训练GPT-1中的数据就包括了7000+本小说。起诉的人认为这些书没有获得作者认可就直接使用。

另谋他法？

不得不说，OpenAI使用数据来源一事确实存在诸多争议。

今年2月，《华尔街日报》记者Francesco Marconi曾表示，新闻媒体的数据也被用来训练ChatGPT。

Marconi让ChatGPT列了一个清单，竟有20家媒体。

早在今年5月，Altman在接受采访时曾表示，OpenAI已经有一段时间没有使用付费客户数据来训练大语言模型了。

客户显然不希望我们训练他们的数据，所以我们改变了计划，不再这么做。

其实，OpenAI在3月初，曾悄然更新了服务条款。

Altman提到，现在公司正在开发的新技术，可以使用更少的数据来训练模型。

或许从OpenAI身上受到了启发，谷歌选择先行堵上这一漏洞。

7月1日，谷歌更新了其隐私政策，现在的政策中明确谷歌有权收集任何公开可用的数据，并将其用于其人工智能模型的训练。

谷歌向所有用户表明，只要是自己能够行公开渠道获得的内容，都可以拿来训练Bard以及未来的AI。