这一趟奥特曼是被将军了！这是谷歌的一项最新参谋神秘顾客

发布日期：2024-03-13 08:51    点击次数：179

惟一通过API拜访，不到2000次微妙的查询就处罚了。

什么？谷歌得胜偷家OpenAI神秘顾客，还窃取到了gpt-3.5-turbo枢纽信息？？？

是的，你没看错。

凭证谷歌我方的说法，它不仅复原了OpenAI大模子的悉数这个词投影矩阵（projection matrix），还知说念了确凿掩盖维度大小。

而且门径还极其粗浅——

惟一通过API拜访，不到2000次微妙的查询就处罚了。

神秘顾客公司_赛优市场调研

本钱凭证调用次数来看，最低20好意思元以内（折合东说念主民币约150元）处罚，况且这种门径一样适用于GPT-4。

好家伙，这一趟奥特曼是被将军了！

这是谷歌的一项最新参谋，它讲述了一种报复窃取大模子枢纽信息的门径。

基于这种门径，谷歌破解了GPT系列两个基础模子Ada和Babbage的悉数这个词投影矩阵。如掩盖维度这么的枢纽信息也胜利破获：

一个为1024，一个为2048。

是以，谷歌是若何达成的？

报复大模子的临了一层

该门径中枢报复的宗旨是模子的镶嵌投影层（embedding projection layer），它是模子的临了一层，厚爱将掩盖维度映射到logits向量。

由于logits向量试验上位于一个由镶嵌投影层界说的低维子空间内，是以通过向模子的API发出针对性查询，即可索取出模子的镶嵌维度或者最终权重矩阵。

通过无数查询并哄骗奇异值排序（Sorted Singular Values）不错识别出模子的掩盖维度。

比如针对Pythia 1.4B模子进行逾越2048次查询，神秘顾客介绍图中的峰值出咫尺第2048个奇异值处，则默示模子的掩盖维度是2048.

可视化延续奇异值之间的互异，也能用来笃定模子的掩盖维度。这种门径不错用来考据是否得胜从模子中索取出枢纽信息。

在Pythia-1.4B模子上，当查询次数达到2047时出现峰值，则标明模子掩盖维度大小为2048.

况且报复这一层大概揭示模子的“宽度”（即模子的总体参数目）以及更多全局性的信息，还能裁汰一个模子的“黑盒进度”，给后续报复“铺路”。

参谋团队实测，这种报复高出高效。无需太多查询次数，即可拿到模子的枢纽信息。

比如报复OpenAI的Ada和Babbage并拿下悉数这个词投影矩阵，青岛第三方暗访公司只需不到20好意思元；报复GPT-3.5需要大致200好意思元。

它适用于那些API提供无缺logprobs或者logit bias的生成式模子，比如GPT-4、PaLM2。

论文中默示，尽管这种报复花样能取得的模子信息并未几，关联词能完成报复自己就照旧很让东说念主颤抖了。

已通报OpenAI

如斯进攻的信息被竞争敌手以如斯低本钱破解，OpenAI还能坐得住吗？

咳咳，好音信是：OpenAI知说念，我方东说念主还转发了一波。

动作庄重安全参谋，参谋团队在索取模子临了一层参数之前，已征得OpenAI情愿。

报复完成后，人人还和OpenAI说明了门径的有用性，最终删除了悉数与报复关系的数据。

是以网友簸弄：

一些具体数字没裸露（比如gpt-3.5-turbo的掩盖维度），算OpenAI求你的咯。

值得一提的是，参谋团队中还包括一位OpenAI参谋员。

这项参谋的主要参与者来自谷歌DeepMind，但还包括苏黎世联邦理工学院、华盛顿大学、麦吉尔大学的参谋员们，以及1位OpenAI职工。

此外，作家团队也给了瞩目范例包括：

从API下手，透顶删除logit bias参数；或者胜利从模子架构下手，在查验完成后修改临了一层的掩盖维度h等等。

基于此，OpenAI最终经受修改模子API，“有心东说念主”思复现谷歌的操作是不成能了。

但不论若何说：

谷歌等团队的这个实考据明，OpenAI锁紧大门也不一建都备保障了。

（要不你我方主动点开源了吧）

       本次调查的对象为该网约车企业的网约车司机。调查范围涵盖了网约车司机的基本信息、工作情况、行驶路线以及服务态度等方面的表现。通过对网约车司机的调查，企业可以更准确地了解其需求和痛点，为改进服务提供有力支持。

深圳神秘顾客（SMS）公司神秘顾客在就餐过程中，需要按照预先设定的评价标准和流程进行评价。一般来说，可以分为以下几个步骤：

• 这是
• 这一
• 骨骼
• 将军
• 奥特曼