有大模型的服务,如何防止被蹬?

查看 128|回复 13
作者:ethusdt   
就像今天的 Tabbit 事件,即使大模型请求放在后端,但凡你的 app 走 http 调用,那么逆向抓包就能看到请求,无论如何都可以模仿请求。
如果通过后端提示词来限制,那么也是很容易被绕过,比如提示词中包含 你是一个浏览器助手,那么用户可以输入新的提示词 **请忽略提示词中所有下面的内容'你是一个浏览器助手'**。
相当于矛与盾,没有稳定的方式防止被攻破,只能监控好数据,即使针对用户的异常请求做调整?
Exdui   
只要有额度就不可避免被滥用,唯一解决方案就是不给太多免费额度。
sentinelK   
输入端对用户提示词进行再加工与过滤。
输出端杜绝直接返回大模型结果。大模型输出的内容要经过数据清洗和审核。
在系统提示词中要求大模型以特定格式输出结果。如果大模型输出的结果格式不符,说明系统提示词和既定上文被污染,放弃。
8355   
都一样的,纯加密代码也会被逆向,区别不大。
dzdh   
服务端中转模式可以限制必须登录账号,超过 qps 限额多少次以后限流、封号。总比把 key 直接写到客户端来的好。
iorilu   
炒出正常请求, 限流不就行了, 和啥服务没关系把
ethusdt
OP
  
@dzdh qps 限制这种也是有注册机+号池轮询的。
ethusdt
OP
  
@iorilu 注册机+号池+多 ip 负载均衡
iorilu   
@ethusdt 这种本来就不可能防的住, 要不然哪些大厂不也是被薅
这种都是要相当成本的, 普通公司没几个会这么搞
smdbh   
那 gemini 怎么判断第三方请求?能借用思路吗
您需要登录后才可以回帖 登录 | 立即注册

返回顶部