这是我目前见过最牛叉的采集站

查看 200|回复 19
阿杰   
小千 发表于 2023-6-13 21:14
服务器是你的?反向代理毛线,https无法反向带,头条不可能被代理,就是只采集内容 不采集图片,图片用原链接。
小偷程序本身就是采集自动化,采集到本地数据库,1000万内容 才几十G ,只要html,非常省宽带

是你认知不到还是我实践错误,兄弟https可以被代理,我仔细看了下修正之前观点 这个站应该是采集站(你对) 不是小偷,因为它有双标题和扰乱了与头条文章的顺序
一路向前   
我靠,还没来得及看,就被干掉了吗?怎么打不开了
小千   
阿杰 发表于 2023-6-13 22:05
是你认知不到还是我实践错误,兄弟https可以被代理,我仔细看了下修正之前观点 这个站应该是采集站(你对) 不是小偷,因为它有双标题和扰乱了与头条文章的顺序

你确定?我觉得你是拿自己认知挑战别人的饭碗。
连方向代理不知道就瞎说,反向代理就像cdn一样,别创新词,想代理别人的东西,https状态下需要私钥。
自己百度一下,我当了这么快10年程序员,居然不懂反向代理。
15 -16年http时代,很多黑灰搞反向代理,是服务器配置一下反向代理,对方的网站内容和模板,全部克隆过来了,只有域名是自己的,并且服务器不存储任何数据。
http://studyofnet.com/784231856.html
这是内容以及图片是反向代理


d57bf4a1ef3b45dbbb646f4dd29d836d.jpg (123.56 KB, 下载次数: 0)
下载附件
保存到相册
昨天22:29 上传

302跳转头条,这是反向代理?你的认知302就是反向代理???
http://p3.toutiaoimg.com/large/tos-cn-i-qvj2lq49k0/d57bf4a1ef3b45dbbb646f4dd29d836d
这样,你用反向代理技术(不是你自己创造的反向代理技术),反向代理https://baijiahao.baidu.com/ 内容,百家号任意内容必须反向到,你要多少钱我给你,别搞采集然后301。
一针见血   
小千 发表于 2023-6-13 22:27
你确定?我觉得你是拿自己认知挑战别人的饭碗。
连方向代理不知道就瞎说,反向代理就像cdn一样,别创新词,想代理别人的东西,https状态下需要私钥。
自己百度一下,我当了这么快10年程序员,居然不懂反向代理。
15 -16年http时代,很多黑灰搞反向代理,是服务器配置一下反向代理,对方的网站内容和模板,全部克隆过来了,只有域名是自己的,并且服务器不存储任何数据。
http://studyofnet.com/784231856.html
这是内容以及图片是反向代理

302跳转头条,这是反向代理?你的认知302就是反向代理???
http://p3.toutiaoimg.com/large/tos-cn-i-qvj2lq49k0/d57bf4a1ef3b45dbbb646f4dd29d836d
这样,你用反向代理技术(不是你自己创造的反向代理技术),反向代理https://baijiahao.baidu.com/ 内容,百家号任意内容必须反向到,你要多少钱我给你,别搞采集然后301。

文字是采集  头条图片我测试了  可以模仿它  反向代理 对应规则就实现了   百家号图片不懂是什么规则 搞不出来
小千   
一针见血 发表于 2023-6-13 22:36
文字是采集  头条图片我测试了  可以模仿它  反向代理 对应规则就实现了   百家号图片不懂是什么规则 搞不出来

就是跳转,自己存储一个头条图片对应的链接,这都是采集站老玩法,反向代理最终还是走自己的带宽的。
等到百家号的图片有 @f_auto?token=* 参数,这个token删掉也能访问 所以,存储一个把“@f_auto?token=”后面去掉的链接,依旧能访问 ,但是301 302状态向,对方网站设置禁止跨域跳转,就无解了,百度就是限制了跨域。 之前的微博图床就是限制跨域导致很多人图片打不开。。
反向代理 跟cdn原理一样:  A用户访问B网站,B网站反向代理C网站全部内容,这是反向代理。不会受到跨域屏蔽来路影响。
302、301跳转:A用户访问B网站,内容在B网站,图片跳转到第三方网站 头条。对方屏蔽来路设置禁止跨域,图片就崩了
就是两个技术,
雷帅   
为什么 别人家的网站 总是那么优秀,

求赐教~
dajiba   
小贝 发表于 2023-6-12 21:51
头条我记得有图片盗链的,我刚才又跑去看了下,就是本地化的图片,这种 套个cdn,速度看快的。

伪静态重写了下而已,并非下载下来
阿杰   
小千 发表于 2023-6-13 22:27
你确定?我觉得你是拿自己认知挑战别人的饭碗。
连方向代理不知道就瞎说,反向代理就像cdn一样,别创新词,想代理别人的东西,https状态下需要私钥。
自己百度一下,我当了这么快10年程序员,居然不懂反向代理。
15 -16年http时代,很多黑灰搞反向代理,是服务器配置一下反向代理,对方的网站内容和模板,全部克隆过来了,只有域名是自己的,并且服务器不存储任何数据。
http://studyofnet.com/784231856.html
这是内容以及图片是反向代理

302跳转头条,这是反向代理?你的认知302就是反向代理???
http://p3.toutiaoimg.com/large/tos-cn-i-qvj2lq49k0/d57bf4a1ef3b45dbbb646f4dd29d836d
这样,你用反向代理技术(不是你自己创造的反向代理技术),反向代理https://baijiahao.baidu.com/ 内容,百家号任意内容必须反向到,你要多少钱我给你,别搞采集然后301。



1.jpg (40.83 KB, 下载次数: 0)
下载附件
保存到相册
昨天23:05 上传



2.jpg (77.74 KB, 下载次数: 0)
下载附件
保存到相册
昨天23:05 上传



3.jpg (98.73 KB, 下载次数: 0)
下载附件
保存到相册
昨天23:05 上传



4.jpg (106.59 KB, 下载次数: 0)
下载附件
保存到相册
昨天23:06 上传



5.jpg (99.87 KB, 下载次数: 0)
下载附件
保存到相册
昨天23:06 上传

你技术已经落后
marcow   
别人家的网站就是这样的
小千   
阿杰 发表于 2023-6-13 23:07

你技术已经落后

https   ????? 恩恩估计所有干程序员的都落后了,
你不是说https可以吗 ?为啥百度知道的图片不加在 https 跨域拦截了把?
百度首页还是
[color=]2017年
的 ,百家号 搞一个啊 我不发案例站点了吗 ?
本地搭建一个,上传几个静态页面,也可以说我反向代理了。
我也不跟你抬杠就是正常交流,你如果真的反向代理搞定https,你买的域名都不用自己养,自己经营,挂某个更新量大的平台上,养域名质量,能成批量养。然后卖给大灰哥
您需要登录后才可以回帖 登录 | 立即注册