这是我目前见过最牛叉的采集站

查看 90|回复 7
作者:阿杰   
小千 发表于 2023-6-13 23:17
https   ????? 恩恩估计所有干程序员的都落后了,
你不是说https可以吗 ?为啥百度知道的图片不加在 https 跨域拦截了把?
百度首页还是2017年的 ,百家号 搞一个啊 我不发案例站点了吗 ?
本地搭建一个,上传几个静态页面,也可以说我反向代理了。
我也不跟你抬杠就是正常交流,你如果真的反向代理搞定https,你买的域名都不用自己养,自己经营,挂某个更新量大的平台上,养域名质量,能成批量养。然后卖给大灰哥

不是静态,我不会骗你兄弟,这种方式原理是模拟真实客户来访问https内容
是可以实现的

见过, 这是我

小千   
阿杰 发表于 2023-6-13 23:23
不是静态,我不会骗你兄弟,这种方式原理是模拟真实客户来访问https内容
是可以实现的

那也是你模拟读取到本地,反向代理没证书做不了的,甚至你可以本地一个text.php,做一个伪静态,所有百家号的url重定向text.php,然后text.php读取到本地在输出给用户。
这样并不省带宽,第三方50K内容,你读第三方一次50K,输出给用户一次50K,双倍流量。
这个站是直接302第三方站点,一个302请求就几百字节,宽带省了,图片存储也省了。
信仰   
这个确实厉害,还开着双标题踩,估计是要卖流量
阿杰
OP
  
小千 发表于 2023-6-13 23:27
那也是你模拟读取到本地,反向代理没证书做不了的,甚至你可以本地一个text.php,做一个伪静态,所有百家号的url重定向text.php,然后text.php读取到本地在输出给用户。
这样并不省带宽,第三方50K内容,你读第三方一次50K,输出给用户一次50K,双倍流量。
这个站是直接302第三方站点,一个302请求就几百字节,宽带省了,图片存储也省了。

可能是吧,我曾经也是程序员,但没理解流量这块。我只实践出用小t程序(不缓存)能实现本地10M把https任何网站都收编。有些网站做了防护机制和难度,解决就行。
小千   
阿杰 发表于 2023-6-13 23:38
可能是吧,我曾经也是程序员,但没理解流量这块。我只实践出用小t程序(不缓存)能实现本地10M把https任何网站都收编。有些网站做了防护机制和难度,解决就行。

也不是网站做防护,现在浏览器策略拦截,以前post用iframe能跨域,现在高版本浏览器不行了,也不能让用户换浏览器啊。
自己修改低版本浏览器,有点掩耳盗铃

。。
前天手贱升级电脑谷歌浏览器,我用浏览器扩展,自动获取访问网站数据,发送到本地。
谷歌浏览器85版本以后,限制扩展应用跨域
山河入梦   
帮顶一下。
ㄣ老猫   
感觉都很吊啊,完全搞不懂
猫贝   
通过站长之家根据词库去获取文章链接,然后采集,没词的采都不采
您需要登录后才可以回帖 登录 | 立即注册

返回顶部