Yoo趣儿 › 探索分享 › 问与答 › 百度是怎么爬取 Twitter， Google 等被墙网站的网页的？ ...

百度是怎么爬取 Twitter， Google 等被墙网站的网页的？

查看 227|回复 6

作者：researchery 发布时间：2023-8-12 21:07:25

比如在百度中搜索 site:twitter.com

百度, site, Google, Twitter

相关帖子

opengps 2023-8-12 21:08:02

百度有海外节点的，但 twitter 似乎故意不允许 google 之外收录
https://twitter.com/robots.txt

em70 2023-8-12 21:08:36

百度云开个海外服务器不就行了

BugCry 2023-8-12 21:09:33

因为有的百度用户能翻墙(误

wdlth 2023-8-12 21:10:16

百度在美国、日本和香港特区等有服务器

cocoalovecoke 2023-8-12 21:10:59

企业有境外服务器和专线吧

Andim 2023-8-12 21:11:37

就像楼上各们说的，中国屏蔽了全世界的媒体，但全世界却没屏蔽中国媒体，甚至有 CGTN America 这个在美国的中国电视台

AD1

热门主题

热门板块

问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息 Python PHP Java JavaScript Node.js Go语言 C++HTML

公告

返回顶部