Python爬取龙虎榜

查看 63|回复 10
作者:xixi2008   
新手学习Python,Python爬取龙虎榜,终于编译通过了,发上来交流学习下,数据输出为两种格式,可以自己修改。
[Python] 纯文本查看 复制代码import requests
from bs4 import BeautifulSoup
import pandas as pd
# 定义目标URL
url = 'http://m.tetegu.com/longhubang/?src=topnav&r=0.36531248951690687'  # 替换为实际的龙虎榜数据页面
# 发送HTTP请求
response = requests.get(url)
response.encoding = 'utf-8'
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取数据
data = []
table = soup.find('table')  # 假设数据在表格中
if table:
    for row in table.find_all('tr'):
        cols = row.find_all('td')
        cols = [ele.text.strip() for ele in cols
        if cols:  # 过滤掉空行
            data.append(cols)
# 转换为DataFrame
if data:
    df = pd.DataFrame(data)
   
    # 打印列数
    print(f"列数: {df.shape[1}")
   
    # 根据实际情况调整列名
    df.columns = [f'Column{i+1}' for i in range(df.shape[1])]  # 动态生成列名
    # 保存为excel.xlsx文件
    df.to_excel('excel.xlsx', index=False)
    print('数据已成功保存到excel.xlsx文件中')
    # 保存为mart.dat文件
    df.to_csv('mart.dat', index=False, sep='\t')
    print('数据已成功保存到mart.dat文件中')
else:
    print('未找到数据')

数据, 龙虎榜

IT大小白   

代码插入方法可以参考置顶帖教程
大番茄   

[Python] 纯文本查看 复制代码# 需要cmd安装库: pip install requests beautifulsoup4 pandas openpyxl -i https://mirror.baidu.com/pypi/simple
# 注意pandas库需要openpyxl或者xlsxwriter
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 定义目标URL
url = 'http://m.tetegu.com/longhubang/?src=topnav&r=0.36531248951690687'  # 替换为实际的龙虎榜数据页面
# 发送HTTP请求
response = requests.get(url)
response.encoding = 'utf-8'
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取数据
data = []
table = soup.find('table')  # 假设数据在表格中
if table:
    for row in table.find_all('tr'):
        cols = row.find_all('td')
        cols = [ele.text.strip() for ele in cols]
        if cols:  # 过滤掉空行
            data.append(cols)
# 转换为DataFrame
if data:
    df = pd.DataFrame(data)
    # 保存为excel.xlsx文件,不包含表头
    df.to_excel('excel.xlsx', index=False, header=False)
    print('数据已成功保存到excel.xlsx文件中,不包默认含表头')
    # 保存为mart.dat文件,不包含表头
    df.to_csv('mart.dat', index=False, sep='\t', header=False)
    print('数据已成功保存到mart.dat文件中,不包默认含表头')
else:
    print('未找到数据')
aaa123321   

可惜我程序茫,,不会用啊
Soar119   

先点个赞,插个眼,回头发财了来梭哈。。
Childe0426   

插个眼,成为大佬
xixi2008
OP
  

复制过来,不行
gy001715   

没装完库是编译不过的,我也是走了很大弯路的。
earlc   

谢谢分享
ruanxiaoqi   

这个有用,码克了
您需要登录后才可以回帖 登录 | 立即注册

返回顶部