excel几万行以上数据筛选python脚本

查看 72|回复 9
作者:LIUHJV5   
最近要筛选一个表格中数据,给个发现excel无法筛选超过1w行之后的数据,然后就有了这个脚本
[Asm] 纯文本查看 复制代码import pandas as pd
import numpy as np
try:
    # 1. 读取文件
    df = pd.read_excel('1.xlsx', engine='openpyxl')
   
    # 2. 检查目标列是否存在
    target_col = '列名'  # 替换为实际列名
    if target_col not in df.columns:
        available_cols = df.columns.tolist()
        print(f"错误:列 '{target_col}' 不存在!")
        print("可用列名:", available_cols)
        exit()
   
    # 3. 检查并处理空值
    null_count = df[target_col].isnull().sum()
    if null_count > 0:
        print(f"警告:列 '{target_col}' 中有 {null_count} 个空值,已自动处理")
   
    # 4. 安全筛选
    result = df[df[target_col].str.contains('xx', na=False)] #xx为要筛选的名称
    # 5. 保存结果
    if len(result) > 0:
        result.to_excel('结果.xlsx', index=False, engine='openpyxl')
        print(f"成功筛选出 {len(result)} 行数据,已保存到 '结果.xlsx'")
    else:
        print("未找到包含'xx'的数据行")
        
except Exception as e:
    print(f"程序出错: {str(e)}")
    print("请检查:")
    print("1. 文件路径是否正确")
    print("2. 文件是否被其他程序占用")
    print("3. 列名是否存在空格或特殊字符")
望对各位有所帮助!

数据, 脚本

苍梧老牛   

对于大批量的excel 数据,,我一般是采用将 excel 导入到数据库(mysql)中再处理, 使用导入的软件为sqlyog.
jinok0877   

谢谢,这个代码确实可以试一试。自己的代码动不动就一大堆。
火柴   

这个还没找到实际需要使用的场景
zhiguang456   

谢谢,这个脚本好像对我有用。
kulouxiaohai   

这个对不同的数据表格,需要重写代码吧?
enlight   

excel可以搜索着筛啊,只是有些不能选择
jun269   

这个主要是哪方面的筛选呢?
52soft   

数据量大的可以用
tmhacker   

转CSV  用 sublime 处理
您需要登录后才可以回帖 登录 | 立即注册

返回顶部