请问一下，数据处理需求频繁变更时，各位是怎么做的？ 公司会产生很多 json 格式的数据，任务是需要对这些 json 数据进行数据处理，提取/重组其中的一些 key: value ，按照甲方的要求生成特定的数据集(也是 json 格式)。 之前一直是编写 python 脚本直接处理数据，但是费时费力，甲方有时候一些小要求，代码就需要改动很多。有没有什么办法可以更加标准化/便捷的做这件事？比如能否利用某些数据库去完成这个任务？ 非常感谢🙏
这种你找找身边做大叔的，或者做数仓的，他们天天就干这个。 大数据一般分成很多段来处理数据。数据采集，清洗，规整，然后导出。我不是专业做大数据，在大数据团队待了一年，所以就见过一些。 把数据处理，分成一段一段，每一段只完成一件事情，然后最终把数据导入到一些支持查询的数据库里面，然后再用 SQL 之类的语言去查询。
