当然项目中有很多地方不优雅甚至不太合适的地方,比如自动创建 Mysql 表字段的功能的实现方法,我会慢慢完善。
希望这个项目能给有扩展 scrapy 需求的开发者有点指引。
项目地址:
AyugeSpiderTools: https://github.com/shengchenyang/AyugeSpiderTools
文档地址:
AyugeSpiderTools readthedocs: https://ayugespidertools.readthedocs.io/en/latest/
大家也可以讨论下都是使用的什么爬虫框架,管理平台之类的。