推荐下我的 scrapy 扩展工具

查看 18|回复 0
作者:ayugesheng   
因为经常使用 scrapy 开发,所以有很多的 scrapy 项目需要创建和维护,但是项目中的一些模块中的结构和内容大都一致,就想有一些方便的操作。一开始就知道 scrapy 有模板方法,但我也想添加一些其它功能比如不用关心 item 模块的赋值。主要目的就是尽量使开发者只需专心于 spider 模块的开发即可。
当然项目中有很多地方不优雅甚至不太合适的地方,比如自动创建 Mysql 表字段的功能的实现方法,我会慢慢完善。
希望这个项目能给有扩展 scrapy 需求的开发者有点指引。
项目地址:
AyugeSpiderTools: https://github.com/shengchenyang/AyugeSpiderTools
文档地址:
AyugeSpiderTools readthedocs: https://ayugespidertools.readthedocs.io/en/latest/
大家也可以讨论下都是使用的什么爬虫框架,管理平台之类的。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部