Skip to content

首页

logo



为什么要使用spydy?

spydy是一个非常轻量的爬虫框架。兼具高性能和易用性。支持但不限于以下功能:

  • 支持并发(基于协程而非传统的多进/线程)
  • 基于管道(pipeline)的工作流定义方式, 所以使用spydy开发爬虫和搭积木一样简单直观
  • 提供了日常爬虫开发的常用组件, 比如各种持久化组件和网络访问组件
  • 无缝衔接开发者的自定义模块

安装spydy

使用pip进行安装:

$ pip install spydy