结果存储组件
spydy目前提供了以下存储组件:
CsvStore
将结果输出到csv
文件, 支持以下参数:
- file_name
:文件名称, 如果该文件已经存在, 则会以追加写入的方式将结果添加至现有文件的末尾。
注意:CsvStore
不会写入字段的名称。
DbStore
将结果输出到关系型数据库 , 支持以下参数:
- connection_url
: 数据库连接方式, 采用的是sqlalchemy的连接方式,具体参考这里
- table_name
: 结果需要写入的表名, 该表必须要先存在
DbManyStore
将多个结果(List[dict])输出到关系型数据库, 支持以下参数
参数和DbStore
一致, 用来一次性存储多个结果的, 比如在上一步的输出结果的格式为List[dict]的时候(即[{}, {}])可以使用该组件
AsyncDbStore
异步存储组件, 开发中
AsyncDbManyStore
异步存储组件(支持同时写入多个数据), 开发中