顺序到csv"/>
scrapy指定item输出项顺序到csv
scrapy -o csv格式输出的时候，发现字段/item/Field的顺序不是在items.py或者在scrapy中指定的顺序，如果后续有继续读取csv文件的时候，因为不是按指定顺序排列，很可能字段会搞错。 本文描述如何在输出csv的时候指定顺序字段。
- 在scrapy的spiders同层目录，新建my_project_csv_item_exporter.py文件内容如下（文件名可改，目录定死）
| 1 2 3 4 5 6 7 8 9 10 11 | from scrapy.conf import settings from scrapy.contrib.exporter import CsvItemExporter class MyProjectCsvItemExporter(CsvItemExporter): def __init__(self, *args, **kwargs): delimiter = settings.get('CSV_DELIMITER', ',') kwargs['delimiter'] = delimiter fields_to_export = settings.get('FIELDS_TO_EXPORT', []) if fields_to_export : kwargs['fields_to_export'] = fields_to_export super( MyProjectCsvItemExporter, self).__init__(*args, **kwargs) |
- 在同层目录，settings.py文件新增如下内容（指定item,field顺序）
| 1 2 3 4 5 6 7 8 9 | FEED_EXPORTERS = { 'csv': 'my_project.my_project_csv_item_exporter.MyProjectCsvItemExporter', } #这里假设你的project名字为my_project FIELDS_TO_EXPORT = [ 'id', 'name', 'email', 'address' ] |
- 在同层目录，settings.py文件指定分隔符
| 1 | CSV_DELIMITER = '\t' |
全部设定完后，执行scrapy crawl spider -o spider.csv的时候，字段就按顺序来了
原文地址：+scrapy+item/
转载于:.html
更多推荐
scrapy指定item输出项顺序到csv
发布评论