python采集晋江文学城小说数据

一、项目介绍

本次数据采集的目标是晋江文学城小说数据，采集的流程包括寻找数据接口、发送请求获取响应、解析数据和持久化存储，先来看一下数据情况，完整代码附后：

二、完整代码

import random
import re
import time

import requests
import csv
from lxml import etree
import datetime


class JinJiangSpider