Tushare 行情数据完整性同步算法

Tushare 接取股票数据很方便 只要有一个 token

每日定时同步会出现许多不可测的问题，网络访问超时 、空间不够，定时没有触发，都会造成数据的不完整。需要一个算法 保证数据同步的完整性

算法实现：

1、根据ts_code 拉取交易日数据的DataFrame,把列trade_date生成一个集合。

2、拉取本地数据的的trade_date生成一个集合

3、线上集合与本地集合进行差集运算,转换成dif 列表

4、过滤线上trade_date的DataFrame

df.query('trade_date in @dif')

这样就获取了与线上差异的数据 存入本地数据库。

性能不高、处理简单 只要再运行一遍即可 数据也不会重复