七天打造一套量化交易系统：Day1-数据分类、获取、清洗与存储

数据是量化交易的基础，重要性不言而喻。无论是股票、期货、期权、基金、ETF等等，甚至包括比特币，这些投资标的历史行情数据都可以用作回测分析，本篇将分享如何选择可靠的数据源，如何进行数据获取，如何清洗常见的错误数据，如何进行有效地存储，方便后期使用。

本系列搭建的量化交易系统主要针对的投资标的是股票和期货，其他的投资标的后边有机会我们再进行分享。那么接下来的内容都是围绕这两个投资标的进行展开。

数据的分类

行情数据是量化中使用最多的数据，从价、量的变化中寻找规律，我们拿到的一般是交易所下发的切片数据，国内股票行情3秒1次，期货行情一般是1秒2次。对一段时间内的切片数据进行汇总形成k线图（开、高、低、收、成交量等），再加入一些算法就形成了各种技术指标（MA、MACD、BOLL、KDJ等）。

针对股票还需要关注的数据有：年报季报、龙虎榜单、资金流向等数据，这些数据可以用在后面的多因子选股模型中。

针对大宗商品期货需要关注的数据有：仓单数据、现货报价、席位持仓、席位盈亏，对龙虎榜单上的数据进行分析也很有意思，能够发现很多正向指标和反向指标。

数据的获取

获取这些数据，方式也很多，下面分享几个中常用的方式：

1、通达信接口

from mootdx.readerimportReader
#读取通达信行历史情数据
#market:参数`std`为标准市场(就是股票),`ext`为扩展市场(期货，黄金等)
#tdxdir:是通达信的数据目录,根据自己的情况修改
reader =Reader.factory(market='std', tdxdir='D:/software/new_tdx')
#读取日线数据
r = reader.daily(symbol='sh000001')
#读取分钟数据
r = reader.minute(symbol='sh000001')

#获取通达信中的实时行情
from mootdx.quotesimportQuotes
#标准市场
client =Quotes.factory(market='std', multithread=True, heartbeat=True, bestip=True, timeout=15)
# k 线数据
r = client.bars(symbol='000001', frequency=0, offset=10)

2、聚宽接口

上述代码用于获取股票的财务数据，字段的含义以及其他数据的获取方式可以参考聚宽的接口文档。

3、期货CTP接口

def OnRtnDepthMarketData(self, pDepthMarketData: 'CThostFtdcDepthMarketDataField') -> "void":
    log.info(api_struct_serialize(pDepthMarketData))

具体代码参考之前的文章【CTP-API开发系列之九：行情登录及订阅代码】

4、爬虫脚本

如果部分数据没有标准的接口可以直接使用，就需要我们编写爬虫脚本，定时拉取。比如龙虎榜数据，可以从交易所官网、东方财富等网站拉取。

之前写过一篇爬虫的文章，可以参考一下。【期货仓单数据获取】

数据的清洗

对数据的清洗是一项细活，需要不断积累完善，一般需要多个数据源进行校准，保证数据的准确性，对空值、极大值的处理，时间序列对齐等等。

数据的存储

在我们的量化系统中，MarketDataEngine 行情管理引擎的作用就是，通过 ExchangeMarketDataListener 接收不同交易接口的行情，在onMarketData 函数中进行统一处理，并实时转发给所有需要用到的模块中（MarketDataReceivers）。同时，存储在内存中的行情数据也可以进行落地存储。

class MarketDataEngine
{
private:
classExchangeMarketDataListener:publicMarketDataListener
{
private:
Exchange*const exchange;
MarketDataDispatcher*const dispatcher;

public:
ExchangeMarketDataListener(Exchange* ex,MarketDataDispatcher* disp)
:exchange(ex),dispatcher(disp)
{}

voidonMarketData(MarketData& data);
};

TradeEngine*const tradeEngine;
constchar*const tradeEngineHomeDir;

std::unique_ptr<MarketDataDispatcher> dispatcher;
std::set<std::shared_ptr<ExchangeMarketDataListener>> listeners;

typedefstd::set<std::shared_ptr<MarketDataReceiver>>MarketDataReceivers_t;
MarketDataReceivers_t receivers;

std::shared_ptr<MarketDataReceiver>createMarketDatareceiver(constchar* exchangeID,constchar* brokerID,constchar* userID,
constchar* password,conststd::vector<std::string>& uris,constchar* path,constchar* channel);

void init();

public:
MarketDataEngine(TradeEngine* te,constchar* homeDir)
:tradeEngine(te),tradeEngineHomeDir(homeDir)
{
    init();
}

~MarketDataEngine()
{
    receivers.clear();
}
};

数据存储的目的是方便后期的使用，主要是用于回测、数据模型的训练。在后面的章节中，我们再继续使用这些数据。