作者: 阿布
阿布量化版权所有 未经允许 禁止转载
abu量化系统github地址 (欢迎+star)
上一节示例了ump主裁的使用以及回测示例 本节将示例ump边裁交易决策, 首先导入abupy中本节使用的模块：
In [1]:
# 基础库导入
from __future__ import print_function
from __future__ import division
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
import os
import sys
# 使用insert 0即只使用github，避免交叉使用了pip安装的abupy，导致的版本不一致问题
sys.path.insert(0, os.path.abspath('../'))
import abupy
# 使用沙盒数据，目的是和书中一样的数据环境
abupy.env.enable_example_env_ipython()
In [2]:
from abupy import AbuFactorAtrNStop, AbuFactorPreAtrNStop, AbuFactorCloseAtrNStop, AbuFactorBuyBreak, ABuProgress
from abupy import abu, EMarketTargetType, AbuMetricsBase, ABuMarketDrawing, AbuFuturesCn, ABuSymbolPd, AbuOrderPdProxy
from abupy import AbuUmpMainDeg, AbuUmpMainJump, AbuUmpMainPrice, AbuUmpMainWave, AbuFuturesCn, EStoreAbu, AbuML
from abupy import AbuUmpEdgeDeg, AbuUmpEdgePrice, AbuUmpEdgeWave, AbuUmpEdgeFull
受限于沙盒中数据限制，本节示例的相关性分析只限制在abupy内置沙盒数据中，完整示例以及代码请阅读《量化交易之路》中相关章节。
和上一节一样首先将内置沙盒中美股，A股，港股, 比特币，莱特币，期货市场中的symbol都列出来，然后组成训练集和测试集，买入卖出因子等相同设置:
In [3]:
us_choice_symbols = ['usTSLA', 'usNOAH', 'usSFUN', 'usBIDU', 'usAAPL', 'usGOOG', 'usWUBA', 'usVIPS']
cn_choice_symbols = ['002230', '300104', '300059', '601766', '600085', '600036', '600809', '000002', '002594']
hk_choice_symbols = ['hk03333', 'hk00700', 'hk02333', 'hk01359', 'hk00656', 'hk03888', 'hk02318']
tc_choice_symbols = ['btc', 'ltc']
# 期货市场的直接从AbuFuturesCn().symbo中读取
ft_choice_symbols = AbuFuturesCn().symbol.tolist()
# 训练集：沙盒中所有美股 ＋ 沙盒中所有A股 ＋ 沙盒中所有港股 ＋ 比特币
train_choice_symbols = us_choice_symbols + cn_choice_symbols + hk_choice_symbols + tc_choice_symbols[:1]
# 测试集：沙盒中所有期货 ＋ 莱特币
test_choice_symbols = ft_choice_symbols + tc_choice_symbols[1:]
# 设置初始资金数
read_cash = 1000000
# 买入因子依然延用向上突破因子
buy_factors = [{'xd': 60, 'class': AbuFactorBuyBreak},
{'xd': 42, 'class': AbuFactorBuyBreak}]
# 卖出因子继续使用上一节使用的因子
sell_factors = [
{'stop_loss_n': 1.0, 'stop_win_n': 3.0,
'class': AbuFactorAtrNStop},
{'class': AbuFactorPreAtrNStop, 'pre_atr_n': 1.5},
{'class': AbuFactorCloseAtrNStop, 'close_atr_n': 1.5}
]
# 回测生成买入时刻特征
abupy.env.g_enable_ml_feature = True
在运行完成第15节中相关内容后，使用load_abu_result_tuple读取第15节中保存在本地的训练集数据：
In [4]:
abu_result_tuple_train = abu.load_abu_result_tuple(n_folds=2, store_type=EStoreAbu.E_STORE_CUSTOM_NAME,
custom_name='lecture_train')
orders_pd_train = abu_result_tuple_train.orders_pd
AbuMetricsBase.show_general(*abu_result_tuple_train, returns_cmp=True, only_info=True)
边裁核心代码在基类AbuUmpEdgeBase源代码中, 之所以称为边裁，是由于它的实现原理是通过统计训练集数据两端边缘胜负数据实现的，边裁的训练步骤很简单如下所示：
边裁比较复杂的地方在裁决方式上，它多次使用非均衡技术对最后的结果概率进行干预，目的是使最终的裁决正确率达成非均衡的目标，非均衡技术思想是量化中很很重要的一种设计思路，因为我们量化的目标结果就是非均衡，我们想要赢的钱比输的多。
更多详情实现请阅读AbuUmpEdgeBase源代码
与主裁代码设计结构类似，子类完成的主要工作就是对特征进行处理，如AbuUmpEdgeDeg的特征为21、42、60、252日拟合角度，与主裁对特征处理的架构类似，主要区别如下：
下面不再分步讲解边裁的训练过程，与主裁类似直接使用类方法ump_edge_clf_dump完成主裁的训练和数据本地序列化操作：
In [5]:
edge_deg = AbuUmpEdgeDeg.ump_edge_clf_dump(orders_pd_train)
edge_deg.fiter.df.head()
Out[5]:
上面所示的角度边裁除了profit和profit_cg与主裁使用的result不同外，多出了rk列，它代表了边裁的属性rk=1的交易为所有交易中表现最好的top个，rk=-1的交易为所有交易中表现最差的top个，如下可视化rk的比例：
In [6]:
edge_deg.fiter.df.rk.value_counts().plot(kind='bar')
Out[6]:
角度边裁与主裁的不同点，还多出了p_rk_cg列，它代表了交易最终收益的rank值，如下按照p_rk_cg排序，head即是所有交易中损失最大的5笔交易，显然它们的rk值也都是-1, 如下所示：
In [7]:
edge_deg.fiter.df.sort_values(by='p_rk_cg').head()
Out[7]:
相反tail即是所有交易中利润最大的5笔交易，显然它们的rk值也都是1, 如下所示：
In [8]:
edge_deg.fiter.df.sort_values(by='p_rk_cg').tail(5)
Out[8]:
In [9]:
edge_price = AbuUmpEdgePrice.ump_edge_clf_dump(orders_pd_train)
edge_price.fiter.df.head()
Out[9]:
In [10]:
edge_wave = AbuUmpEdgeWave.ump_edge_clf_dump(orders_pd_train)
edge_wave.fiter.df.head()
Out[10]:
In [11]:
edge_full = AbuUmpEdgeFull.ump_edge_clf_dump(orders_pd_train)
edge_full.fiter.df.head()
Out[11]:
边裁裁决交易是否拦截的关键代码在函数AbuUmpEdgeBase.predict()中，边裁的predict()实现相对主裁来说比较复杂，大致思路如下：
本节开始时已介绍过边裁的裁决方式多次使用非均衡技术，对最后的结果概率进行干预，目的是使最终的裁决正确率达成非均衡的目标。 这里重复已达重视，即： 非均衡技术思想是量化中很很重要的一种设计思路，因为我们量化的目标结果就是非均衡，我们想要赢的钱比输的多。
具体代码实现请阅读AbuUmpEdgeBase.predict函数
备注：关于距离度量的应用阅读：第十四节 量化相关性分析应用)
首先和上一节一样使用训练集不使用边裁拦截情况下进行回测，如下所示：
In [12]:
# 不使用边裁拦截
abupy.env.g_enable_ump_edge_deg_block = False
abupy.env.g_enable_ump_edge_full_block = False
abupy.env.g_enable_ump_edge_price_block = False
abupy.env.g_enable_ump_edge_wave_block = False
abu_result_tuple_test, _ = abu.run_loop_back(read_cash,
buy_factors,
sell_factors,
start='2014-07-26',
end='2016-07-26',
choice_symbols=test_choice_symbols)
ABuProgress.clear_output()
In [13]:
AbuMetricsBase.show_general(*abu_result_tuple_test, returns_cmp=True, only_info=True)
在abu系统中开启边裁进行拦截前，先分别量化一下每个裁判的拦截正确率，以及总拦截率。
下面编写apply_ml_features_edge()函数通过参数传入边裁，分别将四个边裁作为参数传入并对裁决结果进行记录：
In [14]:
import ast
def apply_ml_features_edge(order, predicter):
if not isinstance(order.ml_features, dict):
# 低版本pandas dict对象取出来会成为str
ml_features = ast.literal_eval(order.ml_features)
else:
ml_features = order.ml_features
# 边裁进行裁决
edge = predicter.predict(**ml_features)
return edge.value
# 选取有交易结果的数据order_has_result
order_has_result = abu_result_tuple_test.orders_pd[abu_result_tuple_test.orders_pd.result != 0]
# 角度边裁开始裁决
order_has_result['edge_deg'] = order_has_result.apply(
apply_ml_features_edge, axis=1, args=(edge_deg,))
# 价格边裁开始裁决
order_has_result['edge_price'] = order_has_result.apply(
apply_ml_features_edge, axis=1, args=(edge_price,))
# 综合边裁开始裁决
order_has_result['edge_full'] = order_has_result.apply(
apply_ml_features_edge, axis=1, args=(edge_full,))
# 波动边裁开始裁决
order_has_result['edge_wave'] = order_has_result.apply(
apply_ml_features_edge, axis=1, args=(edge_wave,))
下面统计一下四个边裁总拦截数量以及拦截率：
In [15]:
block_pd = order_has_result.filter(regex='^edge_*')
"""
由于predict返回的结果中1代表win top
但是我们只需要知道loss_top，所以只保留-1, 其他1转换为0。
"""
block_pd['edge_block'] = \
np.where(np.min(block_pd, axis=1) == -1, -1, 0)
# 拿出真实的交易结果
block_pd['result'] = order_has_result['result']
# 拿出-1的结果，即判定loss_top的
block_pd = block_pd[block_pd.edge_block == -1]
print('四个边裁拦截交易总数{}， 拦截率{:.2f}%'.format(
block_pd.shape[0],
block_pd.shape[0] / order_has_result.shape[0] * 100))
block_pd.head()
Out[15]:
下面统计每一个边裁拦截正确率以及拦截数量：
In [16]:
from sklearn import metrics
def sub_edge_show(edge_name):
sub_edge_block_pd = order_has_result[(order_has_result[edge_name] == -1)]
accuracy = 0
if sub_edge_block_pd.shape[0] > 0:
accuracy = metrics.accuracy_score(sub_edge_block_pd[edge_name], sub_edge_block_pd.result) * 100
return accuracy, sub_edge_block_pd.shape[0]
print('角度边裁拦截正确率{0:.2f}%, 拦截交易数量{1:}'.format(*sub_edge_show('edge_deg')))
print('综合边裁拦截正确率{0:.2f}%, 拦截交易数量{1:}'.format(*sub_edge_show('edge_full')))
print('波动边裁拦截正确率{0:.2f}%, 拦截交易数量{1:}'.format(*sub_edge_show('edge_wave')))
print('价格边裁拦截正确率{0:.2f}%, 拦截交易数量{1:}'.format(*sub_edge_show('edge_price')))
上面结果可以看到综合边裁没有能够拦截到一个交易，这是因为综合边裁使用的特征很多，但是测试集的交易数量太少，没有能在测试集中找到类似的交易特征描述。
验证边裁后就可以在回测或者实盘模块中开启边裁拦截，针对策略产生的交易信号进行买入拦截, 在之前针对测试集开启主裁拦截代码的基础上，我们开启边裁拦截开关：
In [17]:
# 开启边裁
abupy.env.g_enable_ump_edge_deg_block = True
abupy.env.g_enable_ump_edge_full_block = True
abupy.env.g_enable_ump_edge_price_block = True
abupy.env.g_enable_ump_edge_wave_block = True
abu_result_tuple_test_edge, _ = abu.run_loop_back(read_cash,
buy_factors,
sell_factors,
start='2014-07-26',
end='2016-07-26',
choice_symbols=test_choice_symbols)
ABuProgress.clear_output()
In [18]:
AbuMetricsBase.show_general(*abu_result_tuple_test_edge, returns_cmp=True, only_info=True)
对比未开启边裁拦截的情况：
In [19]:
AbuMetricsBase.show_general(*abu_result_tuple_test, returns_cmp=True, only_info=True)
如上所示使用边裁进行交易策略的拦截胜率，盈亏比相较上一节的主裁拦截都有所提高，且边裁拦截了大量的交易可以节省佣金，更重大的意义在于边裁避免了重大的风险，因为边裁的拦截目标是训练集top loss。
在实盘中往往根据资金量，策略并行数量等等因素计算出每日最佳交易数量，通过选股模块 ＋ ump模块使得每天实际交易数量逼近每日最佳交易数量，在之后的章节中会完整示例。
边裁的效果提升的方法与主裁类似，最为重要的依然是：训练更多交易数据，更多策略来提升边裁的拦截水平及拦截认知范围，给每一个裁判看更多的比赛录像，提高比赛录像水准，如从多个不同视角录制比赛，这样裁判才能在实际比赛中做出最正确的判断。
既然裁判都已经准备好了，那么就可以准备开始比赛了，一定要赢得这场胜利，即使一切都不存在！
小结：本节的示例与《量化交易之路》中讲解的边裁部分内容互为补充，请对照阅读。
abu量化系统文档教程持续更新中，请关注公众号中的更新提醒。
更多关于量化交易相关请阅读《量化交易之路》
更多关于量化交易与机器学习相关请阅读《机器学习之路》
更多关于abu量化系统请关注微信公众号: abu_quant