本论文选择2022年12月1日至2024年9月30日阿里巴巴的股票信息作为数据研究对象。阿里巴巴作为中国互联网头部企业，其股票在美国纽交所上市。相比于A股市场的信息披露和监管力度，美国证券交易委员会(SEC)的监管力度更加严格和全面，吸引了全世界范围内的投资者，具有交易量大、流动性更好的优势，作为投资者买卖其股票降低了交易成本，也减少了对于最终盈利核算的影响。如 图1 所示，为2022-12-01至2024-9-30阿里巴巴股票信息。

同时，选择了雅虎金融(Yahoo Finance)作为数据源。雅虎金融提供大量的金融数据包括：股票价格、交易量、财务报表数据等。相比较于其他数据提供商，雅虎金融大部分数据免费；数据通常以结构化的格式呈现——方便数据分析和处理；数据通常可以通过API接口获取。

使用“Pandas-Datareader”库的“Web.DataReader”函数获取在线数据，该函数将雅虎金融发送的JSON数据解析为Python对象，其交互过程如 图2 所示：

本论文通过使用Python的Gym库为模型构建一个股票交易环境。Gym库的核心函数是gym.make (stocks-v0)。其中“stocks-v0”是“gym-anytrading”库注册的环境ID，表示要创建的是一个股票交易环境。创建好的环境会接收已经打包完成的股票数据集，该数据集包括了开盘价、最高价、最低价、收盘价、成交量等信息。数据传输完成后，环境进行规范化预处理，以便输入模型训练。该环境使用指定的股票数据(阿里巴巴)、数据范围(2022-12-01~2024-9.30)和窗口大小(每一次循环中模型训练的数据规模)，如 图3 所示：

而模型的构建主要工作是对环境预处理好的数据进行接收、设置好训练的次数、选取合适算法和策略网络、确定好训练流程。

模型选取了Stable Baselines3库的A2C算法作为模型训练的核心算法，并辅助使用了MlpLstmPolicy网络结构进行策略的更新。

其中A2C算法指的是Actor-Critic，一种基于策略梯度(Policy Gradient)和价值函数(Value Function)的强化学习方法。它通过产生交易动作提前完成对股票的买入或者卖出，通过与实际股票的涨跌情况作对比，评判本次交易的结果是盈利还是亏损，并根据奖励(判断的结果)更新下一个阶段的行为，也就是下一阶段买入还是卖出，以得到更好的资金回报。

A2C算法会创建多个进程与环境进行交互，以收集更多的交易经验，这对于优化每一次的动作都能起到正向效果。如 图4 所示。

MlpLstmPolicy策略网络是多层感知器MLP和长短期记忆网LSTM。MLP能够辅助处理交易量、技术指标等不随时间变化的数据；LSTM则辅助处理价格序列等随时间而变动的因素，捕捉股票价格变化过程中的依赖关系，通过与MLP相结合形成MlpLstmPolicy策略网络，能够更好地为A2C算法更新策略，以得到更好的预期收益。

模型训练开始前，必须对模型的训练参数进行设置，主要是循环训练的次数(根据实际数据源的数量进行估计)、获取的窗口大小(一次抓取的数据规模)。

模型训练第一步：初始化。这个过程由Gym环境处理完成。这个处理过程隐含在“gym-anytrading”库中。

模型训练第二步：数据获取。前文所述，由环境会自动将打包完成的数据输入给模型。

模型训练第三步：决策网络。该步骤负责生成一个交易策略，以A2C算法为核心辅以MlpLstmPolicy策略网络生成一个决策。该决策是动态存在，在设定的最大训练次数之前，每一次完整的训练都会根据奖励更新策略。

模型训练第四步：行动。即根据策略完成一次完整的股票买入或者卖出。在预期中该行动应该是股票的高点卖出，低点买入。

模型训练第五步：奖励。奖励本质是上一次交易动作产生的后果，后果可能为正向或负向。根据一次决策完成一次行动，将行动结果与股票的数据进行比对，即可知道该行为产生的后果。

模型训练第六步：更新策略。由第五步的后果，回到第三步，调整策略，该过程由算法自主学习完成。更新策略后使用新策略继续完成第三步到第六步。

模型在执行循环往复的训练次数后结束。其流程图如 图5 所示。

股票交易模型的最终评估指标以收益率为准。本模型引入MATLAB以构建可视化的图表，最终的收益率和决策过程会生成散点图，散点会落在股票的实际涨跌线上，以进行对比。

如 图6 所示，在没有任何算法训练的情况下，Gym环境内自行交易的结果。

在该 图6 中，红点表示卖出行为，绿点表示买入行为。由于第一次进行数据训练不会产生买入和和卖出行为，因此最开始的一段曲线上并无散点。

分析图中的散点图可知，在没有算法的情况下，自主交易存在混乱的情形，在持续走高的趋势中连续买入，在持续走低的趋势里卖出的行为却寥寥无几。根据股票常识易知，假如阿里巴巴股票在2021-12-01至2024-09-30两年间的股票走势总体降低，那么连续买入的操作( 图6 中绿点占据大部分比重)最终结果将是亏损，同时根据图中最终的收益显示为：“Total Profit” = 0.579032可知，其收益率小于1，即最终余额约只有本金的58%。

而阿里巴巴股票的总体趋势图也验证了这一次结果必然是亏损的，如 图7 所示：

由3.2可知，一个无算法的股票交易模型最终的结果是亏损的，下文将展现运用算法模型的训练结果。

在经过3.1的训练步骤之后，该模型的训练结果比较于无算法状态下的收益率有了较为明显的进步。如 图8 所示：

在 图8 中，收益率为1.058710，大于1，交易模型有了预期的效果。但是约5.87%的盈利率有待提高。实际的股票交易中还有手续费等相关费用，所以现实的收益率依然大打折扣。且观察其行为轨迹能看出模型的行为较为单一保守，几乎所有行为都是卖出股票，受益于阿里巴巴的股票整体呈下跌趋势，因此总体比较什么也不做或者连续买入是获利的。

考虑到模型的优越性与训练次数(时间)和观察窗口有关，提高训练次数并扩大观察窗口，得到了更加理想的结果。如 图9 所示：

观察 图9 可知收益率为1.177118，最终盈利率率约达到了17.71%。根据图中的散点轨迹能够发现，买入和卖出的操作在未知实际涨跌的情况下跟预期(高点卖出，低点买入)大致吻合。这说明调整参数起到了正向的效果，最终是盈利的。

同时，17.1%的盈利率远高于美联储的存储利率，意味着投资者运用了本模型，将本金用于阿里巴巴股票的量化交易远大于储蓄利息，运用了A2C算法的交易模型训练成功。