第 8 页 —— 专家的算法交易文章

了解编程范式及利用 MQL5 代码的应用。本文探讨了过程化编程的细节，并通过一个实际示例提供了实经验。您将学习如何利用 EMA 指标和烛条价格数据开发价格行为智能系统。额外，本文还介绍了函数化编程范式。

做市商是如何运作的？让我们探讨一下这个问题，创建一个初级的做市商算法。

我们将分析什么是定量分析，以及主要参与者如何运用定量分析的问题。我们将用 MQL5 语言创建一种定量分析算法。

这是初学者系列的延续。本文将介绍如何创建常量和变量、写入日期、颜色和其他有用的数据。我们将学习如何创建枚举，如一周中的天数或线条样式（实线、虚线等）。变量和表达式是编程的基础。它们肯定存在于99%以上的程序中，因此理解它们至关重要。因此，如果你是编程新手，这篇文章会对你非常有用。所需的编程知识水平：非常基础，在我上一篇文章（见开头的链接）的范围内。

使用准备好的训练数据集中的数据对模型进行离线训练，这种方法虽然有一定的优势，但其不利的一面是，环境信息被大大压缩到训练数据集的大小。这反过来又限制了探索的可能性。在本文中，我们将探讨一种方法，这种方法可以用尽可能多样化的数据来填充训练数据集。

本文是有关编程的系列文章的概述。这里假设的是读者之前从未接触过编程，因此，本系列从最基础的地方开始。编程知识水平：绝对的新手。

如何利用 MQL5 创建简单的多币种智能交易系统（第 5 部分）：凯尔特纳（Keltner）通道上的布林带 — 指标信号

本文中的多币种 EA 是一款智能交易系统或交易机器人，可以仅从一个品种图表中交易（开单、平单和管理订单，例如：尾随止损和止盈）多个品种（对）。在本文中，我们将用到来自两个指标的信号，在本例中为凯尔特纳（Keltner）通道上的布林带®。

在本文中，我们将继续讨论收集数据至训练集之中的方法。显然，学习过程需要与环境不断互动。不过，状况可能会有所不同。

在本文中，我们将领略一个有趣的算法，它是在监督和强化学习方法的交叉点上构建的。

如何利用 MQL5 创建简单的多币种智能交易系统（第 4 部分）：三角移动平均线 — 指标信号

本文中的多币种 EA 是智能交易系统或交易机器人，能从一个品种的图表里交易（开单、平单、及管理订单，例如：尾随止损和止盈）多个品种（货币对）。这次我们只会用到 1 个指标，即多时间帧或单一时间帧中的三角移动平均线。

据前几篇文章中所执行测试的结果，我们得出的结论是，训练策略的最优性很大程度上取决于所采用的训练集。在本文中，我们将熟悉一种相当简单，但有效的方法来选择轨迹，并据其训练模型。

我们将继续讨论决策转换器方法系列。从上一篇文章中，我们已经注意到，训练这些方法架构下的转换器是一项相当复杂的任务，需要一个大型标记数据集进行训练。在本文中，我们将观看到一种使用未标记轨迹进行初步模型训练的算法。

如何利用 MQL5 创建简单的多币种智能交易系统（第 3 部分）：添加交易品种、前缀和/或后缀、以及交易时段

若干交易员同事发送电子邮件或评论了如何基于经纪商提供的名称里带有前缀和/或后缀的品种使用此多币种 EA，以及如何在该多币种 EA 上实现交易时区或交易时段。

在最近的文章中，我们已看到了运用决策转换器方法的若干选项。该方法不仅可以分析当前状态，还可以分析先前状态的轨迹，以及在其中执行的动作。在本文中，我们将专注于在层次化模型中运用该方法。

在离线学习期间，我们基于训练样本数据优化了智能体的政策。成品政策令智能体对其动作充满信心。然而，这种乐观情绪并不总是正当的，并且可能会在模型操作期间导致风险增加。今天，我们要寻找降低这些风险的方法之一。

传递指标至感知器的示例。本文讲述了一般概念，并展示了最简单的现成智能交易系统，后随其优化和前向验算结果。

最近两篇文章专门介绍了决策转换器方法，其在期望奖励的自回归模型境况下针对动作序列进行建模。在本文中，我们将研究该方法的另一种优化算法。

在上一篇文章中，我们领略了决策变换器。但是，外汇市场复杂的随机环境不允许我们充分发挥所提议方法的潜能。在本文中，我将讲述一种算法，旨在提高在随机环境中的性能。

我们继续探索强化学习方法。在本文中，我将专注于一种略有不同的算法，其参考智能体政策构造一连串动作的范式。

如何利用 MQL5 创建简单的多币种智能交易系统（第 2 部分）：指标信号：多时间帧抛物线 SAR 指标

本文中的多币种智能交易系统是智能交易系统或交易机器人，它仅在一个品种图表上就能交易（开单、平单、和管理订单，例如：尾随停损和止盈）超过 1 个交易品种对。这次我们只用 1 个指标，即抛物线 SAR 或 iSAR，将其应用在 PERIOD_M15 到 PERIOD_D1 的多个时间帧。

在此，我将研究相当新颖的随机边际扮演者-评论者（SMAC）算法，该算法允许在熵值最大化的框架内构建潜在变量政策。

强化学习中的环境研究是一个紧迫的问题。我们之前已视察过一些方式。在本文中，我们将讲述另一种基于最大化核范数的方法。它允许智能体识别拥有高度新颖性和多样性的环境状态。

对比训练是一种无监督训练方法表象。它的目标是训练一个模型，突显数据集中的相似性和差异性。在本文中，我们将谈论使用对比训练方式来探索不同的扮演者技能。

本文描述了一个基于决策树的回归模型的实现。该模型应预测金融资产的价格。我们已经准备好了数据，对模型进行了训练和评估，并对其进行了调整和优化。然而，需要注意的是，该模型仅用于研究目的，不应用于实际交易。

无论何时我们研究强化学习方法时，我们都会面对有效探索环境的问题。解决这个问题通常会导致算法更复杂性，以及训练额外模型。在本文中，我们将看看解决此问题的替代方法。

如何利用 MQL5 创建简单的多币种智能交易系统（第 1 部分）：基于 ADX 指标的信号，并结合抛物线 SAR

本文中的多币种智能交易系统是交易机器人，它只能在单一品种图表中运营，但可交易（开单、平单和管理订单）超过一个品种对。

我们已经不止一次地讨论过正确选择奖励函数的重要性，我们通过为单独动作添加奖励或惩罚来刺激代理者的预期行为。但是关于由代理者解密我们的信号的问题仍旧悬而未决。在本文中，我们将探讨将单独信号传输至已训练代理者时的奖励分解。

由于模型是基于经验复现缓冲区进行训练，故当前的扮演者政策会越来越远离存储的样本，这会降低整个模型的训练效率。在本文中，我们将查看一些能在强化学习算法中提升样本使用效率的算法。

最后两篇文章研究了软性扮演者-评论者算法，该算法将熵正则化整合到奖励函数当中。这种方式在环境探索和模型开发之间取得平衡，但它仅适用于随机模型。本文提出了一种替代方式，能适用于随机模型和确定性模型两者。

在本文中，我们将研究创建多交易品种、多周期指标的原则。我们还将了解如何从 EA 交易和其他指标中获取此类指标的数据。我们将探讨在 EA 交易和指标中使用多指标的主要功能，并将了解如何通过自定义指标缓冲区绘制它们。

很多莫斯科交易所的交易者想把他们的交易算法自动化，但是他们不知道从何做起，MQL5语言提供了很大范围的交易功能，它还额外提供了方便使用的类，以使用户在算法交易中方便地起步。

在上一篇文章中，我们实现了软性扮演者-评论者算法，但未能训练出一个可盈利的模型。在此，我们将优化先前创建的模型，以期获得所需的结果。

在这篇文章中，我们介绍了几种被称为夏普比率（Sharpe ratio）替代品的风险回报标准的实现，并检查了假设的权益曲线以分析其特征。

在这篇参考文章中，我们将研究趋势指标类别中的标准指标。我们将创建现成的模板，用于EA中的指标使用——声明和设置参数、指标初始化和析构，以及从EA中的指示符缓冲区接收数据和信号。

在这篇文章中，我们深入研究自举法技术的应用，作为评估自动化策略未来效能的一种手段。

在本文中，我们将研究交易量和比尔威廉姆斯指标类别的标准指标。我们将创建现成的模板，用于EA中的指标使用——声明和设置参数、指标初始化和析构，以及从EA中的指示符缓冲区接收数据和信号。

我们继续讨论解决连续动作空间问题的强化学习算法。在本文中，我将讲演软性扮演者-评论者（SAC）算法。SAC 的主要优点是拥有查找最佳策略的能力，不仅令预期回报最大化，而且拥有最大化的动作熵（多样性）。

在这篇文章中，我将展示改进的第一部分，这些改进不仅使我能够使MetaTrader 4和5交易的整个自动化链闭环，而且还可以做一些更有趣的事情。从现在起，这个解决方案使我能够完全自动化创建EA和优化，并最大限度地降低寻找有效交易配置的劳动力成本。

在创建任何交易系统时，我们都需要有效地处理一项任务。这项任务是下单，或者让创建的交易系统自动处理订单，因为它在任何交易系统中都至关重要。因此，您将在本文中找到您需要了解的关于这项任务的大多数主题，以有效地创建您的交易系统。

在上一篇文章中，我们概述了 DDPG 方法，它允许在连续动作空间中训练模型。然而，与其它 Q-学习方法一样，DDPG 容易高估 Q-函数的数值。这个问题往往会造成训练代理者时选择次优策略。在本文中，我们将研究一些克服上述问题的方式。

理解编程范式（第 1 部分）：开发价格行为智能系统的过程化方式

在 MQL5 中创建做市商算法

MQL5 中的定量分析：实现有前途的算法

掌握 MQL5：从入门到精通（第二部分）基本数据类型和变量的使用

神经网络变得简单（第 66 部分）：离线学习中的探索问题

掌握 MQL5：从入门到精通（第一部分）：开始编程

如何利用 MQL5 创建简单的多币种智能交易系统（第 5 部分）：凯尔特纳（Keltner）通道上的布林带 — 指标信号

神经网络变得简单（第 67 部分）：按照过去的经验解决新任务

神经网络变得简单（第 65 部分）：距离加权监督学习（DWSL）

如何利用 MQL5 创建简单的多币种智能交易系统（第 4 部分）：三角移动平均线 — 指标信号

神经网络变得简单（第 64 部分）：保守加权行为克隆（CWBC）方法

神经网络变得简单（第 63 部分）：决策转换器无监督预训练（PDT）

如何利用 MQL5 创建简单的多币种智能交易系统（第 3 部分）：添加交易品种、前缀和/或后缀、以及交易时段

神经网络变得简单（第 62 部分）：在层次化模型中运用决策转换器

神经网络变得简单（第 61 部分）：离线强化学习中的乐观情绪问题

神经网络实验（第 7 部分）：传递指标

神经网络变得简单（第 60 部分）：在线决策转换器（ODT）

神经网络变得简单（第 59 部分）：控制二分法（DoC）

神经网络变得简单（第 58 部分）：决策转换器（DT）

如何利用 MQL5 创建简单的多币种智能交易系统（第 2 部分）：指标信号：多时间帧抛物线 SAR 指标

神经网络变得简单（第 57 部分）：随机边际扮演者-评论者（SMAC）

神经网络变得简单（第 56 部分）：利用核范数推动研究

神经网络变得轻松（第五十五部分）：对比内在控制（CIC）

将ML模型与策略测试器集成（结论）：实现价格预测的回归模型

神经网络变得轻松（第五十四部分）：利用随机编码器（RE3）进行高效研究

如何利用 MQL5 创建简单的多币种智能交易系统（第 1 部分）：基于 ADX 指标的信号，并结合抛物线 SAR

神经网络变得轻松（第五十三部分）：奖励分解

神经网络变得轻松（第五十二部分）：研究乐观情绪和分布校正

神经网络变得轻松（第五十一部分）：行为-指引的扮演者-评论者（BAC）

创建多交易品种、多周期指标

为莫斯科交易所开发一个交易机器人从哪里开始呢?

神经网络变得轻松（第五十部分）：软性扮演者-评价者（模型优化）

MQL5中的替代风险回报标准

为EA交易提供指标的现成模板（第3部分）：趋势指标

用置信区间估计未来效能

为EA交易提供指标的现成模板（第2部分）：交易量和比尔威廉姆斯指标

神经网络变得轻松（第四十九部分）：软性扮演者-评价者

模式搜索的暴力方法（第六部分）：循环优化

了解使用MQL5下单

神经网络变得轻松（第四十八部分）：降低 Q-函数高估的方法