Intelligent decision-making method for coal caving based on fuzzy deep Q-network
-
摘要: 在综放工作面放煤过程中，由于煤尘和降尘水雾对工作人员视线的影响，人工控制放煤存在过放、欠放问题。针对该问题，将液压支架尾梁看作智能体，把放煤过程抽象为马尔可夫最优决策，利用深度Q网络（DQN）对放煤口动作进行决策。然而DQN算法中存在过估计问题，因此提出了一种模糊深度Q网络（FDQN）算法，并应用于放煤智能决策。利用放煤过程中煤层状态的模糊特征构建模糊控制系统，以煤层状态中的煤炭数量和煤矸比例作为模糊控制系统的输入，并将模糊控制系统的输出动作代替DQN算法采用max操作选取目标网络输出Q值的动作，从而提高智能体的在线学习速率和增加放煤动作奖赏值。搭建综放工作面放煤模型，对分别基于DQN算法、双深度Q网络（DDQN）算法、FDQN算法的放煤工艺进行三维数值仿真，结果表明：FDQN算法的收敛速度最快，相对于DQN算法提高了31.6%，增加了智能体的在线学习速率；综合煤矸分界线直线度、尾梁上方余煤和放出体中的矸石数量3个方面，基于FDQN算法的放煤效果最好；基于FDQN算法的采出率最高、含矸率最低，相比基于DQN算法、DDQN算法的采出率分别提高了2.8%，0.7%，含矸率分别降低了2.1%，13.2%。基于FDQN算法的放煤智能决策方法可根据煤层赋存状态对液压支架尾梁动作进行调整，较好地解决了放煤过程中的过放、欠放问题。Abstract: During the coal caving process in the fully mechanized caving face, due to the impact of coal dust and dust water mist on the workers' line of sight, there are problems of over-caving and under-caving in manually controlled coal caving. In order to solve this problem, the tail beam of the hydraulic support is regarded as an intelligent agent, and the coal caving process is abstracted as a Markov optimal decision. A deep Q-network (DQN) is used to make decisions on the action of the coal drawing port. However, there is an overestimation problem in the DQN algorithm. A fuzzy deep Q-network (FDQN) algorithm is proposed and applied to intelligent decision-making of coal caving. The fuzzy control system is constructed by using the fuzzy features of the coal seam status in the coal caving process. The coal quantity and the coal gangue ratio in the coal seam state are taken as the inputs of the fuzzy control system. The output action of the fuzzy control system is replaced with the action of the DQN algorithm using the max operation to select the output Q value of the target network. It improves the online learning rate of the agent and increases the reward value of coal caving action. The coal caving model for the fully mechanized caving face is constructed. The three-dimensional numerical simulation of the coal caving process based on DQN, double depth Q-network (DDQN), and FDQN algorithms is conducted respectively. The results show that the FDQN algorithm has the fastest convergence speed, which is 31.6% faster than the DQN algorithm. It increases the online learning rate of the intelligent agent. The coal caving effect based on the FDQN algorithm is the best from three aspects: the straightness of the coal gangue boundary, the remaining coal above the tail beam, and the amount of gangue in the released body. The extraction rate based on the FDQN algorithm is the highest and the gangue content is the lowest. Compared with the DQN algorithm and DDQN algorithm, the extraction rate of the FDQN algorithm has increased by 2.8% and 0.7% respectively, and the gangue content has decreased by 2.1% and 13.2% respectively. The FDQN-based intelligent decision-making method for coal caving can adjust the action of the hydraulic support tail beam based on the coal seam occurrence status. It effectively solves the problems of over-caving and under-caving during the coal caving process.
-
0. 引言
近年来，我国高产高效综采工作面快速发展，已建成477个智能化综采工作面[1]。工作面开采结束后，下一个待开采工作面需提前做好准备工作，以便及时开采，否则采煤工人空闲导致人力资源浪费，且未使用的综采设备堆放在仓库中增加空间成本和设备维护成本。工作面接续作业效率低下使得工作面开采工期延长，这与工作面高产高效开采理念相悖。针对该问题，需制定综采工作面接续计划。传统工作面接续计划主要依靠人工编制，工作量大，效率低，特别是搬家倒面作业，由于涉及采矿作业、生产装备、井下运输等多方面因素，常出现调度冲突，导致工期延长。合理优化综采设备搬家倒面计划有助于提高煤矿企业生产效率，减少经营成本。目前综采设备快速搬家倒面主要依赖高度机械化作业，如自动锚支、快速掘进设备安装回撤工艺等技术[2]。部分专家从运筹学角度对缩短单一工作面综采设备搬家倒面工期进行研究，如韩国华[3]结合煤矿生产实际，利用网络计划技术，通过分析、研究和计算，求解矿井某一工作面设备的搬家倒面工期。对于综采设备在不同矿井之间或同一矿井不同工作面之间进行搬家倒面工作的优化问题，还有待深入研究。
编制综采设备搬家倒面计划时，考虑每个矿井包含1个或多个工作面，每个工作面选择不同综采设备时对应工期不同，工作面之间没有先后开工顺序约束，因此可将其看作特殊的柔性作业车间调度问题。目前大多采用智能优化算法解决该问题[4]，如粒子群算法[5]、灰狼算法[6]、人工蜂群算法[7]、遗传算法[8-10]等。其中遗传算法具有鲁棒性好、搜索过程灵活和全局寻优能力强等优点，在求解柔性作业车间调度问题方面应用广泛。本文将遗传算法引入工作面综采设备搬家倒面计划编制工作，通过分析国能神东煤炭集团有限责任公司（以下称神东集团）综采设备信息及开采情况，确定了搬家倒面工作中设备机械化水平、人员等关键表征参数，建立了综采设备搬家倒面多变量数学模型；采用遗传算法求解该模型，并通过实例验证了算法有效性；开发了一套基于B/S架构的综采设备搬家倒面计划管理系统，解决了传统搬家倒面计划编制工作的低效率问题。
1. 研究背景
在煤矿生产过程中，煤炭开采前需在综采工作面安装设备并试运行，开采结束后将所需设备移至下一个待开采工作面，该过程称为工作面设备搬家倒面。编制综采设备搬家倒面计划的实质是确定各工作面开工顺序、开工时间、完工时间、采用的综采设备及选择的施工队伍，其中综采设备主要为采煤机、液压支架和刮板输送机（简称“三机”）[11]，安装时须遵循“三机”配套原则[12]。编制综采设备搬家倒面计划流程：① 确定完成该任务所需的安装、回撤设备及开采工期数据。② 根据综采设备选型和配套原则进行“三机”配套工作，确定各工作面适用的配套设备。③ 确定综采设备搬家倒面问题的假设条件和约束条件，进行变量定义，以最小化最大完工时间为优化目标建立数学模型。④ 设计算法进行模型求解。⑤ 根据求解结果编制综采设备搬家倒面计划。
本文对神东集团14个煤矿73个综采工作面近3 a的开采状况进行调研，收集了72种液压支架、68种采煤机、69种刮板输送机的设备信息，在此基础上进行分析处理，完成综采设备搬家倒面计划编制[13]。
2. 综采设备搬家倒面计划编制数学模型
为简化问题研究，便于数学建模，制定假设条件：① 所有设备在零时刻均可使用。② 每个工作面在可供选择的设备范围内，选择不同型号综采设备进行安装、回撤和开采的时间可不相同。③ 在同一时刻，每个工作面只能选择1套综采设备进行安装、回撤和开采。④ 在同一时刻，1套综采设备和1支施工队伍只能服务于1个工作面。⑤ 综采设备一旦开始在工作面上安装、回撤和开采，便不能中途停止。⑥ 在设备调度过程中，设备均是可用的，无需修理。
定义i为工作面序号，i=1，2，…，n，n为工作面总数；k为综采设备序号，k=1，2，…，m，m为综采设备总数；l为施工队伍序号，l=1，2，…，q，q为施工队伍总数；aik为设备选择变量，aik=1表示工作面i选择设备k，aik=0表示工作面i未选择设备k；hil为施工队伍选择变量，hil=1表示工作面i选择施工队伍l，hil=0表示工作面i未选择施工队伍l；bijk为工作面选择设备顺序变量，j=1，2，…，n，j≠i， bijk=1表示工作面i先于工作面j选择设备k，bijk=0表示工作面i未先于工作面j选择设备k；Lijl为工作面选择施工队伍顺序变量，Lijl=1表示工作面i先于工作面j选择施工队伍l，Lijl=0表示工作面i未先于工作面j选择施工队伍l；si为工作面i开始安装设备时间；ei为工作面i综采设备回撤结束时间；tik为工作面i占用设备k的时间；Tij为设备在工作面i，j之间运输时间；Cmax为综采设备回撤结束的最大完工时间。
根据综采设备搬家倒面计划编制问题特点，将该问题的优化目标确定为最小化最大完工时间，即数学模型的目标函数为
$$ H = \min {C_{\max }} $$ (1) 对该问题建立约束条件，见表1。
表 1 综采设备搬家倒面计划编制问题约束条件Table 1. Constraint conditions of fully mechanized mining equipment removal planning during sequencing working face公式 公式说明 $\displaystyle\sum\limits_{k = 1}^m { {a_{ik} } }= 1$ 1个工作面有多套设备可供选择，但只能选择其中的1套设备进行安装、回撤和开采 $\displaystyle\sum\limits_{l = 1}^q { {h_{il} } } = 1$ 1个工作面有多支施工队伍可供选择，但只能选择其中的1支施工队伍进行安装、回撤和开采 ${s_j} \geqslant \displaystyle\sum\limits_{k = 1}^m { {a_{ik} } } {a_{jk} }{b_{ijk} }{e_i} + {T_{ij} }$ 任意时刻，对于每套综采设备，只能服务于1个工作面 ${s_j} \geqslant \displaystyle\sum\limits_{l = 1}^q { {h_{il} } } {h_{jl} }{L_{ijl} }{e_i} + { {{T} }_{ij} }$ 任意时刻，对于每支施工队伍，只能服务于1个工作面 ${e_i} = {s_i} + \displaystyle\sum\limits_{ {{k} } = {\text{1} } }^{{m} } { {a_{ik} }{t_{ik} } }$ 综采设备的回撤结束时间等于设备开始安装时间加上工作面占用该设备的时间 ${s}_{i}\geqslant 0，{{e} }_{i}\geqslant 0$ 综采设备开始安装时间和回撤结束时间必须非负 $ {C_{\max }} \geqslant {e_i} $ 工作面综采设备回撤结束时间不大于最大完工时间 3. 综采设备搬家倒面计划编制遗传算法
3.1 算法设计
设计遗传算法求解综采设备搬家倒面计划编制数学模型，流程如下。
（1） 确定染色体编码规则。采用一种考虑设备、施工队伍和工作面选择的三段编码方式。设染色体长度为S，由于表示设备和施工队伍选择部分的染色体要与工作面相对应，所以S应为工作面总数的3倍，即S=3n。染色体的1~S/3段表示设备选择，每个基因位对应工作面可选择的设备序号；染色体的（S+3)/3~2S/3段表示工作面选择，每个基因位对应工作面序号；染色体的（2S+3）/3~S段表示施工队伍选择，每个基因位对应工作面可选择的施工队伍序号。
（2） 种群初始化。随机产生初始种群。
（3） 构建适应度函数。适应度函数的有效性直接决定遗传算法的搜索和进化结果，定义适应度函数为
$$ F = 1/{C_{\max }} $$ (2) （4） 选择操作。采用轮盘赌法进行染色体选择操作。
（5） 交叉操作。对于表示工作面选择部分的染色体，采用均匀交叉方式；对于表示设备和施工队伍选择部分的染色体，采用两点交叉方式。
（6） 变异操作。对于工作面和施工队伍选择部分，变异方式为在染色体上的基因位任意取2个位置，将其基因进行倒位；对于设备选择部分，变异方式为任取工作面可用设备范围内除当前设备之外的其他设备。
（7） 考虑最晚开采时间对染色体合法性进行判断和调整。在实际煤矿开采过程中，对于特定工作面，存在最晚开采时间限制，即该工作面的开采时间不能晚于最晚开采时间。对染色体来说，无法直接判断特定工作面的开采时间。因此，新生成的染色体（通过初始化、交叉、变异等操作生成的染色体）可能无法满足最晚开采时间限制，本文将该情况称为染色体不合法。
染色体的合法性判断需要先对染色体进行解码，解码后即可获取每个工作面的开采时间。对于有最晚开采时间要求的工作面，如果其开采时间满足最晚开采时间要求，则称该染色体合法，否则为不合法。出现不合法的染色体时，需对其进行调整，调整思路是将有最晚开采时间要求的工作面提前，具体步骤如下。
步骤1：将不满足最晚开采时间要求的工作面存储至集合A，并按工作面在染色体中的位置从前到后排列。
步骤2：令
$ r = 1 $ ，对于A中第$ r $ 个个体，如果该个体在染色体中的位置为1，则该问题无解，过程执行完毕，否则将其与染色体中该个体前一个位置的工作面交换，即将该工作面提前1位。令$ r = r + 1 $ ，重复步骤2，直到$ r $ 大于A中的个体数量。步骤3：对步骤2得到的调整后的染色体进行合法性判断，如果合法，过程执行完毕，否则转至步骤1。
（8） 终止算法。设置一定迭代次数来终止算法的搜索过程并输出结果。
3.2 算法有效性验证
神东集团2021年度11个综采工作面设备的搬家倒面计划如图1所示，其中绿色矩形块表示综采设备安装工期，蓝色矩形块表示回采工期，黄色矩形块表示综采设备回撤工期，该计划中搬家倒面工期为103 d。
![]()
图 1 优化前的综采设备搬家倒面计划Figure 1. Fully mechanized mining equipment removel plan during sequencing working face before optimization利用本文算法得到优化的综采设备搬家倒面计划，如图2所示。该计划中搬家倒面工期为91 d，与原计划相比缩短了12 d，可看出本文算法在求解综采设备搬家倒面计划编制问题方面是有效的。
![]()
图 2 优化后的综采设备搬家倒面计划Figure 2. Fully mechanized mining equipment removel plan during sequencing working face after optimization4. 综采设备搬家倒面计划管理系统
4.1 需求分析
根据煤矿企业对综采工作面设备搬家倒面计划编制要求，结合本文算法，设计综采设备搬家倒面计划管理系统。系统主要需求如下。
（1） 对管理员、工作面、施工队伍和综采设备等基础信息进行管理。
（2） 在满足工期、资源等约束的条件下，制定优化的综采设备搬家倒面计划。
（3） 系统满足易操作、稳定性高、易维护等要求。
系统E−R关系如图3所示，其中p为任务总数。
![]()
图 3 综采设备搬家倒面计划管理系统E−R关系Figure 3. E-R relationship of management system of fully mechanized mining equipment removel plan during sequencing working face4.2 模块设计
（1） 登录/退出模块。考虑到企业信息安全，系统由具备相关权限的用户使用。用户输入账号和密码后登录系统进行相关操作。
（2） 人员管理模块。该模块用于系统用户信息展示和修改，普通员工可在该模块查看和修改个人信息，管理人员还可修改其他用户信息。
（3） 工作面管理模块。该模块用于管理工作面信息，包括添加、删除、修改等操作，还可录入综采工作面安装、回撤和开采工期。该模块的管理人员需能根据各工作面特点和采用的配套设备预测工期。
（4） 施工队伍管理模块。该模块用于录入施工队伍信息，包括添加、删除、修改等操作。
（5） 综采设备管理模块。该模块用于对综采设备基本信息进行管理，包括添加、删除、修改等操作。
（6） 工作面距离信息管理模块。在研究综采设备搬家倒面问题时，需考虑施工队伍在不同矿井之间或同一矿井不同工作面之间运输设备的时间。该模块用于录入各工作面之间的距离信息。
（7） 搬家倒面计划管理模块。该模块主要功能是根据其他模块的信息生成搬家倒面计划。本文设计的遗传算法是该模块的核心，算法参数由人工选择。员工在使用系统过程中积累经验，当面对不同规模的问题时，根据经验选择高效的算法参数。因此，该模块具有算法参数管理功能。
搬家倒面计划生成是系统核心功能，从本质上说，其他模块都是为该功能服务的，因此，搬家倒面计划管理模块可自动读取工作面、施工队伍和综采设备等信息，并根据其状态进行数据筛选，将筛选后的数据作为算法输入，经算法计算生成搬家倒面计划。系统采用甘特图和数据表相结合的方式展示搬家倒面计划。
4.3 数据库设计
系统数据库需满足数据交换的安全性、可靠性、扩展性等原则，以便对系统进行有效维护和管理。根据系统E−R关系设计员工表、工作面表、综采设备表、施工队伍表、工作面距离表、任务表等数据库表。算法配置表和搬家倒面计划表见表2、表3。
表 2 算法配置表Table 2. Algorithm configuration table名称 类型 描述 config_id int 算法配置编号 config_name varchar 配置名称 cross_pro varchar 交叉概率 mutation_pro varchar 变异概率 pop_num int 种群大小 iterate_num int 迭代次数 remark varchar 备注 4.4 系统主要页面设计
工作面管理页面如图4所示，其为系统主页面，可对工作面信息进行添加、删除和修改，并生成搬家倒面计划。
表 3 搬家倒面计划表Table 3. Fully mechanized mining equipment removal plan table during sequencing working face名称 类型 描述 plan_id int 计划编号 create_time datetime 计划创建时间 status varchar 计划执行状态 start_time datetime 开始时间 end_time datetime 结束时间 work_time varchar 工期 remark varchar 备注 点击“添加工作面”按钮，可展示工作面设备选型页面，如图5所示。每个工作面适用的综采设备不局限于1套，因此系统可对1个工作面添加多套设备。
点击“立即生成计划”按钮，会展示施工队伍数量设置页面，完成设置后，系统自动生成综采设备搬家倒面计划。
5. 结论
（1） 以最小化最大完工时间为优化目标，建立了综采设备搬家倒面计划编制数学模型，采用遗传算法对该模型进行求解，并通过实例验证了该算法的有效性。
（2） 基于综采设备搬家倒面计划编制遗传算法，开发了综采设备搬家倒面计划管理系统，解决了传统搬家倒面计划编制方式的低效率问题，有利于提高煤矿企业生产效率，降低企业生产经营成本。
-
![]()
图 2 基于FDQN算法的放煤决策流程
Figure 2. Coal caving decision flow based on fuzzy deep Q-network (FDQN)
![]()
图 5 基于不同算法的单轮顺序放煤效果
Figure 5. Single round sequential coal caving effect based on different algorithms
![]()
图 6 基于不同算法的单轮间隔放煤效果
Figure 6. Single round interval coal caving effect based on different algorithms
![]()
图 7 基于不同算法的单轮群组放煤效果
Figure 7. Single round group coal caving effect based on different algorithms
表 1 模糊推理规则
Table 1 Fuzzy inference rule
$ {m_t} $ $ {\omega _t} $ NB ZO PB NB NB NB NB ZO NB PB PB PB NB PB PB 
下载: 导出CSV
表 2 基于不同算法的单轮群组放煤数据
Table 2 Single round group coal caving data based on different algorithms
序号 煤炭数量/个 矸石数量/个 采出率/% 含矸率/% DQN DDQN FDQN DQN DDQN FDQN DQN DDQN FDQN DQN DDQN FDQN 1 1 154 1 162 1 233 58 59 67 93.5 94.1 99.0 4.8 4.8 5.2 2 1 130 1 182 1 144 56 74 35 91.5 95.7 92.7 4.7 5.9 3.0 3 1 173 1 173 1 186 59 65 53 95.0 95.0 96.1 4.8 5.3 4.3 4 1 158 1 218 1 218 55 87 78 93.8 98.7 98.7 4.5 6.7 6.0 5 1 110 1 192 1 209 35 76 72 89.9 96.5 97.9 3.1 6.0 5.6 6 1 137 1 163 1 171 60 51 51 92.1 94.2 94.8 5.0 4.2 4.2 7 1 159 1 166 1 155 62 62 51 93.9 94.4 93.5 5.1 5.0 4.2 8 1 166 1 189 1 181 60 67 60 94.4 96.3 95.7 5.1 5.3 4.8 9 1 165 1 146 1 174 60 56 44 94.4 92.8 95.1 4.9 4.7 3.6 10 1 181 1 183 1 205 61 60 63 95.7 95.8 97.6 4.9 4.8 5.0 平均值 1 153.3 1 177.4 1 187.5 56.6 65.7 56.7 93.4 95.4 96.1 4.7 5.3 4.6
下载: 导出CSV
-
[1] 李爽,薛广哲,方新秋,等. 煤矿智能化安全保障体系及关键技术[J]. 煤炭学报,2020,45(6):2320-2330. LI Shuang,XUE Guangzhe,FANG Xinqiu,et al. Coal mine intelligent safety system and key technologies[J]. Journal of China Coal Society,2020,45(6):2320-2330.
[2] 葛世荣,郝尚清,张世洪,等. 我国智能化采煤技术现状及待突破关键技术[J]. 煤炭科学技术,2020,48(7):28-46. GE Shirong,HAO Shangqing,ZHANG Shihong,et al. Status of intelligent coal mining technology and potential key technologies in China[J]. Coal Science and Technology,2020,48(7):28-46.
[3] 张守祥,张学亮,刘帅,等. 智能化放顶煤开采的精确放煤控制技术[J]. 煤炭学报,2020,45(6):2008-2020. ZHANG Shouxiang,ZHANG Xueliang,LIU Shuai,et al. Intelligent precise control technology of fully mechanized top coal caving face[J]. Journal of China Coal Society,2020,45(6):2008-2020.
[4] LIANG Minfu,HU Chengjun,YU Rui,et al. Optimization of the process parameters of fully mechanized top-coal caving in thick-seam coal using BP neural networks[J]. Sustainability,2022,14(3):1340-1357. DOI: 10.3390/su14031340
[5] 王国法,庞义辉. 特厚煤层大采高综采综放适应性评价和技术原理[J]. 煤炭学报,2018,43(1):33-42. WANG Guofa,PANG Yihui. Full-mechanized coal mining and caving mining method evaluation and key technology for thick coal seam[J]. Journal of China Coal Society,2018,43(1):33-42.
[6] 霍昱名. 厚煤层综放开采顶煤破碎机理及智能化放煤控制研究[D]. 太原: 太原理工大学, 2021. HUO Yuming. Research on failure mechanism and intelligent drawing control of top coal in thick coal seam[D]. Taiyuan: Taiyuan University of Technology, 2021.
[7] 马英. 基于记忆放煤时序控制的智能放煤模式研究[J]. 煤矿机电,2015,36(2):1-5. DOI: 10.3969/j.issn.1001-0874.2015.02.001 MA Ying. Research on intelligent coal caving system based on memory coal caving sequential control[J]. Colliery Mechanical & Electrical Technology,2015,36(2):1-5. DOI: 10.3969/j.issn.1001-0874.2015.02.001
[8] 李庆元,杨艺,李化敏,等. 基于Q-learning模型的智能化放顶煤控制策略[J]. 工矿自动化,2020,46(1):72-79. LI Qingyuan,YANG Yi,LI Huamin,et al. Intelligent control strategy for top coal caving based on Q-learning model[J]. Industry and Mine Automation,2020,46(1):72-79.
[9] 罗开成,高阳,杨艺,等. 基于均值偏差奖赏函数的放煤口控制策略研究[J]. 煤炭工程,2022,54(9):105-111. LUO Kaicheng,GAO Yang,YANG Yi,et al. Intelligent control strategy of drawing window in top-coal caving based on mean deviation reward function[J]. Coal Engineering,2022,54(9):105-111.
[10] 杨艺,李庆元,李化敏,等. 基于批量式强化学习的群组放煤智能决策研究[J]. 煤炭科学技术,2022,50(10):188-197. DOI: 10.13199/j.cnki.cst.2020-1438 YANG Yi,LI Qingyuan,LI Huamin,et al. Research on intelligent decision-making for group top-coal caving based on batch reinforcement learning[J]. Coal Science and Technology,2022,50(10):188-197. DOI: 10.13199/j.cnki.cst.2020-1438
[11] YANG Yi,LI Xinwei,LI Huaming,et al. Deep Q-network for optimal decision for top-coal caving[J]. Energies,2020,13(7):1618-1630. DOI: 10.3390/en13071618
[12] YANG Yi,LIN Zhiwei,LI Bingfeng,et al. Hidden Markov random field for multi-agent optimal decision in top-coal caving[J]. IEEE Access,2020,8:76596-76609. DOI: 10.1109/ACCESS.2020.2984786
[13] WANG Haixing,YANG Yi,LIN Zhiwei,et al. Multi-agent reinforcement learning with optimal equivalent action of neighborhood[J]. Actuators,2022,11(4):99. DOI: 10.3390/act11040099.
[14] 袁甜甜,李凤莲,张雪英,等. 特征降维的深度强化学习脑卒中分类预测研究[J]. 重庆理工大学学报(自然科学),2023,37(3):194-203. YUAN Tiantian,LI Fenglian,ZHANG Xueying,et al. Classification and prediction research of stroke based on deep reinforcement learning with feature dimension reduction[J]. Journal of Chongqing University of Technology(Natural Science),2023,37(3):194-203.
[15] SUTTON R S. Learning to predict by the methods of temporal differences[J]. Machine Learning,1988,3(1):9-44.
[16] MNIH V,KAVUKCUOGLU K,SLIVER D,et al. Human-level control through deep reinforcement learning[J]. Nature,2015,518:529-533. DOI: 10.1038/nature14236
[17] 封硕,舒红,谢步庆. 基于改进深度强化学习的三维环境路径规划[J]. 计算机应用与软件,2021,38(1):250-255. DOI: 10.3969/j.issn.1000-386x.2021.01.042 FENG Shuo,SHU Hong,XIE Buqing. 3D environment path planning based on improved deep reinforcement learning[J]. Computer Applications and Software,2021,38(1):250-255. DOI: 10.3969/j.issn.1000-386x.2021.01.042
[18] 黎声益,马玉敏,刘鹃. 基于双深度Q学习网络的面向设备负荷稳定的智能车间调度方法[J]. 计算机集成制造系统,2023,29(1):91-99. DOI: 10.13196/j.cims.2023.01.008 LI Shengyi,MA Yumin,LIU Juan. Smart shop floor scheduling method for equipment load stabilization based on double deep Q-learning network[J]. Computer Integrated Manufacturing Systems,2023,29(1):91-99. DOI: 10.13196/j.cims.2023.01.008
[19] 李忠信,王大龙,庄佳才,等. 基于遗传模糊控制的风电机组偏航系统疲劳载荷研究[J]. 动力工程学报,2022,42(8):745-752,768. DOI: 10.19805/j.cnki.jcspe.2022.08.008 LI Zhongxin,WANG Dalong,ZHUANG Jiacai,et al. Research on fatigue suppression of wind turbine yaw system based on genetic fuzzy control[J]. Journal of Chinese Society of Power Engineering,2022,42(8):745-752,768. DOI: 10.19805/j.cnki.jcspe.2022.08.008
[20] 张虎雄,李红卫,马祥. 模糊控制在煤矿智能化开采中的应用[J]. 煤矿机械,2022,43(12):206-210. DOI: 10.13436/j.mkjx.202212062 ZHANG Huxiong,LI Hongwei,MA Xiang. Application of fuzzy control in intelligent mining of coal mine[J]. Coal Mine Machinery,2022,43(12):206-210. DOI: 10.13436/j.mkjx.202212062
[21] 沈志熙,代东林,赵凯. 基于多特征分步模糊推理的边缘检测算法[J]. 电子科技大学学报,2014,43(3):381-387. DOI: 10.3969/j.issn.1001-0548.2014.03.011 SHEN Zhixi,DAI Donglin,ZHAO Kai. Edge detection based on multi-features and step-by-step fuzzy inference[J]. Journal of University of Electronic Science and Technology of China,2014,43(3):381-387. DOI: 10.3969/j.issn.1001-0548.2014.03.011
-
期刊类型引用(0)
其他类型引用(4)
计量
- 文章访问数: 181
- HTML全文浏览量: 68
- PDF下载量: 18
- 被引次数: 4
