浙江杭州有色金属分析检测技术理论与应用

实现隐私保护的更新强化学习系统的方法及装置 1191     

 0

本说明书实施例提供一种实现隐私保护的更新强化学习系统的方法，其中强化学习系统包括服务端和N个客户端，服务端部署强化学习模型的公共神经网络，N个客户端中各自部署该强化学习模型的线程神经网络，并各自搭建业务环境，其中强化学习模型用于针对业务环境预测业务动作。在该方法中，每个客户端利用其部署的线程神经网络独立地与其搭建的业务环境进行交互，并利用交互数据计算梯度数据，再对梯度数据进行加密后传输至服务端，服务端对每个客户端传输的加密数据进行汇总解密，得到对应于多个梯度数据的梯度和值，用以集中更新公共神经网络的模型参数。如此，可以在防止客户端中本地隐私数据被泄露的同时，实现多个客户端联合训练强化学习模型。

无人车强化学习训练环境构建方法及其训练系统 1094     

 0

本发明公开了一种无人车强化学习训练环境构建方法及其训练系统，属于机器人导航领域与机器人仿真平台领域。包括：构建真实场景与仿真场景数据集；数据集增强；图像域转换算法的训练与模型保存；建立仿真环境模型与强化学习算法的API接口。在仿真环境中训练时，无人车模型上的摄像头采集观测到的仿真环境图像，经过图像域转换网络，转变为模拟的真实场景图片，作为状态输入强化学习网络，经过决策输出动作指令，发布给仿真端的无人车模型。在实际应用时，无人车摄像头采集现实中的真实场景图片，由于强化学习算法在训练时的输入的模拟真实场景图片与现实真实场景图片非常相似，因此训练好的算法可以直接迁移或者微调之后迁移至真实场景当中。

强化学习模型的训练方法及装置 1026     

 0

本说明书实施例提供一种强化学习模型的训练方法，该方法包括：获取业务环境的当前状态，其中包括上一轮交互产生的交互内容；基于该交互内容，将多个备选业务动作划分为本轮交互下的可选动作集和禁选动作集；将该当前状态输入强化学习模型，从可选动作集中选取收益预测值最大的可选动作作为本轮业务动作，如此可以避免用户被无关动作打扰，从而提升用户体验；再将该本轮业务动作施加于上述业务环境，得到该业务环境的本轮反馈，基于本轮反馈计算本轮业务动作的收益标签值，并基于该收益标签值构建其他备选业务动作的收益标签值，从而实现可以利用全量备选业务动作训练上述强化学习模型，有效加速强化学习模型的收敛。

基于沉积物地球化学特征识别大洋中脊热液区的方法 813     

 0

本发明公开了一种基于沉积物地球化学特征识别大洋中脊热液区的方法，本发明通过对沉积物样品进行处理，获取其地球化学组成数据，并计算不同端元组成的沉积物对化学组成的贡献，获得热液来源元素的含量，估计热液来源元素的扩散距离，最后预测调查区热液活动的数量和可能产出的位置。本发明的优点是在大洋中脊热液活动探测中，可以实现活动和非活动热液区的识别，以更准确、方便的确定热液区的位置，具有便捷、高效的特点。

基于深度强化学习的EFSM输入序列生成方法 1120     

 0

本发明公开了一种基于深度强化学习的EFSM输入序列生成方法，将输入序列生成问题看作是一个复杂的优化问题，求解最优解的过程就是利用元启发式算法对可执行路径中的每条变迁搜索满足其谓词判断条件的输入参数解；其中，元启发式算法被使用强化学习算法训练好的智能体来代替，智能体通过在本发明设计的动作空间内选择动作来改变输入参数的值，然后根据奖赏函数获取对应的奖赏值以指导下一步动作的选择。本发明可以根据各种客观测试路径有效地生成新的输入序列，可以有效地提高EFSM模型输入序列生成的效率和成功率，并能够在进行回归测试和测试用例生成应用中有效地减少输入序列生成的时间开销。

基于强化学习的多遍历视频编码码率分配与控制优化方法 839     

 0

本发明公开了一种基于强化学习的视频多次遍历(Multipass)编码中码率分配与控制的优化解决方案。在第一次编码结束之后，视频分割为多个不重叠的连续的画面组。针对不同的画面组在第一次遍历(pass)后采集的对组内各帧图像的综合统计信息，通过预测网络得到码率分配和控制决策参数，并执行第二次遍历编码和获取编码结果评分。将统计信息和码控决策参数输入判别网络得到估分，执行强化学习的迭代训练过程。利用强化学习训练得到的预测网络，在编码视频图像第二次遍历前，得到各个画面组的码率分配与控制的最优化策略参数，从而最大可能的提升编码压缩效率。

基于深度强化学习的群智感知激励机制方法 915     

 0

本发明涉及一种基于深度强化学习的群智感知激励机制方法，获取参与者位置和移动轨迹信息，将参与者移动过程建模为马尔可夫决策过程，采用深度强化学习预测其在下一个激励周期内的移动轨迹，预测参与者在下一个激励周期结束时的位置分布，通过计算参与者的预测位置分布与数据请求方提供的感知数据目标分布的相对熵，选择大于相对熵阈值区域内的参与者进行激励。本发明避免在同一时间段内对所有参与者进行激励、对同一个参与者在所有激励周期内都进行激励，合理的激励机制解决群智感知参与者收集到的感知数据分布情况与数据请求方提供的目标数据分布之间差异较大、覆盖质量较低的问题；可被广泛应用于移动群智感知领域，降低激励参与者的成本。

基于深度强化学习实现人脸识别端边卸载计算方法及装置 882     

 0

本发明公开了一种基于深度强化学习实现人脸识别端边卸载计算方法及装置，包括：获取真实的人脸图片，根据边端人脸识别模型训练得到分类数据，其中，分类数据包括图片名称、id、图片提取出的128维特征向量、终端预测置信度、终端预测值、边缘预测值；将深度学习与强化学习进行结合，定义马尔科夫决策过程的状态空间、动作集、奖励函数和智能体；根据定义好的马尔科夫决策过程，构建Actor神经网络和Critic神经网络，使用分类数据对构建好的Actor神经网络和Critic神经网络进行训练，获得智能卸载决策模型；对智能卸载决策模型的性能与基准查询策略进行对比评估；根据对比评估的结果，将智能卸载决策模型部署到智能终端设备中，进行人脸识别的任务卸载决策。

提高免疫检测准确性和线性范围的方法及试剂 929     

 0

本发明提供提高免疫分析仪检测准确性的方法和提高样本中分析物化学发光免疫检测线性范围的方法和试剂，其改进之处均在于生物素标记抗体和亲和素类物质固定的固相先于吖啶酯或吖啶磺酰胺标记抗体加入到样本中并进行孵育，然后加入吖啶酯或吖啶磺酰胺标记抗体，再进行孵育。这种改进可将较高浓度的分析物校准品的发光量显著地或更好地区分开来，从而提高分析物化学发光免疫检测的线性范围，同时显著降低化学发光背景值，而且也能更加准确地测量临床血清或血浆等样品中分析物的浓度。本发明所述方法和试剂与化学发光免疫分析仪配套使用，可用于肿瘤标记物、传染病、激素类、肝病、急性贫血等的检测。

危险化学品储存柜 1174     

 0

一种危险化学品储存柜，包括柜体，柜体包括若干个储存格，每个储存格上安装有门，门与储存格间安装有与主控装置连接的电子锁，主控装置设有身份认证装置、信息采集装置、输入输出装置、视频监控装置、警报装置、无线数据传输装置，主控装置与远程服务器连接；柜体的储存格均安装有与温度传感器、湿度传感器、烟雾探测器、除湿机芯和冷却器。本发明能够对柜内危险化学品的储存环境进行实时监测和自动调节；实时读取危化品的储存信息以及进出柜体的情况。解决了人工操作时信息管理不及时、不完善、安全监管不到位的问题，有效提高监管水平与工作效率，保障危险化学品的储存及存取安全。

化学气相沉积法制备硒化钴超级电容器材料的方法 1064     

 0

本发明公开一种化学气相沉积法制备Co0.85Se超级电容器材料的方法，其中Co0.85Se超级电容器材料为均匀覆盖在镍网上的纳米膜状结构。具体生长包括：1）硒粉和钴粉磨细混匀后倒入石英舟，放入化学气相沉积反应炉石英管中；2）将泡沫镍网放在气流下游靠近石英管管口的位置；3）通入氩气排尽炉中空气，停止通气，高温加热一段时间后，一定流量氩气通入石英管保温，最后炉子自然冷却至室温；4）取出泡沫镍，用去离子水和乙醇反复清洗，干燥，即得。本发明操作简单，不需要复杂设备，Co0.85Se均匀覆盖在镍网上，可大面积制备。合成的Co0.85Se纳米材料电极在三电极体系下测试，在1A/g的电流密度下表现出4462F/g的高比容量，在20A/g的高电流下经过5000次循环充放电后，仍能保持80%以上的比电容值，电荷转移阻抗为0.82?Ω/cm2。

基于图神经网络强化学习的机器人自主控制方法 794     

 0

本发明公开了一种基于图神经网络强化学习的机器人自主控制方法。本发明步骤如下:1、根据环境反馈给机器人传感器的信息和机器人的物理结构，组建机器人的特征图。2、将得到的特征图输入到图神经网络，在训练阶段使用机器人感知到的监督信息对图神经网络进行训练。3、使用训练完成的图神经网络对感知状态信息进行处理，得到更新后的机器人状态信息，预测下一时刻机器人的状态信息。4、使用建立起来的环境模型，以及模型预测控制算法，对未来一步机器人动作进行决策。本发明使用基于图网络的强化学习模型，成功地完成了之前强化学习并不能很好完成的动作提升了机器人自主控制的稳定性和可靠性，使得机器人自主控制更加便于实际应用。

博弈对话中基于对话历史和强化学习的多轮对话方法 1235     

 0

本发明公开了一种博弈对话中基于对话历史和强化学习的多轮对话方法，属于智能体和强化学习模型领域。该方法包括如下步骤：首先将多轮对话作为一个有限重复博弈的过程，存储已经结束的完整多轮对话，构建既往对话历史信息库；然后在一个新的多轮对话中，基于记忆网络构建对手行动估计模型，用当前对话已经进行的轮次去检索对话历史信息库，通过多步估计产生对手下一步策略的估计向量；最后基于编码‑解码模型融合当前对话的信息和估计向量，做出下一步的应答。本发明在多轮对话过程中，将既往对话历史的估计向量和当前对话历史的回应向量进行融合，能够更充分地利用了历史信息，使得对话机器人(智能体)具备更高的适应性、做出更好的应答。

用于去除化学浆和低聚物的坯布染色生产方法 1091     

 0

本发明是一种印染方法，特别涉及一种用于去除化学浆和低聚物的坯布染色生产方法。按以下步骤进行：选取样布→前处理退浆→坯布预定型→白坯烧毛→复配助剂配方设计、配制及用量→匹样缸减量→染色配方设计→匹样缸染色→烘干定型→色坯烧毛→水洗烘干→上油定型→后整理轧光→后整理罐蒸→成品检验。用于去除化学浆和低聚物的坯布染色生产方法提高染色稳定性，能有效提高一次成功率，减少染色回修率，节能减排效果明显，且生产加工后织物的手感回弹性、悬垂性、柔软性效果俱佳，各种质量内在指标等都能满足客户的要求。

基于化学反应技术的微型血栓清除机器人 1056     

 0

本发明属于医疗器械领域，具体涉及一种基于化学反应技术的微型血栓清除机器人，包括可探测头部壳体、核心驱动壳体及贮藏释放药物壳体，所述可探测头部壳体上设置监测装置、无线通讯模块和处理器模块，所述核心驱动壳体内腔前后分为第一反应室、控制室和第二反应室，所述控制室内设置化学放能反应原料模块和化学放能反应激励模块，所述第一反应室内滑动配合第一活塞推板，所述第二反应室内滑动配合第二活塞推板，第一活塞推板和第二活塞推板分别配合连接划水机构，所述药物喷剂系统用以释放药物。本发明具有较高的运动速度、较大的驱动力、较强的环境适应性、结构简单等优点，有助于解决体内医用微型机器人驱动速度慢、驱动力小的领域缺点。

基于强化学习的深度学习模型安全性保障压缩方法与装置 1090     

 0

本发明公开了一种基于强化学习的深度学习模型安全性保障压缩方法与装置，包括：(1)使用图网络的方式将深度学习模型建模成图网络；(2)采用GCN提取图网络的嵌入向量；(3)将图网络每个节点的当前嵌入向量作为强化学习的环境状态，采用强化学习预测基于环境状态的动作值，并依据动作值实现每个节点的嵌入向量的修剪，直到所有节点的嵌入向量修剪完成，实现深度学习模型的一轮压缩；(4)根据经过一轮压缩后的模型对样本数据的预测结果计算错误率和安全性；(5)根据错误率和安全性计算采用强化学习进行一轮深度学习模型压缩的回报值；(6)基于回报值，重复步骤(3)～步骤(5)，直到迭代终止，实现深度学习模型的压缩。

基于分层强化学习的四足机器人运动规划方法 1249     

 0

本发明公开一种基于分层强化学习的四足机器人运动规划方法，该方法通过构建基于深度强化学习的上层行为决策控制器以及基于模型预测控制的下层运动执行控制器；对于上层的深度强化学习网络，基于SAC算法设计四足机器人的状态更新网络、动作执行网络以及奖励函数等，结合机器人周围的环境高度图信息输出对应的行为控制参数；对于下层执行控制器中的模型预测控制器，通过求解基于上层输入的控制参数二次规划方程组来获取对应的控制指令。该分层控制框架结合了深度强化学习与模型预测控制的优势，使四足机器人能够根据当前机身状态以及地形环境做出更安全可靠的行为模式，保持机身姿态平稳，从而有效规避风险，实现在复杂地形下的有效运动轨迹规划。

基于神经元覆盖率的深度强化学习鲁棒训练方法和装置 1065     

 0

本发明的公开了一种基于神经元覆盖率的深度强化学习鲁棒训练方法和装置，包括以下步骤：(1)搭建智能驾驶环境，从智能驾驶环境中采集状态数据对深度强化学习模型训练，直到达到设定回报值为止；(2)利用训练好的深度强化学习模型在环境中运行，提取多轮的状态动作对；(3)构建用于根据历史状态动作对序列预测未来时刻状态动作对序列的预测器和用于对状态动作对进行质量分类的分类器，并利用提取的状态动作对训练预测器和分类器；(4)依据定义的对抗采样策略，根据状态动作对质量采样状态动作对并进行深度强化学习模型的再训练，以提高深度强化学习模型的鲁棒性。

电化学腐蚀实验试样夹持装置及方法 854     

 0

本发明涉及一种电化学腐蚀实验试样夹持装置，安装于阴极池与阳极池之间，用于夹持测试试样；包括主箱体、装夹部一及装夹部二，主箱体与装夹部一接触面、装夹部一与装夹部二接触面均开设有通孔，且通孔贯穿装夹部一设置，测试试样安装于装夹部一上的通孔内；装夹部二内设有金属顶针，测试试样与金属顶针相接触设置；装夹部二还设有与电极线相连的引出导线，引出导线与金属顶针相触。该夹持装置结构简单巧妙，适配性高，能够对不同尺寸类型的测试试样进行夹持，便于与测试单元相连接，保证测试结果的准确性。一种电化学腐蚀实验试样夹持方法，应用于上述电化学腐蚀实验试样夹持装置，同样具有便于测试试样夹持等优点。

基于转基因抗草甘膦杂交棉花的化学杀雄制种方法 1132     

 0

本发明公开了一种基于转基因抗草甘膦杂交棉花的新型化学杀雄制种方法。本方法适合于以转EPSPS-G6基因的转基因抗甘膦除草剂陆地棉种质系为母本，另一陆地棉品种或种质系为父本配制的杂交棉组合。选择隔离条件良好的适合于棉花生长的制种地，将制种的杂交双亲在相邻地块种植（父母本种植比例1:6）。母本植株见蕾后用20mM的草甘膦溶液对母本棉花植株进行第一次化学杀雄，之后每隔15天化学杀雄1次，整个生长期共化学杀雄4次。第一次化学杀雄20天后，母本棉花植株开出的花朵均为不育，表现为雄蕊不散粉、散粉推迟和花粉不正常，镜检花粉粒100%不育时，可开始进行杂交制种。本发明化学杀雄效果稳定，持续时间长，安全可靠。

利用风能供电的难降解有机废水电化学处理装置及其方法 732     

 0

本发明公开了一种利用风能供电的难降解有机废水电化学处理装置及其方法，主要包括风能发电装置和电催化氧化装置。其首先利用风力发电系统将风能转化为电能，风力发电机的电力经过变压整流，然后给蓄电池充电，以化学能保存在电池中；蓄电池与电化学处理装置相连接，电化学折流处理装置中设置有多组阴阳电极用于电解污水，进出水管处接有水质监测仪，实时监测进出水的水质指标，实现风能的高效应用与污水的深度处理。本发明通过耦合风力发电与电化学处理装置，高效去除难降解有机废水中的有机污染物，具有污染物去除彻底、能源利用率高、运行流程简单的特点，克服了传统生物学方法周期长、效能差的缺陷以及传统电化学方法能耗高的问题。

基于化学元素知识图谱的分子图对比学习方法 746     

 0

本发明公开了一种基于化学元素知识图谱的分子图对比学习方法，包括：根据化学元素周期表中每个化学元素的所有化学属性，构建化学元素知识图谱；利用化学元素知识图谱对分子图进行图增强得到分子增强图；利用可插拔表示模型获得分子图和分子增强图的图表示；采用硬负样本挖掘技术选出与分子图在分子指纹空间相似的其他分子图作为负样本；将正样本对和负样本对的图表示映射到同一空间后，通过最大化正样本对之间的一致性同时最小化负样本对之间的一致性构建对比损失函数，利用对比损失函数进行优化学习；将参数确定的可插拔表示模型与非线性分类器形成预测模型，利用参数微调的预测模型进行分子图的分子性质的预测，以提升分子性质的预测准确性。

电化学腐蚀试样封装装置及方法 717     

 0

本发明涉及一种电化学腐蚀试样封装装置，包括具有一定重量的上夹具、用于安装测试试样的中间外模具及下夹具，中间外模具位于上夹具与下夹具中间；上夹具设有用于固定导线的导线固定环，下夹具设有金属导线且金属导线延伸至下夹具外；测试试样对应导线固定环的位置安装并与导线固定环、金属导线之间相接触设置。该封装装置结构简单巧妙，便于携带，后续可对试样导线进行调整，保证试验过程中的导电性，进而保证测试结果的准确性，有利于上述封装装置在电化学腐蚀试验技术领域的推广及应用。一种便捷的电化学腐蚀实验试样夹持方法，应用于上述电化学腐蚀试样封装装置，同样具有保证测试结果准确性的优点。

基于化学值分类的近红外定量建模新方法 709     

 0

本发明属于近红外建模数据处理领域，尤其是涉及一种基于化学值分类的近红外定量建模新方法。该方法包括以下步骤：获取近一批红外光谱及其相对应的化学值；对光谱进行一定的预处理；对化学值进行分区间处理，划分成若干个区间，并求出每个区间的平均值，用平均值代替各个区间的化学值，组成新的化学值分布；用原来的化学值分布和新的化学值分布构造一个新的化学值函数；对两组化学值分别进行建模，用线性PLS对进行建模，得到预测值用非线性的BP神经网络对新的化学值分布进行建模，得到预测值；对两组建模数据运用PLS方法进行加权组合，计算出各自的权重比，并建立一个新的模型。本发明建立一个稳定、相关程度高的模型。

钕铁硼电镀中调控化学镍稳定性的工艺 1126     

 0

本发明公开了一种钕铁硼电镀中调控化学镍稳定性的工艺，它先对钕铁硼前处理，然后钕铁硼表面进行电镀铜处理，随后进行活化处理；在钕铁硼的铜镀层外表面进行闪镀电镀镍处理，随后再次进行活化处理；最后在镀槽中准备好化学镍镀液，先测定化学镍镀液的稳定性，如果稳定性合格即正常使用该溶液，如果稳定性不合格则添加稳定剂，待调控稳定性合格后再正常使用该溶液；最后在测试或调控稳定后的化学镍镀液中进行化学镀镍处理，形成化学镍镀层，即处理完成。本发明可及时对稳定性差的化学镍镀液的作出调整，如果测出的结果是化学镍稳定性不合格，可添加稳定剂的方式提升化学镍镀液的稳定性，延长化学镍镀液的使用寿命，节约成本。

基于低频阻抗与电化学阻抗谱的在线质子交换膜燃料电池故障诊断方法 1123     

 0

本发明涉及一种基于低频阻抗与电化学阻抗谱的在线质子交换膜燃料电池故障诊断方法，包括：步骤1)将测量得到的低频阻抗与低频阻抗故障阈值进行在线比较；步骤2)使用基于模糊逻辑的故障诊断算法对电化学阻抗谱进行分类和故障诊断。本发明的有益效果是：本发明提出了一种基于低频阻抗与电化学阻抗谱测量的在线质子交换膜燃料电池故障诊断方法。使用低频阻抗对质子交换膜燃料电池进行状态监测，使用模糊逻辑对电化学阻抗谱进行状态分类，实现了基于低频阻抗与电化学阻抗谱的在线故障诊断，大大拓展了电化学阻抗谱的实际应用场景。

智能体的强化学习模型训练方法及系统 948     

 0

本发明实施例提供了一种智能体的强化学习模型训练方法及系统，上述方法包括：接收所述环境服务器发送的任意一个仿真环境包括的各个智能体的经验数据；将相关联的智能体的经验数据进行混合并存储于预设经验池中；获取混合后的经验数据作为样本数据，并基于所述样本数据触发待训练强化学习模型的训练，得到输出的预测运行策略信息；将所述预测运行策略信息发送至所述环境服务器，以使所述环境服务器中对应的仿真环境执行对应的预测运行策略；如果达到预设的模型训练结束条件，将当前的待训练强化学习模型确定为训练得到的目标强化学习模型训练。即本发明实施例提出了一种新的支持多智能体、多仿真环境的高效的强化学习模型训练框架。

确定高铝硅酸盐玻璃理想化学强化工艺的方法及其应用 730     

 0

本发明提供了一种确定高铝硅酸盐玻璃的理想化学强化工艺的方法，包括如下步骤：根据目标化学强化玻璃的应力层深度，利用应力层深度预测公式DOL＝F(t，T)确定化学强化工艺需满足的条件一；根据目标化学强化玻璃表面显微硬度，利用显微硬度预测公式HV＝F(t，T)确定化学强化工艺需满足的条件二；根据条件一和条件二确定高铝硅酸盐玻璃的理想化学强化工艺，即化学强化时间t和化学强化温度T的数值。本发明还提供了上述方法在制备化学强化高铝硅酸盐玻璃中的应用。本发明方法能降低样品制备量，减少样品的制备成本和测试成本，能对高铝硅酸盐玻璃的理想化学强化工艺进行精确预测，为高铝硅酸盐玻璃的化学强化工艺确定提供重要支持。

电极温度可控的热电化学电池试验台及其方法 1054     

 0

本发明公开了一种电极温度可控的热电化学电池试验台及其方法。试验台由包含电解液、电极与水浴池的待测电池、半导体制冷片、水冷板、水散热器、水泵、感温元件、TEC控制器、电子负载(或电化学工作站)组成。半导体制冷片根据TEC控制器输出的电流方向与大小，通过水浴方式，均匀稳定地对电极进行加热或制冷。温差下两电极产生电势差，通过电子负载(或电化学工作站)将电流引出。在程序控制下，系统自动运行并记录测试电压与电流，获得热电化学电池在该指定温度与温差下的输出特性曲线及其他特性。本发明实现测试的自动化，提高了测试效率。同时实现了电极温度的精确控制，为热电化学电池在多种温度条件下的输出特性测试提供了解决方案。

电极温度可控的热电化学电池试验台 936     

 0

本实用新型公开了一种电极温度可控的热电化学电池试验台。试验台由包含电解液、电极与水浴池的待测电池、半导体制冷片、水冷板、水散热器、水泵、感温元件、TEC控制器、电子负载(或电化学工作站)组成。半导体制冷片根据TEC控制器输出的电流方向与大小，通过水浴方式，均匀稳定地对电极进行加热或制冷。温差下两电极产生电势差，通过电子负载(或电化学工作站)将电流引出。在程序控制下，系统自动运行并记录测试电压与电流，获得热电化学电池在该指定温度与温差下的输出特性曲线及其他特性。本实用新型实现测试的自动化，提高了测试效率。同时实现了电极温度的精确控制，为热电化学电池在多种温度条件下的输出特性测试提供了解决方案。