CN115345874B - 轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质 - Google Patents

轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质

Info

Publication number
CN115345874B
CN115345874B CN202211171435.3A CN202211171435A CN115345874B CN 115345874 B CN115345874 B CN 115345874B CN 202211171435 A CN202211171435 A CN 202211171435A CN 115345874 B CN115345874 B CN 115345874B
Authority
CN
China
Prior art keywords
network
lightweight
particle counting
bait
fish
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211171435.3A
Other languages
English (en)
Other versions
CN115345874A (zh
Inventor
安冬
侯思悦
位耀光
刘金存
李道亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202211171435.3A priority Critical patent/CN115345874B/zh
Publication of CN115345874A publication Critical patent/CN115345874A/zh
Application granted granted Critical
Publication of CN115345874B publication Critical patent/CN115345874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质，属于水产养殖领域。该方法将原始图像和标注图输入到鱼类饵料颗粒计数网络中，对训练获取到的预训练权重实施量化处理，基于敏感度差异灵活处理各网络层，寻求模型精度和性能间的平衡；通过精细处理量化候选值，不仅提高了模型表达能力，而且有效地提高了模型轻量化处理前后权重分布的匹配度；此外，基于L1范数实施量化和剪枝相融合策略，有效降低鱼类饵料颗粒计数网络中的冗余信息，有效地缩减了运行卷积神经网络所需的存储空间，缓解了深度学习成果难以部署在计算资源受限的边缘端的问题；通过对网络输出密度图进行积分求和得到总饵料颗粒数量，有利于降低人工和养殖成本。

Description

轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质
技术领域
本发明涉及水产养殖技术领域，特别是涉及一种轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质。
背景技术
在水产养殖中，对鱼类饵料颗粒的数目进行估测有利于减少养殖成本，为实现饲喂机的精准投喂决策提供了重要参考。由于饵料颗粒具有微小性和密集性，基于声学技术或机器视觉的饵料颗粒数目估测方法无法呈现较好地计数效果，这些传统算法易受噪声干扰且难以处理密度较高、背景多变的饵料计数场景。随着深度学习的不断发展，基于卷积神经网络的饵料颗粒计数方法取得较好的效果。
含有更多隐藏层的卷积神经网络通常具有很好的特征学习和表达能力，同时也具有较大的参数量和较高的计算复杂度，从而使得基于深度卷积神经网络的饵料颗粒计数方法难以部署在计算资源受限的边缘嵌入式设备上。因此，对卷积神经网络进行轻量化研究有重要的理论和实际意义。
目前，大部分模型压缩算法基于经典网络架构进行轻量化研究，尚难有一种有效的方法，能够保证在模型计数精度不降低的前提下有效减轻饵料颗粒计数网络所需的存储空间和计算开销，并且缓解高功耗等限制模型部署到边缘计算平台的问题。
发明内容
本发明的目的是提供一种轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质，能够在计数精度不降低的前提下有效地减轻鱼类饵料颗粒计数网络所需的存储空间和计算开销，进而成功缓解限制网络模型部署到边缘计算平台的高功耗问题。
为实现上述目的，本发明提供了如下方案：
一方面，本发明提供一种轻量级的鱼类饵料颗粒计数方法，包括：
获取水下鱼类摄食的图像数据并根据所述图像数据对鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重；所述图像数据包括相机拍摄的原始图像和通过标注原始图像中的饵料颗粒中心得到的标注图；
对所述预训练权重进行层级量化敏感度分析，基于敏感度实施精细化量化处理，得到量化处理后的权重文件；
基于L1范数获取剪枝阈值，依据所述剪枝阈值对所述量化处理后的权重文件进行模型剪枝以得到深度轻量化网络权重；
将所述深度轻量化网络权重加载到鱼类饵料颗粒计数网络中输出饵料颗粒密度图，并基于所述饵料颗粒密度图计算总饵料颗粒数目。
可选地，所述获取水下鱼类摄食的图像数据并根据所述图像数据对鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重，具体包括：
获取相机拍摄的水下鱼类摄食的原始图像；
通过标注所述原始图像中的饵料颗粒中心得到标注图；
根据所述标注图生成饵料颗粒的密度图；
基于MCNN模型构建鱼类饵料颗粒计数网络；
根据所述原始图像和所述密度图对所述鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重。
可选地，所述通过标注所述原始图像中的饵料颗粒中心得到标注图，具体包括：
标注所述原始图像中第个饵料颗粒的饵料颗粒中心，并根据公式生成所述标注图；其中表示饵料颗粒位置函数；表示原始图像中的饵料颗粒数目。
可选地，所述根据所述标注图生成饵料颗粒的密度图，具体包括：
根据所述标注图，采用公式生成饵料颗粒的密度图；其中表示高斯核；表示高斯核方差；表示可调参数；表示与其最近的k个样本间的平均欧式距离。
可选地，所述对所述预训练权重进行层级量化敏感度分析，基于敏感度实施精细化量化处理，得到量化处理后的权重文件，具体包括：
对鱼类饵料颗粒计数网络的各网络层预训练权重分别进行INQ量化处理，并分析各网络层对量化的敏感度；
基于各网络层对量化的敏感度，为敏感层分配更精细的已量化权重累积值和更高的位宽，得到量化处理后的权重文件。
可选地，所述基于L1范数获取剪枝阈值，依据所述剪枝阈值对所述量化处理后的权重文件进行模型剪枝以得到深度轻量化网络权重，具体包括：
基于L1范数获取剪枝阈值，所述剪枝阈值依据鱼类饵料颗粒计数网络各网络层权重的标准差进行动态调整；
获取待剪枝的量化处理后的权重文件，修剪绝对值低于所述剪枝阈值的量化处理后的权重文件，得到深度轻量化网络权重。
可选地，所述将所述深度轻量化网络权重加载到鱼类饵料颗粒计数网络中输出饵料颗粒密度图，并基于所述饵料颗粒密度图计算总饵料颗粒数目，具体包括：
将所述深度轻量化网络权重加载到鱼类饵料颗粒计数网络中，生成轻量级的鱼类饵料颗粒计数网络；
获取相机拍摄的水下鱼类摄食的待检测图像；
将所述待检测图像输入至所述轻量级的鱼类饵料颗粒计数网络中，输出饵料颗粒密度图；
通过对所述饵料颗粒密度图进行积分计算得到总饵料颗粒数目。
另一方面，本发明还提供一种轻量级的鱼类饵料颗粒计数系统，包括：
数据获取及网络预训练模块，用于获取水下鱼类摄食的图像数据并根据所述图像数据对鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重；所述图像数据包括相机拍摄的原始图像和通过标注原始图像中的饵料颗粒中心得到的标注图；
网络权重轻量化处理模块，用于对所述预训练权重进行层级量化敏感度分析，基于敏感度实施精细化量化处理，得到量化处理后的权重文件；
网络权重深度轻量化模块，用于基于L1范数获取剪枝阈值，依据所述剪枝阈值对所述量化处理后的权重文件进行模型剪枝以得到深度轻量化网络权重；
鱼类饵料颗粒计数模块，用于将所述深度轻量化网络权重加载到鱼类饵料颗粒计数网络中输出饵料颗粒密度图，并基于所述饵料颗粒密度图计算总饵料颗粒数目。
另一方面，本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的轻量级的鱼类饵料颗粒计数方法。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现所述的轻量级的鱼类饵料颗粒计数方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质，所述方法包括：获取水下鱼类摄食的图像数据并根据所述图像数据对鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重；所述图像数据包括相机拍摄的原始图像和通过标注原始图像中的饵料颗粒中心得到的标注图；对所述预训练权重进行层级量化敏感度分析，基于敏感度实施精细化量化处理，得到量化处理后的权重文件；基于L1范数获取剪枝阈值，依据所述剪枝阈值对所述量化处理后的权重文件进行模型剪枝以得到深度轻量化网络权重；将所述深度轻量化网络权重加载到鱼类饵料颗粒计数网络中输出饵料颗粒密度图，并基于所述饵料颗粒密度图计算总饵料颗粒数目。本发明方法通过对所述预训练权重进行层级的量化敏感度分析，对各网络层实施给定的量化处理，灵活地对模型精度和性能进行权衡，从而减少模型精度下降对饵料颗粒计数网络的影响；通过基于L1范数的方法获取权重的剪枝阈值，对量化处理后的权重文件进行模型剪枝，能够实现对网络权重的深度“压缩”，减少网络中冗余和信息量较少的权重，有效减少运行网络的存储和计算开销，进而缓解了限制模型部署到边缘计算平台的高功耗问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的轻量级的鱼类饵料颗粒计数方法的流程图；
图2为本发明实施例提供的轻量级的鱼类饵料颗粒计数系统及其实际应用的示意图；
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质，能够在计数精度不降低的前提下有效地减轻鱼类饵料颗粒计数网络所需的存储空间和计算开销，进而成功缓解限制网络模型部署到边缘计算平台的高功耗问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例提供的轻量级的鱼类饵料颗粒计数方法的流程图。参见图1，本发明一种轻量级的鱼类饵料颗粒计数方法包括：
步骤101：获取水下鱼类摄食的图像数据并根据所述图像数据对鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重。
在本实施例中，需要说明的是，步骤101中鱼类饵料颗粒计数网络的训练需要的图像数据包括相机拍摄的原始图像和通过标注原始图像中的饵料颗粒中心得到的标注图。对每张原始图像中的饵料颗粒中心点进行标注，利用自适应高斯核生成对应的密度图，即标注文件（ground truth），从而预测图像中的饵料颗粒量。
所述步骤101获取水下鱼类摄食的图像数据并根据所述图像数据对鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重，具体包括：
步骤1.1：获取相机拍摄的水下鱼类摄食的原始图像；
步骤1.2：通过标注所述原始图像中的饵料颗粒中心得到标注图；
标注所述原始图像中第个饵料颗粒的饵料颗粒中心，即表示在原始图像的像素处有一个饵料颗粒，将其表示为delta函数。因此，一个标注有个饵料颗粒的标注图可以被表示为一个函数，如式(1)所示：
(1)
其中为表示标注图的标注函数；表示饵料颗粒位置函数；表示原始图像中的饵料颗粒数目。
步骤1.3：根据所述标注图生成饵料颗粒的密度图；
将式(1)中的函数转换为连续的密度函数，考虑每个饵料颗粒和它周围标注点的距离，将自适应高斯卷积核应用于其中，得到密度图生成公式：
(2)
式子(2)中，为表示饵料颗粒密度图的饵料颗粒密度函数；表示高斯核；表示高斯核的方差；表示可调参数；表示与其最近的k个样本间的平均欧式距离。
步骤1.4：基于MCNN模型构建鱼类饵料颗粒计数网络；
在本实施例中，基于MCNN（Multi-Column Convolutional Neural Network，多列卷积神经网络）模型构建鱼类饵料颗粒计数网络。具体地，构建的鱼类饵料颗粒计数网络由三列平行的CNN组成，分别为L列(大尺度卷积核：9*9, 7*7, 7*7, 7*7)、M列(中尺度卷积核：7*7, 5*5, 5*5, 5*5)和S列(小尺度卷积核：5*5, 3*3, 3*3, 3*3)。其中，L列采用16个9*9滤波器的Conv卷积层，1个池化层，32个7*7滤波器的Conv卷积层，1个池化层，16个7*7滤波器的Conv卷积层，8个7*7滤波器的Conv卷积层；M列采用20个7*7滤波器的Conv卷积层，1个池化层，40个5*5滤波器的Conv卷积层，1个池化层，20个5*5滤波器的Conv卷积层，10个5*5滤波器的Conv卷积层；S列采用24个5*5滤波器的Conv卷积层，1个池化层，48个3*3滤波器的Conv卷积层，1个池化层，24个3*3滤波器的Conv卷积层，12个3*3滤波器的Conv卷积层。
步骤1.5：根据所述原始图像和所述密度图对所述鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重。
在网络训练过程中，L、M、S三列卷积神经网络的输入均为原始图像，将L、M、S三列卷积神经网络输出的特征图进行合并，形成一个特征图块，使用1个1*1大小的卷积核对其进行卷积操作，从而生成鱼类饵料颗粒计数网络的输出，即鱼类饵料颗粒预估的密度图。
本发明实施例预先设定网络训练的最大迭代次数、学习率等参数。具体地，设置批处理大小为1，学习率为，迭代次数为2000次，使用SGD(Stochastic GradientDescent，随机梯度下降)算法进行权重优化。为了提高饵料颗粒计数精度，本发明实施例使用欧氏距离来测量估计的密度图与真实值之间的差异。损失函数的定义如下：
(3)
其中，是一组可学习的参数，N是训练样本总数，是第t个输入图像，是对应的真实的密度图，表示预估的密度图； 表示求欧氏距离。
步骤102：对所述预训练权重进行层级量化敏感度分析，基于敏感度实施精细化量化处理，得到量化处理后的权重文件。
在本实施例中，需要说明的是，步骤102中量化敏感度基于INQ（IncrementalNetwork Quantization）量化方法进行分析。所述步骤102对所述预训练权重进行层级量化敏感度分析，基于敏感度实施精细化量化处理，得到量化处理后的权重文件，具体包括：
步骤2.1：对鱼类饵料颗粒计数网络的各网络层预训练权重分别进行INQ量化处理，并分析各网络层对量化的敏感度；
INQ算法主要包括三个操作，即权重分组、组级量化和重训练。具体地，权重分组可以表示为式子(4):
， (4)
其中，表示需要量化的权重组，表示需要重新训练的权重组。表示空集。表示鱼类饵料颗粒计数网络中第个网络层的预训练权重集合；和都是鱼类饵料颗粒计数网络的预训练权重。
此外，定义一个二进制矩阵来区分上述两类权重组。具体来说，表示，表示。
借助候选集将全精度转换为低精度，如式子(5)所示。
(5)
其中和是两个整数，满足≤。是预训练权重集合的简写，中的非零元素被限制在或的范围内。在最终的低精度模型中，绝对值小于的网络权重将被置为零。和依据式子(6)和式子(7)求得：
(6)
(7)
其中，中间参数，abs( )表示求绝对值，max( )表示求最大值，floor( )表示向下取整。式子(7)中的为位宽(bit-width)。
基于确定好的候选集对全精度网络进行量化，量化规则如式子(8):
(8)
其中，表示量化处理后的权重文件，可简写为。α和β是中的两个相邻元素，sgn( )函数用于保留原始全精度权重的符号。
完成权重分组和组级量化之后，进入到重训练阶段，这里引入一个优化问题：
(9)
式子(9)中，表示待优化的目标函数，是网络的损失，是正则化项，λ是一个正系数，表示通过求最小值来优化目标函数。表示遍历约束条件；表示用于区分权重组的二进制矩阵，简写为；表示网络的第层，表示网络共L层。
通过组级量化操作确定，二进制矩阵是由权重划分操作确定的掩模。由于和是已知的，使用SGD方法求解优化问题(9)，INQ中的重新训练更新策略如式子(10 )所示：
(10)
其中γ为正学习率，表示求偏导，为目标函数的简写，使用二进制矩阵来控制权重是否被更新。
本发明利用公式(10)将公式(9)的优化问题用流行的随机梯度下降方法来求解，实现了INQ算法中三个操作里的重训练阶段，此阶段用于补偿量化带来的鱼类饵料颗粒计数精度损失。此举保证了在模型计数精度不降低的前提下有效减轻饵料颗粒计数网络所需的存储空间和计算开销。
使用基于INQ的移位量化算法对饵料颗粒计数网络进行轻量化处理，实现了将预先训练好的全精度卷积神经网络模型转换为一个低精度版本。量化处理后网络的权重被替换为2的幂或零，从而原始的浮点乘法操作被一些更便捷的二进制位移位操作所取代，在实现无损的计数精度前提下大大降低了计算成本。
步骤2.2：基于各网络层对量化的敏感度，为敏感层分配更精细的已量化权重累积值和更高的位宽，得到量化处理后的权重文件。
步骤102中基于敏感度实施精细化量化处理包括基于各网络层的敏感度，为敏感层分配更精细的已量化权重累积值和更高的位宽。具体来说，在INQ算法的迭代过程中，已量化权重的累积部分根据不同的网络架构被定义为不同的值。例如，将VGG-16网络的已量化权重累积部分设置为{0.5, 0.75, 0.875, 1}，即对于VGG-16网络，INQ算法通过四次迭代完成整个量化过程，已量化的权重的累积部分为50%→75%→87.5%→100%。饵料颗粒计数网络MCNN拥有13个网络层，对其每个网络层分别量化进而研究各层对量化的敏感度，根据各层量化后模型的精度变化差异，对量化后精度损失严重的层设置更精细的已量化权重累积值或者使用更高的位宽，对敏感度较小的层保留粗粒度的已量化权重累积值设置或者采用较低的位宽。
除此之外，对INQ量化策略进行近一步地优化。针对式子(8)，将量化候选值进行精细处理，将划分为均匀的四份，引入了2的幂相加的形式，优化后的量化规则如式子(11)所示。
(11)
在式子(11)中，，其中，，。()表示权重与端点P的距离最小，P取四个区间的端点：。通过引入二的幂加法项对量化候选值进行细化，在保留移位量化优势的前提下为量化水平提供了更高的分辨率，有效改善模型精度下降问题。
通常轻量级的模型精度会有所下降，本发明利用公式（11）对INQ量化策略进行改进，能够提高轻量化处理前后模型的权重分布匹配程度，从而改善低比特量化后的鱼类饵料颗粒计数精度下降问题，实现了鱼类饵料颗粒的无损计数。
步骤103：基于L1范数获取剪枝阈值，依据所述剪枝阈值对所述量化处理后的权重文件进行模型剪枝以得到深度轻量化网络权重。
该步骤103中的剪枝阈值依据网络各层权重的标准差进行动态调整，最终剪枝阈值为质量参数q乘以各网络层权重的标准差。基于L1范数的剪枝策略由三个步骤组成：首先需要获取到一个待剪枝的权重文件；其次对绝对值低于剪枝阈值的权重进行修剪，即修剪掉量化处理后出现在0附近的冗余权重；最后通过再训练来微调剩余的连接。通过学习网络中重要的权重，在不影响精度的前提下，运行鱼类饵料颗粒计数网络所需的计算开销和存储空间得到进一步缩减。
因此，所述步骤103基于L1范数获取剪枝阈值，依据所述剪枝阈值对所述量化处理后的权重文件进行模型剪枝以得到深度轻量化网络权重，具体包括：
步骤3.1：基于L1范数获取剪枝阈值，所述剪枝阈值依据鱼类饵料颗粒计数网络各网络层权重的标准差进行动态调整；所述剪枝阈值为质量参数q与各网络层权重的标准差之间的乘积；
步骤3.2：获取待剪枝的量化处理后的权重文件，修剪绝对值低于所述剪枝阈值的量化处理后的权重文件，得到深度轻量化网络权重。
步骤104：将所述深度轻量化网络权重加载到鱼类饵料颗粒计数网络中输出饵料颗粒密度图，并基于所述饵料颗粒密度图计算总饵料颗粒数目。
该步骤104中基于所述饵料颗粒密度图计算总饵料颗粒数目的方法为：将所述深度轻量化网络权重加载到鱼类饵料颗粒计数网络中，生成轻量级的鱼类饵料颗粒计数网络；获取相机拍摄的水下鱼类摄食的待检测图像；将所述待检测图像输入至所述轻量级的鱼类饵料颗粒计数网络中，输出饵料颗粒密度图；通过对所述饵料颗粒密度图进行积分计算得到总饵料颗粒数目。
本发明实施例提供的轻量级的鱼类饵料颗粒计数方法，将原始图像和标注图输入到鱼类饵料颗粒计数网络中，对训练获取到的预训练权重实施量化处理，基于敏感度差异灵活处理各网络层，寻求模型精度和性能间的平衡。通过精细处理量化候选值，不仅提高了模型表达能力，而且有效地提高了模型轻量化处理前后权重分布的匹配度。此外，基于L1范数实施量化和剪枝相融合策略，有效降低鱼类饵料颗粒计数网络中的冗余信息，有效地缩减了运行卷积神经网络所需的存储空间，缓解了深度学习成果难以部署在计算资源受限的边缘端的问题。通过对网络输出密度图进行积分求和得到总的饵料颗粒数量，本发明实施例提供的计数方法有利于降低人工和养殖成本，对提高水产养殖的智能化程度具有重要的理论意义和应用价值。
图2为本发明实施例提供的轻量级的鱼类饵料颗粒计数系统及其实际应用的示意图。参见图2，本发明实施例中，利用相机205拍摄水下鱼类摄食的原始图像，并由轻量级的鱼类饵料颗粒计数系统获取。该轻量级的鱼类饵料颗粒计数系统可以部署在边缘计算单元207或计算机上，经边缘计算单元207或计算机处理后得到当前养殖池中残余总饵料颗粒数目并发出投喂控制指令。饲喂机206根据所述投喂控制指令动态调整饲喂机的开关，由此实现了水产养殖鱼类的精准投喂。其中，所述边缘计算单元207是一种轻便的、低功耗的嵌入式边缘计算设备，例如可以是NVIDIA的Jetson Xavier NX开发板。
其中，所述轻量级的鱼类饵料颗粒计数系统，包括：
数据获取及网络预训练模块201，用于获取水下鱼类摄食的图像数据并根据所述图像数据对鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重；所述图像数据包括相机拍摄的原始图像和通过标注原始图像中的饵料颗粒中心得到的标注图；
网络权重轻量化处理模块202，用于对所述预训练权重进行层级量化敏感度分析，基于敏感度实施精细化量化处理，得到量化处理后的权重文件；
网络权重深度轻量化模块203，用于基于L1范数获取剪枝阈值，依据所述剪枝阈值对所述量化处理后的权重文件进行模型剪枝以得到深度轻量化网络权重；
鱼类饵料颗粒计数模块204，用于将所述深度轻量化网络权重加载到鱼类饵料颗粒计数网络中输出饵料颗粒密度图，并基于所述饵料颗粒密度图计算总饵料颗粒数目。
本发明实施例提供的轻量级的鱼类饵料颗粒计数系统与上述实施例所述的轻量级的鱼类饵料颗粒计数方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述方法实施例的介绍。
图3为本发明实施例提供的电子设备的结构示意图。如图3所示，该电子设备可以包括：处理器301、通信接口302、存储器303和通信总线304。其中，处理器301、通信接口302、存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的计算机程序，以执行所述的轻量级的鱼类饵料颗粒计数方法。
此外，上述的存储器303中的计算机程序通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时可以实现所述的轻量级的鱼类饵料颗粒计数方法。
传统基于声学或机器视觉的饵料颗粒数目估测方法计数效果较差，而随着深度学习的不断发展，基于卷积神经网络的饵料颗粒计数方法取得较好的效果，能够更好地处理场景适应性、尺度多样性等问题。与此同时，庞大的参数量和计算开销使基于深度卷积神经网络的饵料颗粒计数方法难以部署在计算及存储资源受限的嵌入式硬件设备上。本发明提供的轻量级的鱼类饵料颗粒计数方法及系统能够实现无损的饵料颗粒计数精度，降低了资源受限的设备运行网络所需的存储空间和计算开销，具有广泛的应用前景。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种轻量级的鱼类饵料颗粒计数方法，其特征在于，包括：
获取水下鱼类摄食的图像数据并根据所述图像数据对鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重；所述图像数据包括相机拍摄的原始图像和通过标注原始图像中的饵料颗粒中心得到的标注图；
对所述预训练权重进行层级量化敏感度分析，基于敏感度实施精细化量化处理，得到量化处理后的权重文件；
所述对所述预训练权重进行层级量化敏感度分析，基于敏感度实施精细化量化处理，得到量化处理后的权重文件，具体包括：
对鱼类饵料颗粒计数网络的各网络层预训练权重分别进行INQ量化处理，并分析各网络层对量化的敏感度；
基于各网络层对量化的敏感度，为敏感层分配更精细的已量化权重累积值和更高的位宽，得到量化处理后的权重文件；
基于L1范数获取剪枝阈值，依据所述剪枝阈值对所述量化处理后的权重文件进行模型剪枝以得到深度轻量化网络权重；
所述基于L1范数获取剪枝阈值，依据所述剪枝阈值对所述量化处理后的权重文件进行模型剪枝以得到深度轻量化网络权重，具体包括：
基于L1范数获取剪枝阈值，所述剪枝阈值依据鱼类饵料颗粒计数网络各网络层权重的标准差进行动态调整；
获取待剪枝的量化处理后的权重文件，修剪绝对值低于所述剪枝阈值的量化处理后的权重文件，得到深度轻量化网络权重；
将所述深度轻量化网络权重加载到鱼类饵料颗粒计数网络中输出饵料颗粒密度图，并基于所述饵料颗粒密度图计算总饵料颗粒数目。
2.根据权利要求1所述的轻量级的鱼类饵料颗粒计数方法，其特征在于，所述获取水下鱼类摄食的图像数据并根据所述图像数据对鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重，具体包括：
获取相机拍摄的水下鱼类摄食的原始图像；
通过标注所述原始图像中的饵料颗粒中心得到标注图；
根据所述标注图生成饵料颗粒的密度图；
基于MCNN模型构建鱼类饵料颗粒计数网络；
根据所述原始图像和所述密度图对所述鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重。
3.根据权利要求2所述的轻量级的鱼类饵料颗粒计数方法，其特征在于，所述通过标注所述原始图像中的饵料颗粒中心得到标注图，具体包括：
标注所述原始图像中第i个饵料颗粒的饵料颗粒中心xi，并根据公式生成所述标注图H(x)；其中δ(x-xi)表示饵料颗粒位置函数；Y表示原始图像中的饵料颗粒数目。
4.根据权利要求3所述的轻量级的鱼类饵料颗粒计数方法，其特征在于，所述根据所述标注图生成饵料颗粒的密度图，具体包括：
根据所述标注图H(x)，采用公式生成饵料颗粒的密度图F(x)；其中表示高斯核；σi表示高斯核方差；ω表示可调参数；表示xi与其最近的k个样本间的平均欧式距离。
5.根据权利要求1所述的轻量级的鱼类饵料颗粒计数方法，其特征在于，所述将所述深度轻量化网络权重加载到鱼类饵料颗粒计数网络中输出饵料颗粒密度图，并基于所述饵料颗粒密度图计算总饵料颗粒数目，具体包括：
将所述深度轻量化网络权重加载到鱼类饵料颗粒计数网络中，生成轻量级的鱼类饵料颗粒计数网络；
获取相机拍摄的水下鱼类摄食的待检测图像；
将所述待检测图像输入至所述轻量级的鱼类饵料颗粒计数网络中，输出饵料颗粒密度图；
通过对所述饵料颗粒密度图进行积分计算得到总饵料颗粒数目。
6.一种轻量级的鱼类饵料颗粒计数系统，其特征在于，用于实现如权利要求1至5中任一项所述的轻量级的鱼类饵料颗粒计数方法；所述轻量级的鱼类饵料颗粒计数系统包括：
数据获取及网络预训练模块，用于获取水下鱼类摄食的图像数据并根据所述图像数据对鱼类饵料颗粒计数网络进行训练，获得鱼类饵料颗粒计数网络的预训练权重；所述图像数据包括相机拍摄的原始图像和通过标注原始图像中的饵料颗粒中心得到的标注图；
网络权重轻量化处理模块，用于对所述预训练权重进行层级量化敏感度分析，基于敏感度实施精细化量化处理，得到量化处理后的权重文件；
网络权重深度轻量化模块，用于基于L1范数获取剪枝阈值，依据所述剪枝阈值对所述量化处理后的权重文件进行模型剪枝以得到深度轻量化网络权重；
鱼类饵料颗粒计数模块，用于将所述深度轻量化网络权重加载到鱼类饵料颗粒计数网络中输出饵料颗粒密度图，并基于所述饵料颗粒密度图计算总饵料颗粒数目。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的轻量级的鱼类饵料颗粒计数方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至5中任一项所述的轻量级的鱼类饵料颗粒计数方法。
CN202211171435.3A 2022-09-26 2022-09-26 轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质 Active CN115345874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211171435.3A CN115345874B (zh) 2022-09-26 2022-09-26 轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211171435.3A CN115345874B (zh) 2022-09-26 2022-09-26 轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质

Publications (2)

Publication Number Publication Date
CN115345874A CN115345874A (zh) 2022-11-15
CN115345874B true CN115345874B (zh) 2025-10-21

Family

ID=83955491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211171435.3A Active CN115345874B (zh) 2022-09-26 2022-09-26 轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115345874B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118708897B (zh) * 2024-06-04 2025-04-15 青岛农业大学 一种基于生环信息融合与机器学习的网箱鱼群计数方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222821A (zh) * 2019-05-30 2019-09-10 浙江大学 基于权重分布的卷积神经网络低位宽量化方法
CN112016674A (zh) * 2020-07-29 2020-12-01 魔门塔(苏州)科技有限公司 一种基于知识蒸馏的卷积神经网络的量化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784378A (zh) * 2018-12-27 2019-05-21 南京芊玥机器人科技有限公司 一种基于机器视觉的水下捕鱼方法
CN110619385B (zh) * 2019-08-31 2022-07-29 电子科技大学 基于多级剪枝的结构化网络模型压缩加速方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222821A (zh) * 2019-05-30 2019-09-10 浙江大学 基于权重分布的卷积神经网络低位宽量化方法
CN112016674A (zh) * 2020-07-29 2020-12-01 魔门塔(苏州)科技有限公司 一种基于知识蒸馏的卷积神经网络的量化方法

Also Published As

Publication number Publication date
CN115345874A (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
US11475298B2 (en) Using quantization in training an artificial intelligence model in a semiconductor solution
CN114708434B (zh) 基于迭代域内适应和自训练的跨域遥感图像语义分割方法
Narang et al. Mixed precision training
CN111105017B (zh) 神经网络量化方法、装置及电子设备
CN117475038B (zh) 一种图像生成方法、装置、设备及计算机可读存储介质
Langroudi et al. Deep learning inference on embedded devices: Fixed-point vs posit
CN107832787B (zh) 基于双谱自编码特征的雷达辐射源识别方法
TW202213193A (zh) 用於訓練用於合成資料的產生器的系統以及方法
CN113850365B (zh) 卷积神经网络的压缩和移植方法、装置、设备及存储介质
CN109783682A (zh) 一种基于点对相似度的深度非松弛哈希图像检索方法
CN111814884A (zh) 一种基于可变形卷积的目标检测网络模型的升级方法
CN114444686A (zh) 一种卷积神经网络的模型参数量化方法、装置及相关装置
CN118095363A (zh) 基于信息熵度量的混合精度量化方法
CN118115566A (zh) 一种自适应河道生态流量计算方法及系统
CN115345874B (zh) 轻量级的鱼类饵料颗粒计数方法、系统、电子设备及介质
CN114463650A (zh) 一种基于胶囊神经网络的船舶目标检测方法
CN111126501B (zh) 一种图像识别方法、终端设备及存储介质
CN110782396A (zh) 一种轻量化的图像超分辨率重建网络和重建方法
CN116957045B (zh) 基于最优传输理论的神经网络量化方法、系统及电子设备
Liu et al. Classification and recognition of turtle images based on convolutional neural network
CN112308213A (zh) 一种基于全局特征关系的卷积神经网络压缩方法
CN119295793A (zh) 一种桥梁病害识别方法、装置、存储介质及设备
WO2025174353A1 (en) Executing fourier transform operations with deep neural network accelerator
CN117253291A (zh) 一种基于深度学习模型的牲畜行为识别方法、系统及设备
CN117409968A (zh) 基于层次注意力的癌症动态生存分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant