【专利基本信息】

发明名称：密集目标检测方法、装置、存储介质及计算机设备

申请号：202010199855.7

申请日：2020年3月20日

授权公告日：2023年3月21日

该案涉及专利法第22条第3款中创造性的问题，在第一次审查意见通知书中，审查员提供了与该申请功能相同且结构相似的深度学习模型，认为其与该申请中实现技术方案时所使用的网络模型的结构相同。在答复审查意见时，考虑由于网络模型的结构相似，仅从文字上陈述二者的区别不够直观，无法实现有效区分，因此，通过利用技术特征对比图来对该申请与对比文件的技术特征进行区分的方式，来阐述与对比文件的区别，旨在考验代理师在模型结构相似时，除了简单的文字上陈述区别之外，如何利用说明书附图对模型结构进行对比，以清楚、有条理地阐述该申请与对比文件的区别。基于此，本文重点阐述了该案的答复过程以及专利代理师的深层思考。

一、案例详情

（一）该申请的技术方案

研读该案的背景技术可以发现，在智能驾驶领域的“智慧公交”领域经常要对公交的客流量进行统计，传统的采用物理检测方法进行客流量统计的方式，当乘客数量较多、乘客站位密集时，容易造成误检或漏检的情况，从而导致公交客流计数不准确。针对传统方法存在的问题，该申请提出了一种有助于在密集场景对目标进行准确检测的密集目标检测方法。在获取到待处理图像的初始特征的情况下，先通过迭代进行包含卷积以及空洞卷积的特征提取的方式得到至少两个不同层级的图像特征，基于不同层级的图像特征进行深度特征提取，得到各图像特征对应的各深度特征，再基于各深度特征，以及深度特征对应的图像特征的前一层级图像特征进行融合，得到各深度特征对应的融合特征，最后在融合特征的基础上进行目标检测，通过结合不同层级的图像特征以及深度特征，使得用于进行目标检测的语义特征信息更加丰富，进而提高密集场景下的目标检测结果的准确性。

（二）审查过程

在第一次审查意见中，审查员指出了权利要求1-10不符合专利法第22条第3款的规定，具体如下：

（1）针对权利要求1，对比文件1公开了一种YOLOv3网络结构，YOLOv3是一个目标检测网络，因此相当于公开了一种密集目标检测方法，根据YOLOv3网络的结构图可知，其涉及通过多个层级的图像特征分别进行特征提取，得到多个层级的图像特征各自提取的深度特征，并将每一层级图像特征与前一层级图像特征融合等内容，其与权利要求1的区别技术特征在于：根据初始特征进行迭代特征提取以得到至少两个不同层级的图像特征。这是本领域技术人员容易想到的，因此，在对比文件1的基础上结合本领域的惯用手段得到该权利要求的技术方案，对本领域技术人员来说是显而易见的。

（2）权利要求2、权利要求3、权利要求5至7为本领域的惯用手段。

（3）针对权利要求4，其是对权利要求3进一步限定，其附加技术特征构成了与对比文件1的进一步区别，但是审查员认为其技术特征被对比文件2公开，且在对比文件2中所起的作用与其在该申请中作用相同，都是为了提高特征提取的准确性，因此给出了将对比文件2中所公开的技术特征应用于对比文件1中的技术启示。

由审查意见通知书中的内容可知，审查员的总体导向为：对比文件1已经公开了该申请中权利要求1中的大部分技术特征，且区别技术特征是容易想到的；针对从属权利要求，除了权利要求4之外，其余从属权利要求中的技术特征都被认定为本领域的惯用手段；针对权利要求4，审查员在认定其与对比文件1的区别技术特征的基础上，提供有对比文件2，认定对比文件2中公开有权利要求4中的区别技术特征。

通过分析审查意见可知，该案中的权利要求4的附加技术特征为审查员认定的与对比文件1的区别技术特征，但审查员认为，对于包含权利要求4的技术方案，只要结合对比文件1、对比文件2中的技术特征以及本领域的惯用手段，就能够得到，因此，可以考虑从权利要求4入手来确定该案与对比文件1以及对比文件2的区别技术特征并进行答复。

进一步地，对比包含权利要求4的技术方案和对比文件1、对比文件2可知，其中的具体的特征提取处理的方式与对比文件1、对比文件2中并不相同，权利要求4进行特征提取的处理方式为包含卷积以及空洞卷积的特征提取处理，但是在对比文件2中公开有一种与该案相近的、包含空洞卷积的特征提取处理的方式。因此，考虑从实现特征提取处理的网络模型的结构不同，来阐述与对比文件2的区别，而在阐述与对比文件2的区别时，由于是相近的结构，仅从文字上陈述二者的区别不够直观，无法实现有效区分，可以考虑结合说明书附图，通过技术特征对比图来对该案与对比文件2中的特征提取处理的方式进行区分。

二、答复思路

专利法第22条第1款规定，授予专利权的发明和实用新型应当具备新颖性、创造性和实用性；且第22条第3款指出：创造性，是指与现有技术相比，该发明具备突出的实质性特点和显著的进步。专利审查指南第二部分第四章3.2.1.1对于突出的实质性特点给出了进一步的判断标准，也即“三步法”判断：（1）确定最接近的现有技术；（2）确定发明的区别技术特征和发明实际解决的技术问题；（3）判断要求保护的发明对本领域的技术人员来说是否显而易见。

其中，对区别技术特征的确定和分析的过程尤为重要，在申请文件与对比文件存在一些相同技术特征，且仅从文字上陈述申请文件与对比文件中的技术特征的区别，不能够有效区分的情况下，可以利用附图来阐述区别技术特征。具体到该案中，在审查意见通知书中提供了对比文件1和对比文件2，通过分析审查意见，可以确定权利要求4为与对比文件1和对比文件2的区别技术特征，且由于权利要求4中实现特征提取处理的网络模型的结构，与对比文件2中公开的实现特征提取处理的网络模型的结构相似，因此，考虑通过对比两个网络模型的结构来对该案与对比文件2中的特征提取处理的方式进行区分。下面对该申请中分析区别技术特征的过程以及利用说明书附图阐述区别技术特征的方式进行说明.

（一）分析区别技术特征的过程

1.确定对比文件1中公开的技术特征

对比文件1公开了一种YOLOv3网络结构，如图1-10所示，图中的T1代表第一层级图像特征提取的深度特征，T2代表第二层级图像特征提取的深度特征，Temp1代表T1与前一层级图像特征融合得到的第一融合结果，Temp2代表T2与前一层级图像特征融合得到的第二融合结果。

图1-10 对比文件1的YOLOv3网络结构示意图

由此可知，对比文件1公开的特征有：获取待处理图像的初始特征，根据初始特征进行特征提取得到第一层级图像特征，对第一层级图像特征进行特征提取得到第二层级图像特征；针对第一层级图像特征，将第一层级图像特征提取的深度特征T1和初始特征融合得到第一融合结果Temp1；针对第二层级图像特征，将第二层级图像特征提取的深度特征T2和第一层级图像特征进行融合得到第二融合结果Temp2，进而根据每一层级图像特征对应的融合特征进行目标检测，得到目标检测结果。

2.对比该申请的权利要求1与对比文件1，确定独立权利要求补充区别技术特征的方向

该申请的权利要求1公开的是一种密集目标检测方法，并具体公开如下技术特征：获取待处理图像的初始特征，根据初始特征进行迭代特征提取以得到至少两个不同层级的图像特征，分别提取各图像特征对应的各深度特征，基于各深度特征，以及深度特征对应的图像特征的前一层级图像特征进行融合，得到各深度特征对应的融合特征，分别对各融合特征进行目标检测，基于各融合特征的目标检测结果得到待处理图像的目标检测信息。

对比可知，对比文件1和该申请的权利要求1相比，均涉及获取初始特征、对初始特征进行特征提取得到多个层级的图像特征、对多个层级的图像特征进行融合，得到多个融合特征，利用多个融合特征来进行目标检测，而主要区别在于，对比文件1中并未公开该申请的权利要求1中的“根据初始特征进行迭代特征提取以得到至少两个不同层级的图像特征”，因此，可以考虑对进行迭代特征提取的方式进行细化，来突出该申请与对比文件1的区别。

在该申请中，权利要求3和权利要求4为对进行迭代特征提取的方式的细化，可以考虑从权利要求3和权利要求4中补充技术特征至权利要求1中来突出与对比文件1的区别。其中，权利要求3公开的是，进行迭代特征提取的方式为迭代进行包含卷积以及空洞卷积的特征提取处理；权利要求4公开的是，具体的包含卷积以及空洞卷积的特征提取处理的方式，对比文件1中都并未涉及。

3.结合与对比文件2的对比来确定区别技术特征

审查意见通知书中还提供了对比文件2，其公开了结合空洞空间金字塔结构的目标检测模型确定方法，并具体公开了进行包含空洞卷积的特征提取处理，因此需要进一步对比权利要求3和权利要求4是否被对比文件2公开。

对比文件2公开有一种结合空洞空间金字塔结构的目标检测模型确定方法，包括如下步骤：S10，将输入特征图分别输入k个空洞卷积层分支，分别在各个空洞卷积层分支对输入特征图进行空洞卷积操作，得到各个空洞卷积层分支输出的输出特征图，其中k个空洞卷积层分支为并行的，且各个空洞卷积层分支具有不同扩张率；S20，将输入特征图与k个空洞卷积层分支输出的输出特征图进行融合，构造空洞空间金字塔结构；S30，将所述空洞空间金字塔结构融入基于卷积网络的目标检测模型。

对比可知，对比文件2和该申请的权利要求4一样，均涉及利用空洞卷积进行特征提取处理，而主要区别在于：对比文件2中公开的是将输入特征图分别输入到具有不同扩张率的k个空洞卷积层分支，分别在各个空洞卷积层分支对输入特征图进行空洞卷积操作；而该申请的权利要求4中公开的是，将当前特征进行至少两次分支处理，每次分支处理除了空洞卷积处理之外，还需要进行卷积处理，且每次分支处理包含的卷积处理次数各不相同。因此，可以将权利要求4的附加技术特征确定为该申请与对比文件1和对比文件2的区别技术特征，且由于权利要求4引用权利要求3，因此修改的方式可以是将权利要求3和权利要求4的附加技术特征补充至权利要求1中。

在审查意见通知书中陈述所补充的权利要求3和权利要求4的附加技术特征为区别技术特征时，针对对比文件1，由于审查意见通知书中指出，对比文件1中并未公开该申请的权利要求1中的“根据初始特征进行迭代特征提取以得到至少两个不同层级的图像特征”，且所补充的权利要求3和权利要求4的附加技术特征为对进行迭代特征提取的方式的细化，因此可以毫无疑义的确定对比文件1中并未公开所补充的权利要求3和权利要求4的附加技术特征。针对对比文件2，其公开有通过k个具有不同扩张率的空洞卷积层进行空洞卷积操作，以进行特征提取处理，这与所补充的技术特征中的通过对当前特征进行至少两次包含卷积处理以及空洞卷积处理的分支处理，以进行特征提取处理的方式具有一定较高的相关度，都使用了空洞卷积来进行特征提取，但是具体在每个分支处理时，与对比文件2相比，该申请中每次分支处理时还进行了卷积处理，且每次分支处理包含的卷积处理次数各不相同，即在实现特征提取处理时所使用的分支的网络结构不相同。由于主要区别在于实现特征提取处理时所使用的分支的网络结构不相同，若仅从文字上陈述网络结构的区别，可能不能够有效区分，因此，可以考虑提供技术特征对比图，通过比对对比文件2中实现特征提取处理时所利用的网络模型的结构，与该申请的从权利要求4中补充的实现特征提取处理时所利用的网络模型结构不同，来阐述补充技术特征后的权利要求1（下称“新权1”）的区别技术特征。

需要说明的是，由于不同的说明书对权利要求的支持情况不同，导致对权利要求的修改力度也不同，该案中，涉及到对权利要求的修改均是在结合了该申请实际的说明书撰写情况给出的修改建议或者答复方向。

（二）阐述区别技术特征

结合前面分析该案与对比文件2的区别技术特征部分所述，可以考虑提供技术特征对比图，通过比对对比文件2中实现特征提取处理时所利用的网络模型的结构，与该申请的从权利要求4中补充的实现特征提取处理时所利用的网络模型的结构不同，来阐述新权1的区别技术特征。

具体来说，由对比文件2中的说明书附图中的附图2（如图1-11所示）可知，在对比文件2中所涉及的是，采用4个并行的、具有不同扩张率（Rate=1、Rate=2、Rate=3、Rate=4）的空洞卷积层的分支，分别对输入进行处理，再将输入与4个分支的输出特征图进行融合，以得到融合后特征。而如图1-12所示，该申请的权利要求4中涉及的分支处理，除了包含空洞卷积处理之外，还包含卷积处理，且每次分支处理包含的卷积处理次数各不相同，具体来说，左边分支的处理方式为先进行一次卷积处理再进行一次空洞卷积处理，而右边分支的处理方式为先进行两次卷积处理再进行一次空洞卷积处理，通过对比两个模型结构的结构示意图可以更直观的说明从该申请的权利要求4中补充的内容与对比文件2中在实现特征提取时所进行的处理实际并不相同。

图1-11 对比文件2的附图2

图1-12 从该申请的权利要求4中补充的内容所涉及的分支处理示意图

具体审查意见答复中针对新权1的区别技术特征分析参考如下：

与对比文件2中仅进行包含空洞卷积的特征提取处理不同，新权1的区别技术特征中所进行的是包含卷积以及空洞卷积的特征提取处理，即先进行卷积处理再进行空洞卷积处理，两者所采用的处理方式并不相同，且在新权1的区别技术特征中，所涉及的是对初始特征进行迭代特征提取以得到至少两个不同层级的图像特征，对比文件2中并未涉及到进行迭代特征提取，也并未涉及到设置不同预设次数的迭代次数以获得相应的图像特征。且由对比文件2中的图2可知，在对比文件2中所涉及的是，采用4个并行的、具有不同扩张率的空洞卷积层的分支，分别对输入进行处理，再将输入与4个分支的输出特征图进行融合，以得到融合后特征，而如图3所示，新权1的区别技术特征中所涉及的分支处理除了包含空洞卷积处理之外，还包含卷积处理，且每次分支处理包含的卷积处理次数各不相同，两者所进行的处理并不相同，具体来说，左边分支的处理方式为先进行一次卷积处理再进行一次空洞卷积处理，而右边分支的处理方式为先进行两次卷积处理再进行一次空洞卷积处理，因此，对比文件2并未公开新权1的区别技术特征。

此外，该申请中所提出的包含卷积以及空洞卷积的特征提取处理与对比文件2中所涉及的空洞卷积模块有本质区别，该申请中所提出的包含卷积以及空洞卷积的特征提取处理中有两个分支对输入分别按照需要进行空洞卷积和特征提取，再进行融合，而并不是对比文件2中的直接将空洞卷积处理的结果与输入进行融合，该申请中的包含卷积以及空洞卷积的特征提取处理，对底层信息也需要进行特征融合，相较于对比文件2，该申请中所采用的方式，最终两分支进行融合后的特征感受野更大，融合信息更丰富，更有助于检测。

在分析新权1的区别技术特征时，除了文字陈述之外，还引入技术特征对比图来对该案中的包含卷积以及空洞卷积的特征提取处理的方式，与对比文件2中的包含空洞卷积的特征提取处理的方式进行对比，可以理解的是，与仅从文字上陈述二者的区别相比，通过利用技术特征对比图来对该案与对比文件2的技术特征进行区分，能够直观的体现该案与对比文件2的区分，实现有效区分，且结合技术特征对比图和文字陈述一起说明的方式，与仅用文字陈述的方式相比，更有说服力。

最终，采用上述修改和答复方式，该案经过第一次审查意见答复之后，走向授权。

三、总结与思考

基于上述分析提供给知产从业者一些审查意见答复上的启发，就是要在意见陈述书中有效利用附图。

（一）利用附图将该申请的权利要求1与对比文件进行对比

具体可以至少包括以下几个方面的对比。

1.整体技术方案对比

整体技术方案对比，具体来说是在申请文件的权利要求1的整体技术方案与对比文件的整体技术方案存在差别的情况下，为了便于审查员更清楚地理解和界定申请文件的权利要求1的技术方案和对比文件1的本质，可以利用附图对申请文件的权利要求1的技术方案和对比文件1的技术方案分别进行整体说明，来对申请文件的权利要求1的技术方案和对比文件1的技术方案进行对比。

2.部分技术特征对比

部分技术特征对比，具体来说是将申请文件中的技术特征，与对比文件中的相关联的技术特征进行对比，以突出申请文件和对比文件的区别。在审查意见答复过程中，对比文件作为最接近现有技术，通常与申请文件具有一些相同技术特征，仅从文字上陈述二者的区别，不能够有效区分，此时，可以考虑提供附图进行部分技术特征对比。

3.应用场景对比

应用场景对比，具体来说是在申请文件的权利要求1的技术方案与对比文件的技术方案的应用场景不同的情况下，可以提供能够体现具体应用场景区别的应用场景对比图，来对申请文件的权利要求1的应用场景和对比文件1的应用场景进行对比。

（二）结合实际比对需求选择附图

在实际作业过程中，需要结合实际比对需求来选择附图，可以利用的附图通常可以通过以下方式获得。

1.直接利用原申请文件中的附图

         在审查意见通知书中所提供的对比文件通常为专利申请文件，对于专利申请文件而言，为了更好地说明专利申请文件的技术方案，在专利申请文件中通常会提供有各类说明书附图，如专利的应用环境图、应用场景图、流程示意图等。可以理解的是，专利申请文件中的说明书附图，是对技术方案最准确且直观的说明，在进行审查意见答复时，直接利用原专利申请文件中的说明书附图，结合文字来进行说理，一方面可以避免对技术方案的二次概括，进而确保附图内容的准确性；另一方面，可以节省绘制附图的时间以提高审查意见答复的效率。

         比如，在整体技术方案对比时，在未修改申请文件的权利要求1或修改方式主要为静态限定、解释说明等的情况下，由于并未对申请文件的权利要求1中的处理流程进行修改，可以直接使用申请文件中提供的与权利要求1对应的流程示意图作为附图。又比如，在需要对部分技术特征进行比对时，若申请文件中存在与该部分技术特征相关的流程图、时序图、结构图等，可以直接使用申请文件中提供的附图进行比对。再比如，在需要对应用场景进行比对时，若在申请文件中提供有应用环境图、应用场景图等，也可以直接使用。

2.结合陈述内容绘制相关附图

         在进行审查意见答复时，可以优先考虑利用申请文件中的说明书附图，在申请文件中的说明书附图不能满足需求时，可以考虑结合陈述内容绘制相关附图。

比如，在整体技术方案对比时，在修改申请文件的权利要求1，补充有技术特征的情况下，由于对申请文件的权利要求1中的处理流程进行了进一步限定，通常无法直接使用申请文件中提供的与权利要求1对应的流程示意图作为附图，因此，需要结合修改内容来绘制体现权利要求1的整体技术方案的附图。

举例说明，若修改前的权利要求1为包括步骤A、步骤B、步骤C，且权利要求2为其中的步骤C包括步骤C1、步骤C2，则在将权利要求2补充至权利要求1中，形成修改后的权利要求1的情况下，申请文件中与权利要求1对应的流程示意图（步骤A-步骤B-步骤C）通常无法直接使用，需要结合修改内容（将步骤C替换为步骤C1-步骤C2）来绘制体现权利要求1的整体技术方案（步骤A-步骤B-步骤C1-步骤C2）的流程示意图。

        毫无疑问，在意见陈述书中增加附图，在一些场景下可以提高与审查员的沟通效率，以使得审查员可以结合附图和文字说明，较为直观地了解申请文件与对比文件的区别。因此，专利代理师在答复审查意见时，可以考虑利用技术特征对比图来对申请文件与对比文件的技术特征进行区分，以引导申请文件走向授权。