自注意力机制和CNN的区别

• CNN：一种只能在固定感受野范围内进行关注的自注意力机制。
• ​CNN是自注意力的简化版本。
• 自注意力：具有可学习感受野的CNN。
• 自注意力是CNN的复杂形态，是更灵活的CNN，经过某些设计就可以变为CNN。

• 越灵活、越大的模型，需要更多的数据，数据不够就容易过拟合；
• 小的、比较有限制的模型，适合在数据量小的时候使用，这样不容易过拟合；如果限制设得好，也容易有不错的结果。