数据科学每日总结--Day8--数据挖掘
数据挖掘
进化算法（EA）
概念：是一类模拟自然界生物进化过程的随机优化算法。通过“种群进化”的方式，逐步寻找问题的最优解。核心原理是维护一个由多个候选解组成的种群，通过选择、变异、交叉等操作不断产生新一代候选解，通过评估优劣，逐代保留更优的，最终找到或逼近最优解
基本流程：
初始化种群：随机生成一组候选解（个体）。
适应度评估：用目标函数评价每个个体的优劣。
选择操作：根据适应度，选择优秀个体作为父代。
交叉操作：父代之间交换部分信息，产生新个体。
变异操作：对个体进行微小随机修改，增加多样性。
生成新一代：用新个体替换部分旧个体，形成新种群。
终止判断：若达到终止条件（如最大迭代次数或满意解），则停止；否则返回第2步。
优点：
适用于复杂、非线性、不可微分的问题。
不依赖问题的具体数学性质。
能够全局搜索，避免陷入局部最优。
易于并行化和扩展
缺点：
计算量较大，收敛速度可能较慢。
参数设置（如种群规模、变异率等）对效果影响较大。
结果具有一定随机性，稳定性需多次实验验证。
遗传算法（GA）
定义：一种模拟自然选择和遗传机制的优化算法。它通过种群进化的方式，逐步寻找问题的最优解。 基本流程：
编码：将问题的解表示为染色体（通常为字符串或数组）。
初始化：随机生成初始种群。
适应度评估：根据目标函数评估每个个体的优劣。
选择：选择适应度高的个体作为父代。
交叉：父代之间交换部分基因，产生新个体。
变异：对个体基因进行微小随机修改，增加多样性。
迭代：重复上述过程，直到满足终止条件（如达到最大迭代次数或找到满意解）。
优点：
全局搜索能力强： 能够在复杂的搜索空间中寻找全局最优解，避免陷入局部最优。
适用范围广： 不依赖问题的具体数学性质，适用于离散、连续、非线性、不可微分等多种优化问题。
易于并行化： 种群进化机制天然适合并行计算，提高算法效率。
鲁棒性好： 对噪声、动态变化等具有较强的适应能力。
参数和结构灵活： 可以通过调整编码方式、选择算子、交叉和变异策略来适应不同问题。
缺点：
收敛速度较慢 由于是随机搜索，往往需要较多迭代才能找到满意解。
参数敏感 种群规模、交叉率、变异率等参数设置对算法性能影响较大。
结果不稳定 由于随机性，多次运行可能得到不同结果，需要多次实验验证。
难以处理约束问题 对于有复杂约束的问题，GA需要特殊的处理方法，否则容易产生不可行解。
编码方式有限制 传统GA多用定长二进制串编码，对于某些问题不够自然或高效。
遗传编程（GP）
定义：是遗传算法的扩展，主要用于自动生成程序或表达式。GP的个体通常是树结构，代表一个程序或数学表达式。
基本流程：
编码：用树结构表示程序或表达式。
初始化：随机生成初始程序种群。
适应度评估：根据程序的输出与目标的匹配程度评估优劣。
选择、交叉、变异：与GA类似，但操作对象是程序树。
迭代进化：不断优化程序结构，直到找到满足需求的程序。
优点：
自动化建模能力强： 能够自动生成程序、表达式或模型，适合符号回归、公式发现等任务。
表达能力丰富： 个体为树结构，可以表示复杂的逻辑、数学表达式或程序流程。
无需预设模型结构： 不需要人工指定模型结构，能够自动进化出适合问题的结构。
适应性强： 能处理多种类型的数据和问题，包括分类、回归、特征构造等。
缺点：
计算资源消耗大： 程序树结构复杂，进化过程需要大量计算资源，尤其在大规模问题上。
收敛速度慢： 由于搜索空间极大，进化到满意解可能需要较多代数。
结果可解释性不稳定： 自动生成的程序或表达式可能过于复杂，难以解释或理解。
容易过拟合： 在训练数据上表现很好，但在新数据上可能泛化能力不足。
参数设置复杂： 需要设置种群规模、树深限制、算子选择等多种参数，调优难度较大。
蚁群算法（ACO）
基本原理：模拟了蚂蚁在寻找食物过程中通过释放信息素进行路径选择和信息传递的过程。蚂蚁在行进过程中会在路径上留下信息素，其他蚂蚁会倾向于选择信息素浓度较高的路径。随着时间推移，优秀路径上的信息素不断增强，劣质路径上的信息素逐渐挥发，最终蚂蚁群体能够找到最优或近似最优的路径。
基本流程：
初始化信息素：在所有可能路径上初始化一定量的信息素。
蚂蚁搜索路径：每只蚂蚁根据当前信息素浓度和启发式信息（如距离远近）选择下一步走向，直到完成一次完整的路径（如从起点到终点）。
信息素更新：挥发（所有路径上的信息素都会随时间自然减少（模拟信息素挥发））；增强（蚂蚁完成路径后，根据路径优劣（如路径长度），在所经过的路径上增加信息素，优秀路径信息素增加更多）
迭代：重复上述过程，经过多代蚂蚁的协作，信息素分布逐渐集中在最优或近似最优路径上。
终止条件：达到预设迭代次数或找到满意解时算法终止。
优点：
适合解决复杂的组合优化问题（如路径规划、调度、分配等）。
具有分布式计算和自适应能力，易于并行化。
能够全局搜索，避免陷入局部最优。 缺点：
收敛速度可能较慢，参数设置（如信息素挥发率、蚂蚁数量等）对效果影响较大。
在某些问题上可能出现早熟收敛（即过早集中于非最优解）。