❶ 超参数调整有哪些方法
在机器学习实验中，超参数调整是优化模型性能的关键步骤。常见的超参数调整方法包括：
1. **网格搜索**：这是一种基础且直接的调优方法，通过遍历所有指定的超参数组合来寻找最佳配置。尽管这种方法简单，但当超参数数量增多时，计算复杂度会急剧增加。
2. **随机搜索**：与网格搜索不同，随机搜索在超参数空间内随机选择组合进行试验，从而可能更高效地探索更大的参数空间，并找到全局最优解。
3. **贝叶斯优化**：这种方法基于贝叶斯定理，通过构建超参数与模型性能之间的概率模型，动态地选择下一个试验的超参数组合。贝叶斯优化能够在较少的尝试次数下找到较好的超参数组合，尤其适用于昂贵的黑盒函数优化。
4. **遗传算法**：遗传算法模拟了自然选择和遗传机制，通过交叉、变异和选择等操作，不断迭代生成新的超参数组合，最终找到最优解。这种方法在复杂且高维的超参数空间中表现出色。
5. **基于梯度的优化**：当满足某些可微性和连续性条件时，可以基于机器学习模型选择标准相对于超参数的梯度来计算并优化超参数。
6. **自动机器学习（AutoML）**：这是一种创新性的方法，旨在自动化整个机器学习流程，包括超参数调优。AutoML工具如Auto-sklearn、TPOT等，通过智能搜索算法自动寻找最佳模型和超参数组合。
这些超参数调整方法各有优缺点，选择合适的方法取决于具体的问题和需求。