超参数是外部配置设置，不是从数据中学习的，而是在机器学习模型的训练过程开始之前设置的。它与从数据中学习的模型参数不同。为了确定机器学习模型最有效的超参数，从业者经常进行试错过程。

超参数的类型：

超参数的类型在不同的模型中各不相同，并根据给定数据集的特定特征和要求进行调整。

1. 学习率（基于梯度下降的算法）：确定优化过程中的步长。

2. 树数（随机森林、梯度提升算法）：
指定要在集成中使用的决策树数、树的最大深度、执行拆分节点所需的最小样本数。

3. 正则化参数（线性模型）：用于防止过拟合的正则化类型（L1、L2）。

5. 内核参数（支持向量机）：指定内核函数的类型和参数。

6. 邻居数（K 最近邻）：确定考虑分类或回归的邻居数（K 值）。

7. 隐藏层架构（神经网络）：指定神经网络中隐藏层和神经元的结构和数量。

8. 激活函数的类型：根据需要选择激活函数（Relu、Sigmoid、Leaky Relu、tanh）。

9. Epochs：选择 epoch 的数量，即在模型训练过程中完成整个训练数据集的传递。

10. Batch Size：单次迭代中处理的训练样本数量。

11. 聚类数（K-Means 聚类）：指定数据中所需的聚类数。

超参数优化涉及系统地搜索超参数值的不同组合，以找到可实现最佳模型性能的配置。网格搜索、随机搜索和更高级的优化方法等技术用于超参数优化。