专门做调查问卷的网站百度推广优化技巧

机器学习（Machine Learning）

简要声明

基于吴恩达教授(Andrew Ng)课程视频
BiliBili课程资源

---

---

一、特征缩放（Feature Scaling）

二、梯度下降收敛性检验与学习率选择

三、特征工程与多项式回归

（一）特征工程：从数据中发现隐藏规律

1.1 特征工程的核心思想

通过创造性组合原始特征，将领域知识注入机器学习模型。如图1所示，房屋价格预测中：

$$\begin{array}{rl}\text{原始特征}& :x_1(\text{frontage}),x_2(\text{depth})\\ \text{新特征}& :x_3=x_1\times x_2=\text{area}\\ 模型公式& :f_{\mathbf{w},b}(\mathbf{x})=w_1{x}_1+w_2{x}_2+w_3{x}_3+b\end{array}$$

1.2 特征工程的三大范式

方法类型	数学表达	应用场景
数值转换	$$x^{\prime }=\log (x)$$	处理长尾分布数据
组合运算	$$x_3=x_1\times x_2$$	揭示交互效应

特征工程有无的对比

---

（二）多项式回归：非线性关系的建模利器

2.1 多项式回归原理

通过引入高次项扩展线性模型：

$$f_{w,b}(x)=w_{1}x+w_2{x}^2+w_3{x}^3+b$$

不同阶数多项式拟合效果

---

（三）特征选择：在复杂性与效果间寻找平衡

3.1 非线性特征设计

如图所示，通过引入平方根项增强模型灵活性：

$$f_{w,b}(x)=w_{1}x+w_2\sqrt{x}+b$$

混合特征设计的拟合效果

x = np.arange(0,20,1)
y = x**2X = np.c_[x, x**2, x**3]
X = zscore_normalize_features(X) model_w, model_b = run_gradient_descent_feng(X, y, iterations=100000, alpha=1e-1)plt.scatter(x, y, marker='x', c='r', label="Actual Value"); plt.title("Normalized x x**2, x**3 feature")
plt.plot(x,X@model_w + model_b, label="Predicted Value"); plt.xlabel("x"); plt.ylabel("y"); plt.legend(); plt.show()

Iteration         0, Cost: 9.42147e+03
Iteration     10000, Cost: 3.90938e-01
Iteration     20000, Cost: 2.78389e-02
Iteration     30000, Cost: 1.98242e-03
Iteration     40000, Cost: 1.41169e-04
Iteration     50000, Cost: 1.00527e-05
Iteration     60000, Cost: 7.15855e-07
Iteration     70000, Cost: 5.09763e-08
Iteration     80000, Cost: 3.63004e-09
Iteration     90000, Cost: 2.58497e-10
w,b found by gradient descent: w: [5.27e-05 1.13e+02 8.43e-05], b: 123.5000

通过合理运用特征工程与多项式回归，我们能够将预测误差降低，同时保持较好的模型可解释性。

---

end_Linear Regression