【pythonでニューラルネットワーク#2】単回帰分析(勾配降下法)
記事の目的
pythonで単回帰分析を勾配降下法を使用して実装していきます。ここにある全てのコードは、コピペで再現することが可能です。
目次
1 勾配降下法の概要
2 ライブラリとデータの作成
x
13
13
1
# In[1]2
import numpy as np3
import matplotlib.pyplot as plt4
np.random.seed(1)5
6
# In[2]7
x_train = np.random.normal(5, 1, 10)8
t_train = 3*x_train + 2 + np.random.randn(10)9
# x_train = (x_train - x_train.mean())/x_train.std()10
# t_train = (t_train - t_train.mean())/t_train.std()11
12
# In[3]13
plt.scatter(x_train,t_train)
3 モデル
1
21
21
1
# In[4]2
def model(x ,w, b):3
y = w*x + b4
return y5
6
# In[5]7
def loss(y, t):8
L = sum((y-t)**2) / len(t)9
return L10
11
# In[6]12
def optimizer(x, y, t, w, b, lr):13
14
dy = 2*(y-t) / len(t)15
dw = np.dot(dy, x)16
db = dy.sum()17
18
w = w - lr*dw19
b = b - lr*db20
21
return (w,b)
4 モデルの学習
1
11
11
1
# In[7]2
w,b = 0.5, 0.53
4
for epoch in range(1, 10 + 1):5
6
y = model(x_train, w, b)7
loss_train = loss(y, t_train)8
9
w,b = optimizer(x_train, y, t_train, w, b, lr=1e-2)10
11
print(f"Epoch {epoch}, Loss {loss_train:.4f}")
5 結果の可視化
1
5
1
# In[8]2
x = np.arange(2,8)3
y = model(x, w, b)4
plt.plot(x, y)5
plt.scatter(x_train, t_train)
