PyTorch | 個人用メモ帳

2018年10月4日

PyTorch の動作確認をしてみた（６）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.6.5 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 4.2.2 CNNの構築と学習(P.067 – P.071) である。
Fashion-MNIST を使った, CNN の画像分類について書かれていたので, 少し動作確認を行った.
また, tqdm の使い方も確認できた.

※プログラムの詳細は、書籍を参考(P.067 – P.071)にして下さい。

■Fashion-MNISTの学習(GPU版).

# tqdm を 下記コマンドで, install.
# conda install -c conda-forge tqdm
# 1. library import.
from __future__ import print_function
import torch
from torchvision.datasets import FashionMNIST
from torchvision import transforms
from torch.utils.data import DataLoader
import os, time
from torch import nn, optim
from tqdm import tqdm

# 2. declare functions.
# 2-1. A layer that stretches a Tensor of the (H, C, H, W) type to (N, C * H * W).
# required to pass the output of convolution layer to MLP.
class FlattenLayer(nn.Module):
    def forward(self, x):
        sizes = x.size()
        return x.view(sizes[0], - 1)

～(略)～
        n, n_acc = 0, 0
        for i ,(xx, yy) in tqdm(enumerate(train_loader), total=len(train_loader)):
            xx, yy = xx.to(device), yy.to(device)
～(略)～

# 5. execute training.
net.to("cuda:0")
train_net(net, train_loader, test_loader, n_iter=20, device="cuda:0")

# 6. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# tqdm を下記コマンドで, install.

# conda install -c conda-forge tqdm

# 1. library import.

from __future__ import print_function

import torch

from torchvision.datasets import FashionMNIST

from torchvision import transforms

from torch.utils.data import DataLoader

import os, time

from torch import nn, optim

from tqdm import tqdm

# 2. declare functions.

# 2-1. A layer that stretches a Tensor of the (H, C, H, W) type to (N, C * H * W).

# required to pass the output of convolution layer to MLP.

class FlattenLayer(nn.Module):

def forward(self, x):

sizes = x.size()

return x.view(sizes[0], - 1)

～(略)～

n, n_acc = 0, 0

for i ,(xx, yy) in tqdm(enumerate(train_loader), total=len(train_loader)):

xx, yy = xx.to(device), yy.to(device)

～(略)～

# 5. execute training.

net.to("cuda:0")

train_net(net, train_loader, test_loader, n_iter=20, device="cuda:0")

# 6. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(GPU版).

■Fashion-MNISTの学習(CPU版).

# -*- coding: utf-8 -*-
# tqdm を 下記コマンドで, install.
# conda install -c conda-forge tqdm
# 1. library import.
from __future__ import print_function
import torch
from torchvision.datasets import FashionMNIST
from torchvision import transforms
from torch.utils.data import DataLoader
import os, time
from torch import nn, optim
from tqdm import tqdm

# 2. declare functions.
# 2-1. A layer that stretches a Tensor of the (H, C, H, W) type to (N, C * H * W).
# required to pass the output of convolution layer to MLP.
class FlattenLayer(nn.Module):
    def forward(self, x):
        sizes = x.size()
        return x.view(sizes[0], - 1)

～(略)～
        n, n_acc = 0, 0
        for i ,(xx, yy) in tqdm(enumerate(train_loader), total=len(train_loader)):
            xx, yy = xx.to(device), yy.to(device)
～(略)～

# 5. execute training.
train_net(net, train_loader, test_loader, n_iter=20)

# 6. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# tqdm を下記コマンドで, install.

# conda install -c conda-forge tqdm

# 1. library import.

from __future__ import print_function

import torch

from torchvision.datasets import FashionMNIST

from torchvision import transforms

from torch.utils.data import DataLoader

import os, time

from torch import nn, optim

from tqdm import tqdm

# 2. declare functions.

# 2-1. A layer that stretches a Tensor of the (H, C, H, W) type to (N, C * H * W).

# required to pass the output of convolution layer to MLP.

class FlattenLayer(nn.Module):

def forward(self, x):

sizes = x.size()

return x.view(sizes[0], - 1)

～(略)～

n, n_acc = 0, 0

for i ,(xx, yy) in tqdm(enumerate(train_loader), total=len(train_loader)):

xx, yy = xx.to(device), yy.to(device)

～(略)～

# 5. execute training.

train_net(net, train_loader, test_loader, n_iter=20)

# 6. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(CPU版).

■以上の実行結果から, 以下のことが分かった.
① 処理速度.
実行結果(GPU版): Elapsed Time: 189.46908950805664[sec]
実行結果(CPU版): Elapsed Time: 1290.8199858665466[sec]
-> GPU版が CPU版に比べて, 約6.8倍早く処理できたことが分かった.

② tqdm の使い方.
著書上の tqdm.tqdm(enumerate～(略)～では, 動作しなかったので, tqdm(enumerate～(略)～で確認した.

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年9月30日

PyTorch の動作確認をしてみた（５）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.6.5 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 3.3.1 Dropoutによる正則化(P.052 – P.055) である。
Dropoutによる正則化について書かれていたので, 少し動作確認を行った.

※プログラムの詳細は、書籍を参考(P.052 – P.055)にして下さい。

■Dropout無し.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
from torch.utils.data import TensorDataset, DataLoader
from sklearn.model_selection import train_test_split
import time

# 2. build a network.
start = time.time()
l = 100
net = nn.Sequential(
        nn.Linear(64, l),
        nn.ReLU(),
        nn.Linear(l, l),
        nn.ReLU(),
        nn.Linear(l, l),
        nn.ReLU(),
        nn.Linear(l, l),
        nn.ReLU(),
        nn.Linear(l, 10)
    )

～(略)～

# 9. display graph.
plt.title('not Regularization')
plt.plot(train_losses, label='train')
plt.plot(test_losses, label='test')
plt.legend(loc='upper right')

# 10. classify digits data.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

import matplotlib.pyplot as plt

from sklearn.datasets import load_digits

from torch.utils.data import TensorDataset, DataLoader

from sklearn.model_selection import train_test_split

import time

# 2. build a network.

start = time.time()

l = 100

net = nn.Sequential(

nn.Linear(64, l),

nn.ReLU(),

nn.Linear(l, l),

nn.ReLU(),

nn.Linear(l, l),

nn.ReLU(),

nn.Linear(l, l),

nn.ReLU(),

nn.Linear(l, 10)

)

～(略)～

# 9. display graph.

plt.title('not Regularization')

plt.plot(train_losses, label='train')

plt.plot(test_losses, label='test')

plt.legend(loc='upper right')

# 10. classify digits data.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(Dropout無し).

■Dropout有り.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
from torch.utils.data import TensorDataset, DataLoader
from sklearn.model_selection import train_test_split
import time

# 2. build a network.
start = time.time()
l = 100
r = 0.5
net = nn.Sequential(
        nn.Linear(64, l),
        nn.ReLU(),
        nn.Dropout(r),
        nn.Linear(l, l),
        nn.ReLU(),
        nn.Dropout(r),
        nn.Linear(l, l),
        nn.ReLU(),
        nn.Dropout(r),
        nn.Linear(l, l),
        nn.ReLU(),
        nn.Dropout(r),
        nn.Linear(l, 10)
    )

～(略)～

# 9. display graph.
t = 'Regularization (r=' + str(r) + ')'
plt.title(t)
plt.plot(train_losses, label='train')
plt.plot(test_losses, label='test')
plt.legend(loc='upper right')

# 10. classify digits data.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

import matplotlib.pyplot as plt

from sklearn.datasets import load_digits

from torch.utils.data import TensorDataset, DataLoader

from sklearn.model_selection import train_test_split

import time

# 2. build a network.

start = time.time()

l = 100

r = 0.5

net = nn.Sequential(

nn.Linear(64, l),

nn.ReLU(),

nn.Dropout(r),

nn.Linear(l, l),

nn.ReLU(),

nn.Dropout(r),

nn.Linear(l, l),

nn.ReLU(),

nn.Dropout(r),

nn.Linear(l, l),

nn.ReLU(),

nn.Dropout(r),

nn.Linear(l, 10)

)

～(略)～

# 9. display graph.

t = 'Regularization (r=' + str(r) + ')'

plt.title(t)

plt.plot(train_losses, label='train')

plt.plot(test_losses, label='test')

plt.legend(loc='upper right')

# 10. classify digits data.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果①(Dropout有り, r = 0.3).

■実行結果②(Dropout有り, r = 0.5 ※書籍と同じ).

■実行結果③(Dropout有り, r = 0.7).

■以上の実行結果から, 以下のことが分かった.
① Dropout を設定しないと, 過学習が発生していることが分かった.

② Dropout を設定すると, 過学習を抑制できる分かった.

③ Dropout に設定する r の値を変えると, 表示されるグラフも大きく変わってくることが分かった.

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年9月23日2018年11月28日

PyTorch の動作確認をしてみた（４）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.6.5 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 3.1 MLPの構築と学習(P.046 – P.049) である。
GPU転送の方法について書かれていたので, 少し動作確認を行った.

※プログラムの詳細は、書籍を参考(P.046 – P.049)にして下さい。

■①MLPの構築例(CPU版／合計2層).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
import time

# 2. build a network.
start = time.time()
net = nn.Sequential(
        nn.Linear(64, 32),
        nn.ReLU(),
        nn.Linear(32, 10)
    )

# 3. set data and convert ndarray of numpy to pytorch tensor.
X, y = load_digits(return_X_y = True)
X = torch.tensor(X, dtype=torch.float32)
y = torch.tensor(y, dtype=torch.int64)   # dtype=torch.float32 でないことに注意.

～(略)～

# 13. display correct answer rate.
print(out)
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

import matplotlib.pyplot as plt

from sklearn.datasets import load_digits

import time

# 2. build a network.

start = time.time()

net = nn.Sequential(

nn.Linear(64, 32),

nn.ReLU(),

nn.Linear(32, 10)

)

# 3. set data and convert ndarray of numpy to pytorch tensor.

X, y = load_digits(return_X_y = True)

X = torch.tensor(X, dtype=torch.float32)

y = torch.tensor(y, dtype=torch.int64) # dtype=torch.float32 でないことに注意.

～(略)～

# 13. display correct answer rate.

print(out)

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(CPU版／合計2層).

0.998330550918197
--------------------------------------------------
Elapsed Time: 1.666921854019165[sec]

0.998330550918197

--------------------------------------------------

Elapsed Time: 1.666921854019165[sec]

■②MLPの構築例(GPU版／合計2層).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
import time

# 2. build a network.
start = time.time()
net = nn.Sequential(
        nn.Linear(64, 32),
        nn.ReLU(),
        nn.Linear(32, 10)
    )

# 3. set data and convert ndarray of numpy to pytorch tensor.
X, y = load_digits(return_X_y = True)
X = torch.tensor(X, dtype=torch.float32)
y = torch.tensor(y, dtype=torch.int64)   # dtype=torch.float32 でないことに注意.

# 4. CPU to GPU.
# PyTorch (6) Convolutional Neural Network.
# http://aidiary.hatenablog.com/entry/20180205/1517832760
use_gpu = torch.cuda.is_available()
print("torch.cuda.current_device() = " + str(torch.cuda.current_device()))
if use_gpu:
    print('cuda is available!')    
X = X.to("cuda:0")
y = y.to("cuda:0")
net.to("cuda:0")

～(略)～

# 13. display correct answer rate.
print(out)
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

import matplotlib.pyplot as plt

from sklearn.datasets import load_digits

import time

# 2. build a network.

start = time.time()

net = nn.Sequential(

nn.Linear(64, 32),

nn.ReLU(),

nn.Linear(32, 10)

)

# 3. set data and convert ndarray of numpy to pytorch tensor.

X, y = load_digits(return_X_y = True)

X = torch.tensor(X, dtype=torch.float32)

y = torch.tensor(y, dtype=torch.int64) # dtype=torch.float32 でないことに注意.

# 4. CPU to GPU.

# PyTorch (6) Convolutional Neural Network.

# http://aidiary.hatenablog.com/entry/20180205/1517832760

use_gpu = torch.cuda.is_available()

print("torch.cuda.current_device() = " + str(torch.cuda.current_device()))

if use_gpu:

print('cuda is available!')

X = X.to("cuda:0")

y = y.to("cuda:0")

net.to("cuda:0")

～(略)～

# 13. display correct answer rate.

print(out)

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(GPU版／合計2層).

torch.cuda.current_device() = 0
cuda is available!
0.9977740678909294
--------------------------------------------------
Elapsed Time: 3.92018461227417[sec]

torch.cuda.current_device() = 0

cuda is available!

0.9977740678909294

--------------------------------------------------

Elapsed Time: 3.92018461227417[sec]

■③MLPの構築例(CPU版／合計20層).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
import time

# 2. build a network.
start = time.time()
net = nn.Sequential(
        nn.Linear(64, 32),
        nn.ReLU(),
        nn.Linear(32, 32),
        nn.ReLU(),
～(略)～
        nn.Linear(32, 32),
        nn.ReLU(),
        nn.Linear(32, 10)
    )

# 3. set data and convert ndarray of numpy to pytorch tensor.
X, y = load_digits(return_X_y = True)
～(略)～

# 13. display correct answer rate.
print(out)
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

import matplotlib.pyplot as plt

from sklearn.datasets import load_digits

import time

# 2. build a network.

start = time.time()

net = nn.Sequential(

nn.Linear(64, 32),

nn.ReLU(),

nn.Linear(32, 32),

nn.ReLU(),

～(略)～

nn.Linear(32, 32),

nn.ReLU(),

nn.Linear(32, 10)

)

# 3. set data and convert ndarray of numpy to pytorch tensor.

X, y = load_digits(return_X_y = True)

～(略)～

# 13. display correct answer rate.

print(out)

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(CPU版／合計20層).

0.7907623817473567
--------------------------------------------------
Elapsed Time: 7.015232563018799[sec]

0.7907623817473567

--------------------------------------------------

Elapsed Time: 7.015232563018799[sec]

■④MLPの構築例(GPU版／合計20層).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
import time


# 2. build a network.
start = time.time()
net = nn.Sequential(
        nn.Linear(64, 32),
        nn.ReLU(),
        nn.Linear(32, 32),
        nn.ReLU(),
～(略)～
        nn.Linear(32, 32),
        nn.ReLU(),
        nn.Linear(32, 10)
    )

# 3. set data and convert ndarray of numpy to pytorch tensor.
X, y = load_digits(return_X_y = True)
X = torch.tensor(X, dtype=torch.float32)
y = torch.tensor(y, dtype=torch.int64)   # dtype=torch.float32 でないことに注意.

# 4. CPU to GPU.
# PyTorch (6) Convolutional Neural Network.
# http://aidiary.hatenablog.com/entry/20180205/1517832760
use_gpu = torch.cuda.is_available()
print("torch.cuda.current_device() = " + str(torch.cuda.current_device()))
if use_gpu:
    print('cuda is available!')    
X = X.to("cuda:0")
y = y.to("cuda:0")
net.to("cuda:0")

～(略)～

# 13. display correct answer rate.
print(out)
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

import matplotlib.pyplot as plt

from sklearn.datasets import load_digits

import time

# 2. build a network.

start = time.time()

net = nn.Sequential(

nn.Linear(64, 32),

nn.ReLU(),

nn.Linear(32, 32),

nn.ReLU(),

～(略)～

nn.Linear(32, 32),

nn.ReLU(),

nn.Linear(32, 10)

)

# 3. set data and convert ndarray of numpy to pytorch tensor.

X, y = load_digits(return_X_y = True)

X = torch.tensor(X, dtype=torch.float32)

y = torch.tensor(y, dtype=torch.int64) # dtype=torch.float32 でないことに注意.

# 4. CPU to GPU.

# PyTorch (6) Convolutional Neural Network.

# http://aidiary.hatenablog.com/entry/20180205/1517832760

use_gpu = torch.cuda.is_available()

print("torch.cuda.current_device() = " + str(torch.cuda.current_device()))

if use_gpu:

print('cuda is available!')

X = X.to("cuda:0")

y = y.to("cuda:0")

net.to("cuda:0")

～(略)～

# 13. display correct answer rate.

print(out)

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(GPU版／合計20層).

torch.cuda.current_device() = 0
cuda is available!
0.887590428491931
--------------------------------------------------
Elapsed Time: 14.03317642211914[sec]

torch.cuda.current_device() = 0

cuda is available!

0.887590428491931

--------------------------------------------------

Elapsed Time: 14.03317642211914[sec]

■注意点として, 以下のことが分かった.
① 層の数を増やしても, 必ずしも, 正解率が上がらない点が分かった.
実行結果(CPU版／合計2層): 0.998330550918197
実行結果(CPU版／合計20層): 0.7907623817473567
を比較すると, 実行結果(CPU版／合計2層) の前者の方が, 正解率が高いことが分かる.

実行結果(GPU版／合計2層): 0.9977740678909294
実行結果(GPU版／合計20層): 0.887590428491931
を比較すると, 実行結果(GPU版／合計2層) の前者の方が, 正解率が高いことが分かる.

② ここでのMLPにおいては, GPU転送しても, 高速化するわけではないことが分かった.
実行結果(CPU版／合計2層): Elapsed Time: 1.666921854019165[sec]
実行結果(GPU版／合計2層): Elapsed Time: 3.92018461227417[sec]
比較すると, 実行結果(CPU版／合計2層) の前者の方が, 処理が早く完了していたことが分かる.

実行結果(CPU版／合計20層): Elapsed Time: 7.015232563018799[sec]
実行結果(GPU版／合計20層): Elapsed Time: 14.03317642211914[sec]
比較すると, 実行結果(CPU版／合計20層) の前者の方が, 処理が早く完了していたことが分かる.

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

■参照サイト
PyTorch (6) Convolutional Neural Network.

2018年9月22日2018年9月22日

PyTorch の動作確認をしてみた（３）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.6.5 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 2.3.2 PyTorchで線形回帰モデル(P.032 – P.034) である。
線形回帰について, 少し理解を深めるため, 書籍例から, 若干異なるパターンについて, 線形回帰モデルのパラメータを求める動作確認を行った.

※プログラムの詳細は、書籍を参考(P.032 – P.034)にして下さい。

■線形回帰モデル例.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
import matplotlib.pyplot as plt

# 2. 線形回帰モデル の 挙動確認.
# y = 2 + 3 * x1 * x1 + 4 * x2 * x2
# 
# torch.Tensor
# https://pytorch.org/docs/stable/tensors.html
# torch.Tensor is an alias for the default tensor type (torch.FloatTensor).
#
# w_true = torch.tensor([2, 3, 4]) # tensor([2, 3, 4])
w_true = torch.Tensor([2, 3, 4])   # tensor([2., 3., 4.])

# 3. prepare data.
data_count = 500
X0 = torch.randn(data_count, 2)
print(X0)
print('--------------------------------------------------')
X1 = X0 * X0 # Broadcasting.
X = torch.cat([torch.ones(data_count, 1), X1], 1)
print(X)
print('--------------------------------------------------')

# 4. compute the true coefficient and the inner product of each X in batch 
# by the product of matrix and vector.
y = torch.mv(X, w_true) + torch.randn(data_count) * 0.5
# y = torch.mv(X, w_true)
print(y)
print('--------------------------------------------------')

～(略)～

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

import matplotlib.pyplot as plt

# 2. 線形回帰モデルの挙動確認.

# y = 2 + 3 * x1 * x1 + 4 * x2 * x2

# torch.Tensor

# https://pytorch.org/docs/stable/tensors.html

# torch.Tensor is an alias for the default tensor type (torch.FloatTensor).

# w_true = torch.tensor([2, 3, 4]) # tensor([2, 3, 4])

w_true = torch.Tensor([2, 3, 4]) # tensor([2., 3., 4.])

# 3. prepare data.

data_count = 500

X0 = torch.randn(data_count, 2)

print(X0)

print('--------------------------------------------------')

X1 = X0 * X0 # Broadcasting.

X = torch.cat([torch.ones(data_count, 1), X1], 1)

print(X)

print('--------------------------------------------------')

# 4. compute the true coefficient and the inner product of each X in batch

# by the product of matrix and vector.

y = torch.mv(X, w_true) + torch.randn(data_count) * 0.5

# y = torch.mv(X, w_true)

print(y)

print('--------------------------------------------------')

～(略)～

■実行結果①(data_count = 10).

～(略)～
        [1.0000, 0.7955, 0.2763],
        [1.0000, 0.5319, 1.3277]])
--------------------------------------------------
tensor([ 2.8867,  7.3405,  7.5650, 12.5030, 11.2085, 17.1577, 15.5873,  2.8067,
         5.7816,  9.2496])
--------------------------------------------------
tensor([2.8924, 2.0340, 4.0582], requires_grad=True)

～(略)～

[1.0000, 0.7955, 0.2763],

[1.0000, 0.5319, 1.3277]])

--------------------------------------------------

tensor([ 2.8867, 7.3405, 7.5650, 12.5030, 11.2085, 17.1577, 15.5873, 2.8067,

5.7816, 9.2496])

--------------------------------------------------

tensor([2.8924, 2.0340, 4.0582], requires_grad=True)

■実行結果②(data_count = 10).

～(略)～
        [1.0000, 1.0873, 0.0707],
        [1.0000, 0.3970, 3.4036]])
--------------------------------------------------
tensor([20.8009, 30.3586,  3.3634,  9.0505,  5.7447,  3.9322,  2.7843,  2.1391,
         5.4978, 17.1587])
--------------------------------------------------
tensor([-0.0309, -9.4697,  2.3776], requires_grad=True)

～(略)～

[1.0000, 1.0873, 0.0707],

[1.0000, 0.3970, 3.4036]])

--------------------------------------------------

tensor([20.8009, 30.3586, 3.3634, 9.0505, 5.7447, 3.9322, 2.7843, 2.1391,

5.4978, 17.1587])

--------------------------------------------------

tensor([-0.0309, -9.4697, 2.3776], requires_grad=True)

■実行結果③(data_count = 500).

～(略)～
         6.7367,  7.7044,  5.6503,  6.4688,  3.9203,  6.6951,  9.7749,  8.9205,
         5.0567,  3.1883,  2.4842, 11.1703, 14.5386, 13.3721,  2.0347,  6.0471,
         8.7057,  3.3889,  2.8237,  8.5143])
--------------------------------------------------
tensor([2.0220, 3.0041, 4.0148], requires_grad=True)

～(略)～

6.7367, 7.7044, 5.6503, 6.4688, 3.9203, 6.6951, 9.7749, 8.9205,

5.0567, 3.1883, 2.4842, 11.1703, 14.5386, 13.3721, 2.0347, 6.0471,

8.7057, 3.3889, 2.8237, 8.5143])

--------------------------------------------------

tensor([2.0220, 3.0041, 4.0148], requires_grad=True)

■注意点として, 以下のことが分かった.
① torch.tensor([2, 3, 4]) と torch.Tensor([2, 3, 4]) は, 別物であること(※tensor／Tensor の誤記ではない点に注意).
※参照サイトに, “torch.Tensor is an alias for the default tensor type (torch.FloatTensor).” の説明があった.

② サンプル数(data_count) が, 10 の場合は, 実行結果②(data_count = 10) にあるように, 正解値 [2., 3., 4.] から, 大きく外れた値 (ここでは, [-0.0309, -9.4697, 2.3776]) で出力される場合が確認された.

③ サンプル数(data_count) が, 500 の場合は, 正解値 [2., 3., 4.] から, 大きく外れた値を確認出来なかったので, サンプル数を増やすことで, 線形回帰の精度が高まったと理解される.
※[F5]キー連打で, 200回程度試してみた.

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

■参照サイト
torch.Tensor

2018年9月18日

PyTorch の動作確認をしてみた（２）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.6.5 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 1.3 Tensorと自動微分(P.022 – P.023) である。
自動微分について, 少し理解を深めるため, 簡単な動作確認を行った.

※プログラムの詳細は、書籍を参考(P.022 – P.023)にして下さい。

■自動微分例①.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch

# 2. automatic differentiation の 挙動確認.
# Autograd: automatic differentiation.
# https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#gradients
#
# requires_grad=False とすると, 以下のような実行時エラーが表示される.
# RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
# a = torch.randn(2, 2, requires_grad=False)
a = torch.randn(3, 2, requires_grad=True)
# b = a11 * a11 + a12 * a12 + a21 * a21 + a22 * a22 + a31 * a31 + a32 * a32
# のように計算している.
# 但し, aij で, テンソルa の i行j列目 を表しているとする. 
b = (a * a).sum()
print(a)
print('--------------------------------------------------')
print(b)
print('--------------------------------------------------')
print(b.grad_fn)
print('--------------------------------------------------')
b.backward()
# a.grad で, ∂b/∂a11 = a11 * 2, ..., ∂b/∂a32 = a32 * 2 といった計算が行われ, 計算結果が表示される.
print(a.grad)

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

# 2. automatic differentiation の挙動確認.

# Autograd: automatic differentiation.

# https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#gradients

# requires_grad=False とすると, 以下のような実行時エラーが表示される.

# RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

# a = torch.randn(2, 2, requires_grad=False)

a = torch.randn(3, 2, requires_grad=True)

# b = a11 * a11 + a12 * a12 + a21 * a21 + a22 * a22 + a31 * a31 + a32 * a32

# のように計算している.

# 但し, aij で, テンソルa の i行j列目を表しているとする.

b = (a * a).sum()

print(a)

print('--------------------------------------------------')

print(b)

print('--------------------------------------------------')

print(b.grad_fn)

print('--------------------------------------------------')

b.backward()

# a.grad で, ∂b/∂a11 = a11 * 2, ..., ∂b/∂a32 = a32 * 2 といった計算が行われ, 計算結果が表示される.

print(a.grad)

■実行結果①.

tensor([[ 0.4537,  0.2061],
        [-0.5527, -2.7338],
        [-0.1388,  1.5524]], requires_grad=True)
--------------------------------------------------
tensor(10.4567, grad_fn=<SumBackward0>)
--------------------------------------------------
<SumBackward0 object at 0x0000029B936FD3C8>
--------------------------------------------------
tensor([[ 0.9074,  0.4122],
        [-1.1054, -5.4676],
        [-0.2775,  3.1047]])

tensor([[ 0.4537, 0.2061],

[-0.5527, -2.7338],

[-0.1388, 1.5524]], requires_grad=True)

--------------------------------------------------

tensor(10.4567, grad_fn=<SumBackward0>)

--------------------------------------------------

--------------------------------------------------

tensor([[ 0.9074, 0.4122],

[-1.1054, -5.4676],

[-0.2775, 3.1047]])

■自動微分例②.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch

# 2. automatic differentiation の 挙動確認.
# Autograd: automatic differentiation.
# https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#gradients
# 
# a = torch.tensor([[1, 2, 3], [4, 5, 6]], requires_grad=True)
# -> 以下のような実行時エラーが表示される.
# RuntimeError: Only Tensors of floating point dtype can require gradients
# 
a = torch.tensor([[1, 2, 3], [4, 5, 6.]], requires_grad=True)
# b = (a11 + a12 + a13 + a21 + a22 + a23) / 6
# のように計算している.
# 但し, aij で, テンソルa の i行j列目 を表しているとする. 
b = a.mean()
print(a)
print('--------------------------------------------------')
print(b)
print('--------------------------------------------------')
print(b.grad_fn)
print('--------------------------------------------------')
b.backward()
# a.grad で, ∂b/∂a11 = 1 / 6, ..., ∂b/∂a23 = 1 / 6 といった計算が行われ, 計算結果が表示される.
print(a.grad)

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

# 2. automatic differentiation の挙動確認.

# Autograd: automatic differentiation.

# https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#gradients

# a = torch.tensor([[1, 2, 3], [4, 5, 6]], requires_grad=True)

# -> 以下のような実行時エラーが表示される.

# RuntimeError: Only Tensors of floating point dtype can require gradients

a = torch.tensor([[1, 2, 3], [4, 5, 6.]], requires_grad=True)

# b = (a11 + a12 + a13 + a21 + a22 + a23) / 6

# のように計算している.

# 但し, aij で, テンソルa の i行j列目を表しているとする.

b = a.mean()

print(a)

print('--------------------------------------------------')

print(b)

print('--------------------------------------------------')

print(b.grad_fn)

print('--------------------------------------------------')

b.backward()

# a.grad で, ∂b/∂a11 = 1 / 6, ..., ∂b/∂a23 = 1 / 6 といった計算が行われ, 計算結果が表示される.

print(a.grad)

■実行結果②.

tensor([[1., 2., 3.],
        [4., 5., 6.]], requires_grad=True)
--------------------------------------------------
tensor(3.5000, grad_fn=<MeanBackward1>)
--------------------------------------------------
<MeanBackward1 object at 0x0000029B937199B0>
--------------------------------------------------
tensor([[0.1667, 0.1667, 0.1667],
        [0.1667, 0.1667, 0.1667]])

tensor([[1., 2., 3.],

[4., 5., 6.]], requires_grad=True)

--------------------------------------------------

tensor(3.5000, grad_fn=<MeanBackward1>)

--------------------------------------------------

--------------------------------------------------

tensor([[0.1667, 0.1667, 0.1667],

[0.1667, 0.1667, 0.1667]])

■自動微分例③.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch

# 2. automatic differentiation の 挙動確認.
# Autograd: automatic differentiation.
# https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#gradients
# 
a = torch.tensor([[1, 2, 3], [5, 6, 4.]], requires_grad=True)
# b = max(a11, a12, a13, a21, a22, a23) = a22
# のように計算している.
# 但し, aij で, テンソルa の i行j列目 を表しているとする. 
b = torch.max(a)
print(a)
print('--------------------------------------------------')
print(b)
print('--------------------------------------------------')
print(b.grad_fn)
print('--------------------------------------------------')
b.backward()
# a.grad で, ∂b/∂a11 = 0, ..., ∂b/∂a22 = 1, ∂b/∂a23 = 0 といった計算が行われ, 計算結果が表示される.
print(a.grad)

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

# 2. automatic differentiation の挙動確認.

# Autograd: automatic differentiation.

# https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#gradients

a = torch.tensor([[1, 2, 3], [5, 6, 4.]], requires_grad=True)

# b = max(a11, a12, a13, a21, a22, a23) = a22

# のように計算している.

# 但し, aij で, テンソルa の i行j列目を表しているとする.

b = torch.max(a)

print(a)

print('--------------------------------------------------')

print(b)

print('--------------------------------------------------')

print(b.grad_fn)

print('--------------------------------------------------')

b.backward()

# a.grad で, ∂b/∂a11 = 0, ..., ∂b/∂a22 = 1, ∂b/∂a23 = 0 といった計算が行われ, 計算結果が表示される.

print(a.grad)

■実行結果③.

tensor([[1., 2., 3.],
        [5., 6., 4.]], requires_grad=True)
--------------------------------------------------
tensor(6., grad_fn=<MaxBackward1>)
--------------------------------------------------
<MaxBackward1 object at 0x0000029B93719320>
--------------------------------------------------
tensor([[0., 0., 0.],
        [0., 1., 0.]])

tensor([[1., 2., 3.],

[5., 6., 4.]], requires_grad=True)

--------------------------------------------------

tensor(6., grad_fn=<MaxBackward1>)

--------------------------------------------------

--------------------------------------------------

tensor([[0., 0., 0.],

[0., 1., 0.]])

■自動微分例④.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch

# 2. automatic differentiation の 挙動確認.
# Autograd: automatic differentiation.
# https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#gradients
# 
a = torch.tensor([[1, 3], [4, 2.]], requires_grad=True)
# b が, スカラーでない場合は, 以下のような実行時エラーが出力される.
# RuntimeError: grad can be implicitly created only for scalar outputs
# b = torch.mm(a.t(), a)
# 
# b11 = a11 * a11 + a21 * a21
# b12 = a12 * a11 + a22 * a21
# b21 = a11 * a12 + a21 * a22
# b22 = a12 * a12 + a22 * a22
# のように計算している.
# 但し, aij で, テンソルa の i行j列目 を表しているとする. 
b = torch.mm(a.t(), a)
# c = (b11 + b12 + b21 + b22) / 4 のように計算している.
c = b.mean()
print(a)
print('--------------------------------------------------')
print(b)
print('--------------------------------------------------')
print(c)
print('--------------------------------------------------')
print(c.grad_fn)
print('--------------------------------------------------')
c.backward()
# a.grad で, ∂c/∂a11 = (∂b11/∂a11 + ∂b12/∂a11 + ∂b21/∂a11 + ∂b22/∂a11) / 4
# = (a11 * 2 + a12 + a12) / 4, 
# ∂c/∂a12 = (∂b11/∂a12 + ∂b12/∂a12 + ∂b21/∂a12 + ∂b22/∂a12) / 4
# = (a11 + a11 + a12 * 2) / 4, ...
# など計算が行われ, ∂c/∂a11, ..., ∂c/∂a22 の各計算結果が表示される.
print(a.grad)

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

# 2. automatic differentiation の挙動確認.

# Autograd: automatic differentiation.

# https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#gradients

a = torch.tensor([[1, 3], [4, 2.]], requires_grad=True)

# b が, スカラーでない場合は, 以下のような実行時エラーが出力される.

# RuntimeError: grad can be implicitly created only for scalar outputs

# b = torch.mm(a.t(), a)

# b11 = a11 * a11 + a21 * a21

# b12 = a12 * a11 + a22 * a21

# b21 = a11 * a12 + a21 * a22

# b22 = a12 * a12 + a22 * a22

# のように計算している.

# 但し, aij で, テンソルa の i行j列目を表しているとする.

b = torch.mm(a.t(), a)

# c = (b11 + b12 + b21 + b22) / 4 のように計算している.

c = b.mean()

print(a)

print('--------------------------------------------------')

print(b)

print('--------------------------------------------------')

print(c)

print('--------------------------------------------------')

print(c.grad_fn)

print('--------------------------------------------------')

c.backward()

# a.grad で, ∂c/∂a11 = (∂b11/∂a11 + ∂b12/∂a11 + ∂b21/∂a11 + ∂b22/∂a11) / 4

# = (a11 * 2 + a12 + a12) / 4,

# ∂c/∂a12 = (∂b11/∂a12 + ∂b12/∂a12 + ∂b21/∂a12 + ∂b22/∂a12) / 4

# = (a11 + a11 + a12 * 2) / 4, ...

# など計算が行われ, ∂c/∂a11, ..., ∂c/∂a22 の各計算結果が表示される.

print(a.grad)

■実行結果④.

tensor([[1., 3.],
        [4., 2.]], requires_grad=True)
--------------------------------------------------
tensor([[17., 11.],
        [11., 13.]], grad_fn=<MmBackward>)
--------------------------------------------------
tensor(13., grad_fn=<MeanBackward1>)
--------------------------------------------------
<MeanBackward1 object at 0x0000029B936DCDA0>
--------------------------------------------------
tensor([[2., 2.],
        [3., 3.]])

tensor([[1., 3.],

[4., 2.]], requires_grad=True)

--------------------------------------------------

tensor([[17., 11.],

[11., 13.]], grad_fn=<MmBackward>)

--------------------------------------------------

tensor(13., grad_fn=<MeanBackward1>)

--------------------------------------------------

--------------------------------------------------

tensor([[2., 2.],

[3., 3.]])

■注意点として, 以下のことが分かった.
① a に, requires_grad=False を指定すると,
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
のようなエラーが出力されること.

② a が float型でないと,
RuntimeError: Only Tensors of floating point dtype can require gradients
のようなエラーが出力されること.

③ b がスカラーでないと,
RuntimeError: grad can be implicitly created only for scalar outputs
のようなエラーが出力されること.

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

■参照サイト
Autograd: automatic differentiation

2018年9月16日2018年10月3日

PyTorch の動作確認をしてみた（１）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.6.5 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の該当ページ(P.002 – P.016) である。
pytorch の install から簡単な動作確認を行った.

※プログラムの詳細は、書籍を参考(P.002 – P.016)にして下さい。

■PyTorch の install.

1. PyTorch環境設定(仮想環境: base(root)).
1-1. [Anaconda Navigator] から [Environments] - [base(root)] の 右三角ボタンを押下し, [Open Terminal]押下.

1-2. 以下のコマンドを確認.
(base) >conda install -c soumith pytorch
Solving environment: -
Warning: 8 possible package resolutions (only showing differing packages):
～(略)～
Proceed ([y]/n)? y


Downloading and Extracting Packages
conda-4.5.11         | 1.0 MB    | ################################################################ | 100%
pytorch-0.4.1        | 590.8 MB  | ################################################################ | 100%
Preparing transaction: done
Verifying transaction: done
Executing transaction: done

(base) >exit
-> [Enter]キー押下で, Terminal終了.

1. PyTorch環境設定(仮想環境: base(root)).

1-1. [Anaconda Navigator] から [Environments] - [base(root)] の右三角ボタンを押下し, [Open Terminal]押下.

1-2. 以下のコマンドを確認.

(base) >conda install -c soumith pytorch

Solving environment: -

Warning: 8 possible package resolutions (only showing differing packages):

～(略)～

Proceed ([y]/n)? y

Downloading and Extracting Packages

conda-4.5.11 | 1.0 MB | ################################################################ | 100%

pytorch-0.4.1 | 590.8 MB | ################################################################ | 100%

Preparing transaction: done

Verifying transaction: done

Executing transaction: done

(base) >exit

-> [Enter]キー押下で, Terminal終了.

2. PyTorch環境設定(仮想環境: tf_env_3.6).
2-1. [Anaconda Navigator] から [Environments] - [tf_env_3.6] の 右三角ボタンを押下し, [Open Terminal]押下.

2-2. 以下のコマンドを確認.
(tf_env_3.6) >conda install -c soumith pytorch
Solving environment: -
Warning: 4 possible package resolutions (only showing differing packages):
～(略)～
Proceed ([y]/n)? y


Downloading and Extracting Packages
certifi-2018.8.24    | 140 KB    | ################################################################ | 100%
Preparing transaction: done
Verifying transaction: done
Executing transaction: done

(tf_env_3.6) >exit
-> [Enter]キー押下で, Terminal終了.

2. PyTorch環境設定(仮想環境: tf_env_3.6).

2-1. [Anaconda Navigator] から [Environments] - [tf_env_3.6] の右三角ボタンを押下し, [Open Terminal]押下.

2-2. 以下のコマンドを確認.

(tf_env_3.6) >conda install -c soumith pytorch

Solving environment: -

Warning: 4 possible package resolutions (only showing differing packages):

～(略)～

Proceed ([y]/n)? y

Downloading and Extracting Packages

certifi-2018.8.24 | 140 KB | ################################################################ | 100%

Preparing transaction: done

Verifying transaction: done

Executing transaction: done

(tf_env_3.6) >exit

-> [Enter]キー押下で, Terminal終了.

■対象プログラム(Spyder上).

# -*- coding: utf-8 -*-
# pytorch を 下記コマンドで, install.
# conda install -c soumith pytorch
# 1. library import.
from __future__ import print_function
import torch

# What is PyTorch?
# https://pytorch.org/tutorials/beginner/blitz/tensor_tutorial.html
x = torch.rand(3, 3)
print(x)
print('--------------------------------------------------')
x = torch.zeros(3, 4, 2, dtype=torch.long)
print(x)
print('--------------------------------------------------')
x = torch.tensor([[5.5, 4.4, 3.3], [2.2, 1.1, 0.0]])
print(x)
print('--------------------------------------------------')
print(x.size())

# -*- coding: utf-8 -*-

# pytorch を下記コマンドで, install.

# conda install -c soumith pytorch

# 1. library import.

from __future__ import print_function

import torch

# What is PyTorch?

# https://pytorch.org/tutorials/beginner/blitz/tensor_tutorial.html

x = torch.rand(3, 3)

print(x)

print('--------------------------------------------------')

x = torch.zeros(3, 4, 2, dtype=torch.long)

print(x)

print('--------------------------------------------------')

x = torch.tensor([[5.5, 4.4, 3.3], [2.2, 1.1, 0.0]])

print(x)

print('--------------------------------------------------')

print(x.size())

■実行結果

tensor([[0.7610, 0.7807, 0.4209],
        [0.7069, 0.7736, 0.8407],
        [0.7584, 0.4032, 0.5651]])
--------------------------------------------------
tensor([[[0, 0],
         [0, 0],
         [0, 0],
         [0, 0]],

        [[0, 0],
         [0, 0],
         [0, 0],
         [0, 0]],

        [[0, 0],
         [0, 0],
         [0, 0],
         [0, 0]]])
--------------------------------------------------
tensor([[5.5000, 4.4000, 3.3000],
        [2.2000, 1.1000, 0.0000]])
--------------------------------------------------
torch.Size([2, 3])

tensor([[0.7610, 0.7807, 0.4209],

[0.7069, 0.7736, 0.8407],

[0.7584, 0.4032, 0.5651]])

--------------------------------------------------

tensor([[[0, 0],

[0, 0],

[0, 0]],

[[0, 0],

[0, 0],

[0, 0]],

[[0, 0],

[0, 0],

[0, 0]]])

--------------------------------------------------

tensor([[5.5000, 4.4000, 3.3000],

[2.2000, 1.1000, 0.0000]])

--------------------------------------------------

torch.Size([2, 3])

※ちなみに, Spyder上で, 出力に, runfile(…) が表示されるので, 非表示に出来ないのかを調べたところ, 下記, 参照サイト③ にあるように, Spyder 4, to be released in 2019 で対応する可能性があるとのこと.

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

■参照サイト
【参照サイト①】Welcome to PyTorch Tutorials
【参照サイト②】What is PyTorch?
【参照サイト③】hidding the runfile() command in Spyder