PyTorch | 個人用メモ帳

2018年12月24日

PyTorch の動作確認をしてみた（２６）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. Python のバージョンは、3.6.6 である。

4. Chainer のバージョンは、5.1.0 である。

5. ChainerCV のバージョンは、0.11.0 である。

6. onnx-chainer のバージョンは、1.3.0a1 である。

7. MXNet のバージョンは、1.5.0b20181224 である。

8. CPU は, Intel社の Core(TM) i7-7700HQ である。

① PyTorch の 動作確認というよりは, ONNX を 確認したように見える.

② 今回確認した内容は, Chainer -> (*.onnx) -> MXNet の 動作確認である(参照URL⑤).

③ 元々, ONNXの挙動について, Caffe2 -> (*.onnx) -> PyTorch のようなことを確認したかったが, 下記2点から, 断念することになった.
・Caffe2 の 環境構築のハードルが高いこと(参照URL①).
・PyTorch は, [Importing ONNX models] について, "coming soon" と記載されていたこと(参照URL④).

⑤ したがって, 以下のパターンを確認することにした(参照URL⑤).
export側 … Chainer
import側 … MXNet

⑥ 詰まった箇所として, onnx-chainer の install を, Python の バージョン が 3.7.x である仮想環境行ったところ, 
～(略)～ AssertionError: Could not find "cmake" executable! ～(略)～
のような error が出力されたので, Python の バージョン が 3.6.6 の仮想環境で, install した.
※参照URL⑤ の Tested environment の箇所で, "Python 3.5.5, 3.6.7" と記載されているので, Python の バージョン が 3.7.x だと, 動作確認出来ないことが, 後から分かった.

⑦ Spyder の version を, 3.3.2 としたところ, 起動しなくなったので, Spyder だけ単品で再install(conda install -c anaconda spyder)したところ起動するようになった.

① PyTorch の動作確認というよりは, ONNX を確認したように見える.

② 今回確認した内容は, Chainer -> (*.onnx) -> MXNet の動作確認である(参照URL⑤).

③ 元々, ONNXの挙動について, Caffe2 -> (*.onnx) -> PyTorch のようなことを確認したかったが, 下記2点から, 断念することになった.

・Caffe2 の環境構築のハードルが高いこと(参照URL①).

・PyTorch は, [Importing ONNX models] について, "coming soon" と記載されていたこと(参照URL④).

⑤ したがって, 以下のパターンを確認することにした(参照URL⑤).

export側 … Chainer

import側 … MXNet

⑥ 詰まった箇所として, onnx-chainer の install を, Python のバージョンが 3.7.x である仮想環境行ったところ,

～(略)～ AssertionError: Could not find "cmake" executable! ～(略)～

のような error が出力されたので, Python のバージョンが 3.6.6 の仮想環境で, install した.

※参照URL⑤ の Tested environment の箇所で, "Python 3.5.5, 3.6.7" と記載されているので, Python のバージョンが 3.7.x だと, 動作確認出来ないことが, 後から分かった.

⑦ Spyder の version を, 3.3.2 としたところ, 起動しなくなったので, Spyder だけ単品で再install(conda install -c anaconda spyder)したところ起動するようになった.

■Chainer(参照URL③ のチュートリアルより)

# -*- coding: utf-8 -*-
# chainer を 下記コマンドで, install.
# pip install chainer
# 1. library import.
from __future__ import print_function
import chainer
import numpy as np

# 2. check the output of the tutorial.
print("Hello World!")
print(chainer.__version__)
print(355.0 / 113.0)
print(np.eye(5))

total = 0
for i in range(10):
    total += i

print(total)

# -*- coding: utf-8 -*-

# chainer を下記コマンドで, install.

# pip install chainer

# 1. library import.

from __future__ import print_function

import chainer

import numpy as np

# 2. check the output of the tutorial.

print("Hello World!")

print(chainer.__version__)

print(355.0 / 113.0)

print(np.eye(5))

total = 0

for i in range(10):

total += i

print(total)

■実行結果.

Hello World!
5.1.0
3.1415929203539825
[[1. 0. 0. 0. 0.]
 [0. 1. 0. 0. 0.]
 [0. 0. 1. 0. 0.]
 [0. 0. 0. 1. 0.]
 [0. 0. 0. 0. 1.]]
45

Hello World!

5.1.0

3.1415929203539825

[[1. 0. 0. 0. 0.]

[0. 1. 0. 0. 0.]

[0. 0. 1. 0. 0.]

[0. 0. 0. 1. 0.]

[0. 0. 0. 0. 1.]]

■Chainer -> (*.onnx) -> MXNet(参照URL⑤から抜粋)

# -*- coding: utf-8 -*-
# chainer, onnx-chainer, chainercv, mxnet を 下記コマンドで, install.
# pip install chainer
# pip install onnx-chainer
# pip install chainercv
# pip install mxnet --pre
# 1. library import.
from __future__ import print_function
import collections
import mxnet
import numpy as np
import chainer
import chainercv.links as C
import onnx_chainer
import os, time

# 2. prepare an input tensor etc.
start = time.time()
model = C.VGG16(pretrained_model='imagenet')
fn = os.path.expanduser('~') + '\\.spyder-py3\\chainer\\vgg16-to-MXNet.onnx'
x = np.random.rand(1, 3, 224, 224).astype(np.float32) * 255

～(略)～

# 11. check the prediction results are same.
assert np.argmax(chainer_out) == np.argmax(mxnet_out)

# 12. check both outputs have same values.
np.testing.assert_almost_equal(chainer_out, mxnet_out, decimal=5)

end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# chainer, onnx-chainer, chainercv, mxnet を下記コマンドで, install.

# pip install chainer

# pip install onnx-chainer

# pip install chainercv

# pip install mxnet --pre

# 1. library import.

from __future__ import print_function

import collections

import mxnet

import numpy as np

import chainer

import chainercv.links as C

import onnx_chainer

import os, time

# 2. prepare an input tensor etc.

start = time.time()

model = C.VGG16(pretrained_model='imagenet')

fn = os.path.expanduser('~') + '\\.spyder-py3\\chainer\\vgg16-to-MXNet.onnx'

x = np.random.rand(1, 3, 224, 224).astype(np.float32) * 255

～(略)～

# 11. check the prediction results are same.

assert np.argmax(chainer_out) == np.argmax(mxnet_out)

# 12. check both outputs have same values.

np.testing.assert_almost_equal(chainer_out, mxnet_out, decimal=5)

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

--------------------------------------------------
Elapsed Time: 18.647728204727173[sec]

-> Chainer で export した, vgg16-to-MXNet.onnx を, MXNet で 正しく import 出来ることを確認出来た.

--------------------------------------------------

Elapsed Time: 18.647728204727173[sec]

-> Chainer で export した, vgg16-to-MXNet.onnx を, MXNet で正しく import 出来ることを確認出来た.

■参照サイト
【参照URL①】Why it is so difficult to install caffe2??? #1811
【参照URL②】【入門】Windows10にChainerをインストールする方法（Anaconda使用）
【参照URL③】Chainer Tutorial Bookへようこそ!
【参照URL④】Getting ONNX models
【参照URL⑤】Tested environment
【参照URL⑥】Installation

2018年11月27日2018年11月27日

PyTorch の動作確認をしてみた（２５）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. Flask のバージョンは、Flask 1.0.2 である。

6. GPU は, NVIDIA社の GeForce GTX 1050 である。

7. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 7.2 Flaskを用いたWebAPI化 (P.175 – P.182) である。

※1. プログラムの詳細は, 書籍を参考(P.175 – P.182)にして下さい.

※2. Unix環境で無いため, 原書のような Gunicorn は使用せず, 代案となるが,
参照URL① にある HTTPクライアント(Advanced REST client)を使う形で, 動作確認を行った.
原書の確認方法から, かなり逸脱してしまったが, 学習済みモデルに, テスト画像を読み込ませて,
予測した情報をレスポンスさせる形で確認できたので, とりあえず良しとした.

※3. 下記, ソースのコメントにも記載したが, “loadするモデル” に注意が必要である,
具体的には, resnet18 以外のネットワークを使った学習モデルを保存（ここでは, taco_and_burrito_09.pth）した場合,
Missing key(s) in state_dict: に関する RuntimeError が生じる.
これを回避するため, resnet18 のネットワークを改変せず, そのまま taco画像, burrito画像を訓練したモデル
（ここでは, resnet18_19.pth）を保存し, このモデルを loadする形で, 動作確認を行った.

[モデル／load error]

[モデル／再保存]

[モデル／load ok]

※4. 下記, ソースのコメントにも記載したが, 最初, 変数 img の取得が出来なかったので, 参照URL② を参考に, Debug Mode(SET FLASK_ENV=development を指定する形)で, 動作確認を行った.

[KeyError: ‘img’]

[Advanced REST client／setting 1]

[Advanced REST client／setting 2]

■フォルダ構成.

■対象プログラム(原書を一部改変).

# -*- coding: utf-8 -*-
# 1. library import.
from flask import Flask, request, jsonify
from PIL import Image

# 2. create an application.
def create_app(classifier):
～(略)～
    def predict():
        # get handler of received file.
        # Debug Mode.
        # http://flask.pocoo.org/docs/1.0/quickstart/#debug-mode
        # SET FLASK_ENV=development
        # -> 以下の error を抽出できた.
        # raise exceptions.BadRequestKeyError(key)
        # werkzeug.exceptions.HTTPException.wrap.<locals>.newcls: 
        # 400 Bad Request: KeyError: 'img'
        # print("request:" + str(request.files)) # ImmutableMultiDict([])
        img_file = request.files["img"]
        # check if the file is empty.
        print("img_file.filename: " + str(img_file.filename) + " => OK!")
～(略)～

# -*- coding: utf-8 -*-

# 1. library import.

from flask import Flask, request, jsonify

from PIL import Image

# 2. create an application.

def create_app(classifier):

～(略)～

def predict():

# get handler of received file.

# Debug Mode.

# http://flask.pocoo.org/docs/1.0/quickstart/#debug-mode

# SET FLASK_ENV=development

# -> 以下の error を抽出できた.

# raise exceptions.BadRequestKeyError(key)

# werkzeug.exceptions.HTTPException.wrap.<locals>.newcls:

# 400 Bad Request: KeyError: 'img'

# print("request:" + str(request.files)) # ImmutableMultiDict([])

img_file = request.files["img"]

# check if the file is empty.

print("img_file.filename: " + str(img_file.filename) + " => OK!")

～(略)～

# -*- coding: utf-8 -*-
# 1. library import.
from torch import nn
from torchvision import transforms, models

# 2. create network.
def create_network():
～(略)～

# 3. declare a class.
class Classifier(object):
～(略)～

# -*- coding: utf-8 -*-

# 1. library import.

from torch import nn

from torchvision import transforms, models

# 2. create network.

def create_network():

～(略)～

# 3. declare a class.

class Classifier(object):

～(略)～

# -*- coding: utf-8 -*-
# 1. library import.
import os, torch
from flaskTest import create_app
from flaskTest.classifier import Classifier

# 2. set path.
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\flaskTest\\'
# pth_file = folder_path + "taco_and_burrito_09.pth"
pth_file = folder_path + "resnet18_19.pth"

# 3. load parameters.
# RuntimeError: Error(s) in loading state_dict for ResNet:
# Missing key(s) in state_dict: "conv1.weight", "bn1.weight", ...
# "0.11.running_var", "0.11.num_batches_tracked", "1.weight", "1.bias".
# -> このエラーは, load する pthファイルの不具合と推測される.
# -> resnet18 以外のネットワークを使った学習モデルを保存したことに起因する, パラメータ不具合と推測.
# -> resnet18 のネットワークを改変しないで, そのまま taco画像, burrito画像を訓練したモデルを保存して, 再確認.
～(略)～

# -*- coding: utf-8 -*-

# 1. library import.

import os, torch

from flaskTest import create_app

from flaskTest.classifier import Classifier

# 2. set path.

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\flaskTest\\'

# pth_file = folder_path + "taco_and_burrito_09.pth"

pth_file = folder_path + "resnet18_19.pth"

# 3. load parameters.

# RuntimeError: Error(s) in loading state_dict for ResNet:

# Missing key(s) in state_dict: "conv1.weight", "bn1.weight", ...

# "0.11.running_var", "0.11.num_batches_tracked", "1.weight", "1.bias".

# -> このエラーは, load する pthファイルの不具合と推測される.

# -> resnet18 以外のネットワークを使った学習モデルを保存したことに起因する, パラメータ不具合と推測.

# -> resnet18 のネットワークを改変しないで, そのまま taco画像, burrito画像を訓練したモデルを保存して, 再確認.

～(略)～

■実行結果.
1. 訓練データ（taco）
画像：taco_000.jpg
予測：taco
⇒ 正解

2. 訓練データ（burrito）
画像：burrito_000.jpg
予測：burrito
⇒ 正解

3. テストデータ（taco）
画像：taco_380.jpg
予測：taco
⇒ 正解

4. テストデータ（burrito）
画像：burrito_383.jpg
予測：taco
⇒ 不正解

5. テストデータ（burrito）
画像：burrito_374.jpg
予測：burrito
⇒ 正解

■参照サイト
【参照URL①】Advanced REST client
【参照URL②】Debug Mode.

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月26日

PyTorch の動作確認をしてみた（２４）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. Flask のバージョンは、Flask 1.0.2 である。

6. GPU は, NVIDIA社の GeForce GTX 1050 である。

7. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 7.2 Flaskを用いたWebAPI化 (P.174 – P.174) である。

※1. プログラムの詳細は, 書籍を参考(P.174 – P.174)にして下さい.
※2. 今回は, PyTorch というよりは, 寧ろ Flask の動作確認となったように思う.

■Flaskの動作確認.

1. [Anaconda Navigator] から [Environments] - [tf_env_3.7] の 右三角ボタンを押下し, [Open Terminal]押下.

(tf_env_3.7) C:XXXXXXXXXXXXXXXXXXXX>prompt $g 

> conda install -c anaconda flask
～(略)～
Downloading and Extracting Packages
zeromq-4.2.5         | 9.5 MB    | ################################################################ | 100%
flask-1.0.2          | 137 KB    | ################################################################ | 100%
lzo-2.10             | 154 KB    | ################################################################ | 100%
bzip2-1.0.6          | 145 KB    | ################################################################ | 100%
libtiff-4.0.9        | 829 KB    | ################################################################ | 100%
hdf5-1.10.2          | 34.8 MB   | ################################################################ | 100%
libsodium-1.0.16     | 585 KB    | ################################################################ | 100%
sqlite-3.25.3        | 937 KB    | ################################################################ | 100%
yaml-0.1.7           | 103 KB    | ################################################################ | 100%
libxslt-1.1.32       | 458 KB    | ################################################################ | 100%
snappy-1.1.7         | 82 KB     | ################################################################ | 100%
icu-58.2             | 21.9 MB   | ################################################################ | 100%
curl-7.61.0          | 120 KB    | ################################################################ | 100%
zlib-1.2.11          | 128 KB    | ################################################################ | 100%
libpng-1.6.35        | 589 KB    | ################################################################ | 100%
jpeg-9b              | 313 KB    | ################################################################ | 100%
certifi-2018.10.15   | 138 KB    | ################################################################ | 100%
tk-8.6.8             | 3.8 MB    | ################################################################ | 100%
Preparing transaction: done
Verifying transaction: done
Executing transaction: done

> exit

1. [Anaconda Navigator] から [Environments] - [tf_env_3.7] の右三角ボタンを押下し, [Open Terminal]押下.

(tf_env_3.7) C:XXXXXXXXXXXXXXXXXXXX>prompt $g

> conda install -c anaconda flask

～(略)～

Downloading and Extracting Packages

zeromq-4.2.5 | 9.5 MB | ################################################################ | 100%

flask-1.0.2 | 137 KB | ################################################################ | 100%

lzo-2.10 | 154 KB | ################################################################ | 100%

bzip2-1.0.6 | 145 KB | ################################################################ | 100%

libtiff-4.0.9 | 829 KB | ################################################################ | 100%

hdf5-1.10.2 | 34.8 MB | ################################################################ | 100%

libsodium-1.0.16 | 585 KB | ################################################################ | 100%

sqlite-3.25.3 | 937 KB | ################################################################ | 100%

yaml-0.1.7 | 103 KB | ################################################################ | 100%

libxslt-1.1.32 | 458 KB | ################################################################ | 100%

snappy-1.1.7 | 82 KB | ################################################################ | 100%

icu-58.2 | 21.9 MB | ################################################################ | 100%

curl-7.61.0 | 120 KB | ################################################################ | 100%

zlib-1.2.11 | 128 KB | ################################################################ | 100%

libpng-1.6.35 | 589 KB | ################################################################ | 100%

jpeg-9b | 313 KB | ################################################################ | 100%

certifi-2018.10.15 | 138 KB | ################################################################ | 100%

tk-8.6.8 | 3.8 MB | ################################################################ | 100%

Preparing transaction: done

Verifying transaction: done

Executing transaction: done

> exit

2. 以下のソースを記載し, 保存.
[.spyder-py3]フォルダ内 の PyTorch_7-1_01.py を 編集(※UTF-8保存).

[編集内容]
# -*- coding: utf-8 -*-
# 1. library import.
import flask
from flask import Flask

# 2. set app.
app = Flask(__name__)

@app.route('/')
def hello():
    return str('Hello, Flask ver:') + str(flask.__version__) + str('!')

2. 以下のソースを記載し, 保存.

[.spyder-py3]フォルダ内の PyTorch_7-1_01.py を編集(※UTF-8保存).

[編集内容]

# -*- coding: utf-8 -*-

# 1. library import.

import flask

from flask import Flask

# 2. set app.

app = Flask(__name__)

@app.route('/')

def hello():

return str('Hello, Flask ver:') + str(flask.__version__) + str('!')

3. コマンドプロンプトから, 下記コマンドを実行.
※参照サイト③ を参照した.

> cd
C:XXXXXXXXXXXXXXXXXXXX\.spyder-py3

> FLASK_APP=PyTorch_7-1_01.py flask run
'FLASK_APP' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。

> SET FLASK_APP=PyTorch_7-1_01.py

> flask run
 * Serving Flask app "PyTorch_7-1_01.py"
 * Environment: production
   WARNING: Do not use the development server in a production environment.
   Use a production WSGI server instead.
 * Debug mode: off
 * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

3. コマンドプロンプトから, 下記コマンドを実行.

※参照サイト③ を参照した.

> cd

C:XXXXXXXXXXXXXXXXXXXX\.spyder-py3

> FLASK_APP=PyTorch_7-1_01.py flask run

'FLASK_APP' は、内部コマンドまたは外部コマンド、

操作可能なプログラムまたはバッチファイルとして認識されていません。

> SET FLASK_APP=PyTorch_7-1_01.py

> flask run

* Serving Flask app "PyTorch_7-1_01.py"

* Environment: production

WARNING: Do not use the development server in a production environment.

Use a production WSGI server instead.

* Debug mode: off

* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

4. サンプルページの表示.
対象URL: http://127.0.0.1:5000/

1 2	4. サンプルページの表示. 対象URL: http://127.0.0.1:5000/

■参照サイト
【参照URL①】flask 1.0.2
【参照URL②】Flask 1.0.2
【参照URL③】Env. Variables not set while running Minimal Flask application

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月20日

PyTorch の動作確認をしてみた（２３）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 6.2 ニューラル行列因子分解 (P.160 – P.169) である。

※プログラムの詳細は, 書籍を参考(P.160 – P.169)にして下さい.

■ニューラル行列因子分解の訓練に関する動作確認(書籍から一部抜粋・追記).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import csv
from sklearn.feature_extraction.text import CountVectorizer
import torch
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
import os, time
import pandas as pd
from sklearn import model_selection
from tqdm import tqdm
from statistics import mean

# 2. get csv data.
# downloaded from the site below.
# MovieLens
# https://grouplens.org/datasets/movielens/
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'
# X is a pair of userId, movieId.
df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

for epoch in range(6):
～(略)～
    net.eval()
    test_score = eval_net(net, test_loader, device = "cuda:0")
    print(epoch, mean(loss_log), test_score, flush = True)
    # save the learning result every ten iterations.
    # SAVING AND LOADING MODELS
    # https://pytorch.org/tutorials/beginner/saving_loading_models.html
    # -> A common PyTorch convention is 
    # to save models using either a .pt or .pth file extension.
    torch.save(net.state_dict(), folder_path + "nmf_{:03d}.pth".format(epoch), pickle_protocol = 4)

# 10. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import csv

from sklearn.feature_extraction.text import CountVectorizer

import torch

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

import os, time

import pandas as pd

from sklearn import model_selection

from tqdm import tqdm

from statistics import mean

# 2. get csv data.

# downloaded from the site below.

# MovieLens

# https://grouplens.org/datasets/movielens/

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'

# X is a pair of userId, movieId.

df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

for epoch in range(6):

～(略)～

net.eval()

test_score = eval_net(net, test_loader, device = "cuda:0")

print(epoch, mean(loss_log), test_score, flush = True)

# save the learning result every ten iterations.

# SAVING AND LOADING MODELS

# https://pytorch.org/tutorials/beginner/saving_loading_models.html

# -> A common PyTorch convention is

# to save models using either a .pt or .pth file extension.

torch.save(net.state_dict(), folder_path + "nmf_{:03d}.pth".format(epoch), pickle_protocol = 4)

# 10. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(epoch 5).

Reloaded modules: __mp_main__
100%|██████████| 17579/17579 [07:01<00:00, 28.58it/s]
0 0.7552803228709659 tensor(0.6454)
100%|██████████| 17579/17579 [07:01<00:00, 41.66it/s]
1 0.6931871950534825 tensor(0.6326)
100%|██████████| 17579/17579 [07:01<00:00, 27.47it/s]
2 0.6693359034495031 tensor(0.6271)
100%|██████████| 17579/17579 [06:48<00:00, 31.37it/s]
3 0.6513743288579793 tensor(0.6198)
100%|██████████| 17579/17579 [06:44<00:00, 43.44it/s]
4 0.6327997606811999 tensor(0.6140)
100%|██████████| 17579/17579 [06:45<00:00, 43.38it/s]
5 0.6174885486876966 tensor(0.6131)
--------------------------------------------------
Elapsed Time: 2665.562874317169[sec]

Reloaded modules: __mp_main__

100%|██████████| 17579/17579 [07:01<00:00, 28.58it/s]

0 0.7552803228709659 tensor(0.6454)

100%|██████████| 17579/17579 [07:01<00:00, 41.66it/s]

1 0.6931871950534825 tensor(0.6326)

100%|██████████| 17579/17579 [07:01<00:00, 27.47it/s]

2 0.6693359034495031 tensor(0.6271)

100%|██████████| 17579/17579 [06:48<00:00, 31.37it/s]

3 0.6513743288579793 tensor(0.6198)

100%|██████████| 17579/17579 [06:44<00:00, 43.44it/s]

4 0.6327997606811999 tensor(0.6140)

100%|██████████| 17579/17579 [06:45<00:00, 43.38it/s]

5 0.6174885486876966 tensor(0.6131)

--------------------------------------------------

Elapsed Time: 2665.562874317169[sec]

■指定ユーザの映画評価に関する予測についての動作確認(書籍から一部抜粋・追記).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import csv
from sklearn.feature_extraction.text import CountVectorizer
import torch
from torch import nn
import os, time
import pandas as pd

# 2. get csv data.
# downloaded from the site below.
# MovieLens
# https://grouplens.org/datasets/movielens/
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'
# X is a pair of userId, movieId.
df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

print('- cv.get_feature_names() -------------------------------')
print(cv.get_feature_names())
print()

～(略)～

# 7. load model.
net.load_state_dict(torch.load(folder_path + "nmf_005.pth"))

～(略)～

query_genres = query_genres.to("cuda:0")
query1 = query1.to("cuda:0")
query100 = query100.to("cuda:0")
query10000 = query10000.to("cuda:0")
# RuntimeError: Expected object of type torch.LongTensor 
# but found type torch.cuda.LongTensor for argument #3 'index'
# -> net.to("cuda:0") を追加.
net.to("cuda:0")

nq1 = net(query1, query_genres)
nq100 = net(query100, query_genres)
nq10000 = net(query10000, query_genres)
print('- userId = 1 -------------------------------------------')
print(nq1)

print('- userId = 100 -----------------------------------------')
print(nq100)

print('- userId = 10000 ---------------------------------------')
print(nq10000)

# 9. display processing time.
end = time.time()
print('--------------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import csv

from sklearn.feature_extraction.text import CountVectorizer

import torch

from torch import nn

import os, time

import pandas as pd

# 2. get csv data.

# downloaded from the site below.

# MovieLens

# https://grouplens.org/datasets/movielens/

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'

# X is a pair of userId, movieId.

df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

print('- cv.get_feature_names() -------------------------------')

print(cv.get_feature_names())

print()

～(略)～

# 7. load model.

net.load_state_dict(torch.load(folder_path + "nmf_005.pth"))

～(略)～

query_genres = query_genres.to("cuda:0")

query1 = query1.to("cuda:0")

query100 = query100.to("cuda:0")

query10000 = query10000.to("cuda:0")

# RuntimeError: Expected object of type torch.LongTensor

# but found type torch.cuda.LongTensor for argument #3 'index'

# -> net.to("cuda:0") を追加.

net.to("cuda:0")

nq1 = net(query1, query_genres)

nq100 = net(query100, query_genres)

nq10000 = net(query10000, query_genres)

print('- userId = 1 -------------------------------------------')

print(nq1)

print('- userId = 100 -----------------------------------------')

print(nq100)

print('- userId = 10000 ---------------------------------------')

print(nq10000)

# 9. display processing time.

end = time.time()

print('--------------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

- cv.get_feature_names() -------------------------------
['action', 'adventure', 'animation', 'children', 'comedy', 'crime', 'documentary', 'drama', 'fantasy', 'fi', 'film', 'genres', 'horror', 'imax', 'listed', 'musical', 'mystery', 'no', 'noir', 'romance', 'sci', 'thriller', 'war', 'western']

- userId = 1 -------------------------------------------
tensor([3.0304, 2.9902, 2.7403, 3.2556, 2.7098, 2.9657, 3.3573, 2.9539, 2.8770,
        2.2633, 2.7041, 2.5225, 2.4076, 2.7684, 2.9662, 2.8699, 1.9527, 3.0374,
        2.8885, 3.3802, 2.4908, 2.4017, 3.0874, 2.4332],
       device='cuda:0', grad_fn=<SqueezeBackward0>)
- userId = 100 -----------------------------------------
tensor([2.7457, 2.8471, 2.9800, 2.7280, 2.9594, 2.9579, 2.3870, 2.9197, 2.7903,
        2.3223, 2.7356, 2.9157, 2.2206, 2.4959, 3.1032, 2.7642, 2.3156, 3.4986,
        3.5273, 2.9534, 2.8308, 2.3040, 2.7311, 2.9941],
       device='cuda:0', grad_fn=<SqueezeBackward0>)
- userId = 10000 ---------------------------------------
tensor([2.7231, 2.8262, 2.6690, 2.6748, 2.1166, 3.3091, 2.9299, 2.9109, 2.6104,
        2.4434, 2.6722, 3.2299, 2.5336, 3.0530, 2.9737, 3.1129, 2.2319, 3.1534,
        3.0881, 3.0344, 2.5168, 2.4733, 2.9527, 2.8376],
       device='cuda:0', grad_fn=<SqueezeBackward0>)
--------------------------------------------------------
Elapsed Time: 35.49626350402832[sec]

- cv.get_feature_names() -------------------------------

['action', 'adventure', 'animation', 'children', 'comedy', 'crime', 'documentary', 'drama', 'fantasy', 'fi', 'film', 'genres', 'horror', 'imax', 'listed', 'musical', 'mystery', 'no', 'noir', 'romance', 'sci', 'thriller', 'war', 'western']

- userId = 1 -------------------------------------------

tensor([3.0304, 2.9902, 2.7403, 3.2556, 2.7098, 2.9657, 3.3573, 2.9539, 2.8770,

2.2633, 2.7041, 2.5225, 2.4076, 2.7684, 2.9662, 2.8699, 1.9527, 3.0374,

2.8885, 3.3802, 2.4908, 2.4017, 3.0874, 2.4332],

device='cuda:0', grad_fn=<SqueezeBackward0>)

- userId = 100 -----------------------------------------

tensor([2.7457, 2.8471, 2.9800, 2.7280, 2.9594, 2.9579, 2.3870, 2.9197, 2.7903,

2.3223, 2.7356, 2.9157, 2.2206, 2.4959, 3.1032, 2.7642, 2.3156, 3.4986,

3.5273, 2.9534, 2.8308, 2.3040, 2.7311, 2.9941],

device='cuda:0', grad_fn=<SqueezeBackward0>)

- userId = 10000 ---------------------------------------

tensor([2.7231, 2.8262, 2.6690, 2.6748, 2.1166, 3.3091, 2.9299, 2.9109, 2.6104,

2.4434, 2.6722, 3.2299, 2.5336, 3.0530, 2.9737, 3.1129, 2.2319, 3.1534,

3.0881, 3.0344, 2.5168, 2.4733, 2.9527, 2.8376],

device='cuda:0', grad_fn=<SqueezeBackward0>)

--------------------------------------------------------

Elapsed Time: 35.49626350402832[sec]

■以上の実行結果から, 以下のことが分かった.

1. MAEの確認.
epoch 5 で, 約0.62 まで改善した(※書籍とほぼ同じ結果).

2. ニューラル行列因子分解の訓練.
epoch 5 で, 約2665秒 かかった.

3. 指定ユーザ(userId) の 映画ジャンル(action, adventure,...) に対するスコアについて.
・userId = 1 の 場合:
-> ロマンス映画(romance) で, スコアが, 最大(3.3802) と分かる.
・userId = 100 の 場合:
-> ホラー映画(horror) で, スコアが, 最小(2.2206) と分かる.
・userId = 10000 の 場合:
-> ファンタジー映画(fantasy) で, スコアが, 2.6104 と分かる.

1. MAEの確認.

epoch 5 で, 約0.62 まで改善した(※書籍とほぼ同じ結果).

2. ニューラル行列因子分解の訓練.

epoch 5 で, 約2665秒かかった.

3. 指定ユーザ(userId) の映画ジャンル(action, adventure,...) に対するスコアについて.

・userId = 1 の場合:

-> ロマンス映画(romance) で, スコアが, 最大(3.3802) と分かる.

・userId = 100 の場合:

-> ホラー映画(horror) で, スコアが, 最小(2.2206) と分かる.

・userId = 10000 の場合:

-> ファンタジー映画(fantasy) で, スコアが, 2.6104 と分かる.

■参照サイト
【参照URL①】MovieLens
【参照URL②】SAVING AND LOADING MODELS

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月18日

PyTorch の動作確認をしてみた（２２）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 6.1 行列因子分解 (P.152 – P.159) である。

※1. プログラムの詳細は, 書籍を参考(P.152 – P.159)にして下さい.
※2. 書籍上は, 本章に関し, 特に, 訓練したモデルの保存については, 書かれてなかったが, epoch 5 でも, 約1974秒かかったので, 訓練したモデルの保存は, 個人的には, 推奨したい.

■行列因子分解の訓練に関する動作確認.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import (DataLoader, TensorDataset)
import os, time
import pandas as pd
from sklearn import model_selection
from tqdm import tqdm
from statistics import mean

# 2. get csv data.
# downloaded from the site below.
# MovieLens
# https://grouplens.org/datasets/movielens/
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'
# X is a pair of userId, movieId.
df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

for epoch in range(6):
～(略)～
    test_score = eval_net(net, test_loader, device = "cuda:0")
    print(epoch, mean(loss_log), test_score, flush = True)
    # save the learning result every ten iterations.
    # SAVING AND LOADING MODELS
    # https://pytorch.org/tutorials/beginner/saving_loading_models.html
    # -> A common PyTorch convention is 
    # to save models using either a .pt or .pth file extension.
    torch.save(net.state_dict(), folder_path + "mf_{:03d}.pth".format(epoch), pickle_protocol = 4)

# 10. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import (DataLoader, TensorDataset)

import os, time

import pandas as pd

from sklearn import model_selection

from tqdm import tqdm

from statistics import mean

# 2. get csv data.

# downloaded from the site below.

# MovieLens

# https://grouplens.org/datasets/movielens/

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'

# X is a pair of userId, movieId.

df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

for epoch in range(6):

～(略)～

test_score = eval_net(net, test_loader, device = "cuda:0")

print(epoch, mean(loss_log), test_score, flush = True)

# save the learning result every ten iterations.

# SAVING AND LOADING MODELS

# https://pytorch.org/tutorials/beginner/saving_loading_models.html

# -> A common PyTorch convention is

# to save models using either a .pt or .pth file extension.

torch.save(net.state_dict(), folder_path + "mf_{:03d}.pth".format(epoch), pickle_protocol = 4)

# 10. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(epoch 5).

100%|██████████| 17579/17579 [05:09<00:00, 39.52it/s]
0 1.5930599859871755 0.732918381690979
100%|██████████| 17579/17579 [05:08<00:00, 57.07it/s]
1 0.878951918882846 0.7076014280319214
100%|██████████| 17579/17579 [05:07<00:00, 57.17it/s]
2 0.8339888583244646 0.6978585124015808
100%|██████████| 17579/17579 [05:07<00:00, 57.24it/s]
3 0.8118861625033018 0.6956022381782532
100%|██████████| 17579/17579 [05:06<00:00, 35.50it/s]
4 0.7995163224732024 0.6941294074058533
100%|██████████| 17579/17579 [05:06<00:00, 39.15it/s]
5 0.792301750381799 0.6923578381538391
--------------------------------------------------
Elapsed Time: 1974.9214341640472[sec]

100%|██████████| 17579/17579 [05:09<00:00, 39.52it/s]

0 1.5930599859871755 0.732918381690979

100%|██████████| 17579/17579 [05:08<00:00, 57.07it/s]

1 0.878951918882846 0.7076014280319214

100%|██████████| 17579/17579 [05:07<00:00, 57.17it/s]

2 0.8339888583244646 0.6978585124015808

100%|██████████| 17579/17579 [05:07<00:00, 57.24it/s]

3 0.8118861625033018 0.6956022381782532

100%|██████████| 17579/17579 [05:06<00:00, 35.50it/s]

4 0.7995163224732024 0.6941294074058533

100%|██████████| 17579/17579 [05:06<00:00, 39.15it/s]

5 0.792301750381799 0.6923578381538391

--------------------------------------------------

Elapsed Time: 1974.9214341640472[sec]

■指定ユーザの映画評価に関する予測についての動作確認.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn
from torch.utils.data import (DataLoader, TensorDataset)
import os, time
import pandas as pd
from sklearn import model_selection

# 2. get csv data.
# downloaded from the site below.
# MovieLens
# https://grouplens.org/datasets/movielens/
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'
# X is a pair of userId, movieId.
df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

# 8. load model.
net.load_state_dict(torch.load(folder_path + "mf_005.pth"))

# 9. predict evaluation of user's movie.
net.to("cpu")

～(略)～

# 10. calculate the evaluation prediction value of all movies for 
# a certain user and extract the top five.
# query = torch.stack([
#         torch.zeros(max_item).fill_(1), 
#         torch.arange(1, max_item + 1)], 1).long()
# -> RuntimeError: Expected a Tensor of type torch.FloatTensor 
# but found a type torch.LongTensor for sequence element 1 in sequence 
# argument at position #1 'tensors'
# -> dtype = torch.float32 を 設定する形で, bug fix.
query = torch.stack([
        torch.zeros(max_item, dtype = torch.float32).fill_(1), 
        torch.arange(1, max_item + 1, dtype = torch.float32)], 1).long()

# torch.topk
# https://pytorch.org/docs/stable/torch.html#torch.topk
nq = net(query)
scores, indices = torch.topk(nq, 5)
print('- top five ---------------------------------------------')
print('scores:', str(scores))
print('indices:', str(indices))
print()

scores, indices = torch.topk(nq, 5, largest = False)
print('- last five --------------------------------------------')
print('scores:', str(scores))
print('indices:', str(indices))
print()

scores, indices = torch.topk(nq, 100010)
print('- between 25001 and 25010 ------------------------------')
print('scores:', str(scores[25000 : 25010]))
print('indices:', str(indices[25000 : 25010]))
print()

print('- between 50001 and 50010 ------------------------------')
print('scores:', str(scores[50000 : 50010]))
print('indices:', str(indices[50000 : 50010]))
print()

print('- between 75001 and 75010 ------------------------------')
print('scores:', str(scores[75000 : 75010]))
print('indices:', str(indices[75000 : 75010]))
print()

print('- between 100001 and 100010 ----------------------------')
print('scores:', str(scores[100000 : 100010]))
print('indices:', str(indices[100000 : 100010]))
print()

# 11. display processing time.
end = time.time()
print('--------------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn

from torch.utils.data import (DataLoader, TensorDataset)

import os, time

import pandas as pd

from sklearn import model_selection

# 2. get csv data.

# downloaded from the site below.

# MovieLens

# https://grouplens.org/datasets/movielens/

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'

# X is a pair of userId, movieId.

df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

# 8. load model.

net.load_state_dict(torch.load(folder_path + "mf_005.pth"))

# 9. predict evaluation of user's movie.

net.to("cpu")

～(略)～

# 10. calculate the evaluation prediction value of all movies for

# a certain user and extract the top five.

# query = torch.stack([

# torch.zeros(max_item).fill_(1),

# torch.arange(1, max_item + 1)], 1).long()

# -> RuntimeError: Expected a Tensor of type torch.FloatTensor

# but found a type torch.LongTensor for sequence element 1 in sequence

# argument at position #1 'tensors'

# -> dtype = torch.float32 を設定する形で, bug fix.

query = torch.stack([

torch.zeros(max_item, dtype = torch.float32).fill_(1),

torch.arange(1, max_item + 1, dtype = torch.float32)], 1).long()

# torch.topk

# https://pytorch.org/docs/stable/torch.html#torch.topk

nq = net(query)

scores, indices = torch.topk(nq, 5)

print('- top five ---------------------------------------------')

print('scores:', str(scores))

print('indices:', str(indices))

print()

scores, indices = torch.topk(nq, 5, largest = False)

print('- last five --------------------------------------------')

print('scores:', str(scores))

print('indices:', str(indices))

print()

scores, indices = torch.topk(nq, 100010)

print('- between 25001 and 25010 ------------------------------')

print('scores:', str(scores[25000 : 25010]))

print('indices:', str(indices[25000 : 25010]))

print()

print('- between 50001 and 50010 ------------------------------')

print('scores:', str(scores[50000 : 50010]))

print('indices:', str(indices[50000 : 50010]))

print()

print('- between 75001 and 75010 ------------------------------')

print('scores:', str(scores[75000 : 75010]))

print('indices:', str(indices[75000 : 75010]))

print()

print('- between 100001 and 100010 ----------------------------')

print('scores:', str(scores[100000 : 100010]))

print('indices:', str(indices[100000 : 100010]))

print()

# 11. display processing time.

end = time.time()

print('--------------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

tensor([3.6101], grad_fn=<MulBackward>)

- top five ---------------------------------------------
scores: tensor([5.0000, 5.0000, 5.0000, 5.0000, 5.0000], grad_fn=<TopkBackward>)
indices: tensor([ 96667, 109301, 120890,  55433,  42453])

- last five --------------------------------------------
scores: tensor([4.6535e-06, 3.3581e-05, 4.9357e-05, 6.0969e-05, 6.2392e-05],
       grad_fn=<TopkBackward>)
indices: tensor([ 18571,  96152,  54252,  35498, 109398])

- between 25001 and 25010 ------------------------------
scores: tensor([4.6394, 4.6394, 4.6394, 4.6393, 4.6393, 4.6393, 4.6393, 4.6393, 4.6392,
        4.6392], grad_fn=<SliceBackward>)
indices: tensor([ 93562,  30782,  41455,  25498,  12656, 123988,  26001, 104624,  14696,
         49105])

- between 50001 and 50010 ------------------------------
scores: tensor([3.6825, 3.6824, 3.6824, 3.6824, 3.6823, 3.6823, 3.6822, 3.6821, 3.6820,
        3.6820], grad_fn=<SliceBackward>)
indices: tensor([ 88630,  92275, 123422, 121111,  78579,   3348,  66865,  44663,  56952,
         68030])

- between 75001 and 75010 ------------------------------
scores: tensor([2.2174, 2.2172, 2.2170, 2.2169, 2.2168, 2.2168, 2.2167, 2.2167, 2.2166,
        2.2166], grad_fn=<SliceBackward>)
indices: tensor([83245, 97727, 79370, 13530, 48519, 13638, 52819, 62837, 99327, 98202])

- between 100001 and 100010 ----------------------------
scores: tensor([0.6957, 0.6956, 0.6955, 0.6955, 0.6954, 0.6954, 0.6953, 0.6953, 0.6953,
        0.6953], grad_fn=<SliceBackward>)
indices: tensor([ 74712,  98505,  72104,  14471,  28726,  85159,  35487, 127431,  22152,
          5103])

--------------------------------------------------------
Elapsed Time: 38.12584853172302[sec]

tensor([3.6101], grad_fn=<MulBackward>)

- top five ---------------------------------------------

scores: tensor([5.0000, 5.0000, 5.0000, 5.0000, 5.0000], grad_fn=<TopkBackward>)

indices: tensor([ 96667, 109301, 120890, 55433, 42453])

- last five --------------------------------------------

scores: tensor([4.6535e-06, 3.3581e-05, 4.9357e-05, 6.0969e-05, 6.2392e-05],

grad_fn=<TopkBackward>)

indices: tensor([ 18571, 96152, 54252, 35498, 109398])

- between 25001 and 25010 ------------------------------

scores: tensor([4.6394, 4.6394, 4.6394, 4.6393, 4.6393, 4.6393, 4.6393, 4.6393, 4.6392,

4.6392], grad_fn=<SliceBackward>)

indices: tensor([ 93562, 30782, 41455, 25498, 12656, 123988, 26001, 104624, 14696,

49105])

- between 50001 and 50010 ------------------------------

scores: tensor([3.6825, 3.6824, 3.6824, 3.6824, 3.6823, 3.6823, 3.6822, 3.6821, 3.6820,

3.6820], grad_fn=<SliceBackward>)

indices: tensor([ 88630, 92275, 123422, 121111, 78579, 3348, 66865, 44663, 56952,

68030])

- between 75001 and 75010 ------------------------------

scores: tensor([2.2174, 2.2172, 2.2170, 2.2169, 2.2168, 2.2168, 2.2167, 2.2167, 2.2166,

2.2166], grad_fn=<SliceBackward>)

indices: tensor([83245, 97727, 79370, 13530, 48519, 13638, 52819, 62837, 99327, 98202])

- between 100001 and 100010 ----------------------------

scores: tensor([0.6957, 0.6956, 0.6955, 0.6955, 0.6954, 0.6954, 0.6953, 0.6953, 0.6953,

0.6953], grad_fn=<SliceBackward>)

indices: tensor([ 74712, 98505, 72104, 14471, 28726, 85159, 35487, 127431, 22152,

5103])

--------------------------------------------------------

Elapsed Time: 38.12584853172302[sec]

■以上の実行結果から, 以下のことが分かった.

1. MAEの確認.
epoch 5 で, 約0.69 まで改善した(※書籍とほぼ同じ結果).

2. 行列因子分解の訓練.
epoch 5 で, 約1974秒 かかった.

3. torch.stack()に関すること.
RuntimeError: Expected a Tensor of type torch.FloatTensor 
but found a type torch.LongTensor for sequence element 1 in sequence argument at position #1 'tensors'
-> 上記 error を回避するため, dtype = torch.float32 (2箇所) 指定する形で動作確認した.

4. 指定ユーザの映画評価の予測について.
・約38秒 かかった.
・Top5 だと, 評価5 ばかりだが, 例えば, 50001 ～ 50010位を見ると, 評価3.6 辺りに下降し, 
さらに, 100001 ～ 100010位では, 評価0.69 付近まで下降していることが確認できた.

1. MAEの確認.

epoch 5 で, 約0.69 まで改善した(※書籍とほぼ同じ結果).

2. 行列因子分解の訓練.

epoch 5 で, 約1974秒かかった.

3. torch.stack()に関すること.

RuntimeError: Expected a Tensor of type torch.FloatTensor

but found a type torch.LongTensor for sequence element 1 in sequence argument at position #1 'tensors'

-> 上記 error を回避するため, dtype = torch.float32 (2箇所) 指定する形で動作確認した.

4. 指定ユーザの映画評価の予測について.

・約38秒かかった.

・Top5 だと, 評価5 ばかりだが, 例えば, 50001 ～ 50010位を見ると, 評価3.6 辺りに下降し,

さらに, 100001 ～ 100010位では, 評価0.69 付近まで下降していることが確認できた.

■参照サイト
【参照URL①】MovieLens
【参照URL②】SAVING AND LOADING MODELS
【参照URL③】torch.topk

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月18日

PyTorch の動作確認をしてみた（２１）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 6.1 行列因子分解 (P.152 – P.156) である。

※1. プログラムの詳細は, 書籍を参考(P.152 – P.156)にして下さい.
※2. どちらかというと, torch.sum() の使い方を確認した内容となっている.

■torch.sum()の動作確認.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch

# 2. sample.
# torch.sum()
# https://pytorch.org/docs/stable/torch.html#torch.sum
a = torch.randn(1, 3)
print('--- a.size(): ------------------------------------')
print(a.size())
a_out = torch.sum(a)
print('--- torch.sum(a): --------------------------------')
print("type(a_out): " + str(type(a_out)))
print("a_out: " + str(a_out))
print()

b = torch.tensor([[ 0.05, -0.25,  0.07], [-0.30,  0.90,  0.90]])
print('--- b.size(): ------------------------------------')
print(b.size())
b_out = torch.sum(b) # 0.05 - 0.25 + 0.07 - 0.30 + 0.90 + 0.90 = 1.37
print('--- torch.sum(b): --------------------------------')
print("b_out: " + str(b_out))

# 0.05 - 0.25 + 0.07  = -0.13
# -0.30 + 0.90 + 0.90 = 1.5
b_out = torch.sum(b, 1)
print('--- torch.sum(b, 1): -----------------------------')
print("b_out: " + str(b_out))
print()

c = torch.tensor([[[ 0.05, -0.25,  0.07], [-0.30,  0.90,  0.90]],
                  [[ 0.15, -0.35,  0.70], [-1.30,  0.50,  1.20]],
                  [[ 0.05, -0.25,  0.85], [-1.10,  0.65,  1.15]]])
# 0.05 - 0.25 + 0.07 - 0.30 + 0.90 + 0.90 + 0.15 - 0.35 + 0.70 - 1.30 + 0.50 + 1.20 
# 0.05 - 0.25 + 0.85 - 1.10 + 0.65 + 1.15 = 3.62
print('--- c.size(): ------------------------------------')
print(c.size())
c_out = torch.sum(c)
print('--- torch.sum(c): --------------------------------')
print("c_out: " + str(c_out))

# 0.05 - 0.25 + 0.07 - 0.30 + 0.90 + 0.90 = 1.37
# 0.15 - 0.35 + 0.70 - 1.30 + 0.50 + 1.20 = 0.90
# 0.05 - 0.25 + 0.85 - 1.10 + 0.65 + 1.15 = 1.35
c_out = torch.sum(c, (1, 2))
print('--- torch.sum(c, (1, 2)): ------------------------')
print("c_out: " + str(c_out))

c_out = torch.sum(c, (2, 1))
print('--- torch.sum(c, (2, 1)): ------------------------')
print("c_out: " + str(c_out))
print()

d = torch.tensor([[[[ 0.5, -0.4,  0.7], [-0.3,  0.9,  1.0]]],
                  [[[ 0.1, -0.3,  0.8], [-1.3,  0.5,  1.2]]],
                  [[[ 0.3, -0.2,  0.9], [-0.5,  1.1,  0.3]]]])
print('--- d.size(): ------------------------------------')
print(d.size())
d_out = torch.sum(d)
print('--- torch.sum(d): --------------------------------')
print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 2番目で集計.
d_out = torch.sum(d, 1)
print('--- torch.sum(d, 1): -----------------------------')
print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 2, 3番目で集計.
# 0.5 - 0.3 = 0.2, -0.4 + 0.9 = 0.5, 0.7 + 1.0 = 1.7
# 0.1 - 1.3 = -1.2, -0.3 + 0.5 = 0.2, 0.8 + 1.2 = 2.0
# 0.3 - 0.5 = -0.2, -0.2 + 1.1 = 0.9, 0.9 + 0.3 = 1.2
d_out = torch.sum(d, (1, 2))
print('--- torch.sum(d, (1, 2)): ------------------------')
print("d_out: " + str(d_out))

d_out = torch.sum(d, (2, 1))
print('--- torch.sum(d, (2, 1)): ------------------------')
print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 2, 4番目で集計.
# 0.5 - 0.4 + 0.7 = 0.8, -0.3 + 0.9 + 1.0 = 1.6
# 0.1 - 0.3 + 0.8 = 0.6, -1.3 + 0.5 + 1.2 = 0.4
# 0.3 - 0.2 + 0.9 = 1.0, -0.5 + 1.1 + 0.3 = 0.9
d_out = torch.sum(d, (1, 3))
print('--- torch.sum(d, (1, 3)): ------------------------')
print("d_out: " + str(d_out))

d_out = torch.sum(d, (3, 1))
print('--- torch.sum(d, (3, 1)): ------------------------')
print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 3, 4番目で集計.
# 0.5 - 0.4 + 0.7 - 0.3 + 0.9 + 1.0 = 2.4
# 0.1 - 0.3 + 0.8 - 1.3 + 0.5 + 1.2 = 1.0
# 0.3 - 0.2 + 0.9 - 0.5 + 1.1 + 0.3 = 1.9
d_out = torch.sum(d, (2, 3))
print('--- torch.sum(d, (2, 3)): ------------------------')
print("d_out: " + str(d_out))

d_out = torch.sum(d, (3, 2))
print('--- torch.sum(d, (3, 2)): ------------------------')
print("d_out: " + str(d_out))

100

101

102

103

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

# 2. sample.

# torch.sum()

# https://pytorch.org/docs/stable/torch.html#torch.sum

a = torch.randn(1, 3)

print('--- a.size(): ------------------------------------')

print(a.size())

a_out = torch.sum(a)

print('--- torch.sum(a): --------------------------------')

print("type(a_out): " + str(type(a_out)))

print("a_out: " + str(a_out))

print()

b = torch.tensor([[ 0.05, -0.25, 0.07], [-0.30, 0.90, 0.90]])

print('--- b.size(): ------------------------------------')

print(b.size())

b_out = torch.sum(b) # 0.05 - 0.25 + 0.07 - 0.30 + 0.90 + 0.90 = 1.37

print('--- torch.sum(b): --------------------------------')

print("b_out: " + str(b_out))

# 0.05 - 0.25 + 0.07 = -0.13

# -0.30 + 0.90 + 0.90 = 1.5

b_out = torch.sum(b, 1)

print('--- torch.sum(b, 1): -----------------------------')

print("b_out: " + str(b_out))

print()

c = torch.tensor([[[ 0.05, -0.25, 0.07], [-0.30, 0.90, 0.90]],

[[ 0.15, -0.35, 0.70], [-1.30, 0.50, 1.20]],

[[ 0.05, -0.25, 0.85], [-1.10, 0.65, 1.15]]])

# 0.05 - 0.25 + 0.07 - 0.30 + 0.90 + 0.90 + 0.15 - 0.35 + 0.70 - 1.30 + 0.50 + 1.20

# 0.05 - 0.25 + 0.85 - 1.10 + 0.65 + 1.15 = 3.62

print('--- c.size(): ------------------------------------')

print(c.size())

c_out = torch.sum(c)

print('--- torch.sum(c): --------------------------------')

print("c_out: " + str(c_out))

# 0.05 - 0.25 + 0.07 - 0.30 + 0.90 + 0.90 = 1.37

# 0.15 - 0.35 + 0.70 - 1.30 + 0.50 + 1.20 = 0.90

# 0.05 - 0.25 + 0.85 - 1.10 + 0.65 + 1.15 = 1.35

c_out = torch.sum(c, (1, 2))

print('--- torch.sum(c, (1, 2)): ------------------------')

print("c_out: " + str(c_out))

c_out = torch.sum(c, (2, 1))

print('--- torch.sum(c, (2, 1)): ------------------------')

print("c_out: " + str(c_out))

print()

d = torch.tensor([[[[ 0.5, -0.4, 0.7], [-0.3, 0.9, 1.0]]],

[[[ 0.1, -0.3, 0.8], [-1.3, 0.5, 1.2]]],

[[[ 0.3, -0.2, 0.9], [-0.5, 1.1, 0.3]]]])

print('--- d.size(): ------------------------------------')

print(d.size())

d_out = torch.sum(d)

print('--- torch.sum(d): --------------------------------')

print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 2番目で集計.

d_out = torch.sum(d, 1)

print('--- torch.sum(d, 1): -----------------------------')

print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 2, 3番目で集計.

# 0.5 - 0.3 = 0.2, -0.4 + 0.9 = 0.5, 0.7 + 1.0 = 1.7

# 0.1 - 1.3 = -1.2, -0.3 + 0.5 = 0.2, 0.8 + 1.2 = 2.0

# 0.3 - 0.5 = -0.2, -0.2 + 1.1 = 0.9, 0.9 + 0.3 = 1.2

d_out = torch.sum(d, (1, 2))

print('--- torch.sum(d, (1, 2)): ------------------------')

print("d_out: " + str(d_out))

d_out = torch.sum(d, (2, 1))

print('--- torch.sum(d, (2, 1)): ------------------------')

print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 2, 4番目で集計.

# 0.5 - 0.4 + 0.7 = 0.8, -0.3 + 0.9 + 1.0 = 1.6

# 0.1 - 0.3 + 0.8 = 0.6, -1.3 + 0.5 + 1.2 = 0.4

# 0.3 - 0.2 + 0.9 = 1.0, -0.5 + 1.1 + 0.3 = 0.9

d_out = torch.sum(d, (1, 3))

print('--- torch.sum(d, (1, 3)): ------------------------')

print("d_out: " + str(d_out))

d_out = torch.sum(d, (3, 1))

print('--- torch.sum(d, (3, 1)): ------------------------')

print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 3, 4番目で集計.

# 0.5 - 0.4 + 0.7 - 0.3 + 0.9 + 1.0 = 2.4

# 0.1 - 0.3 + 0.8 - 1.3 + 0.5 + 1.2 = 1.0

# 0.3 - 0.2 + 0.9 - 0.5 + 1.1 + 0.3 = 1.9

d_out = torch.sum(d, (2, 3))

print('--- torch.sum(d, (2, 3)): ------------------------')

print("d_out: " + str(d_out))

d_out = torch.sum(d, (3, 2))

print('--- torch.sum(d, (3, 2)): ------------------------')

print("d_out: " + str(d_out))

■実行結果.

--- a.size(): ------------------------------------
torch.Size([1, 3])
--- torch.sum(a): --------------------------------
type(a_out): <class 'torch.Tensor'>
a_out: tensor(0.0049)

--- b.size(): ------------------------------------
torch.Size([2, 3])
--- torch.sum(b): --------------------------------
b_out: tensor(1.3700)
--- torch.sum(b, 1): -----------------------------
b_out: tensor([-0.1300,  1.5000])

--- c.size(): ------------------------------------
torch.Size([3, 2, 3])
--- torch.sum(c): --------------------------------
c_out: tensor(3.6200)
--- torch.sum(c, (1, 2)): ------------------------
c_out: tensor([1.3700, 0.9000, 1.3500])
--- torch.sum(c, (2, 1)): ------------------------
c_out: tensor([1.3700, 0.9000, 1.3500])

--- d.size(): ------------------------------------
torch.Size([3, 1, 2, 3])
--- torch.sum(d): --------------------------------
d_out: tensor(5.3000)
--- torch.sum(d, 1): -----------------------------
d_out: tensor([[[ 0.5000, -0.4000,  0.7000],
         [-0.3000,  0.9000,  1.0000]],

        [[ 0.1000, -0.3000,  0.8000],
         [-1.3000,  0.5000,  1.2000]],

        [[ 0.3000, -0.2000,  0.9000],
         [-0.5000,  1.1000,  0.3000]]])
--- torch.sum(d, (1, 2)): ------------------------
d_out: tensor([[ 0.2000,  0.5000,  1.7000],
        [-1.2000,  0.2000,  2.0000],
        [-0.2000,  0.9000,  1.2000]])
--- torch.sum(d, (2, 1)): ------------------------
d_out: tensor([[ 0.2000,  0.5000,  1.7000],
        [-1.2000,  0.2000,  2.0000],
        [-0.2000,  0.9000,  1.2000]])
--- torch.sum(d, (1, 3)): ------------------------
d_out: tensor([[0.8000, 1.6000],
        [0.6000, 0.4000],
        [1.0000, 0.9000]])
--- torch.sum(d, (3, 1)): ------------------------
d_out: tensor([[0.8000, 1.6000],
        [0.6000, 0.4000],
        [1.0000, 0.9000]])
--- torch.sum(d, (2, 3)): ------------------------
d_out: tensor([[2.4000],
        [1.0000],
        [1.9000]])
--- torch.sum(d, (3, 2)): ------------------------
d_out: tensor([[2.4000],
        [1.0000],
        [1.9000]])

--- a.size(): ------------------------------------

torch.Size([1, 3])

--- torch.sum(a): --------------------------------

type(a_out): <class 'torch.Tensor'>

a_out: tensor(0.0049)

--- b.size(): ------------------------------------

torch.Size([2, 3])

--- torch.sum(b): --------------------------------

b_out: tensor(1.3700)

--- torch.sum(b, 1): -----------------------------

b_out: tensor([-0.1300, 1.5000])

--- c.size(): ------------------------------------

torch.Size([3, 2, 3])

--- torch.sum(c): --------------------------------

c_out: tensor(3.6200)

--- torch.sum(c, (1, 2)): ------------------------

c_out: tensor([1.3700, 0.9000, 1.3500])

--- torch.sum(c, (2, 1)): ------------------------

c_out: tensor([1.3700, 0.9000, 1.3500])

--- d.size(): ------------------------------------

torch.Size([3, 1, 2, 3])

--- torch.sum(d): --------------------------------

d_out: tensor(5.3000)

--- torch.sum(d, 1): -----------------------------

d_out: tensor([[[ 0.5000, -0.4000, 0.7000],

[-0.3000, 0.9000, 1.0000]],

[[ 0.1000, -0.3000, 0.8000],

[-1.3000, 0.5000, 1.2000]],

[[ 0.3000, -0.2000, 0.9000],

[-0.5000, 1.1000, 0.3000]]])

--- torch.sum(d, (1, 2)): ------------------------

d_out: tensor([[ 0.2000, 0.5000, 1.7000],

[-1.2000, 0.2000, 2.0000],

[-0.2000, 0.9000, 1.2000]])

--- torch.sum(d, (2, 1)): ------------------------

d_out: tensor([[ 0.2000, 0.5000, 1.7000],

[-1.2000, 0.2000, 2.0000],

[-0.2000, 0.9000, 1.2000]])

--- torch.sum(d, (1, 3)): ------------------------

d_out: tensor([[0.8000, 1.6000],

[0.6000, 0.4000],

[1.0000, 0.9000]])

--- torch.sum(d, (3, 1)): ------------------------

d_out: tensor([[0.8000, 1.6000],

[0.6000, 0.4000],

[1.0000, 0.9000]])

--- torch.sum(d, (2, 3)): ------------------------

d_out: tensor([[2.4000],

[1.0000],

[1.9000]])

--- torch.sum(d, (3, 2)): ------------------------

d_out: tensor([[2.4000],

[1.0000],

[1.9000]])

■参照サイト
【参照URL①】torch.sum()

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月17日

PyTorch の動作確認をしてみた（２０）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.5 Encoder-Decoderモデルによる機械翻訳 (P.135 – P.148) である。
※1. プログラムの詳細は, 書籍を参考(P.135 – P.148)にして下さい.
※2. 前回の続きで, 翻訳させる部分を確認した.
※3. ハマった箇所として, Decoderクラスで,
ValueError: First argument of _symbolic_pack_padded_sequence is expected to be a tensor, but got an object of type
といった error が出力されたが,
pad_packed_sequence と書くべきところを, pack_padded_sequence とタイプミスしたことが原因と分かった.
※4. 以下のように, 実行完了までに, 22050秒程度かかったので, 実行される場合は, 就寝直前などが良いと思われる.

■機械翻訳の動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
import os, re, time, collections, itertools
from tqdm import tqdm
from statistics import mean

～(略)～

# 4. create Dataset Class.
start = time.time()
batch_size = 64
max_len = 10
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\translation\\'
dss = []
dss.append(["Spanish:", TranslationPairDataset(folder_path + "\\spa.txt", max_len = max_len)])
dss.append(["Swedish:", TranslationPairDataset(folder_path + "\\swe.txt", max_len = max_len)])
dss.append(["German:", TranslationPairDataset(folder_path + "\\deu.txt", max_len = max_len)])
dss.append(["French:", TranslationPairDataset(folder_path + "\\fra.txt", max_len = max_len)])
dss.append(["Russian:", TranslationPairDataset(folder_path + "\\rus.txt", max_len = max_len)])

～(略)～

# 7. declare functions to translate.
def translate(input_str, ds, enc, dec, max_len = 15, device = "cpu"):
～(略)～

# 8. sample output.
for ds in dss:
    # <class '__main__.TranslationPairDataset'>
    # print(type(ds[1]))
    enc = Encoder(len(ds[1].src_word_list), 100, 100, 2)
    dec = Decoder(len(ds[1].trg_word_list), 100, 100, 2)
    enc.to("cuda:0")
    dec.to("cuda:0")
    opt_enc = optim.Adam(enc.parameters(), 0.002)
    opt_dec = optim.Adam(dec.parameters(), 0.002)
    loss_f = nn.CrossEntropyLoss()
    loader = DataLoader(ds[1], batch_size = batch_size, shuffle = True, num_workers = 0)

    for epoch in range(31):
～(略)～
        with torch.no_grad():
            if epoch % 10 == 0:
                print('-' + str(ds[0]) + '-------------------------------------------------')
                print("epoch:", epoch, "  mean(losses):", mean(losses))
                # RuntimeError: Expected object of type torch.cuda.LongTensor 
                # but found type torch.LongTensor for argument #3 'index'
                # -> 書籍通り, device="cuda:0" を指定すること.
                print(translate("I am a student.", ds[1], enc, dec, device="cuda:0"))
                print(translate("This is PyTorch practice.", ds[1], enc, dec, device="cuda:0"))
   
# 9. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

import os, re, time, collections, itertools

from tqdm import tqdm

from statistics import mean

～(略)～

# 4. create Dataset Class.

start = time.time()

batch_size = 64

max_len = 10

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\translation\\'

dss = []

dss.append(["Spanish:", TranslationPairDataset(folder_path + "\\spa.txt", max_len = max_len)])

dss.append(["Swedish:", TranslationPairDataset(folder_path + "\\swe.txt", max_len = max_len)])

dss.append(["German:", TranslationPairDataset(folder_path + "\\deu.txt", max_len = max_len)])

dss.append(["French:", TranslationPairDataset(folder_path + "\\fra.txt", max_len = max_len)])

dss.append(["Russian:", TranslationPairDataset(folder_path + "\\rus.txt", max_len = max_len)])

～(略)～

# 7. declare functions to translate.

def translate(input_str, ds, enc, dec, max_len = 15, device = "cpu"):

～(略)～

# 8. sample output.

for ds in dss:

# <class '__main__.TranslationPairDataset'>

# print(type(ds[1]))

enc = Encoder(len(ds[1].src_word_list), 100, 100, 2)

dec = Decoder(len(ds[1].trg_word_list), 100, 100, 2)

enc.to("cuda:0")

dec.to("cuda:0")

opt_enc = optim.Adam(enc.parameters(), 0.002)

opt_dec = optim.Adam(dec.parameters(), 0.002)

loss_f = nn.CrossEntropyLoss()

loader = DataLoader(ds[1], batch_size = batch_size, shuffle = True, num_workers = 0)

for epoch in range(31):

～(略)～

with torch.no_grad():

if epoch % 10 == 0:

print('-' + str(ds[0]) + '-------------------------------------------------')

print("epoch:", epoch, " mean(losses):", mean(losses))

# RuntimeError: Expected object of type torch.cuda.LongTensor

# but found type torch.LongTensor for argument #3 'index'

# -> 書籍通り, device="cuda:0" を指定すること.

print(translate("I am a student.", ds[1], enc, dec, device="cuda:0"))

print(translate("This is PyTorch practice.", ds[1], enc, dec, device="cuda:0"))

# 9. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(一部抜粋).

100%|██████████| 1618/1618 [01:23<00:00, 19.44it/s]
-Spanish:-------------------------------------------------
epoch: 0   mean(losses): 5.396342428711937
un poco .
es más de la noche .
100%|██████████| 1618/1618 [01:22<00:00, 19.54it/s]
～(略)～
100%|██████████| 1618/1618 [01:22<00:00, 19.54it/s]
-Spanish:-------------------------------------------------
epoch: 10   mean(losses): 0.7926316856232798
un estudiante .
es considerada .
100%|██████████| 1618/1618 [01:22<00:00, 19.56it/s]
～(略)～
100%|██████████| 1618/1618 [01:23<00:00, 20.10it/s]
-Spanish:-------------------------------------------------
epoch: 20   mean(losses): 0.5196756887789562
un estudiante .
es inútil en la piel .
100%|██████████| 1618/1618 [01:24<00:00, 19.24it/s]
～(略)～
100%|██████████| 1618/1618 [01:22<00:00, 20.03it/s]
-Spanish:-------------------------------------------------
epoch: 30   mean(losses): 0.4120407043892904
un estudiante .
es imposible .
100%|██████████| 257/257 [00:09<00:00, 28.35it/s]
-Swedish:-------------------------------------------------
epoch: 0   mean(losses): 6.12821638537752
är .
är inte att .
100%|██████████| 257/257 [00:09<00:00, 28.40it/s]
～(略)～
100%|██████████| 257/257 [00:08<00:00, 31.00it/s]
-Swedish:-------------------------------------------------
epoch: 10   mean(losses): 1.8426892344589827
är en .
här är det där .
100%|██████████| 257/257 [00:08<00:00, 30.27it/s]
～(略)～
100%|██████████| 257/257 [00:08<00:00, 30.80it/s]
-Swedish:-------------------------------------------------
epoch: 20   mean(losses): 0.5760257180330818
är en .
här är det är fantastiskt .
100%|██████████| 257/257 [00:08<00:00, 29.81it/s]
～(略)～
100%|██████████| 257/257 [00:08<00:00, 30.30it/s]
-Swedish:-------------------------------------------------
epoch: 30   mean(losses): 0.2997655678352029
är en .
här är det är planen .
100%|██████████| 2348/2348 [02:12<00:00, 17.67it/s]
-German:-------------------------------------------------
epoch: 0   mean(losses): 5.027261478429758
ist ein .
ist es .
100%|██████████| 2348/2348 [02:13<00:00, 17.65it/s]
～(略)～
100%|██████████| 2348/2348 [02:13<00:00, 17.58it/s]
-German:-------------------------------------------------
epoch: 10   mean(losses): 0.9117057771252205
ist student .
ist es wert .
100%|██████████| 2348/2348 [02:13<00:00, 17.64it/s]
～(略)～
100%|██████████| 2348/2348 [02:13<00:00, 17.55it/s]
-German:-------------------------------------------------
epoch: 20   mean(losses): 0.6697443485437706
ist student .
ist das verb .
100%|██████████| 2348/2348 [02:13<00:00, 17.65it/s]
～(略)～
100%|██████████| 2348/2348 [02:13<00:00, 17.62it/s]
-German:-------------------------------------------------
epoch: 30   mean(losses): 0.5699677927835227
ist student .
ist das öl geworden .
100%|██████████| 2134/2134 [01:55<00:00, 18.87it/s]
-French:-------------------------------------------------
epoch: 0   mean(losses): 5.04731517924029
un bon .
est un bon .
100%|██████████| 2134/2134 [01:54<00:00, 18.59it/s]
～(略)～
100%|██████████| 2134/2134 [01:54<00:00, 18.21it/s]
-French:-------------------------------------------------
epoch: 10   mean(losses): 0.8460186128037603
étudiant .
est armé .
100%|██████████| 2134/2134 [01:54<00:00, 18.69it/s]
～(略)～
100%|██████████| 2134/2134 [01:54<00:00, 18.65it/s]
-French:-------------------------------------------------
epoch: 20   mean(losses): 0.5978371058822013
étudiant .
est pratique de base .
100%|██████████| 2134/2134 [01:54<00:00, 18.61it/s]
～(略)～
100%|██████████| 2134/2134 [01:54<00:00, 18.63it/s]
-French:-------------------------------------------------
epoch: 30   mean(losses): 0.4971667532900727
est étudiant .
sont des prisons .
100%|██████████| 4760/4760 [06:08<00:00, 12.93it/s]
-Russian:-------------------------------------------------
epoch: 0   mean(losses): 4.048154222138789
.
- это странно .
100%|██████████| 4760/4760 [06:11<00:00, 13.34it/s]
～(略)～
100%|██████████| 4760/4760 [06:10<00:00, 12.84it/s]
-Russian:-------------------------------------------------
epoch: 10   mean(losses): 0.5733920362629309
студент .
лёгкий .
100%|██████████| 4760/4760 [06:10<00:00, 13.61it/s]
～(略)～
100%|██████████| 4760/4760 [06:11<00:00, 12.81it/s]
-Russian:-------------------------------------------------
epoch: 20   mean(losses): 0.45048556828073094
студент .
лёгкий .
100%|██████████| 4760/4760 [06:12<00:00, 13.12it/s]
～(略)～
100%|██████████| 4760/4760 [06:12<00:00, 12.76it/s]
-Russian:-------------------------------------------------
epoch: 30   mean(losses): 0.3992980748602823
студента .
— это веселье .
--------------------------------------------------
Elapsed Time: 22050.92427301407[sec]

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

100%|██████████| 1618/1618 [01:23<00:00, 19.44it/s]

-Spanish:-------------------------------------------------

epoch: 0 mean(losses): 5.396342428711937

un poco .

es más de la noche .

100%|██████████| 1618/1618 [01:22<00:00, 19.54it/s]

～(略)～

100%|██████████| 1618/1618 [01:22<00:00, 19.54it/s]

-Spanish:-------------------------------------------------

epoch: 10 mean(losses): 0.7926316856232798

un estudiante .

es considerada .

100%|██████████| 1618/1618 [01:22<00:00, 19.56it/s]

～(略)～

100%|██████████| 1618/1618 [01:23<00:00, 20.10it/s]

-Spanish:-------------------------------------------------

epoch: 20 mean(losses): 0.5196756887789562

un estudiante .

es inútil en la piel .

100%|██████████| 1618/1618 [01:24<00:00, 19.24it/s]

～(略)～

100%|██████████| 1618/1618 [01:22<00:00, 20.03it/s]

-Spanish:-------------------------------------------------

epoch: 30 mean(losses): 0.4120407043892904

un estudiante .

es imposible .

100%|██████████| 257/257 [00:09<00:00, 28.35it/s]

-Swedish:-------------------------------------------------

epoch: 0 mean(losses): 6.12821638537752

är .

är inte att .

100%|██████████| 257/257 [00:09<00:00, 28.40it/s]

～(略)～

100%|██████████| 257/257 [00:08<00:00, 31.00it/s]

-Swedish:-------------------------------------------------

epoch: 10 mean(losses): 1.8426892344589827

är en .

här är det där .

100%|██████████| 257/257 [00:08<00:00, 30.27it/s]

～(略)～

100%|██████████| 257/257 [00:08<00:00, 30.80it/s]

-Swedish:-------------------------------------------------

epoch: 20 mean(losses): 0.5760257180330818

är en .

här är det är fantastiskt .

100%|██████████| 257/257 [00:08<00:00, 29.81it/s]

～(略)～

100%|██████████| 257/257 [00:08<00:00, 30.30it/s]

-Swedish:-------------------------------------------------

epoch: 30 mean(losses): 0.2997655678352029

är en .

här är det är planen .

100%|██████████| 2348/2348 [02:12<00:00, 17.67it/s]

-German:-------------------------------------------------

epoch: 0 mean(losses): 5.027261478429758

ist ein .

ist es .

100%|██████████| 2348/2348 [02:13<00:00, 17.65it/s]

～(略)～

100%|██████████| 2348/2348 [02:13<00:00, 17.58it/s]

-German:-------------------------------------------------

epoch: 10 mean(losses): 0.9117057771252205

ist student .

ist es wert .

100%|██████████| 2348/2348 [02:13<00:00, 17.64it/s]

～(略)～

100%|██████████| 2348/2348 [02:13<00:00, 17.55it/s]

-German:-------------------------------------------------

epoch: 20 mean(losses): 0.6697443485437706

ist student .

ist das verb .

100%|██████████| 2348/2348 [02:13<00:00, 17.65it/s]

～(略)～

100%|██████████| 2348/2348 [02:13<00:00, 17.62it/s]

-German:-------------------------------------------------

epoch: 30 mean(losses): 0.5699677927835227

ist student .

ist das öl geworden .

100%|██████████| 2134/2134 [01:55<00:00, 18.87it/s]

-French:-------------------------------------------------

epoch: 0 mean(losses): 5.04731517924029

un bon .

est un bon .

100%|██████████| 2134/2134 [01:54<00:00, 18.59it/s]

～(略)～

100%|██████████| 2134/2134 [01:54<00:00, 18.21it/s]

-French:-------------------------------------------------

epoch: 10 mean(losses): 0.8460186128037603

étudiant .

est armé .

100%|██████████| 2134/2134 [01:54<00:00, 18.69it/s]

～(略)～

100%|██████████| 2134/2134 [01:54<00:00, 18.65it/s]

-French:-------------------------------------------------

epoch: 20 mean(losses): 0.5978371058822013

étudiant .

est pratique de base .

100%|██████████| 2134/2134 [01:54<00:00, 18.61it/s]

～(略)～

100%|██████████| 2134/2134 [01:54<00:00, 18.63it/s]

-French:-------------------------------------------------

epoch: 30 mean(losses): 0.4971667532900727

est étudiant .

sont des prisons .

100%|██████████| 4760/4760 [06:08<00:00, 12.93it/s]

-Russian:-------------------------------------------------

epoch: 0 mean(losses): 4.048154222138789

- это странно .

100%|██████████| 4760/4760 [06:11<00:00, 13.34it/s]

～(略)～

100%|██████████| 4760/4760 [06:10<00:00, 12.84it/s]

-Russian:-------------------------------------------------

epoch: 10 mean(losses): 0.5733920362629309

студент .

лёгкий .

100%|██████████| 4760/4760 [06:10<00:00, 13.61it/s]

～(略)～

100%|██████████| 4760/4760 [06:11<00:00, 12.81it/s]

-Russian:-------------------------------------------------

epoch: 20 mean(losses): 0.45048556828073094

студент .

лёгкий .

100%|██████████| 4760/4760 [06:12<00:00, 13.12it/s]

～(略)～

100%|██████████| 4760/4760 [06:12<00:00, 12.76it/s]

-Russian:-------------------------------------------------

epoch: 30 mean(losses): 0.3992980748602823

студента .

— это веселье .

--------------------------------------------------

Elapsed Time: 22050.92427301407[sec]

■実行結果(epoch 30).

①スペイン語("I am a student." について, 部分的に, 翻訳出来たように見える)
I am a student. -> un estudiante . (※Google翻訳: "a student .")
This is PyTorch practice. -> es imposible . (※Google翻訳: "it is impossible .")

②スウェーデン語(翻訳失敗に見える.)
I am a student. -> är en . (※Google翻訳: "is one.")
This is PyTorch practice. -> här är det är planen . (※Google翻訳: "here it is the plan.")

③ドイツ語("I am a student." について, 部分的に, 翻訳出来たように見える)
I am a student. -> ist student . (※Google翻訳: "is a student.")
This is PyTorch practice. -> ist das öl geworden . (※Google翻訳: "has become the oil.")

④フランス語("I am a student." について, 部分的に, 翻訳出来たように見える)
I am a student. -> est étudiant . (※Google翻訳: "is a student.")
This is PyTorch practice. -> sont des prisons .  (※Google翻訳: "are prisons.")

⑤ロシア語("I am a student." について, 部分的に, 翻訳出来たように見える)
I am a student. -> студента . (※Google翻訳: "a student.")
This is PyTorch practice. -> — это веселье . (※Google翻訳: "- this is fun.")

①スペイン語("I am a student." について, 部分的に, 翻訳出来たように見える)

I am a student. -> un estudiante . (※Google翻訳: "a student .")

This is PyTorch practice. -> es imposible . (※Google翻訳: "it is impossible .")

②スウェーデン語(翻訳失敗に見える.)

I am a student. -> är en . (※Google翻訳: "is one.")

This is PyTorch practice. -> här är det är planen . (※Google翻訳: "here it is the plan.")

③ドイツ語("I am a student." について, 部分的に, 翻訳出来たように見える)

I am a student. -> ist student . (※Google翻訳: "is a student.")

This is PyTorch practice. -> ist das öl geworden . (※Google翻訳: "has become the oil.")

④フランス語("I am a student." について, 部分的に, 翻訳出来たように見える)

I am a student. -> est étudiant . (※Google翻訳: "is a student.")

This is PyTorch practice. -> sont des prisons . (※Google翻訳: "are prisons.")

⑤ロシア語("I am a student." について, 部分的に, 翻訳出来たように見える)

I am a student. -> студента . (※Google翻訳: "a student.")

This is PyTorch practice. -> — это веселье . (※Google翻訳: "- this is fun.")

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月14日

PyTorch の動作確認をしてみた（１９）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.5 Encoder-Decoderモデルによる機械翻訳 (P.135 – P.145) である。
※1. プログラムの詳細は, 書籍を参考(P.135 – P.145)にして下さい.
※2. 書籍上で紹介されていたスペイン語のパターン以外の言語も, とりあえず動かしてみた.

スペイン語: spa.txt
スウェーデン語: swe.txt
ドイツ語: deu.txt
フランス語: fra.txt
ロシア語: rus.txt

■Encoder-Decoderモデルの動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
import os, re, time, collections, itertools

～(略)～

# 4. create Dataset Class.
start = time.time()
batch_size = 64
max_len = 10
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\translation\\'
dss = []
dss.append(["Spanish:", TranslationPairDataset(folder_path + "\\spa.txt", max_len = max_len)])
dss.append(["Swedish:", TranslationPairDataset(folder_path + "\\swe.txt", max_len = max_len)])
dss.append(["German:", TranslationPairDataset(folder_path + "\\deu.txt", max_len = max_len)])
dss.append(["French:", TranslationPairDataset(folder_path + "\\fra.txt", max_len = max_len)])
dss.append(["Russian:", TranslationPairDataset(folder_path + "\\rus.txt", max_len = max_len)])
# loader = DataLoader(ds, batch_size = batch_size, shuffle = True, num_workers = 0)

～(略)～

# 7. declare functions to translate.
def translate(input_str, ds, enc, dec, max_len = 15, device = "cpu"):
～(略)～

# 8. sample output.
for ds in dss:
    # <class '__main__.TranslationPairDataset'>
    # print(type(ds[1]))
    enc = Encoder(len(ds[1].src_word_list), 100, 100, 2)
    dec = Decoder(len(ds[1].trg_word_list), 100, 100, 2)
    print('-' + str(ds[0]) + '-------------------------------------------------')
    print(translate("This is PyTorch practice.", ds[1], enc, dec))

# 9. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

import os, re, time, collections, itertools

～(略)～

# 4. create Dataset Class.

start = time.time()

batch_size = 64

max_len = 10

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\translation\\'

dss = []

dss.append(["Spanish:", TranslationPairDataset(folder_path + "\\spa.txt", max_len = max_len)])

dss.append(["Swedish:", TranslationPairDataset(folder_path + "\\swe.txt", max_len = max_len)])

dss.append(["German:", TranslationPairDataset(folder_path + "\\deu.txt", max_len = max_len)])

dss.append(["French:", TranslationPairDataset(folder_path + "\\fra.txt", max_len = max_len)])

dss.append(["Russian:", TranslationPairDataset(folder_path + "\\rus.txt", max_len = max_len)])

# loader = DataLoader(ds, batch_size = batch_size, shuffle = True, num_workers = 0)

～(略)～

# 7. declare functions to translate.

def translate(input_str, ds, enc, dec, max_len = 15, device = "cpu"):

～(略)～

# 8. sample output.

for ds in dss:

# <class '__main__.TranslationPairDataset'>

# print(type(ds[1]))

enc = Encoder(len(ds[1].src_word_list), 100, 100, 2)

dec = Decoder(len(ds[1].trg_word_list), 100, 100, 2)

print('-' + str(ds[0]) + '-------------------------------------------------')

print(translate("This is PyTorch practice.", ds[1], enc, dec))

# 9. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.
書籍上で指摘されているが, とりあえず, よく分からない文章が生成された.

-Spanish:-------------------------------------------------
deceso ocurriera acordaba acordaba silbar adicta ocurriera canté llegará llegará llegará llegará llegará llegará mía
-Swedish:-------------------------------------------------
fräknar jättestor jättestor jättestor jättestor jättestor apelsinjuice jättestor jättestor jättestor jättestor jättestor anordna sänt jättestor
-German:-------------------------------------------------
riesengroß riesengroß riesengroß fantasiewesen aspirin tarnuniformen tarnuniformen erlaubnis erlaubnis cola intelligenten cola betriebe betriebe rege
-French:-------------------------------------------------
rencontrâmes déçus 1980 cirez croissance exagérés cirez cirez cirez revêtait-il j'annulerai trouvait-il été ris coudre
-Russian:-------------------------------------------------
устрашающе последнюю последнюю убедительны убедительны хуйню чихаем париты хуйню подустал париты протёр описать описать меняла
--------------------------------------------------
Elapsed Time: 23.467519521713257[sec]

-Spanish:-------------------------------------------------

deceso ocurriera acordaba acordaba silbar adicta ocurriera canté llegará llegará llegará llegará llegará llegará mía

-Swedish:-------------------------------------------------

fräknar jättestor jättestor jättestor jättestor jättestor apelsinjuice jättestor jättestor jättestor jättestor jättestor anordna sänt jättestor

-German:-------------------------------------------------

riesengroß riesengroß riesengroß fantasiewesen aspirin tarnuniformen tarnuniformen erlaubnis erlaubnis cola intelligenten cola betriebe betriebe rege

-French:-------------------------------------------------

rencontrâmes déçus 1980 cirez croissance exagérés cirez cirez cirez revêtait-il j'annulerai trouvait-il été ris coudre

-Russian:-------------------------------------------------

устрашающе последнюю последнюю убедительны убедительны хуйню чихаем париты хуйню подустал париты протёр описать описать меняла

--------------------------------------------------

Elapsed Time: 23.467519521713257[sec]

■参照サイト
【参照URL①】Tab-delimited Bilingual Sentence Pairs

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月13日

PyTorch の動作確認をしてみた（１８）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.5 Encoder-Decoderモデルによる機械翻訳 (P.135 – P.139) である。

※1. プログラムの詳細は, 書籍を参考(P.135 – P.139)にして下さい.
※2. 書籍上で定義されている関数について, 挙動が見えなかったので, 実際に出力させてみた.

■関数(normalize, parse_line, build_vocab, words2tensor)の動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
import re, collections

# 2. regular expression.
remove_marks_regex = re.compile("[\,\(\)\[\]\*:;¿!]|<.*?>")
shift_marks_regex = re.compile("([?!\.])")

unk = 0
sos = 1
eos = 2

～(略)～

text = "This is a test character! is this string is checking for test? \
This string consists of test character strings, wow!"
print('- normalize --------------------------------------------')
print(normalize(text))
print('- parse_line -------------------------------------------')
print(parse_line("He ran.	Él corrió."))
print('- build_vocab ------------------------------------------')
l, d = build_vocab(text)
print("l=" + str(l))
print("d=" + str(d))
print('- words2tensor -----------------------------------------')
t, seq = words2tensor(l, d, 30, padding = 0)
print("t=" + str(t))
print("seq=" + str(seq))

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

import re, collections

# 2. regular expression.

remove_marks_regex = re.compile("[\,\[\]\*:;¿!]|<.*?>")

shift_marks_regex = re.compile("([?!\.])")

unk = 0

sos = 1

eos = 2

～(略)～

text = "This is a test character! is this string is checking for test? \

This string consists of test character strings, wow!"

print('- normalize --------------------------------------------')

print(normalize(text))

print('- parse_line -------------------------------------------')

print(parse_line("He ran. Él corrió."))

print('- build_vocab ------------------------------------------')

l, d = build_vocab(text)

print("l=" + str(l))

print("d=" + str(d))

print('- words2tensor -----------------------------------------')

t, seq = words2tensor(l, d, 30, padding = 0)

print("t=" + str(t))

print("seq=" + str(seq))

■実行結果.

- normalize --------------------------------------------
this is a test character is this string is checking for test ? this string consists of test character strings wow
- parse_line -------------------------------------------
(['he', 'ran', '.'], ['él', 'corrió', '.'])
- build_vocab ------------------------------------------
l=['<UNK>', '<SOS>', '<EOS>', ' ', 's', 't', 'i', 'r', 'c', 'h', 'e', 'a', 'n', 'g', 'o', 'T', '!', 'f', 'w', 'k', '?', ',']
d={'<UNK>': 0, '<SOS>': 1, '<EOS>': 2, ' ': 3, 's': 4, 't': 5, 'i': 6, 'r': 7, 'c': 8, 'h': 9, 'e': 10, 'a': 11, 'n': 12, 'g': 13, 'o': 14, 'T': 15, '!': 16, 'f': 17, 'w': 18, 'k': 19, '?': 20, ',': 21}
- words2tensor -----------------------------------------
t=tensor([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16, 17,
        18, 19, 20, 21,  2,  0,  0,  0,  0,  0,  0,  0,  0])
seq=23

- normalize --------------------------------------------

this is a test character is this string is checking for test ? this string consists of test character strings wow

- parse_line -------------------------------------------

(['he', 'ran', '.'], ['él', 'corrió', '.'])

- build_vocab ------------------------------------------

l=['<UNK>', '<SOS>', '<EOS>', ' ', 's', 't', 'i', 'r', 'c', 'h', 'e', 'a', 'n', 'g', 'o', 'T', '!', 'f', 'w', 'k', '?', ',']

d={'<UNK>': 0, '<SOS>': 1, '<EOS>': 2, ' ': 3, 's': 4, 't': 5, 'i': 6, 'r': 7, 'c': 8, 'h': 9, 'e': 10, 'a': 11, 'n': 12, 'g': 13, 'o': 14, 'T': 15, '!': 16, 'f': 17, 'w': 18, 'k': 19, '?': 20, ',': 21}

- words2tensor -----------------------------------------

t=tensor([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17,

18, 19, 20, 21, 2, 0, 0, 0, 0, 0, 0, 0, 0])

seq=23

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月11日

PyTorch の動作確認をしてみた（１７）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.4 RNNによる文章生成 (P.126 – P.134) である。

※1. プログラムの詳細は, 書籍を参考(P.126 – P.134)にして下さい.
※2. 動作確認時に躓いた箇所も, コメントした.

■関数(str2ints, ints2str)の動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import string

～(略)～

# 3. sample output.
s = "This is a test character! is this string is checking for test? \
This string consists of test character strings, wow!"
print('-string -> integers list---------------------------------------')
print(str2ints(s, vocab_dict))

x = [55, 17, 18, 28, 94, 18, 28, 94, 10, 94, 29, 14, 28, 29, 94, 12, 
       17, 10, 27, 10, 12, 29, 14, 27, 62, 94, 18, 28, 94, 29, 17, 18, 
       28, 94, 28, 29, 27, 18, 23, 16, 94, 18, 28, 94, 12, 17, 14, 12, 
       20, 18, 23, 16, 94, 15, 24, 27, 94, 29, 14, 28, 29, 82, 94, 55, 
       17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 12, 24, 23, 28, 18, 
       28, 29, 28, 94, 24, 15, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 
       10, 12, 29, 14, 27, 94, 28, 29, 27, 18, 23, 16, 28, 73, 94, 32, 
       24, 32, 62]
print('-integers list -> string---------------------------------------')
print(ints2str(x, all_chars))

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import string

～(略)～

# 3. sample output.

s = "This is a test character! is this string is checking for test? \

This string consists of test character strings, wow!"

print('-string -> integers list---------------------------------------')

print(str2ints(s, vocab_dict))

x = [55, 17, 18, 28, 94, 18, 28, 94, 10, 94, 29, 14, 28, 29, 94, 12,

17, 10, 27, 10, 12, 29, 14, 27, 62, 94, 18, 28, 94, 29, 17, 18,

28, 94, 28, 29, 27, 18, 23, 16, 94, 18, 28, 94, 12, 17, 14, 12,

20, 18, 23, 16, 94, 15, 24, 27, 94, 29, 14, 28, 29, 82, 94, 55,

17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 12, 24, 23, 28, 18,

28, 29, 28, 94, 24, 15, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27,

10, 12, 29, 14, 27, 94, 28, 29, 27, 18, 23, 16, 28, 73, 94, 32,

24, 32, 62]

print('-integers list -> string---------------------------------------')

print(ints2str(x, all_chars))

■実行結果.

-string -> integers list---------------------------------------
[55, 17, 18, 28, 94, 18, 28, 94, 10, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 10, 12, 29, 14, 27, 62, 94, 18, 28, 94, 29, 17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 18, 28, 94, 12, 17, 14, 12, 20, 18, 23, 16, 94, 15, 24, 27, 94, 29, 14, 28, 29, 82, 94, 55, 17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 12, 24, 23, 28, 18, 28, 29, 28, 94, 24, 15, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 10, 12, 29, 14, 27, 94, 28, 29, 27, 18, 23, 16, 28, 73, 94, 32, 24, 32, 62]
-integers list -> string---------------------------------------
This is a test character! is this string is checking for test? This string consists of test character strings, wow!

-string -> integers list---------------------------------------

[55, 17, 18, 28, 94, 18, 28, 94, 10, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 10, 12, 29, 14, 27, 62, 94, 18, 28, 94, 29, 17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 18, 28, 94, 12, 17, 14, 12, 20, 18, 23, 16, 94, 15, 24, 27, 94, 29, 14, 28, 29, 82, 94, 55, 17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 12, 24, 23, 28, 18, 28, 29, 28, 94, 24, 15, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 10, 12, 29, 14, 27, 94, 28, 29, 27, 18, 23, 16, 28, 73, 94, 32, 24, 32, 62]

-integers list -> string---------------------------------------

This is a test character! is this string is checking for test? This string consists of test character strings, wow!

■RNNによる文章生成(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch, string, os, time
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
from tqdm import tqdm
from statistics import mean

～(略)～

# string -> integers list.
# KeyError: '·'
# -> 理由: tinyshakespeare.txt の 保管方法誤り.
# https://github.com/karpathy/char-rnn/tree/master/data/tinyshakespeare
# -> 上記サイトに表示されている input.txt を, [右クリック] - [名前を付けてリンク先を保存]
# で, download すると, 大量のhtmlタグが含まれたものが download されてしまう.
# 
# https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt
# -> 上記サイトを表示後, [右クリック] - [名前を付けて保存] とすることで, KeyError が解消した.

～(略)～

# 6. create Dataset Class.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\tinyshakespeare\\'
# karpathy/char-rnn
# https://github.com/karpathy/char-rnn/tree/master/data/tinyshakespeare
ds = ShakespeareDataset(folder_path + "\\tinyshakespeare.txt", chunk_size = 200)
loader = DataLoader(ds, batch_size = 32, shuffle = True, num_workers = 0)

# 7. training.
# TypeError: __init__() got an unexpected keyword argument 'num_layers'
# -> ShakespeareDataset と 記載していたことが原因.
# -> 全く別物の名前が似ているクラス ShakespeareDataset, SequenceGenerationNet を使う場合に, 要注意.
net = SequenceGenerationNet(vocab_size, 20, 50, num_layers = 2, dropout = 0.1)
～(略)～

for epoch in range(50):
    net.train()
    losses = []
    for data in tqdm(loader):
～(略)～
        # RuntimeError: cudnn RNN backward can only be called in training mode.
        # -> 以下の通り, error原因は, コーディングに関するインデント誤りによる error.
        # -> error内容 の イメージとしては, 
        # loader の ループ処理中(訓練中)に, train mode で設定されていた net が, 
        # generate_seq関数 の 呼び出しで, eval modeに切り替わってしまったため, 
        # loss.backward() の 処理で失敗したと推測している.
        # -> epoch単位 で, 
        # epoch 0: train mode -> eval mode
        # epoch 1: train mode -> eval mode
        # ...
        # のように, net の mode が, 切り替わるのが正しい動作に見える.
        # print(epoch, mean(losses))
        # with torch.no_grad():
        #     print(generate_seq(net, device = "cuda:0"))
    # -> 書籍を確認して修正したところ, 解消した.
    print('--------------------------------------------------')
    print('epoch: ' + str(epoch) + '  mean(loss): ' + str(mean(losses)))
    with torch.no_grad():
        print(generate_seq(net, device = "cuda:0"))

# 8. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch, string, os, time

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

from tqdm import tqdm

from statistics import mean

～(略)～

# string -> integers list.

# KeyError: '·'

# -> 理由: tinyshakespeare.txt の保管方法誤り.

# https://github.com/karpathy/char-rnn/tree/master/data/tinyshakespeare

# -> 上記サイトに表示されている input.txt を, [右クリック] - [名前を付けてリンク先を保存]

# で, download すると, 大量のhtmlタグが含まれたものが download されてしまう.

# https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt

# -> 上記サイトを表示後, [右クリック] - [名前を付けて保存] とすることで, KeyError が解消した.

～(略)～

# 6. create Dataset Class.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\tinyshakespeare\\'

# karpathy/char-rnn

# https://github.com/karpathy/char-rnn/tree/master/data/tinyshakespeare

ds = ShakespeareDataset(folder_path + "\\tinyshakespeare.txt", chunk_size = 200)

loader = DataLoader(ds, batch_size = 32, shuffle = True, num_workers = 0)

# 7. training.

# TypeError: __init__() got an unexpected keyword argument 'num_layers'

# -> ShakespeareDataset と記載していたことが原因.

# -> 全く別物の名前が似ているクラス ShakespeareDataset, SequenceGenerationNet を使う場合に, 要注意.

net = SequenceGenerationNet(vocab_size, 20, 50, num_layers = 2, dropout = 0.1)

～(略)～

for epoch in range(50):

net.train()

losses = []

for data in tqdm(loader):

～(略)～

# RuntimeError: cudnn RNN backward can only be called in training mode.

# -> 以下の通り, error原因は, コーディングに関するインデント誤りによる error.

# -> error内容のイメージとしては,

# loader のループ処理中(訓練中)に, train mode で設定されていた net が,

# generate_seq関数の呼び出しで, eval modeに切り替わってしまったため,

# loss.backward() の処理で失敗したと推測している.

# -> epoch単位で,

# epoch 0: train mode -> eval mode

# epoch 1: train mode -> eval mode

# ...

# のように, net の mode が, 切り替わるのが正しい動作に見える.

# print(epoch, mean(losses))

# with torch.no_grad():

# print(generate_seq(net, device = "cuda:0"))

# -> 書籍を確認して修正したところ, 解消した.

print('--------------------------------------------------')

print('epoch: ' + str(epoch) + ' mean(loss): ' + str(mean(losses)))

with torch.no_grad():

print(generate_seq(net, device = "cuda:0"))

# 8. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(epoch = 50).
文章と言われてみれば, 見えなくも無さそうだが, 精度は, まだまだ低そうに見える.

～(略)～
--------------------------------------------------
epoch: 47  mean(loss): 1.6681576177052089
The King said stopating now toold;
As joy whope great sholojy skeee ack: now fe't will
A senough now us iT the have of his blict
Scary, as this reis thee are will soverness
Come, kind fathith me here of more ourh yo
100%|██████████| 175/175 [00:04<00:00, 35.31it/s]
--------------------------------------------------
epoch: 48  mean(loss): 1.6644004263196672
The King said At traight is our fout noth and have
To thy ender, your part; but that lord; as niverous fear;
An than dake sugh he seemens me in by
trant near to much here?

ROMEO:

MENENIUS:
I'ch you I ranter, the w
100%|██████████| 175/175 [00:04<00:00, 35.11it/s]
--------------------------------------------------
epoch: 49  mean(loss): 1.6615660510744368
The King said to lordter hiskiendy and
Nor I will more,
Like in tractor of his merner; but conserys
sming but them Worlouth a fine,
Now thy chiresheble in her Granter, Sciren,
Are pardutersly, I hope dequricks. Ever
--------------------------------------------------
Elapsed Time: 269.3071098327637[sec]

～(略)～

--------------------------------------------------

epoch: 47 mean(loss): 1.6681576177052089

The King said stopating now toold;

As joy whope great sholojy skeee ack: now fe't will

A senough now us iT the have of his blict

Scary, as this reis thee are will soverness

Come, kind fathith me here of more ourh yo

100%|██████████| 175/175 [00:04<00:00, 35.31it/s]

--------------------------------------------------

epoch: 48 mean(loss): 1.6644004263196672

The King said At traight is our fout noth and have

To thy ender, your part; but that lord; as niverous fear;

An than dake sugh he seemens me in by

trant near to much here?

ROMEO:

MENENIUS:

I'ch you I ranter, the w

100%|██████████| 175/175 [00:04<00:00, 35.11it/s]

--------------------------------------------------

epoch: 49 mean(loss): 1.6615660510744368

The King said to lordter hiskiendy and

Nor I will more,

Like in tractor of his merner; but conserys

sming but them Worlouth a fine,

Now thy chiresheble in her Granter, Sciren,

Are pardutersly, I hope dequricks. Ever

--------------------------------------------------

Elapsed Time: 269.3071098327637[sec]

■ハマった現象 & 解決策.

1. str2ints関数におけるエラー.
KeyError: '·'
-> 本件は, 参照URL① から, input.txt を, [右クリック] - [名前を付けてリンク先を保存] した
ことにより, 大量のhtmlタグが含まれたものが download されていたことが原因だった.
-> 参照URL② を 表示させて, 表示後, [右クリック] - [名前を付けて保存] することで, KeyError が解消した.

2. netに関するエラー.
TypeError: __init__() got an unexpected keyword argument 'num_layers'
-> 本件は, net に 代入するクラスを, ShakespeareDataset としていたことが原因.
-> net に 代入するクラスを, 書籍通りに, SequenceGenerationNet に修正して解消した.
※全く別物の名前が似ているクラスを取り扱う場合に要注意. 

3. 訓練時のエラー.
RuntimeError: cudnn RNN backward can only be called in training mode.
-> 本件は, コーディング時のインデント誤りが原因.
-> インデントを修正して解消した.

1. str2ints関数におけるエラー.

KeyError: '·'

-> 本件は, 参照URL① から, input.txt を, [右クリック] - [名前を付けてリンク先を保存] した

ことにより, 大量のhtmlタグが含まれたものが download されていたことが原因だった.

-> 参照URL② を表示させて, 表示後, [右クリック] - [名前を付けて保存] することで, KeyError が解消した.

2. netに関するエラー.

TypeError: __init__() got an unexpected keyword argument 'num_layers'

-> 本件は, net に代入するクラスを, ShakespeareDataset としていたことが原因.

-> net に代入するクラスを, 書籍通りに, SequenceGenerationNet に修正して解消した.

※全く別物の名前が似ているクラスを取り扱う場合に要注意.

3. 訓練時のエラー.

RuntimeError: cudnn RNN backward can only be called in training mode.

-> 本件は, コーディング時のインデント誤りが原因.

-> インデントを修正して解消した.

■参照サイト
【参照URL①】karpathy/char-rnn
【参照URL②】tinyshakespeare.txt の内容

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)