個人用メモ帳

2018年11月20日

PyTorch の動作確認をしてみた（２３）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 6.2 ニューラル行列因子分解 (P.160 – P.169) である。

※プログラムの詳細は, 書籍を参考(P.160 – P.169)にして下さい.

■ニューラル行列因子分解の訓練に関する動作確認(書籍から一部抜粋・追記).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import csv
from sklearn.feature_extraction.text import CountVectorizer
import torch
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
import os, time
import pandas as pd
from sklearn import model_selection
from tqdm import tqdm
from statistics import mean

# 2. get csv data.
# downloaded from the site below.
# MovieLens
# https://grouplens.org/datasets/movielens/
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'
# X is a pair of userId, movieId.
df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

for epoch in range(6):
～(略)～
    net.eval()
    test_score = eval_net(net, test_loader, device = "cuda:0")
    print(epoch, mean(loss_log), test_score, flush = True)
    # save the learning result every ten iterations.
    # SAVING AND LOADING MODELS
    # https://pytorch.org/tutorials/beginner/saving_loading_models.html
    # -> A common PyTorch convention is 
    # to save models using either a .pt or .pth file extension.
    torch.save(net.state_dict(), folder_path + "nmf_{:03d}.pth".format(epoch), pickle_protocol = 4)

# 10. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import csv

from sklearn.feature_extraction.text import CountVectorizer

import torch

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

import os, time

import pandas as pd

from sklearn import model_selection

from tqdm import tqdm

from statistics import mean

# 2. get csv data.

# downloaded from the site below.

# MovieLens

# https://grouplens.org/datasets/movielens/

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'

# X is a pair of userId, movieId.

df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

for epoch in range(6):

～(略)～

net.eval()

test_score = eval_net(net, test_loader, device = "cuda:0")

print(epoch, mean(loss_log), test_score, flush = True)

# save the learning result every ten iterations.

# SAVING AND LOADING MODELS

# https://pytorch.org/tutorials/beginner/saving_loading_models.html

# -> A common PyTorch convention is

# to save models using either a .pt or .pth file extension.

torch.save(net.state_dict(), folder_path + "nmf_{:03d}.pth".format(epoch), pickle_protocol = 4)

# 10. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(epoch 5).

Reloaded modules: __mp_main__
100%|██████████| 17579/17579 [07:01<00:00, 28.58it/s]
0 0.7552803228709659 tensor(0.6454)
100%|██████████| 17579/17579 [07:01<00:00, 41.66it/s]
1 0.6931871950534825 tensor(0.6326)
100%|██████████| 17579/17579 [07:01<00:00, 27.47it/s]
2 0.6693359034495031 tensor(0.6271)
100%|██████████| 17579/17579 [06:48<00:00, 31.37it/s]
3 0.6513743288579793 tensor(0.6198)
100%|██████████| 17579/17579 [06:44<00:00, 43.44it/s]
4 0.6327997606811999 tensor(0.6140)
100%|██████████| 17579/17579 [06:45<00:00, 43.38it/s]
5 0.6174885486876966 tensor(0.6131)
--------------------------------------------------
Elapsed Time: 2665.562874317169[sec]

Reloaded modules: __mp_main__

100%|██████████| 17579/17579 [07:01<00:00, 28.58it/s]

0 0.7552803228709659 tensor(0.6454)

100%|██████████| 17579/17579 [07:01<00:00, 41.66it/s]

1 0.6931871950534825 tensor(0.6326)

100%|██████████| 17579/17579 [07:01<00:00, 27.47it/s]

2 0.6693359034495031 tensor(0.6271)

100%|██████████| 17579/17579 [06:48<00:00, 31.37it/s]

3 0.6513743288579793 tensor(0.6198)

100%|██████████| 17579/17579 [06:44<00:00, 43.44it/s]

4 0.6327997606811999 tensor(0.6140)

100%|██████████| 17579/17579 [06:45<00:00, 43.38it/s]

5 0.6174885486876966 tensor(0.6131)

--------------------------------------------------

Elapsed Time: 2665.562874317169[sec]

■指定ユーザの映画評価に関する予測についての動作確認(書籍から一部抜粋・追記).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import csv
from sklearn.feature_extraction.text import CountVectorizer
import torch
from torch import nn
import os, time
import pandas as pd

# 2. get csv data.
# downloaded from the site below.
# MovieLens
# https://grouplens.org/datasets/movielens/
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'
# X is a pair of userId, movieId.
df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

print('- cv.get_feature_names() -------------------------------')
print(cv.get_feature_names())
print()

～(略)～

# 7. load model.
net.load_state_dict(torch.load(folder_path + "nmf_005.pth"))

～(略)～

query_genres = query_genres.to("cuda:0")
query1 = query1.to("cuda:0")
query100 = query100.to("cuda:0")
query10000 = query10000.to("cuda:0")
# RuntimeError: Expected object of type torch.LongTensor 
# but found type torch.cuda.LongTensor for argument #3 'index'
# -> net.to("cuda:0") を追加.
net.to("cuda:0")

nq1 = net(query1, query_genres)
nq100 = net(query100, query_genres)
nq10000 = net(query10000, query_genres)
print('- userId = 1 -------------------------------------------')
print(nq1)

print('- userId = 100 -----------------------------------------')
print(nq100)

print('- userId = 10000 ---------------------------------------')
print(nq10000)

# 9. display processing time.
end = time.time()
print('--------------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import csv

from sklearn.feature_extraction.text import CountVectorizer

import torch

from torch import nn

import os, time

import pandas as pd

# 2. get csv data.

# downloaded from the site below.

# MovieLens

# https://grouplens.org/datasets/movielens/

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'

# X is a pair of userId, movieId.

df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

print('- cv.get_feature_names() -------------------------------')

print(cv.get_feature_names())

print()

～(略)～

# 7. load model.

net.load_state_dict(torch.load(folder_path + "nmf_005.pth"))

～(略)～

query_genres = query_genres.to("cuda:0")

query1 = query1.to("cuda:0")

query100 = query100.to("cuda:0")

query10000 = query10000.to("cuda:0")

# RuntimeError: Expected object of type torch.LongTensor

# but found type torch.cuda.LongTensor for argument #3 'index'

# -> net.to("cuda:0") を追加.

net.to("cuda:0")

nq1 = net(query1, query_genres)

nq100 = net(query100, query_genres)

nq10000 = net(query10000, query_genres)

print('- userId = 1 -------------------------------------------')

print(nq1)

print('- userId = 100 -----------------------------------------')

print(nq100)

print('- userId = 10000 ---------------------------------------')

print(nq10000)

# 9. display processing time.

end = time.time()

print('--------------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

- cv.get_feature_names() -------------------------------
['action', 'adventure', 'animation', 'children', 'comedy', 'crime', 'documentary', 'drama', 'fantasy', 'fi', 'film', 'genres', 'horror', 'imax', 'listed', 'musical', 'mystery', 'no', 'noir', 'romance', 'sci', 'thriller', 'war', 'western']

- userId = 1 -------------------------------------------
tensor([3.0304, 2.9902, 2.7403, 3.2556, 2.7098, 2.9657, 3.3573, 2.9539, 2.8770,
        2.2633, 2.7041, 2.5225, 2.4076, 2.7684, 2.9662, 2.8699, 1.9527, 3.0374,
        2.8885, 3.3802, 2.4908, 2.4017, 3.0874, 2.4332],
       device='cuda:0', grad_fn=<SqueezeBackward0>)
- userId = 100 -----------------------------------------
tensor([2.7457, 2.8471, 2.9800, 2.7280, 2.9594, 2.9579, 2.3870, 2.9197, 2.7903,
        2.3223, 2.7356, 2.9157, 2.2206, 2.4959, 3.1032, 2.7642, 2.3156, 3.4986,
        3.5273, 2.9534, 2.8308, 2.3040, 2.7311, 2.9941],
       device='cuda:0', grad_fn=<SqueezeBackward0>)
- userId = 10000 ---------------------------------------
tensor([2.7231, 2.8262, 2.6690, 2.6748, 2.1166, 3.3091, 2.9299, 2.9109, 2.6104,
        2.4434, 2.6722, 3.2299, 2.5336, 3.0530, 2.9737, 3.1129, 2.2319, 3.1534,
        3.0881, 3.0344, 2.5168, 2.4733, 2.9527, 2.8376],
       device='cuda:0', grad_fn=<SqueezeBackward0>)
--------------------------------------------------------
Elapsed Time: 35.49626350402832[sec]

- cv.get_feature_names() -------------------------------

['action', 'adventure', 'animation', 'children', 'comedy', 'crime', 'documentary', 'drama', 'fantasy', 'fi', 'film', 'genres', 'horror', 'imax', 'listed', 'musical', 'mystery', 'no', 'noir', 'romance', 'sci', 'thriller', 'war', 'western']

- userId = 1 -------------------------------------------

tensor([3.0304, 2.9902, 2.7403, 3.2556, 2.7098, 2.9657, 3.3573, 2.9539, 2.8770,

2.2633, 2.7041, 2.5225, 2.4076, 2.7684, 2.9662, 2.8699, 1.9527, 3.0374,

2.8885, 3.3802, 2.4908, 2.4017, 3.0874, 2.4332],

device='cuda:0', grad_fn=<SqueezeBackward0>)

- userId = 100 -----------------------------------------

tensor([2.7457, 2.8471, 2.9800, 2.7280, 2.9594, 2.9579, 2.3870, 2.9197, 2.7903,

2.3223, 2.7356, 2.9157, 2.2206, 2.4959, 3.1032, 2.7642, 2.3156, 3.4986,

3.5273, 2.9534, 2.8308, 2.3040, 2.7311, 2.9941],

device='cuda:0', grad_fn=<SqueezeBackward0>)

- userId = 10000 ---------------------------------------

tensor([2.7231, 2.8262, 2.6690, 2.6748, 2.1166, 3.3091, 2.9299, 2.9109, 2.6104,

2.4434, 2.6722, 3.2299, 2.5336, 3.0530, 2.9737, 3.1129, 2.2319, 3.1534,

3.0881, 3.0344, 2.5168, 2.4733, 2.9527, 2.8376],

device='cuda:0', grad_fn=<SqueezeBackward0>)

--------------------------------------------------------

Elapsed Time: 35.49626350402832[sec]

■以上の実行結果から, 以下のことが分かった.

1. MAEの確認.
epoch 5 で, 約0.62 まで改善した(※書籍とほぼ同じ結果).

2. ニューラル行列因子分解の訓練.
epoch 5 で, 約2665秒 かかった.

3. 指定ユーザ(userId) の 映画ジャンル(action, adventure,...) に対するスコアについて.
・userId = 1 の 場合:
-> ロマンス映画(romance) で, スコアが, 最大(3.3802) と分かる.
・userId = 100 の 場合:
-> ホラー映画(horror) で, スコアが, 最小(2.2206) と分かる.
・userId = 10000 の 場合:
-> ファンタジー映画(fantasy) で, スコアが, 2.6104 と分かる.

1. MAEの確認.

epoch 5 で, 約0.62 まで改善した(※書籍とほぼ同じ結果).

2. ニューラル行列因子分解の訓練.

epoch 5 で, 約2665秒かかった.

3. 指定ユーザ(userId) の映画ジャンル(action, adventure,...) に対するスコアについて.

・userId = 1 の場合:

-> ロマンス映画(romance) で, スコアが, 最大(3.3802) と分かる.

・userId = 100 の場合:

-> ホラー映画(horror) で, スコアが, 最小(2.2206) と分かる.

・userId = 10000 の場合:

-> ファンタジー映画(fantasy) で, スコアが, 2.6104 と分かる.

■参照サイト
【参照URL①】MovieLens
【参照URL②】SAVING AND LOADING MODELS

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月18日

PyTorch の動作確認をしてみた（２２）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 6.1 行列因子分解 (P.152 – P.159) である。

※1. プログラムの詳細は, 書籍を参考(P.152 – P.159)にして下さい.
※2. 書籍上は, 本章に関し, 特に, 訓練したモデルの保存については, 書かれてなかったが, epoch 5 でも, 約1974秒かかったので, 訓練したモデルの保存は, 個人的には, 推奨したい.

■行列因子分解の訓練に関する動作確認.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import (DataLoader, TensorDataset)
import os, time
import pandas as pd
from sklearn import model_selection
from tqdm import tqdm
from statistics import mean

# 2. get csv data.
# downloaded from the site below.
# MovieLens
# https://grouplens.org/datasets/movielens/
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'
# X is a pair of userId, movieId.
df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

for epoch in range(6):
～(略)～
    test_score = eval_net(net, test_loader, device = "cuda:0")
    print(epoch, mean(loss_log), test_score, flush = True)
    # save the learning result every ten iterations.
    # SAVING AND LOADING MODELS
    # https://pytorch.org/tutorials/beginner/saving_loading_models.html
    # -> A common PyTorch convention is 
    # to save models using either a .pt or .pth file extension.
    torch.save(net.state_dict(), folder_path + "mf_{:03d}.pth".format(epoch), pickle_protocol = 4)

# 10. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import (DataLoader, TensorDataset)

import os, time

import pandas as pd

from sklearn import model_selection

from tqdm import tqdm

from statistics import mean

# 2. get csv data.

# downloaded from the site below.

# MovieLens

# https://grouplens.org/datasets/movielens/

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'

# X is a pair of userId, movieId.

df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

for epoch in range(6):

～(略)～

test_score = eval_net(net, test_loader, device = "cuda:0")

print(epoch, mean(loss_log), test_score, flush = True)

# save the learning result every ten iterations.

# SAVING AND LOADING MODELS

# https://pytorch.org/tutorials/beginner/saving_loading_models.html

# -> A common PyTorch convention is

# to save models using either a .pt or .pth file extension.

torch.save(net.state_dict(), folder_path + "mf_{:03d}.pth".format(epoch), pickle_protocol = 4)

# 10. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(epoch 5).

100%|██████████| 17579/17579 [05:09<00:00, 39.52it/s]
0 1.5930599859871755 0.732918381690979
100%|██████████| 17579/17579 [05:08<00:00, 57.07it/s]
1 0.878951918882846 0.7076014280319214
100%|██████████| 17579/17579 [05:07<00:00, 57.17it/s]
2 0.8339888583244646 0.6978585124015808
100%|██████████| 17579/17579 [05:07<00:00, 57.24it/s]
3 0.8118861625033018 0.6956022381782532
100%|██████████| 17579/17579 [05:06<00:00, 35.50it/s]
4 0.7995163224732024 0.6941294074058533
100%|██████████| 17579/17579 [05:06<00:00, 39.15it/s]
5 0.792301750381799 0.6923578381538391
--------------------------------------------------
Elapsed Time: 1974.9214341640472[sec]

100%|██████████| 17579/17579 [05:09<00:00, 39.52it/s]

0 1.5930599859871755 0.732918381690979

100%|██████████| 17579/17579 [05:08<00:00, 57.07it/s]

1 0.878951918882846 0.7076014280319214

100%|██████████| 17579/17579 [05:07<00:00, 57.17it/s]

2 0.8339888583244646 0.6978585124015808

100%|██████████| 17579/17579 [05:07<00:00, 57.24it/s]

3 0.8118861625033018 0.6956022381782532

100%|██████████| 17579/17579 [05:06<00:00, 35.50it/s]

4 0.7995163224732024 0.6941294074058533

100%|██████████| 17579/17579 [05:06<00:00, 39.15it/s]

5 0.792301750381799 0.6923578381538391

--------------------------------------------------

Elapsed Time: 1974.9214341640472[sec]

■指定ユーザの映画評価に関する予測についての動作確認.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn
from torch.utils.data import (DataLoader, TensorDataset)
import os, time
import pandas as pd
from sklearn import model_selection

# 2. get csv data.
# downloaded from the site below.
# MovieLens
# https://grouplens.org/datasets/movielens/
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'
# X is a pair of userId, movieId.
df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

# 8. load model.
net.load_state_dict(torch.load(folder_path + "mf_005.pth"))

# 9. predict evaluation of user's movie.
net.to("cpu")

～(略)～

# 10. calculate the evaluation prediction value of all movies for 
# a certain user and extract the top five.
# query = torch.stack([
#         torch.zeros(max_item).fill_(1), 
#         torch.arange(1, max_item + 1)], 1).long()
# -> RuntimeError: Expected a Tensor of type torch.FloatTensor 
# but found a type torch.LongTensor for sequence element 1 in sequence 
# argument at position #1 'tensors'
# -> dtype = torch.float32 を 設定する形で, bug fix.
query = torch.stack([
        torch.zeros(max_item, dtype = torch.float32).fill_(1), 
        torch.arange(1, max_item + 1, dtype = torch.float32)], 1).long()

# torch.topk
# https://pytorch.org/docs/stable/torch.html#torch.topk
nq = net(query)
scores, indices = torch.topk(nq, 5)
print('- top five ---------------------------------------------')
print('scores:', str(scores))
print('indices:', str(indices))
print()

scores, indices = torch.topk(nq, 5, largest = False)
print('- last five --------------------------------------------')
print('scores:', str(scores))
print('indices:', str(indices))
print()

scores, indices = torch.topk(nq, 100010)
print('- between 25001 and 25010 ------------------------------')
print('scores:', str(scores[25000 : 25010]))
print('indices:', str(indices[25000 : 25010]))
print()

print('- between 50001 and 50010 ------------------------------')
print('scores:', str(scores[50000 : 50010]))
print('indices:', str(indices[50000 : 50010]))
print()

print('- between 75001 and 75010 ------------------------------')
print('scores:', str(scores[75000 : 75010]))
print('indices:', str(indices[75000 : 75010]))
print()

print('- between 100001 and 100010 ----------------------------')
print('scores:', str(scores[100000 : 100010]))
print('indices:', str(indices[100000 : 100010]))
print()

# 11. display processing time.
end = time.time()
print('--------------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn

from torch.utils.data import (DataLoader, TensorDataset)

import os, time

import pandas as pd

from sklearn import model_selection

# 2. get csv data.

# downloaded from the site below.

# MovieLens

# https://grouplens.org/datasets/movielens/

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\ml-20m\\'

# X is a pair of userId, movieId.

df = pd.read_csv(folder_path + 'ratings.csv', encoding = 'utf-8')

～(略)～

# 8. load model.

net.load_state_dict(torch.load(folder_path + "mf_005.pth"))

# 9. predict evaluation of user's movie.

net.to("cpu")

～(略)～

# 10. calculate the evaluation prediction value of all movies for

# a certain user and extract the top five.

# query = torch.stack([

# torch.zeros(max_item).fill_(1),

# torch.arange(1, max_item + 1)], 1).long()

# -> RuntimeError: Expected a Tensor of type torch.FloatTensor

# but found a type torch.LongTensor for sequence element 1 in sequence

# argument at position #1 'tensors'

# -> dtype = torch.float32 を設定する形で, bug fix.

query = torch.stack([

torch.zeros(max_item, dtype = torch.float32).fill_(1),

torch.arange(1, max_item + 1, dtype = torch.float32)], 1).long()

# torch.topk

# https://pytorch.org/docs/stable/torch.html#torch.topk

nq = net(query)

scores, indices = torch.topk(nq, 5)

print('- top five ---------------------------------------------')

print('scores:', str(scores))

print('indices:', str(indices))

print()

scores, indices = torch.topk(nq, 5, largest = False)

print('- last five --------------------------------------------')

print('scores:', str(scores))

print('indices:', str(indices))

print()

scores, indices = torch.topk(nq, 100010)

print('- between 25001 and 25010 ------------------------------')

print('scores:', str(scores[25000 : 25010]))

print('indices:', str(indices[25000 : 25010]))

print()

print('- between 50001 and 50010 ------------------------------')

print('scores:', str(scores[50000 : 50010]))

print('indices:', str(indices[50000 : 50010]))

print()

print('- between 75001 and 75010 ------------------------------')

print('scores:', str(scores[75000 : 75010]))

print('indices:', str(indices[75000 : 75010]))

print()

print('- between 100001 and 100010 ----------------------------')

print('scores:', str(scores[100000 : 100010]))

print('indices:', str(indices[100000 : 100010]))

print()

# 11. display processing time.

end = time.time()

print('--------------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

tensor([3.6101], grad_fn=<MulBackward>)

- top five ---------------------------------------------
scores: tensor([5.0000, 5.0000, 5.0000, 5.0000, 5.0000], grad_fn=<TopkBackward>)
indices: tensor([ 96667, 109301, 120890,  55433,  42453])

- last five --------------------------------------------
scores: tensor([4.6535e-06, 3.3581e-05, 4.9357e-05, 6.0969e-05, 6.2392e-05],
       grad_fn=<TopkBackward>)
indices: tensor([ 18571,  96152,  54252,  35498, 109398])

- between 25001 and 25010 ------------------------------
scores: tensor([4.6394, 4.6394, 4.6394, 4.6393, 4.6393, 4.6393, 4.6393, 4.6393, 4.6392,
        4.6392], grad_fn=<SliceBackward>)
indices: tensor([ 93562,  30782,  41455,  25498,  12656, 123988,  26001, 104624,  14696,
         49105])

- between 50001 and 50010 ------------------------------
scores: tensor([3.6825, 3.6824, 3.6824, 3.6824, 3.6823, 3.6823, 3.6822, 3.6821, 3.6820,
        3.6820], grad_fn=<SliceBackward>)
indices: tensor([ 88630,  92275, 123422, 121111,  78579,   3348,  66865,  44663,  56952,
         68030])

- between 75001 and 75010 ------------------------------
scores: tensor([2.2174, 2.2172, 2.2170, 2.2169, 2.2168, 2.2168, 2.2167, 2.2167, 2.2166,
        2.2166], grad_fn=<SliceBackward>)
indices: tensor([83245, 97727, 79370, 13530, 48519, 13638, 52819, 62837, 99327, 98202])

- between 100001 and 100010 ----------------------------
scores: tensor([0.6957, 0.6956, 0.6955, 0.6955, 0.6954, 0.6954, 0.6953, 0.6953, 0.6953,
        0.6953], grad_fn=<SliceBackward>)
indices: tensor([ 74712,  98505,  72104,  14471,  28726,  85159,  35487, 127431,  22152,
          5103])

--------------------------------------------------------
Elapsed Time: 38.12584853172302[sec]

tensor([3.6101], grad_fn=<MulBackward>)

- top five ---------------------------------------------

scores: tensor([5.0000, 5.0000, 5.0000, 5.0000, 5.0000], grad_fn=<TopkBackward>)

indices: tensor([ 96667, 109301, 120890, 55433, 42453])

- last five --------------------------------------------

scores: tensor([4.6535e-06, 3.3581e-05, 4.9357e-05, 6.0969e-05, 6.2392e-05],

grad_fn=<TopkBackward>)

indices: tensor([ 18571, 96152, 54252, 35498, 109398])

- between 25001 and 25010 ------------------------------

scores: tensor([4.6394, 4.6394, 4.6394, 4.6393, 4.6393, 4.6393, 4.6393, 4.6393, 4.6392,

4.6392], grad_fn=<SliceBackward>)

indices: tensor([ 93562, 30782, 41455, 25498, 12656, 123988, 26001, 104624, 14696,

49105])

- between 50001 and 50010 ------------------------------

scores: tensor([3.6825, 3.6824, 3.6824, 3.6824, 3.6823, 3.6823, 3.6822, 3.6821, 3.6820,

3.6820], grad_fn=<SliceBackward>)

indices: tensor([ 88630, 92275, 123422, 121111, 78579, 3348, 66865, 44663, 56952,

68030])

- between 75001 and 75010 ------------------------------

scores: tensor([2.2174, 2.2172, 2.2170, 2.2169, 2.2168, 2.2168, 2.2167, 2.2167, 2.2166,

2.2166], grad_fn=<SliceBackward>)

indices: tensor([83245, 97727, 79370, 13530, 48519, 13638, 52819, 62837, 99327, 98202])

- between 100001 and 100010 ----------------------------

scores: tensor([0.6957, 0.6956, 0.6955, 0.6955, 0.6954, 0.6954, 0.6953, 0.6953, 0.6953,

0.6953], grad_fn=<SliceBackward>)

indices: tensor([ 74712, 98505, 72104, 14471, 28726, 85159, 35487, 127431, 22152,

5103])

--------------------------------------------------------

Elapsed Time: 38.12584853172302[sec]

■以上の実行結果から, 以下のことが分かった.

1. MAEの確認.
epoch 5 で, 約0.69 まで改善した(※書籍とほぼ同じ結果).

2. 行列因子分解の訓練.
epoch 5 で, 約1974秒 かかった.

3. torch.stack()に関すること.
RuntimeError: Expected a Tensor of type torch.FloatTensor 
but found a type torch.LongTensor for sequence element 1 in sequence argument at position #1 'tensors'
-> 上記 error を回避するため, dtype = torch.float32 (2箇所) 指定する形で動作確認した.

4. 指定ユーザの映画評価の予測について.
・約38秒 かかった.
・Top5 だと, 評価5 ばかりだが, 例えば, 50001 ～ 50010位を見ると, 評価3.6 辺りに下降し, 
さらに, 100001 ～ 100010位では, 評価0.69 付近まで下降していることが確認できた.

1. MAEの確認.

epoch 5 で, 約0.69 まで改善した(※書籍とほぼ同じ結果).

2. 行列因子分解の訓練.

epoch 5 で, 約1974秒かかった.

3. torch.stack()に関すること.

RuntimeError: Expected a Tensor of type torch.FloatTensor

but found a type torch.LongTensor for sequence element 1 in sequence argument at position #1 'tensors'

-> 上記 error を回避するため, dtype = torch.float32 (2箇所) 指定する形で動作確認した.

4. 指定ユーザの映画評価の予測について.

・約38秒かかった.

・Top5 だと, 評価5 ばかりだが, 例えば, 50001 ～ 50010位を見ると, 評価3.6 辺りに下降し,

さらに, 100001 ～ 100010位では, 評価0.69 付近まで下降していることが確認できた.

■参照サイト
【参照URL①】MovieLens
【参照URL②】SAVING AND LOADING MODELS
【参照URL③】torch.topk

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月18日

PyTorch の動作確認をしてみた（２１）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 6.1 行列因子分解 (P.152 – P.156) である。

※1. プログラムの詳細は, 書籍を参考(P.152 – P.156)にして下さい.
※2. どちらかというと, torch.sum() の使い方を確認した内容となっている.

■torch.sum()の動作確認.

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch

# 2. sample.
# torch.sum()
# https://pytorch.org/docs/stable/torch.html#torch.sum
a = torch.randn(1, 3)
print('--- a.size(): ------------------------------------')
print(a.size())
a_out = torch.sum(a)
print('--- torch.sum(a): --------------------------------')
print("type(a_out): " + str(type(a_out)))
print("a_out: " + str(a_out))
print()

b = torch.tensor([[ 0.05, -0.25,  0.07], [-0.30,  0.90,  0.90]])
print('--- b.size(): ------------------------------------')
print(b.size())
b_out = torch.sum(b) # 0.05 - 0.25 + 0.07 - 0.30 + 0.90 + 0.90 = 1.37
print('--- torch.sum(b): --------------------------------')
print("b_out: " + str(b_out))

# 0.05 - 0.25 + 0.07  = -0.13
# -0.30 + 0.90 + 0.90 = 1.5
b_out = torch.sum(b, 1)
print('--- torch.sum(b, 1): -----------------------------')
print("b_out: " + str(b_out))
print()

c = torch.tensor([[[ 0.05, -0.25,  0.07], [-0.30,  0.90,  0.90]],
                  [[ 0.15, -0.35,  0.70], [-1.30,  0.50,  1.20]],
                  [[ 0.05, -0.25,  0.85], [-1.10,  0.65,  1.15]]])
# 0.05 - 0.25 + 0.07 - 0.30 + 0.90 + 0.90 + 0.15 - 0.35 + 0.70 - 1.30 + 0.50 + 1.20 
# 0.05 - 0.25 + 0.85 - 1.10 + 0.65 + 1.15 = 3.62
print('--- c.size(): ------------------------------------')
print(c.size())
c_out = torch.sum(c)
print('--- torch.sum(c): --------------------------------')
print("c_out: " + str(c_out))

# 0.05 - 0.25 + 0.07 - 0.30 + 0.90 + 0.90 = 1.37
# 0.15 - 0.35 + 0.70 - 1.30 + 0.50 + 1.20 = 0.90
# 0.05 - 0.25 + 0.85 - 1.10 + 0.65 + 1.15 = 1.35
c_out = torch.sum(c, (1, 2))
print('--- torch.sum(c, (1, 2)): ------------------------')
print("c_out: " + str(c_out))

c_out = torch.sum(c, (2, 1))
print('--- torch.sum(c, (2, 1)): ------------------------')
print("c_out: " + str(c_out))
print()

d = torch.tensor([[[[ 0.5, -0.4,  0.7], [-0.3,  0.9,  1.0]]],
                  [[[ 0.1, -0.3,  0.8], [-1.3,  0.5,  1.2]]],
                  [[[ 0.3, -0.2,  0.9], [-0.5,  1.1,  0.3]]]])
print('--- d.size(): ------------------------------------')
print(d.size())
d_out = torch.sum(d)
print('--- torch.sum(d): --------------------------------')
print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 2番目で集計.
d_out = torch.sum(d, 1)
print('--- torch.sum(d, 1): -----------------------------')
print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 2, 3番目で集計.
# 0.5 - 0.3 = 0.2, -0.4 + 0.9 = 0.5, 0.7 + 1.0 = 1.7
# 0.1 - 1.3 = -1.2, -0.3 + 0.5 = 0.2, 0.8 + 1.2 = 2.0
# 0.3 - 0.5 = -0.2, -0.2 + 1.1 = 0.9, 0.9 + 0.3 = 1.2
d_out = torch.sum(d, (1, 2))
print('--- torch.sum(d, (1, 2)): ------------------------')
print("d_out: " + str(d_out))

d_out = torch.sum(d, (2, 1))
print('--- torch.sum(d, (2, 1)): ------------------------')
print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 2, 4番目で集計.
# 0.5 - 0.4 + 0.7 = 0.8, -0.3 + 0.9 + 1.0 = 1.6
# 0.1 - 0.3 + 0.8 = 0.6, -1.3 + 0.5 + 1.2 = 0.4
# 0.3 - 0.2 + 0.9 = 1.0, -0.5 + 1.1 + 0.3 = 0.9
d_out = torch.sum(d, (1, 3))
print('--- torch.sum(d, (1, 3)): ------------------------')
print("d_out: " + str(d_out))

d_out = torch.sum(d, (3, 1))
print('--- torch.sum(d, (3, 1)): ------------------------')
print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 3, 4番目で集計.
# 0.5 - 0.4 + 0.7 - 0.3 + 0.9 + 1.0 = 2.4
# 0.1 - 0.3 + 0.8 - 1.3 + 0.5 + 1.2 = 1.0
# 0.3 - 0.2 + 0.9 - 0.5 + 1.1 + 0.3 = 1.9
d_out = torch.sum(d, (2, 3))
print('--- torch.sum(d, (2, 3)): ------------------------')
print("d_out: " + str(d_out))

d_out = torch.sum(d, (3, 2))
print('--- torch.sum(d, (3, 2)): ------------------------')
print("d_out: " + str(d_out))

100

101

102

103

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

# 2. sample.

# torch.sum()

# https://pytorch.org/docs/stable/torch.html#torch.sum

a = torch.randn(1, 3)

print('--- a.size(): ------------------------------------')

print(a.size())

a_out = torch.sum(a)

print('--- torch.sum(a): --------------------------------')

print("type(a_out): " + str(type(a_out)))

print("a_out: " + str(a_out))

print()

b = torch.tensor([[ 0.05, -0.25, 0.07], [-0.30, 0.90, 0.90]])

print('--- b.size(): ------------------------------------')

print(b.size())

b_out = torch.sum(b) # 0.05 - 0.25 + 0.07 - 0.30 + 0.90 + 0.90 = 1.37

print('--- torch.sum(b): --------------------------------')

print("b_out: " + str(b_out))

# 0.05 - 0.25 + 0.07 = -0.13

# -0.30 + 0.90 + 0.90 = 1.5

b_out = torch.sum(b, 1)

print('--- torch.sum(b, 1): -----------------------------')

print("b_out: " + str(b_out))

print()

c = torch.tensor([[[ 0.05, -0.25, 0.07], [-0.30, 0.90, 0.90]],

[[ 0.15, -0.35, 0.70], [-1.30, 0.50, 1.20]],

[[ 0.05, -0.25, 0.85], [-1.10, 0.65, 1.15]]])

# 0.05 - 0.25 + 0.07 - 0.30 + 0.90 + 0.90 + 0.15 - 0.35 + 0.70 - 1.30 + 0.50 + 1.20

# 0.05 - 0.25 + 0.85 - 1.10 + 0.65 + 1.15 = 3.62

print('--- c.size(): ------------------------------------')

print(c.size())

c_out = torch.sum(c)

print('--- torch.sum(c): --------------------------------')

print("c_out: " + str(c_out))

# 0.05 - 0.25 + 0.07 - 0.30 + 0.90 + 0.90 = 1.37

# 0.15 - 0.35 + 0.70 - 1.30 + 0.50 + 1.20 = 0.90

# 0.05 - 0.25 + 0.85 - 1.10 + 0.65 + 1.15 = 1.35

c_out = torch.sum(c, (1, 2))

print('--- torch.sum(c, (1, 2)): ------------------------')

print("c_out: " + str(c_out))

c_out = torch.sum(c, (2, 1))

print('--- torch.sum(c, (2, 1)): ------------------------')

print("c_out: " + str(c_out))

print()

d = torch.tensor([[[[ 0.5, -0.4, 0.7], [-0.3, 0.9, 1.0]]],

[[[ 0.1, -0.3, 0.8], [-1.3, 0.5, 1.2]]],

[[[ 0.3, -0.2, 0.9], [-0.5, 1.1, 0.3]]]])

print('--- d.size(): ------------------------------------')

print(d.size())

d_out = torch.sum(d)

print('--- torch.sum(d): --------------------------------')

print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 2番目で集計.

d_out = torch.sum(d, 1)

print('--- torch.sum(d, 1): -----------------------------')

print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 2, 3番目で集計.

# 0.5 - 0.3 = 0.2, -0.4 + 0.9 = 0.5, 0.7 + 1.0 = 1.7

# 0.1 - 1.3 = -1.2, -0.3 + 0.5 = 0.2, 0.8 + 1.2 = 2.0

# 0.3 - 0.5 = -0.2, -0.2 + 1.1 = 0.9, 0.9 + 0.3 = 1.2

d_out = torch.sum(d, (1, 2))

print('--- torch.sum(d, (1, 2)): ------------------------')

print("d_out: " + str(d_out))

d_out = torch.sum(d, (2, 1))

print('--- torch.sum(d, (2, 1)): ------------------------')

print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 2, 4番目で集計.

# 0.5 - 0.4 + 0.7 = 0.8, -0.3 + 0.9 + 1.0 = 1.6

# 0.1 - 0.3 + 0.8 = 0.6, -1.3 + 0.5 + 1.2 = 0.4

# 0.3 - 0.2 + 0.9 = 1.0, -0.5 + 1.1 + 0.3 = 0.9

d_out = torch.sum(d, (1, 3))

print('--- torch.sum(d, (1, 3)): ------------------------')

print("d_out: " + str(d_out))

d_out = torch.sum(d, (3, 1))

print('--- torch.sum(d, (3, 1)): ------------------------')

print("d_out: " + str(d_out))

# torch.Size([3, 1, 2, 3]) の 3, 4番目で集計.

# 0.5 - 0.4 + 0.7 - 0.3 + 0.9 + 1.0 = 2.4

# 0.1 - 0.3 + 0.8 - 1.3 + 0.5 + 1.2 = 1.0

# 0.3 - 0.2 + 0.9 - 0.5 + 1.1 + 0.3 = 1.9

d_out = torch.sum(d, (2, 3))

print('--- torch.sum(d, (2, 3)): ------------------------')

print("d_out: " + str(d_out))

d_out = torch.sum(d, (3, 2))

print('--- torch.sum(d, (3, 2)): ------------------------')

print("d_out: " + str(d_out))

■実行結果.

--- a.size(): ------------------------------------
torch.Size([1, 3])
--- torch.sum(a): --------------------------------
type(a_out): <class 'torch.Tensor'>
a_out: tensor(0.0049)

--- b.size(): ------------------------------------
torch.Size([2, 3])
--- torch.sum(b): --------------------------------
b_out: tensor(1.3700)
--- torch.sum(b, 1): -----------------------------
b_out: tensor([-0.1300,  1.5000])

--- c.size(): ------------------------------------
torch.Size([3, 2, 3])
--- torch.sum(c): --------------------------------
c_out: tensor(3.6200)
--- torch.sum(c, (1, 2)): ------------------------
c_out: tensor([1.3700, 0.9000, 1.3500])
--- torch.sum(c, (2, 1)): ------------------------
c_out: tensor([1.3700, 0.9000, 1.3500])

--- d.size(): ------------------------------------
torch.Size([3, 1, 2, 3])
--- torch.sum(d): --------------------------------
d_out: tensor(5.3000)
--- torch.sum(d, 1): -----------------------------
d_out: tensor([[[ 0.5000, -0.4000,  0.7000],
         [-0.3000,  0.9000,  1.0000]],

        [[ 0.1000, -0.3000,  0.8000],
         [-1.3000,  0.5000,  1.2000]],

        [[ 0.3000, -0.2000,  0.9000],
         [-0.5000,  1.1000,  0.3000]]])
--- torch.sum(d, (1, 2)): ------------------------
d_out: tensor([[ 0.2000,  0.5000,  1.7000],
        [-1.2000,  0.2000,  2.0000],
        [-0.2000,  0.9000,  1.2000]])
--- torch.sum(d, (2, 1)): ------------------------
d_out: tensor([[ 0.2000,  0.5000,  1.7000],
        [-1.2000,  0.2000,  2.0000],
        [-0.2000,  0.9000,  1.2000]])
--- torch.sum(d, (1, 3)): ------------------------
d_out: tensor([[0.8000, 1.6000],
        [0.6000, 0.4000],
        [1.0000, 0.9000]])
--- torch.sum(d, (3, 1)): ------------------------
d_out: tensor([[0.8000, 1.6000],
        [0.6000, 0.4000],
        [1.0000, 0.9000]])
--- torch.sum(d, (2, 3)): ------------------------
d_out: tensor([[2.4000],
        [1.0000],
        [1.9000]])
--- torch.sum(d, (3, 2)): ------------------------
d_out: tensor([[2.4000],
        [1.0000],
        [1.9000]])

--- a.size(): ------------------------------------

torch.Size([1, 3])

--- torch.sum(a): --------------------------------

type(a_out): <class 'torch.Tensor'>

a_out: tensor(0.0049)

--- b.size(): ------------------------------------

torch.Size([2, 3])

--- torch.sum(b): --------------------------------

b_out: tensor(1.3700)

--- torch.sum(b, 1): -----------------------------

b_out: tensor([-0.1300, 1.5000])

--- c.size(): ------------------------------------

torch.Size([3, 2, 3])

--- torch.sum(c): --------------------------------

c_out: tensor(3.6200)

--- torch.sum(c, (1, 2)): ------------------------

c_out: tensor([1.3700, 0.9000, 1.3500])

--- torch.sum(c, (2, 1)): ------------------------

c_out: tensor([1.3700, 0.9000, 1.3500])

--- d.size(): ------------------------------------

torch.Size([3, 1, 2, 3])

--- torch.sum(d): --------------------------------

d_out: tensor(5.3000)

--- torch.sum(d, 1): -----------------------------

d_out: tensor([[[ 0.5000, -0.4000, 0.7000],

[-0.3000, 0.9000, 1.0000]],

[[ 0.1000, -0.3000, 0.8000],

[-1.3000, 0.5000, 1.2000]],

[[ 0.3000, -0.2000, 0.9000],

[-0.5000, 1.1000, 0.3000]]])

--- torch.sum(d, (1, 2)): ------------------------

d_out: tensor([[ 0.2000, 0.5000, 1.7000],

[-1.2000, 0.2000, 2.0000],

[-0.2000, 0.9000, 1.2000]])

--- torch.sum(d, (2, 1)): ------------------------

d_out: tensor([[ 0.2000, 0.5000, 1.7000],

[-1.2000, 0.2000, 2.0000],

[-0.2000, 0.9000, 1.2000]])

--- torch.sum(d, (1, 3)): ------------------------

d_out: tensor([[0.8000, 1.6000],

[0.6000, 0.4000],

[1.0000, 0.9000]])

--- torch.sum(d, (3, 1)): ------------------------

d_out: tensor([[0.8000, 1.6000],

[0.6000, 0.4000],

[1.0000, 0.9000]])

--- torch.sum(d, (2, 3)): ------------------------

d_out: tensor([[2.4000],

[1.0000],

[1.9000]])

--- torch.sum(d, (3, 2)): ------------------------

d_out: tensor([[2.4000],

[1.0000],

[1.9000]])

■参照サイト
【参照URL①】torch.sum()

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月17日

PyTorch の動作確認をしてみた（２０）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.5 Encoder-Decoderモデルによる機械翻訳 (P.135 – P.148) である。
※1. プログラムの詳細は, 書籍を参考(P.135 – P.148)にして下さい.
※2. 前回の続きで, 翻訳させる部分を確認した.
※3. ハマった箇所として, Decoderクラスで,
ValueError: First argument of _symbolic_pack_padded_sequence is expected to be a tensor, but got an object of type
といった error が出力されたが,
pad_packed_sequence と書くべきところを, pack_padded_sequence とタイプミスしたことが原因と分かった.
※4. 以下のように, 実行完了までに, 22050秒程度かかったので, 実行される場合は, 就寝直前などが良いと思われる.

■機械翻訳の動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
import os, re, time, collections, itertools
from tqdm import tqdm
from statistics import mean

～(略)～

# 4. create Dataset Class.
start = time.time()
batch_size = 64
max_len = 10
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\translation\\'
dss = []
dss.append(["Spanish:", TranslationPairDataset(folder_path + "\\spa.txt", max_len = max_len)])
dss.append(["Swedish:", TranslationPairDataset(folder_path + "\\swe.txt", max_len = max_len)])
dss.append(["German:", TranslationPairDataset(folder_path + "\\deu.txt", max_len = max_len)])
dss.append(["French:", TranslationPairDataset(folder_path + "\\fra.txt", max_len = max_len)])
dss.append(["Russian:", TranslationPairDataset(folder_path + "\\rus.txt", max_len = max_len)])

～(略)～

# 7. declare functions to translate.
def translate(input_str, ds, enc, dec, max_len = 15, device = "cpu"):
～(略)～

# 8. sample output.
for ds in dss:
    # <class '__main__.TranslationPairDataset'>
    # print(type(ds[1]))
    enc = Encoder(len(ds[1].src_word_list), 100, 100, 2)
    dec = Decoder(len(ds[1].trg_word_list), 100, 100, 2)
    enc.to("cuda:0")
    dec.to("cuda:0")
    opt_enc = optim.Adam(enc.parameters(), 0.002)
    opt_dec = optim.Adam(dec.parameters(), 0.002)
    loss_f = nn.CrossEntropyLoss()
    loader = DataLoader(ds[1], batch_size = batch_size, shuffle = True, num_workers = 0)

    for epoch in range(31):
～(略)～
        with torch.no_grad():
            if epoch % 10 == 0:
                print('-' + str(ds[0]) + '-------------------------------------------------')
                print("epoch:", epoch, "  mean(losses):", mean(losses))
                # RuntimeError: Expected object of type torch.cuda.LongTensor 
                # but found type torch.LongTensor for argument #3 'index'
                # -> 書籍通り, device="cuda:0" を指定すること.
                print(translate("I am a student.", ds[1], enc, dec, device="cuda:0"))
                print(translate("This is PyTorch practice.", ds[1], enc, dec, device="cuda:0"))
   
# 9. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

import os, re, time, collections, itertools

from tqdm import tqdm

from statistics import mean

～(略)～

# 4. create Dataset Class.

start = time.time()

batch_size = 64

max_len = 10

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\translation\\'

dss = []

dss.append(["Spanish:", TranslationPairDataset(folder_path + "\\spa.txt", max_len = max_len)])

dss.append(["Swedish:", TranslationPairDataset(folder_path + "\\swe.txt", max_len = max_len)])

dss.append(["German:", TranslationPairDataset(folder_path + "\\deu.txt", max_len = max_len)])

dss.append(["French:", TranslationPairDataset(folder_path + "\\fra.txt", max_len = max_len)])

dss.append(["Russian:", TranslationPairDataset(folder_path + "\\rus.txt", max_len = max_len)])

～(略)～

# 7. declare functions to translate.

def translate(input_str, ds, enc, dec, max_len = 15, device = "cpu"):

～(略)～

# 8. sample output.

for ds in dss:

# <class '__main__.TranslationPairDataset'>

# print(type(ds[1]))

enc = Encoder(len(ds[1].src_word_list), 100, 100, 2)

dec = Decoder(len(ds[1].trg_word_list), 100, 100, 2)

enc.to("cuda:0")

dec.to("cuda:0")

opt_enc = optim.Adam(enc.parameters(), 0.002)

opt_dec = optim.Adam(dec.parameters(), 0.002)

loss_f = nn.CrossEntropyLoss()

loader = DataLoader(ds[1], batch_size = batch_size, shuffle = True, num_workers = 0)

for epoch in range(31):

～(略)～

with torch.no_grad():

if epoch % 10 == 0:

print('-' + str(ds[0]) + '-------------------------------------------------')

print("epoch:", epoch, " mean(losses):", mean(losses))

# RuntimeError: Expected object of type torch.cuda.LongTensor

# but found type torch.LongTensor for argument #3 'index'

# -> 書籍通り, device="cuda:0" を指定すること.

print(translate("I am a student.", ds[1], enc, dec, device="cuda:0"))

print(translate("This is PyTorch practice.", ds[1], enc, dec, device="cuda:0"))

# 9. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(一部抜粋).

100%|██████████| 1618/1618 [01:23<00:00, 19.44it/s]
-Spanish:-------------------------------------------------
epoch: 0   mean(losses): 5.396342428711937
un poco .
es más de la noche .
100%|██████████| 1618/1618 [01:22<00:00, 19.54it/s]
～(略)～
100%|██████████| 1618/1618 [01:22<00:00, 19.54it/s]
-Spanish:-------------------------------------------------
epoch: 10   mean(losses): 0.7926316856232798
un estudiante .
es considerada .
100%|██████████| 1618/1618 [01:22<00:00, 19.56it/s]
～(略)～
100%|██████████| 1618/1618 [01:23<00:00, 20.10it/s]
-Spanish:-------------------------------------------------
epoch: 20   mean(losses): 0.5196756887789562
un estudiante .
es inútil en la piel .
100%|██████████| 1618/1618 [01:24<00:00, 19.24it/s]
～(略)～
100%|██████████| 1618/1618 [01:22<00:00, 20.03it/s]
-Spanish:-------------------------------------------------
epoch: 30   mean(losses): 0.4120407043892904
un estudiante .
es imposible .
100%|██████████| 257/257 [00:09<00:00, 28.35it/s]
-Swedish:-------------------------------------------------
epoch: 0   mean(losses): 6.12821638537752
är .
är inte att .
100%|██████████| 257/257 [00:09<00:00, 28.40it/s]
～(略)～
100%|██████████| 257/257 [00:08<00:00, 31.00it/s]
-Swedish:-------------------------------------------------
epoch: 10   mean(losses): 1.8426892344589827
är en .
här är det där .
100%|██████████| 257/257 [00:08<00:00, 30.27it/s]
～(略)～
100%|██████████| 257/257 [00:08<00:00, 30.80it/s]
-Swedish:-------------------------------------------------
epoch: 20   mean(losses): 0.5760257180330818
är en .
här är det är fantastiskt .
100%|██████████| 257/257 [00:08<00:00, 29.81it/s]
～(略)～
100%|██████████| 257/257 [00:08<00:00, 30.30it/s]
-Swedish:-------------------------------------------------
epoch: 30   mean(losses): 0.2997655678352029
är en .
här är det är planen .
100%|██████████| 2348/2348 [02:12<00:00, 17.67it/s]
-German:-------------------------------------------------
epoch: 0   mean(losses): 5.027261478429758
ist ein .
ist es .
100%|██████████| 2348/2348 [02:13<00:00, 17.65it/s]
～(略)～
100%|██████████| 2348/2348 [02:13<00:00, 17.58it/s]
-German:-------------------------------------------------
epoch: 10   mean(losses): 0.9117057771252205
ist student .
ist es wert .
100%|██████████| 2348/2348 [02:13<00:00, 17.64it/s]
～(略)～
100%|██████████| 2348/2348 [02:13<00:00, 17.55it/s]
-German:-------------------------------------------------
epoch: 20   mean(losses): 0.6697443485437706
ist student .
ist das verb .
100%|██████████| 2348/2348 [02:13<00:00, 17.65it/s]
～(略)～
100%|██████████| 2348/2348 [02:13<00:00, 17.62it/s]
-German:-------------------------------------------------
epoch: 30   mean(losses): 0.5699677927835227
ist student .
ist das öl geworden .
100%|██████████| 2134/2134 [01:55<00:00, 18.87it/s]
-French:-------------------------------------------------
epoch: 0   mean(losses): 5.04731517924029
un bon .
est un bon .
100%|██████████| 2134/2134 [01:54<00:00, 18.59it/s]
～(略)～
100%|██████████| 2134/2134 [01:54<00:00, 18.21it/s]
-French:-------------------------------------------------
epoch: 10   mean(losses): 0.8460186128037603
étudiant .
est armé .
100%|██████████| 2134/2134 [01:54<00:00, 18.69it/s]
～(略)～
100%|██████████| 2134/2134 [01:54<00:00, 18.65it/s]
-French:-------------------------------------------------
epoch: 20   mean(losses): 0.5978371058822013
étudiant .
est pratique de base .
100%|██████████| 2134/2134 [01:54<00:00, 18.61it/s]
～(略)～
100%|██████████| 2134/2134 [01:54<00:00, 18.63it/s]
-French:-------------------------------------------------
epoch: 30   mean(losses): 0.4971667532900727
est étudiant .
sont des prisons .
100%|██████████| 4760/4760 [06:08<00:00, 12.93it/s]
-Russian:-------------------------------------------------
epoch: 0   mean(losses): 4.048154222138789
.
- это странно .
100%|██████████| 4760/4760 [06:11<00:00, 13.34it/s]
～(略)～
100%|██████████| 4760/4760 [06:10<00:00, 12.84it/s]
-Russian:-------------------------------------------------
epoch: 10   mean(losses): 0.5733920362629309
студент .
лёгкий .
100%|██████████| 4760/4760 [06:10<00:00, 13.61it/s]
～(略)～
100%|██████████| 4760/4760 [06:11<00:00, 12.81it/s]
-Russian:-------------------------------------------------
epoch: 20   mean(losses): 0.45048556828073094
студент .
лёгкий .
100%|██████████| 4760/4760 [06:12<00:00, 13.12it/s]
～(略)～
100%|██████████| 4760/4760 [06:12<00:00, 12.76it/s]
-Russian:-------------------------------------------------
epoch: 30   mean(losses): 0.3992980748602823
студента .
— это веселье .
--------------------------------------------------
Elapsed Time: 22050.92427301407[sec]

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

100%|██████████| 1618/1618 [01:23<00:00, 19.44it/s]

-Spanish:-------------------------------------------------

epoch: 0 mean(losses): 5.396342428711937

un poco .

es más de la noche .

100%|██████████| 1618/1618 [01:22<00:00, 19.54it/s]

～(略)～

100%|██████████| 1618/1618 [01:22<00:00, 19.54it/s]

-Spanish:-------------------------------------------------

epoch: 10 mean(losses): 0.7926316856232798

un estudiante .

es considerada .

100%|██████████| 1618/1618 [01:22<00:00, 19.56it/s]

～(略)～

100%|██████████| 1618/1618 [01:23<00:00, 20.10it/s]

-Spanish:-------------------------------------------------

epoch: 20 mean(losses): 0.5196756887789562

un estudiante .

es inútil en la piel .

100%|██████████| 1618/1618 [01:24<00:00, 19.24it/s]

～(略)～

100%|██████████| 1618/1618 [01:22<00:00, 20.03it/s]

-Spanish:-------------------------------------------------

epoch: 30 mean(losses): 0.4120407043892904

un estudiante .

es imposible .

100%|██████████| 257/257 [00:09<00:00, 28.35it/s]

-Swedish:-------------------------------------------------

epoch: 0 mean(losses): 6.12821638537752

är .

är inte att .

100%|██████████| 257/257 [00:09<00:00, 28.40it/s]

～(略)～

100%|██████████| 257/257 [00:08<00:00, 31.00it/s]

-Swedish:-------------------------------------------------

epoch: 10 mean(losses): 1.8426892344589827

är en .

här är det där .

100%|██████████| 257/257 [00:08<00:00, 30.27it/s]

～(略)～

100%|██████████| 257/257 [00:08<00:00, 30.80it/s]

-Swedish:-------------------------------------------------

epoch: 20 mean(losses): 0.5760257180330818

är en .

här är det är fantastiskt .

100%|██████████| 257/257 [00:08<00:00, 29.81it/s]

～(略)～

100%|██████████| 257/257 [00:08<00:00, 30.30it/s]

-Swedish:-------------------------------------------------

epoch: 30 mean(losses): 0.2997655678352029

är en .

här är det är planen .

100%|██████████| 2348/2348 [02:12<00:00, 17.67it/s]

-German:-------------------------------------------------

epoch: 0 mean(losses): 5.027261478429758

ist ein .

ist es .

100%|██████████| 2348/2348 [02:13<00:00, 17.65it/s]

～(略)～

100%|██████████| 2348/2348 [02:13<00:00, 17.58it/s]

-German:-------------------------------------------------

epoch: 10 mean(losses): 0.9117057771252205

ist student .

ist es wert .

100%|██████████| 2348/2348 [02:13<00:00, 17.64it/s]

～(略)～

100%|██████████| 2348/2348 [02:13<00:00, 17.55it/s]

-German:-------------------------------------------------

epoch: 20 mean(losses): 0.6697443485437706

ist student .

ist das verb .

100%|██████████| 2348/2348 [02:13<00:00, 17.65it/s]

～(略)～

100%|██████████| 2348/2348 [02:13<00:00, 17.62it/s]

-German:-------------------------------------------------

epoch: 30 mean(losses): 0.5699677927835227

ist student .

ist das öl geworden .

100%|██████████| 2134/2134 [01:55<00:00, 18.87it/s]

-French:-------------------------------------------------

epoch: 0 mean(losses): 5.04731517924029

un bon .

est un bon .

100%|██████████| 2134/2134 [01:54<00:00, 18.59it/s]

～(略)～

100%|██████████| 2134/2134 [01:54<00:00, 18.21it/s]

-French:-------------------------------------------------

epoch: 10 mean(losses): 0.8460186128037603

étudiant .

est armé .

100%|██████████| 2134/2134 [01:54<00:00, 18.69it/s]

～(略)～

100%|██████████| 2134/2134 [01:54<00:00, 18.65it/s]

-French:-------------------------------------------------

epoch: 20 mean(losses): 0.5978371058822013

étudiant .

est pratique de base .

100%|██████████| 2134/2134 [01:54<00:00, 18.61it/s]

～(略)～

100%|██████████| 2134/2134 [01:54<00:00, 18.63it/s]

-French:-------------------------------------------------

epoch: 30 mean(losses): 0.4971667532900727

est étudiant .

sont des prisons .

100%|██████████| 4760/4760 [06:08<00:00, 12.93it/s]

-Russian:-------------------------------------------------

epoch: 0 mean(losses): 4.048154222138789

- это странно .

100%|██████████| 4760/4760 [06:11<00:00, 13.34it/s]

～(略)～

100%|██████████| 4760/4760 [06:10<00:00, 12.84it/s]

-Russian:-------------------------------------------------

epoch: 10 mean(losses): 0.5733920362629309

студент .

лёгкий .

100%|██████████| 4760/4760 [06:10<00:00, 13.61it/s]

～(略)～

100%|██████████| 4760/4760 [06:11<00:00, 12.81it/s]

-Russian:-------------------------------------------------

epoch: 20 mean(losses): 0.45048556828073094

студент .

лёгкий .

100%|██████████| 4760/4760 [06:12<00:00, 13.12it/s]

～(略)～

100%|██████████| 4760/4760 [06:12<00:00, 12.76it/s]

-Russian:-------------------------------------------------

epoch: 30 mean(losses): 0.3992980748602823

студента .

— это веселье .

--------------------------------------------------

Elapsed Time: 22050.92427301407[sec]

■実行結果(epoch 30).

①スペイン語("I am a student." について, 部分的に, 翻訳出来たように見える)
I am a student. -> un estudiante . (※Google翻訳: "a student .")
This is PyTorch practice. -> es imposible . (※Google翻訳: "it is impossible .")

②スウェーデン語(翻訳失敗に見える.)
I am a student. -> är en . (※Google翻訳: "is one.")
This is PyTorch practice. -> här är det är planen . (※Google翻訳: "here it is the plan.")

③ドイツ語("I am a student." について, 部分的に, 翻訳出来たように見える)
I am a student. -> ist student . (※Google翻訳: "is a student.")
This is PyTorch practice. -> ist das öl geworden . (※Google翻訳: "has become the oil.")

④フランス語("I am a student." について, 部分的に, 翻訳出来たように見える)
I am a student. -> est étudiant . (※Google翻訳: "is a student.")
This is PyTorch practice. -> sont des prisons .  (※Google翻訳: "are prisons.")

⑤ロシア語("I am a student." について, 部分的に, 翻訳出来たように見える)
I am a student. -> студента . (※Google翻訳: "a student.")
This is PyTorch practice. -> — это веселье . (※Google翻訳: "- this is fun.")

①スペイン語("I am a student." について, 部分的に, 翻訳出来たように見える)

I am a student. -> un estudiante . (※Google翻訳: "a student .")

This is PyTorch practice. -> es imposible . (※Google翻訳: "it is impossible .")

②スウェーデン語(翻訳失敗に見える.)

I am a student. -> är en . (※Google翻訳: "is one.")

This is PyTorch practice. -> här är det är planen . (※Google翻訳: "here it is the plan.")

③ドイツ語("I am a student." について, 部分的に, 翻訳出来たように見える)

I am a student. -> ist student . (※Google翻訳: "is a student.")

This is PyTorch practice. -> ist das öl geworden . (※Google翻訳: "has become the oil.")

④フランス語("I am a student." について, 部分的に, 翻訳出来たように見える)

I am a student. -> est étudiant . (※Google翻訳: "is a student.")

This is PyTorch practice. -> sont des prisons . (※Google翻訳: "are prisons.")

⑤ロシア語("I am a student." について, 部分的に, 翻訳出来たように見える)

I am a student. -> студента . (※Google翻訳: "a student.")

This is PyTorch practice. -> — это веселье . (※Google翻訳: "- this is fun.")

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月14日

PyTorch の動作確認をしてみた（１９）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.5 Encoder-Decoderモデルによる機械翻訳 (P.135 – P.145) である。
※1. プログラムの詳細は, 書籍を参考(P.135 – P.145)にして下さい.
※2. 書籍上で紹介されていたスペイン語のパターン以外の言語も, とりあえず動かしてみた.

スペイン語: spa.txt
スウェーデン語: swe.txt
ドイツ語: deu.txt
フランス語: fra.txt
ロシア語: rus.txt

■Encoder-Decoderモデルの動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
import os, re, time, collections, itertools

～(略)～

# 4. create Dataset Class.
start = time.time()
batch_size = 64
max_len = 10
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\translation\\'
dss = []
dss.append(["Spanish:", TranslationPairDataset(folder_path + "\\spa.txt", max_len = max_len)])
dss.append(["Swedish:", TranslationPairDataset(folder_path + "\\swe.txt", max_len = max_len)])
dss.append(["German:", TranslationPairDataset(folder_path + "\\deu.txt", max_len = max_len)])
dss.append(["French:", TranslationPairDataset(folder_path + "\\fra.txt", max_len = max_len)])
dss.append(["Russian:", TranslationPairDataset(folder_path + "\\rus.txt", max_len = max_len)])
# loader = DataLoader(ds, batch_size = batch_size, shuffle = True, num_workers = 0)

～(略)～

# 7. declare functions to translate.
def translate(input_str, ds, enc, dec, max_len = 15, device = "cpu"):
～(略)～

# 8. sample output.
for ds in dss:
    # <class '__main__.TranslationPairDataset'>
    # print(type(ds[1]))
    enc = Encoder(len(ds[1].src_word_list), 100, 100, 2)
    dec = Decoder(len(ds[1].trg_word_list), 100, 100, 2)
    print('-' + str(ds[0]) + '-------------------------------------------------')
    print(translate("This is PyTorch practice.", ds[1], enc, dec))

# 9. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

import os, re, time, collections, itertools

～(略)～

# 4. create Dataset Class.

start = time.time()

batch_size = 64

max_len = 10

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\translation\\'

dss = []

dss.append(["Spanish:", TranslationPairDataset(folder_path + "\\spa.txt", max_len = max_len)])

dss.append(["Swedish:", TranslationPairDataset(folder_path + "\\swe.txt", max_len = max_len)])

dss.append(["German:", TranslationPairDataset(folder_path + "\\deu.txt", max_len = max_len)])

dss.append(["French:", TranslationPairDataset(folder_path + "\\fra.txt", max_len = max_len)])

dss.append(["Russian:", TranslationPairDataset(folder_path + "\\rus.txt", max_len = max_len)])

# loader = DataLoader(ds, batch_size = batch_size, shuffle = True, num_workers = 0)

～(略)～

# 7. declare functions to translate.

def translate(input_str, ds, enc, dec, max_len = 15, device = "cpu"):

～(略)～

# 8. sample output.

for ds in dss:

# <class '__main__.TranslationPairDataset'>

# print(type(ds[1]))

enc = Encoder(len(ds[1].src_word_list), 100, 100, 2)

dec = Decoder(len(ds[1].trg_word_list), 100, 100, 2)

print('-' + str(ds[0]) + '-------------------------------------------------')

print(translate("This is PyTorch practice.", ds[1], enc, dec))

# 9. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.
書籍上で指摘されているが, とりあえず, よく分からない文章が生成された.

-Spanish:-------------------------------------------------
deceso ocurriera acordaba acordaba silbar adicta ocurriera canté llegará llegará llegará llegará llegará llegará mía
-Swedish:-------------------------------------------------
fräknar jättestor jättestor jättestor jättestor jättestor apelsinjuice jättestor jättestor jättestor jättestor jättestor anordna sänt jättestor
-German:-------------------------------------------------
riesengroß riesengroß riesengroß fantasiewesen aspirin tarnuniformen tarnuniformen erlaubnis erlaubnis cola intelligenten cola betriebe betriebe rege
-French:-------------------------------------------------
rencontrâmes déçus 1980 cirez croissance exagérés cirez cirez cirez revêtait-il j'annulerai trouvait-il été ris coudre
-Russian:-------------------------------------------------
устрашающе последнюю последнюю убедительны убедительны хуйню чихаем париты хуйню подустал париты протёр описать описать меняла
--------------------------------------------------
Elapsed Time: 23.467519521713257[sec]

-Spanish:-------------------------------------------------

deceso ocurriera acordaba acordaba silbar adicta ocurriera canté llegará llegará llegará llegará llegará llegará mía

-Swedish:-------------------------------------------------

fräknar jättestor jättestor jättestor jättestor jättestor apelsinjuice jättestor jättestor jättestor jättestor jättestor anordna sänt jättestor

-German:-------------------------------------------------

riesengroß riesengroß riesengroß fantasiewesen aspirin tarnuniformen tarnuniformen erlaubnis erlaubnis cola intelligenten cola betriebe betriebe rege

-French:-------------------------------------------------

rencontrâmes déçus 1980 cirez croissance exagérés cirez cirez cirez revêtait-il j'annulerai trouvait-il été ris coudre

-Russian:-------------------------------------------------

устрашающе последнюю последнюю убедительны убедительны хуйню чихаем париты хуйню подустал париты протёр описать описать меняла

--------------------------------------------------

Elapsed Time: 23.467519521713257[sec]

■参照サイト
【参照URL①】Tab-delimited Bilingual Sentence Pairs

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月13日

PyTorch の動作確認をしてみた（１８）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.5 Encoder-Decoderモデルによる機械翻訳 (P.135 – P.139) である。

※1. プログラムの詳細は, 書籍を参考(P.135 – P.139)にして下さい.
※2. 書籍上で定義されている関数について, 挙動が見えなかったので, 実際に出力させてみた.

■関数(normalize, parse_line, build_vocab, words2tensor)の動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
import re, collections

# 2. regular expression.
remove_marks_regex = re.compile("[\,\(\)\[\]\*:;¿!]|<.*?>")
shift_marks_regex = re.compile("([?!\.])")

unk = 0
sos = 1
eos = 2

～(略)～

text = "This is a test character! is this string is checking for test? \
This string consists of test character strings, wow!"
print('- normalize --------------------------------------------')
print(normalize(text))
print('- parse_line -------------------------------------------')
print(parse_line("He ran.	Él corrió."))
print('- build_vocab ------------------------------------------')
l, d = build_vocab(text)
print("l=" + str(l))
print("d=" + str(d))
print('- words2tensor -----------------------------------------')
t, seq = words2tensor(l, d, 30, padding = 0)
print("t=" + str(t))
print("seq=" + str(seq))

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

import re, collections

# 2. regular expression.

remove_marks_regex = re.compile("[\,\(\)\[\]\*:;¿!]|<.*?>")

shift_marks_regex = re.compile("([?!\.])")

unk = 0

sos = 1

eos = 2

～(略)～

text = "This is a test character! is this string is checking for test? \

This string consists of test character strings, wow!"

print('- normalize --------------------------------------------')

print(normalize(text))

print('- parse_line -------------------------------------------')

print(parse_line("He ran. Él corrió."))

print('- build_vocab ------------------------------------------')

l, d = build_vocab(text)

print("l=" + str(l))

print("d=" + str(d))

print('- words2tensor -----------------------------------------')

t, seq = words2tensor(l, d, 30, padding = 0)

print("t=" + str(t))

print("seq=" + str(seq))

■実行結果.

- normalize --------------------------------------------
this is a test character is this string is checking for test ? this string consists of test character strings wow
- parse_line -------------------------------------------
(['he', 'ran', '.'], ['él', 'corrió', '.'])
- build_vocab ------------------------------------------
l=['<UNK>', '<SOS>', '<EOS>', ' ', 's', 't', 'i', 'r', 'c', 'h', 'e', 'a', 'n', 'g', 'o', 'T', '!', 'f', 'w', 'k', '?', ',']
d={'<UNK>': 0, '<SOS>': 1, '<EOS>': 2, ' ': 3, 's': 4, 't': 5, 'i': 6, 'r': 7, 'c': 8, 'h': 9, 'e': 10, 'a': 11, 'n': 12, 'g': 13, 'o': 14, 'T': 15, '!': 16, 'f': 17, 'w': 18, 'k': 19, '?': 20, ',': 21}
- words2tensor -----------------------------------------
t=tensor([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16, 17,
        18, 19, 20, 21,  2,  0,  0,  0,  0,  0,  0,  0,  0])
seq=23

- normalize --------------------------------------------

this is a test character is this string is checking for test ? this string consists of test character strings wow

- parse_line -------------------------------------------

(['he', 'ran', '.'], ['él', 'corrió', '.'])

- build_vocab ------------------------------------------

l=['<UNK>', '<SOS>', '<EOS>', ' ', 's', 't', 'i', 'r', 'c', 'h', 'e', 'a', 'n', 'g', 'o', 'T', '!', 'f', 'w', 'k', '?', ',']

d={'<UNK>': 0, '<SOS>': 1, '<EOS>': 2, ' ': 3, 's': 4, 't': 5, 'i': 6, 'r': 7, 'c': 8, 'h': 9, 'e': 10, 'a': 11, 'n': 12, 'g': 13, 'o': 14, 'T': 15, '!': 16, 'f': 17, 'w': 18, 'k': 19, '?': 20, ',': 21}

- words2tensor -----------------------------------------

t=tensor([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17,

18, 19, 20, 21, 2, 0, 0, 0, 0, 0, 0, 0, 0])

seq=23

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月11日

PyTorch の動作確認をしてみた（１７）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.4 RNNによる文章生成 (P.126 – P.134) である。

※1. プログラムの詳細は, 書籍を参考(P.126 – P.134)にして下さい.
※2. 動作確認時に躓いた箇所も, コメントした.

■関数(str2ints, ints2str)の動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import string

～(略)～

# 3. sample output.
s = "This is a test character! is this string is checking for test? \
This string consists of test character strings, wow!"
print('-string -> integers list---------------------------------------')
print(str2ints(s, vocab_dict))

x = [55, 17, 18, 28, 94, 18, 28, 94, 10, 94, 29, 14, 28, 29, 94, 12, 
       17, 10, 27, 10, 12, 29, 14, 27, 62, 94, 18, 28, 94, 29, 17, 18, 
       28, 94, 28, 29, 27, 18, 23, 16, 94, 18, 28, 94, 12, 17, 14, 12, 
       20, 18, 23, 16, 94, 15, 24, 27, 94, 29, 14, 28, 29, 82, 94, 55, 
       17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 12, 24, 23, 28, 18, 
       28, 29, 28, 94, 24, 15, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 
       10, 12, 29, 14, 27, 94, 28, 29, 27, 18, 23, 16, 28, 73, 94, 32, 
       24, 32, 62]
print('-integers list -> string---------------------------------------')
print(ints2str(x, all_chars))

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import string

～(略)～

# 3. sample output.

s = "This is a test character! is this string is checking for test? \

This string consists of test character strings, wow!"

print('-string -> integers list---------------------------------------')

print(str2ints(s, vocab_dict))

x = [55, 17, 18, 28, 94, 18, 28, 94, 10, 94, 29, 14, 28, 29, 94, 12,

17, 10, 27, 10, 12, 29, 14, 27, 62, 94, 18, 28, 94, 29, 17, 18,

28, 94, 28, 29, 27, 18, 23, 16, 94, 18, 28, 94, 12, 17, 14, 12,

20, 18, 23, 16, 94, 15, 24, 27, 94, 29, 14, 28, 29, 82, 94, 55,

17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 12, 24, 23, 28, 18,

28, 29, 28, 94, 24, 15, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27,

10, 12, 29, 14, 27, 94, 28, 29, 27, 18, 23, 16, 28, 73, 94, 32,

24, 32, 62]

print('-integers list -> string---------------------------------------')

print(ints2str(x, all_chars))

■実行結果.

-string -> integers list---------------------------------------
[55, 17, 18, 28, 94, 18, 28, 94, 10, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 10, 12, 29, 14, 27, 62, 94, 18, 28, 94, 29, 17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 18, 28, 94, 12, 17, 14, 12, 20, 18, 23, 16, 94, 15, 24, 27, 94, 29, 14, 28, 29, 82, 94, 55, 17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 12, 24, 23, 28, 18, 28, 29, 28, 94, 24, 15, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 10, 12, 29, 14, 27, 94, 28, 29, 27, 18, 23, 16, 28, 73, 94, 32, 24, 32, 62]
-integers list -> string---------------------------------------
This is a test character! is this string is checking for test? This string consists of test character strings, wow!

-string -> integers list---------------------------------------

[55, 17, 18, 28, 94, 18, 28, 94, 10, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 10, 12, 29, 14, 27, 62, 94, 18, 28, 94, 29, 17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 18, 28, 94, 12, 17, 14, 12, 20, 18, 23, 16, 94, 15, 24, 27, 94, 29, 14, 28, 29, 82, 94, 55, 17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 12, 24, 23, 28, 18, 28, 29, 28, 94, 24, 15, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 10, 12, 29, 14, 27, 94, 28, 29, 27, 18, 23, 16, 28, 73, 94, 32, 24, 32, 62]

-integers list -> string---------------------------------------

This is a test character! is this string is checking for test? This string consists of test character strings, wow!

■RNNによる文章生成(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch, string, os, time
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
from tqdm import tqdm
from statistics import mean

～(略)～

# string -> integers list.
# KeyError: '·'
# -> 理由: tinyshakespeare.txt の 保管方法誤り.
# https://github.com/karpathy/char-rnn/tree/master/data/tinyshakespeare
# -> 上記サイトに表示されている input.txt を, [右クリック] - [名前を付けてリンク先を保存]
# で, download すると, 大量のhtmlタグが含まれたものが download されてしまう.
# 
# https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt
# -> 上記サイトを表示後, [右クリック] - [名前を付けて保存] とすることで, KeyError が解消した.

～(略)～

# 6. create Dataset Class.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\tinyshakespeare\\'
# karpathy/char-rnn
# https://github.com/karpathy/char-rnn/tree/master/data/tinyshakespeare
ds = ShakespeareDataset(folder_path + "\\tinyshakespeare.txt", chunk_size = 200)
loader = DataLoader(ds, batch_size = 32, shuffle = True, num_workers = 0)

# 7. training.
# TypeError: __init__() got an unexpected keyword argument 'num_layers'
# -> ShakespeareDataset と 記載していたことが原因.
# -> 全く別物の名前が似ているクラス ShakespeareDataset, SequenceGenerationNet を使う場合に, 要注意.
net = SequenceGenerationNet(vocab_size, 20, 50, num_layers = 2, dropout = 0.1)
～(略)～

for epoch in range(50):
    net.train()
    losses = []
    for data in tqdm(loader):
～(略)～
        # RuntimeError: cudnn RNN backward can only be called in training mode.
        # -> 以下の通り, error原因は, コーディングに関するインデント誤りによる error.
        # -> error内容 の イメージとしては, 
        # loader の ループ処理中(訓練中)に, train mode で設定されていた net が, 
        # generate_seq関数 の 呼び出しで, eval modeに切り替わってしまったため, 
        # loss.backward() の 処理で失敗したと推測している.
        # -> epoch単位 で, 
        # epoch 0: train mode -> eval mode
        # epoch 1: train mode -> eval mode
        # ...
        # のように, net の mode が, 切り替わるのが正しい動作に見える.
        # print(epoch, mean(losses))
        # with torch.no_grad():
        #     print(generate_seq(net, device = "cuda:0"))
    # -> 書籍を確認して修正したところ, 解消した.
    print('--------------------------------------------------')
    print('epoch: ' + str(epoch) + '  mean(loss): ' + str(mean(losses)))
    with torch.no_grad():
        print(generate_seq(net, device = "cuda:0"))

# 8. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch, string, os, time

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

from tqdm import tqdm

from statistics import mean

～(略)～

# string -> integers list.

# KeyError: '·'

# -> 理由: tinyshakespeare.txt の保管方法誤り.

# https://github.com/karpathy/char-rnn/tree/master/data/tinyshakespeare

# -> 上記サイトに表示されている input.txt を, [右クリック] - [名前を付けてリンク先を保存]

# で, download すると, 大量のhtmlタグが含まれたものが download されてしまう.

# https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt

# -> 上記サイトを表示後, [右クリック] - [名前を付けて保存] とすることで, KeyError が解消した.

～(略)～

# 6. create Dataset Class.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\tinyshakespeare\\'

# karpathy/char-rnn

# https://github.com/karpathy/char-rnn/tree/master/data/tinyshakespeare

ds = ShakespeareDataset(folder_path + "\\tinyshakespeare.txt", chunk_size = 200)

loader = DataLoader(ds, batch_size = 32, shuffle = True, num_workers = 0)

# 7. training.

# TypeError: __init__() got an unexpected keyword argument 'num_layers'

# -> ShakespeareDataset と記載していたことが原因.

# -> 全く別物の名前が似ているクラス ShakespeareDataset, SequenceGenerationNet を使う場合に, 要注意.

net = SequenceGenerationNet(vocab_size, 20, 50, num_layers = 2, dropout = 0.1)

～(略)～

for epoch in range(50):

net.train()

losses = []

for data in tqdm(loader):

～(略)～

# RuntimeError: cudnn RNN backward can only be called in training mode.

# -> 以下の通り, error原因は, コーディングに関するインデント誤りによる error.

# -> error内容のイメージとしては,

# loader のループ処理中(訓練中)に, train mode で設定されていた net が,

# generate_seq関数の呼び出しで, eval modeに切り替わってしまったため,

# loss.backward() の処理で失敗したと推測している.

# -> epoch単位で,

# epoch 0: train mode -> eval mode

# epoch 1: train mode -> eval mode

# ...

# のように, net の mode が, 切り替わるのが正しい動作に見える.

# print(epoch, mean(losses))

# with torch.no_grad():

# print(generate_seq(net, device = "cuda:0"))

# -> 書籍を確認して修正したところ, 解消した.

print('--------------------------------------------------')

print('epoch: ' + str(epoch) + ' mean(loss): ' + str(mean(losses)))

with torch.no_grad():

print(generate_seq(net, device = "cuda:0"))

# 8. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(epoch = 50).
文章と言われてみれば, 見えなくも無さそうだが, 精度は, まだまだ低そうに見える.

～(略)～
--------------------------------------------------
epoch: 47  mean(loss): 1.6681576177052089
The King said stopating now toold;
As joy whope great sholojy skeee ack: now fe't will
A senough now us iT the have of his blict
Scary, as this reis thee are will soverness
Come, kind fathith me here of more ourh yo
100%|██████████| 175/175 [00:04<00:00, 35.31it/s]
--------------------------------------------------
epoch: 48  mean(loss): 1.6644004263196672
The King said At traight is our fout noth and have
To thy ender, your part; but that lord; as niverous fear;
An than dake sugh he seemens me in by
trant near to much here?

ROMEO:

MENENIUS:
I'ch you I ranter, the w
100%|██████████| 175/175 [00:04<00:00, 35.11it/s]
--------------------------------------------------
epoch: 49  mean(loss): 1.6615660510744368
The King said to lordter hiskiendy and
Nor I will more,
Like in tractor of his merner; but conserys
sming but them Worlouth a fine,
Now thy chiresheble in her Granter, Sciren,
Are pardutersly, I hope dequricks. Ever
--------------------------------------------------
Elapsed Time: 269.3071098327637[sec]

～(略)～

--------------------------------------------------

epoch: 47 mean(loss): 1.6681576177052089

The King said stopating now toold;

As joy whope great sholojy skeee ack: now fe't will

A senough now us iT the have of his blict

Scary, as this reis thee are will soverness

Come, kind fathith me here of more ourh yo

100%|██████████| 175/175 [00:04<00:00, 35.31it/s]

--------------------------------------------------

epoch: 48 mean(loss): 1.6644004263196672

The King said At traight is our fout noth and have

To thy ender, your part; but that lord; as niverous fear;

An than dake sugh he seemens me in by

trant near to much here?

ROMEO:

MENENIUS:

I'ch you I ranter, the w

100%|██████████| 175/175 [00:04<00:00, 35.11it/s]

--------------------------------------------------

epoch: 49 mean(loss): 1.6615660510744368

The King said to lordter hiskiendy and

Nor I will more,

Like in tractor of his merner; but conserys

sming but them Worlouth a fine,

Now thy chiresheble in her Granter, Sciren,

Are pardutersly, I hope dequricks. Ever

--------------------------------------------------

Elapsed Time: 269.3071098327637[sec]

■ハマった現象 & 解決策.

1. str2ints関数におけるエラー.
KeyError: '·'
-> 本件は, 参照URL① から, input.txt を, [右クリック] - [名前を付けてリンク先を保存] した
ことにより, 大量のhtmlタグが含まれたものが download されていたことが原因だった.
-> 参照URL② を 表示させて, 表示後, [右クリック] - [名前を付けて保存] することで, KeyError が解消した.

2. netに関するエラー.
TypeError: __init__() got an unexpected keyword argument 'num_layers'
-> 本件は, net に 代入するクラスを, ShakespeareDataset としていたことが原因.
-> net に 代入するクラスを, 書籍通りに, SequenceGenerationNet に修正して解消した.
※全く別物の名前が似ているクラスを取り扱う場合に要注意. 

3. 訓練時のエラー.
RuntimeError: cudnn RNN backward can only be called in training mode.
-> 本件は, コーディング時のインデント誤りが原因.
-> インデントを修正して解消した.

1. str2ints関数におけるエラー.

KeyError: '·'

-> 本件は, 参照URL① から, input.txt を, [右クリック] - [名前を付けてリンク先を保存] した

ことにより, 大量のhtmlタグが含まれたものが download されていたことが原因だった.

-> 参照URL② を表示させて, 表示後, [右クリック] - [名前を付けて保存] することで, KeyError が解消した.

2. netに関するエラー.

TypeError: __init__() got an unexpected keyword argument 'num_layers'

-> 本件は, net に代入するクラスを, ShakespeareDataset としていたことが原因.

-> net に代入するクラスを, 書籍通りに, SequenceGenerationNet に修正して解消した.

※全く別物の名前が似ているクラスを取り扱う場合に要注意.

3. 訓練時のエラー.

RuntimeError: cudnn RNN backward can only be called in training mode.

-> 本件は, コーディング時のインデント誤りが原因.

-> インデントを修正して解消した.

■参照サイト
【参照URL①】karpathy/char-rnn
【参照URL②】tinyshakespeare.txt の内容

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月10日2018年11月10日

PyTorch の動作確認をしてみた（１６）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.3 RNNと文章のクラス分類 (P.113 – P.121) である。

※1. プログラムの詳細は, 書籍を参考(P.113 – P.121)にして下さい.
※2. RNN の挙動について, 前回の課題として残していたものがあったので, 再度, 復習した.
※3. 参照URL① を元に, positive, negative に関する予測, 正解に関する情報を出力させるなどの, 動作確認を行った.
-> DataLoaderの使い方で, 落とし穴があったので, 実行結果でも, コメントした.

■RNNと文章のクラス分類に関する動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
from tqdm import tqdm
from statistics import mean
import os, re, pathlib, glob, time

～(略)～

# 3. create Dataset Class.
class IMDBDataset(Dataset):
    def __init__(self, dir_path, train = True, max_len = 100, padding = True):
～(略)～
    
    def __getitem__(self, idx):
～(略)～
        subDirctory = os.path.basename(os.path.dirname(f))
        print("idx: " + str(idx) + " " + str(subDirctory + "/" + str(os.path.basename(f))))
        # print("n_tokens: " + str(n_tokens))
        # ex.
        # idx: 0 neg/0_2.txt
        # idx: 1 neg/1_3.txt
        # idx: 2 pos/0_10.txt
        # idx: 3 pos/1_10.txt 
        # -> idx から, ファイルを一意に識別できるはず.
        return data, label, n_tokens, idx

# 4. create Dataset Class.
start = time.time()
folder_path = os.path.expanduser('~')
# folder_path = folder_path + '\\.spyder-py3\\pytorch\\aclImdb\\'
folder_path = folder_path + '\\.spyder-py3\\pytorch\\aclImdb_small\\'
train_data = IMDBDataset(folder_path)
test_data = IMDBDataset(folder_path, train = False)

～(略)～

# 6. create a training.
# 6. create a training.
def eval_net(net, data_loader, device="cpu"):
    net.eval()
    ys, ypreds, fs = [], [], []
    for x, y, l, f in data_loader:
        # x=tensor([[   10,     6,     3,  6269,  4804,  ...
        # 4,     1,    16]],device='cuda:0')
        # y=tensor([0, 0, 1, 1], device='cuda:0')
        # l=tensor([100, 100, 100, 100], device='cuda:0')
        # f=tensor([2, 0, 1, 3], device='cuda:0')
        x, y, l, f = x.to(device), y.to(device), l.to(device), f.to(device)
        # print("x=" + repr(x))
        # print("y=" + repr(y))
        # print("l=" + repr(l))
        # print("f=" + repr(f))
        with torch.no_grad():
～(略)～
            fs.append(f)
～(略)～
    fs = torch.cat(fs)
    acc = (ys == ypreds).float().sum() / len(ys)
    # print("ys size=" + str(ys.size()) + "  ypreds size=" + str(ypreds.size()) + "  fs size=" + str(fs.size()))
    # a = [1, 2, 3, 4, 5]
    # b = [1, 3, 4, 3, 5]
    # c = [i for i, j in zip(a, b) if i == j]
    # print(c) # [1, 5]
    # [index, k, i, j] は, loop の index, file の index, 正解ラベル, 予測ラベル の意味.
    #
    # zip-like function that pads to longest length?
    # https://stackoverflow.com/questions/1277278/zip-like-function-that-pads-to-longest-length
    # ys size=torch.Size([25000])  ypreds size=torch.Size([25000])  f size=torch.Size([8])
    # -> file の index に関して, 取得方法が, bug となっていることが判明(torch.Size([25000])でないとおかしい).
    # -> リスト fs を用意して, f を保管するように, プログラムを修正して, bug fix とした.
    # ※ fs size=torch.Size([25000]) を確認できた.
    correct, wrong = [], []
    for index, (k, i, j) in enumerate(zip(fs, ys, ypreds)):
        if i == j:
            correct.append([index, k, i, j])
        else:
            wrong.append([index, k, i, j])
    return acc.item(), correct, wrong, len(correct), len(wrong)

～(略)～

correct_list, wrong_list = [], []
for epoch in range(5):
～(略)～
    for x, y, l, f in tqdm(train_loader):
        x, y, l, f = x.to("cuda:0"), y.to("cuda:0"), l.to("cuda:0"), f.to("cuda:0")
～(略)～
    print('- train -----------------------------------------------')
    train_acc = eval_net(net, train_loader, "cuda:0")
    print('- test ------------------------------------------------')
    # idx: neg: 0 ～ 12499, pos: 12500 ～ 24999
    val_acc = eval_net(net, test_loader, "cuda:0")
    print(epoch, mean(losses), train_acc[0], val_acc[0])
    if epoch + 1 == 5:
        correct_list.append(val_acc[1])
        wrong_list.append(val_acc[2])

print('--- display 3 wrong answers ------------------------------------------')
# ex.
# [[0, tensor(3, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], 
# [2, tensor(1, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')]]
# -> 上記のデータは, 以下のように理解できる.
# 1. loop index = 0, file index = 3 に対応するテキストファイルは, pos/1_10.txt である.
# 当該 RNNモデル で, negative(tensor(0, device='cuda:0')) と 予想したが, 
# 正解は, positive(tensor(1, device='cuda:0')) であるということ.
# 2. loop index = 2, file index = 1 に対応するテキストファイルは, neg/1_3.txt である.
# 当該 RNNモデル で, positive(tensor(1, device='cuda:0')) と 予想したが, 
# 正解は, negative(tensor(0, device='cuda:0')) であるということ.
print(str(wrong_list[0][0:3]))

print('--- display 3 correct answers ----------------------------------------')
# ex.
# [[1, tensor(0, device='cuda:0'), tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], 
# [3, tensor(2, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')]]
# -> 上記のデータは, 以下のように理解できる.
# 1. loop index = 1, file index = 0 に対応するテキストファイルは, neg/0_2.txt である.
# 当該 RNNモデル で, negative(tensor(0, device='cuda:0')) と 予想し, 正解と同じ結果だったということ.
# 2. loop index = 3, file index = 2 に対応するテキストファイルは, pos/0_10.txt である.
# 当該 RNNモデル で, positive(tensor(1, device='cuda:0')) と 予想し, 正解と同じ結果だったということ.
print(str(correct_list[0][0:3]))
       
# 6. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

from tqdm import tqdm

from statistics import mean

import os, re, pathlib, glob, time

～(略)～

# 3. create Dataset Class.

class IMDBDataset(Dataset):

def __init__(self, dir_path, train = True, max_len = 100, padding = True):

～(略)～

def __getitem__(self, idx):

～(略)～

subDirctory = os.path.basename(os.path.dirname(f))

print("idx: " + str(idx) + " " + str(subDirctory + "/" + str(os.path.basename(f))))

# print("n_tokens: " + str(n_tokens))

# ex.

# idx: 0 neg/0_2.txt

# idx: 1 neg/1_3.txt

# idx: 2 pos/0_10.txt

# idx: 3 pos/1_10.txt

# -> idx から, ファイルを一意に識別できるはず.

return data, label, n_tokens, idx

# 4. create Dataset Class.

start = time.time()

folder_path = os.path.expanduser('~')

# folder_path = folder_path + '\\.spyder-py3\\pytorch\\aclImdb\\'

folder_path = folder_path + '\\.spyder-py3\\pytorch\\aclImdb_small\\'

train_data = IMDBDataset(folder_path)

test_data = IMDBDataset(folder_path, train = False)

～(略)～

# 6. create a training.

def eval_net(net, data_loader, device="cpu"):

net.eval()

ys, ypreds, fs = [], [], []

for x, y, l, f in data_loader:

# x=tensor([[ 10, 6, 3, 6269, 4804, ...

# 4, 1, 16]],device='cuda:0')

# y=tensor([0, 0, 1, 1], device='cuda:0')

# l=tensor([100, 100, 100, 100], device='cuda:0')

# f=tensor([2, 0, 1, 3], device='cuda:0')

x, y, l, f = x.to(device), y.to(device), l.to(device), f.to(device)

# print("x=" + repr(x))

# print("y=" + repr(y))

# print("l=" + repr(l))

# print("f=" + repr(f))

with torch.no_grad():

～(略)～

fs.append(f)

～(略)～

fs = torch.cat(fs)

acc = (ys == ypreds).float().sum() / len(ys)

# print("ys size=" + str(ys.size()) + " ypreds size=" + str(ypreds.size()) + " fs size=" + str(fs.size()))

# a = [1, 2, 3, 4, 5]

# b = [1, 3, 4, 3, 5]

# c = [i for i, j in zip(a, b) if i == j]

# print(c) # [1, 5]

# [index, k, i, j] は, loop の index, file の index, 正解ラベル, 予測ラベルの意味.

# zip-like function that pads to longest length?

# https://stackoverflow.com/questions/1277278/zip-like-function-that-pads-to-longest-length

# ys size=torch.Size([25000]) ypreds size=torch.Size([25000]) f size=torch.Size([8])

# -> file の index に関して, 取得方法が, bug となっていることが判明(torch.Size([25000])でないとおかしい).

# -> リスト fs を用意して, f を保管するように, プログラムを修正して, bug fix とした.

# ※ fs size=torch.Size([25000]) を確認できた.

correct, wrong = [], []

for index, (k, i, j) in enumerate(zip(fs, ys, ypreds)):

if i == j:

correct.append([index, k, i, j])

else:

wrong.append([index, k, i, j])

return acc.item(), correct, wrong, len(correct), len(wrong)

～(略)～

correct_list, wrong_list = [], []

for epoch in range(5):

～(略)～

for x, y, l, f in tqdm(train_loader):

x, y, l, f = x.to("cuda:0"), y.to("cuda:0"), l.to("cuda:0"), f.to("cuda:0")

～(略)～

print('- train -----------------------------------------------')

train_acc = eval_net(net, train_loader, "cuda:0")

print('- test ------------------------------------------------')

# idx: neg: 0 ～ 12499, pos: 12500 ～ 24999

val_acc = eval_net(net, test_loader, "cuda:0")

print(epoch, mean(losses), train_acc[0], val_acc[0])

if epoch + 1 == 5:

correct_list.append(val_acc[1])

wrong_list.append(val_acc[2])

print('--- display 3 wrong answers ------------------------------------------')

# ex.

# [[0, tensor(3, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')],

# [2, tensor(1, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')]]

# -> 上記のデータは, 以下のように理解できる.

# 1. loop index = 0, file index = 3 に対応するテキストファイルは, pos/1_10.txt である.

# 当該 RNNモデルで, negative(tensor(0, device='cuda:0')) と予想したが,

# 正解は, positive(tensor(1, device='cuda:0')) であるということ.

# 2. loop index = 2, file index = 1 に対応するテキストファイルは, neg/1_3.txt である.

# 当該 RNNモデルで, positive(tensor(1, device='cuda:0')) と予想したが,

# 正解は, negative(tensor(0, device='cuda:0')) であるということ.

print(str(wrong_list[0][0:3]))

print('--- display 3 correct answers ----------------------------------------')

# ex.

# [[1, tensor(0, device='cuda:0'), tensor(0, device='cuda:0'), tensor(0, device='cuda:0')],

# [3, tensor(2, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')]]

# -> 上記のデータは, 以下のように理解できる.

# 1. loop index = 1, file index = 0 に対応するテキストファイルは, neg/0_2.txt である.

# 当該 RNNモデルで, negative(tensor(0, device='cuda:0')) と予想し, 正解と同じ結果だったということ.

# 2. loop index = 3, file index = 2 に対応するテキストファイルは, pos/0_10.txt である.

# 当該 RNNモデルで, positive(tensor(1, device='cuda:0')) と予想し, 正解と同じ結果だったということ.

print(str(correct_list[0][0:3]))

# 6. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.
1. [aclImdb_small]フォルダで確認(※データ数を少なくして検証)した場合(epoch = 5).
※以下のファイルで構成されているものとする.
imdb.vocab
aclImdb_small\train\neg\1_1.txt
aclImdb_small\train\neg\0_3.txt
aclImdb_small\train\pos\0_9.txt
aclImdb_small\train\pos\1_7.txt
aclImdb_small\train\unsup\0_0.txt
aclImdb_small\train\unsup\1_0.txt
aclImdb_small\test\neg\1_3.txt
aclImdb_small\test\neg\0_2.txt
aclImdb_small\test\pos\1_10.txt
aclImdb_small\test\pos\0_10.txt

  0%|          | 0/1 [00:00<?, ?it/s]idx: 3 pos/1_7.txt
idx: 2 pos/0_9.txt
idx: 0 neg/0_3.txt
idx: 1 neg/1_1.txt
100%|██████████| 1/1 [00:00<00:00, 21.34it/s]
- train -----------------------------------------------
idx: 2 pos/0_9.txt
idx: 3 pos/1_7.txt
idx: 1 neg/1_1.txt
idx: 0 neg/0_3.txt
- test ------------------------------------------------
idx: 0 neg/0_2.txt
idx: 2 pos/0_10.txt
idx: 3 pos/1_10.txt
idx: 1 neg/1_3.txt
0 0.6945884227752686 0.5 0.5
～(略)～
  0%|          | 0/1 [00:00<?, ?it/s]idx: 3 pos/1_7.txt
idx: 1 neg/1_1.txt
idx: 0 neg/0_3.txt
idx: 2 pos/0_9.txt
100%|██████████| 1/1 [00:00<00:00, 32.01it/s]
- train -----------------------------------------------
idx: 3 pos/1_7.txt
idx: 0 neg/0_3.txt
idx: 1 neg/1_1.txt
idx: 2 pos/0_9.txt
- test ------------------------------------------------
idx: 3 pos/1_10.txt
idx: 2 pos/0_10.txt
idx: 0 neg/0_2.txt
idx: 1 neg/1_3.txt
4 0.668656587600708 1.0 0.25
--- display 3 wrong answers ------------------------------------------
wrong answers: 3 count
[[0, tensor(3, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [2, tensor(0, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [3, tensor(1, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')]]
[tensor(3, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')]
--- display 3 correct answers ----------------------------------------
correct answers: 1 count
[[1, tensor(2, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')]]
[tensor(2, device='cuda:0')]
--------------------------------------------------
Elapsed Time: 0.8228132724761963[sec]

0%| | 0/1 [00:00<?, ?it/s]idx: 3 pos/1_7.txt

idx: 2 pos/0_9.txt

idx: 0 neg/0_3.txt

idx: 1 neg/1_1.txt

100%|██████████| 1/1 [00:00<00:00, 21.34it/s]

- train -----------------------------------------------

idx: 2 pos/0_9.txt

idx: 3 pos/1_7.txt

idx: 1 neg/1_1.txt

idx: 0 neg/0_3.txt

- test ------------------------------------------------

idx: 0 neg/0_2.txt

idx: 2 pos/0_10.txt

idx: 3 pos/1_10.txt

idx: 1 neg/1_3.txt

0 0.6945884227752686 0.5 0.5

～(略)～

0%| | 0/1 [00:00<?, ?it/s]idx: 3 pos/1_7.txt

idx: 1 neg/1_1.txt

idx: 0 neg/0_3.txt

idx: 2 pos/0_9.txt

100%|██████████| 1/1 [00:00<00:00, 32.01it/s]

- train -----------------------------------------------

idx: 3 pos/1_7.txt

idx: 0 neg/0_3.txt

idx: 1 neg/1_1.txt

idx: 2 pos/0_9.txt

- test ------------------------------------------------

idx: 3 pos/1_10.txt

idx: 2 pos/0_10.txt

idx: 0 neg/0_2.txt

idx: 1 neg/1_3.txt

4 0.668656587600708 1.0 0.25

--- display 3 wrong answers ------------------------------------------

wrong answers: 3 count

[[0, tensor(3, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [2, tensor(0, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [3, tensor(1, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')]]

[tensor(3, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')]

--- display 3 correct answers ----------------------------------------

correct answers: 1 count

[[1, tensor(2, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')]]

[tensor(2, device='cuda:0')]

--------------------------------------------------

Elapsed Time: 0.8228132724761963[sec]

2. [aclImdb]フォルダで確認した場合(epoch = 5).
※[aclImdb/test/neg]フォルダ, [aclImdb/test/pos]フォルダに, それぞれ, 12500枚ずつのテキストファイルが保管されている.

100%|██████████| 782/782 [00:28<00:00, 27.27it/s]
0 0.6803007814128076 0.5694000124931335 0.5467999577522278
100%|██████████| 782/782 [00:29<00:00, 26.34it/s]
1 0.6741279620496209 0.6917200088500977 0.6663599610328674
100%|██████████| 782/782 [00:28<00:00, 27.24it/s]
2 0.5203743184275944 0.8087999820709229 0.7526800036430359
100%|██████████| 782/782 [00:29<00:00, 24.33it/s]
3 0.4052099124778567 0.8601999878883362 0.7773999571800232
100%|██████████| 782/782 [00:29<00:00, 26.26it/s]
4 0.3286202476762445 0.8942399621009827 0.780519962310791
--- display 3 wrong answers ------------------------------------------
wrong answers: 5487 count
[[3, tensor(15535, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [6, tensor(8360, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [19, tensor(20988, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')]]
[tensor(15535, device='cuda:0'), tensor(8360, device='cuda:0'), tensor(20988, device='cuda:0'), tensor(17145, device='cuda:0'), tensor(23872, device='cuda:0'), tensor(17204, device='cuda:0'), tensor(7080, device='cuda:0'), tensor(3940, device='cuda:0'), tensor(21051, device='cuda:0')]
--- display 3 correct answers ----------------------------------------
correct answers: 19513 count
[[0, tensor(1340, device='cuda:0'), tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [1, tensor(15574, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')], [2, tensor(23196, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')]]
[tensor(1340, device='cuda:0'), tensor(15574, device='cuda:0'), tensor(23196, device='cuda:0'), tensor(8859, device='cuda:0'), tensor(15517, device='cuda:0'), tensor(6357, device='cuda:0'), tensor(16916, device='cuda:0'), tensor(5740, device='cuda:0'), tensor(10242, device='cuda:0')]
--------------------------------------------------
Elapsed Time: 329.3756453990936[sec]

100%|██████████| 782/782 [00:28<00:00, 27.27it/s]

0 0.6803007814128076 0.5694000124931335 0.5467999577522278

100%|██████████| 782/782 [00:29<00:00, 26.34it/s]

1 0.6741279620496209 0.6917200088500977 0.6663599610328674

100%|██████████| 782/782 [00:28<00:00, 27.24it/s]

2 0.5203743184275944 0.8087999820709229 0.7526800036430359

100%|██████████| 782/782 [00:29<00:00, 24.33it/s]

3 0.4052099124778567 0.8601999878883362 0.7773999571800232

100%|██████████| 782/782 [00:29<00:00, 26.26it/s]

4 0.3286202476762445 0.8942399621009827 0.780519962310791

--- display 3 wrong answers ------------------------------------------

wrong answers: 5487 count

[[3, tensor(15535, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [6, tensor(8360, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [19, tensor(20988, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')]]

[tensor(15535, device='cuda:0'), tensor(8360, device='cuda:0'), tensor(20988, device='cuda:0'), tensor(17145, device='cuda:0'), tensor(23872, device='cuda:0'), tensor(17204, device='cuda:0'), tensor(7080, device='cuda:0'), tensor(3940, device='cuda:0'), tensor(21051, device='cuda:0')]

--- display 3 correct answers ----------------------------------------

correct answers: 19513 count

[[0, tensor(1340, device='cuda:0'), tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [1, tensor(15574, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')], [2, tensor(23196, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')]]

[tensor(1340, device='cuda:0'), tensor(15574, device='cuda:0'), tensor(23196, device='cuda:0'), tensor(8859, device='cuda:0'), tensor(15517, device='cuda:0'), tensor(6357, device='cuda:0'), tensor(16916, device='cuda:0'), tensor(5740, device='cuda:0'), tensor(10242, device='cuda:0')]

--------------------------------------------------

Elapsed Time: 329.3756453990936[sec]

■実行結果.

1. [aclImdb_small]フォルダで確認した場合.
精度:  25%
テスト画像正解数: 4枚中, 1枚正解.
誤答に関する情報:
① loop index = 0, file index = 3 に対応するテキストファイルは, pos/1_10.txt である.
当該 RNNモデル で, negative(tensor(0, device='cuda:0')) と 予想したが, 
正解は, positive(tensor(1, device='cuda:0')) であるということ.
② loop index = 2, file index = 0 に対応するテキストファイルは, neg/0_2.txt である.
当該 RNNモデル で, positive(tensor(1, device='cuda:0')) と 予想したが, 
正解は, negative(tensor(0, device='cuda:0')) であるということ.
③ loop index = 3, file index = 1 に対応するテキストファイルは, neg/1_3.txt である.
当該 RNNモデル で, positive(tensor(1, device='cuda:0')) と 予想したが, 
正解は, negative(tensor(0, device='cuda:0')) であるということ.

2. [aclImdb]フォルダで確認した場合.
精度:  約78%
テスト画像正解数: 25000枚中, 19513枚正解.
誤答に関する情報:
① loop index = 3, file index = 15535 に対応するテキストファイルは, pos/1482_10.txt である.
当該 RNNモデル で, negative(tensor(0, device='cuda:0')) と 予想したが, 
正解は, positive(tensor(1, device='cuda:0')) であるということ.
② loop index = 6, file index = 8360 に対応するテキストファイルは, neg/6275_1.txt である.
当該 RNNモデル で, positive(tensor(1, device='cuda:0')) と 予想したが, 
正解は, negative(tensor(0, device='cuda:0')) であるということ.
③ loop index = 19, file index = 20988 に対応するテキストファイルは, pos/6390_10.txt である.
当該 RNNモデル で, negative(tensor(0, device='cuda:0')) と 予想したが, 
正解は, positive(tensor(1, device='cuda:0')) であるということ.

※上記, 誤答に関する情報で, 対応するテキストファイルの特定については, 
IMDBDatasetクラス の __getitem__関数内で, 別途, 以下の内容で確認した.
subDirctory = os.path.basename(os.path.dirname(f))
if idx == 15535 or idx == 8360 or idx == 20988:
    print("idx: " + str(idx) + " " + str(subDirctory + "/" + str(os.path.basename(f))))

3. eval_net関数での file の index 取得について.
data_loader から取り出した f を そのまま使うと, サイズ(torch.Size([8]))を確認すると分かるように, 誤った出力結果となる.
-> リスト fs を用意して, f を保管するように, 対応する必要があることに注意.
-> リストfs を テンソルに変換後は, 想定していたサイズ(torch.Size([25000]))となっていることが確認できた.

4. 誤答した文章の例(test/pos/6390_10.txt).
It gives the ordinary guy/girl the chance to be on television singing as their favourite stars.<br /><br />For the majority of the time, they sound like the singer they are meant to be portraying.<br /><br />Another twist to it - A team of make up people and costumers dress the contestant up like that singer. They might not look like them but the likelihood of getting someone that sounds like a person looking exactly the same as them are very slim.<br /><br />It's a load of fun for your Saturday night - and the contestants aren't raging wannabes like they are on another TV singing show. The fact that there are no prizes involved and it is for fun means that it will attract a different type of person.<br /><br />The only gripe i have is with the Kids version - it looks like they have done the round of stage schools- what happened to the normal kids?
-> 上記文章について, RNNモデルでは, negativeと予想し, positiveが正解のため, 誤答となったが, 個人的に, Google 翻訳などで上記文章を読んでみても, positive なのか, negative なのか, 判別できなかった(positive とも negative とも, 受け取れるように見える...汗).

1. [aclImdb_small]フォルダで確認した場合.

精度: 25%

テスト画像正解数: 4枚中, 1枚正解.

誤答に関する情報:

① loop index = 0, file index = 3 に対応するテキストファイルは, pos/1_10.txt である.

当該 RNNモデルで, negative(tensor(0, device='cuda:0')) と予想したが,

正解は, positive(tensor(1, device='cuda:0')) であるということ.

② loop index = 2, file index = 0 に対応するテキストファイルは, neg/0_2.txt である.

当該 RNNモデルで, positive(tensor(1, device='cuda:0')) と予想したが,

正解は, negative(tensor(0, device='cuda:0')) であるということ.

③ loop index = 3, file index = 1 に対応するテキストファイルは, neg/1_3.txt である.

当該 RNNモデルで, positive(tensor(1, device='cuda:0')) と予想したが,

正解は, negative(tensor(0, device='cuda:0')) であるということ.

2. [aclImdb]フォルダで確認した場合.

精度: 約78%

テスト画像正解数: 25000枚中, 19513枚正解.

誤答に関する情報:

① loop index = 3, file index = 15535 に対応するテキストファイルは, pos/1482_10.txt である.

当該 RNNモデルで, negative(tensor(0, device='cuda:0')) と予想したが,

正解は, positive(tensor(1, device='cuda:0')) であるということ.

② loop index = 6, file index = 8360 に対応するテキストファイルは, neg/6275_1.txt である.

当該 RNNモデルで, positive(tensor(1, device='cuda:0')) と予想したが,

正解は, negative(tensor(0, device='cuda:0')) であるということ.

③ loop index = 19, file index = 20988 に対応するテキストファイルは, pos/6390_10.txt である.

当該 RNNモデルで, negative(tensor(0, device='cuda:0')) と予想したが,

正解は, positive(tensor(1, device='cuda:0')) であるということ.

※上記, 誤答に関する情報で, 対応するテキストファイルの特定については,

IMDBDatasetクラスの __getitem__関数内で, 別途, 以下の内容で確認した.

subDirctory = os.path.basename(os.path.dirname(f))

if idx == 15535 or idx == 8360 or idx == 20988:

print("idx: " + str(idx) + " " + str(subDirctory + "/" + str(os.path.basename(f))))

3. eval_net関数での file の index 取得について.

data_loader から取り出した f をそのまま使うと, サイズ(torch.Size([8]))を確認すると分かるように, 誤った出力結果となる.

-> リスト fs を用意して, f を保管するように, 対応する必要があることに注意.

-> リストfs をテンソルに変換後は, 想定していたサイズ(torch.Size([25000]))となっていることが確認できた.

4. 誤答した文章の例(test/pos/6390_10.txt).

It gives the ordinary guy/girl the chance to be on television singing as their favourite stars. For the majority of the time, they sound like the singer they are meant to be portraying. Another twist to it - A team of make up people and costumers dress the contestant up like that singer. They might not look like them but the likelihood of getting someone that sounds like a person looking exactly the same as them are very slim. It's a load of fun for your Saturday night - and the contestants aren't raging wannabes like they are on another TV singing show. The fact that there are no prizes involved and it is for fun means that it will attract a different type of person. The only gripe i have is with the Kids version - it looks like they have done the round of stage schools- what happened to the normal kids?

-> 上記文章について, RNNモデルでは, negativeと予想し, positiveが正解のため, 誤答となったが, 個人的に, Google 翻訳などで上記文章を読んでみても, positive なのか, negative なのか, 判別できなかった(positive とも negative とも, 受け取れるように見える...汗).

■参照サイト
【参照URL①】DataLoader Filenames in each Batch
【参照URL②】zip-like function that pads to longest length?

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月8日

PyTorch の動作確認をしてみた（１５）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

※1. プログラムの詳細は, 書籍を参考(P.113 – P.121)にして下さい.
※2. とりあえず出力されるところまで, 動作確認を行った.

■RNNと文章のクラス分類に関する動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
from tqdm import tqdm
from statistics import mean
import os, re, pathlib, glob, time

～(略)～

# 3. create Dataset Class.
class IMDBDataset(Dataset):
    def __init__(self, dir_path, train = True, max_len = 100, padding = True):
～(略)～
        # read vocabulary files and divide them line by line.
        # UnicodeDecodeError: 'cp932' codec can't decode byte 0x9f in position 290036: 
        # illegal multibyte sequence
        # -> 上記のようなerrorが出力されたので, encoding="utf-8" を指定.
        # WindowsでCP932(Shift-JIS)エンコード以外のファイルを開くのに苦労した話
        # https://qiita.com/Yuu94/items/9ffdfcb2c26d6b33792e
        # self.vocab_array = vocab_path.open().read().strip().splitlines()
        self.vocab_array = vocab_path.open(encoding="utf-8").read().strip().splitlines()
        
～(略)～
    
    def __getitem__(self, idx):
        label, f = self.labeled_files[idx]
        # read text data of file and convert it to lower case.
        # UnicodeDecodeError: 'cp932' codec can't decode byte 0x96 in position 80: 
        # illegal multibyte sequence
        # -> 上記のようなerrorが出力されたので, encoding="utf-8" を指定.
        # WindowsでCP932(Shift-JIS)エンコード以外のファイルを開くのに苦労した話
        # https://qiita.com/Yuu94/items/9ffdfcb2c26d6b33792e
        # data = open(f).read().lower()
        data = open(f, encoding="utf-8").read().lower()
～(略)～
    
# 4. create Dataset Class.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\aclImdb\\'
train_data = IMDBDataset(folder_path)
test_data = IMDBDataset(folder_path, train = False)

# BrokenPipeError: [Errno 32] Broken pipe
# -> 上記のようなerrorが出力されたので, num_workers = 0 を指定.
# BrokenPipeError: [Errno 32] Broken pipe #4418
# https://github.com/pytorch/pytorch/issues/4418
# train_loader = DataLoader(train_data, batch_size = 32, shuffle = True, num_workers = 4)
# test_loader = DataLoader(test_data, batch_size = 32, shuffle = True, num_workers = 4)
train_loader = DataLoader(train_data, batch_size = 32, shuffle = True, num_workers = 0)
test_loader = DataLoader(test_data, batch_size = 32, shuffle = True, num_workers = 0)

～(略)～

# 6. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

from tqdm import tqdm

from statistics import mean

import os, re, pathlib, glob, time

～(略)～

# 3. create Dataset Class.

class IMDBDataset(Dataset):

def __init__(self, dir_path, train = True, max_len = 100, padding = True):

～(略)～

# read vocabulary files and divide them line by line.

# UnicodeDecodeError: 'cp932' codec can't decode byte 0x9f in position 290036:

# illegal multibyte sequence

# -> 上記のようなerrorが出力されたので, encoding="utf-8" を指定.

# WindowsでCP932(Shift-JIS)エンコード以外のファイルを開くのに苦労した話

# https://qiita.com/Yuu94/items/9ffdfcb2c26d6b33792e

# self.vocab_array = vocab_path.open().read().strip().splitlines()

self.vocab_array = vocab_path.open(encoding="utf-8").read().strip().splitlines()

～(略)～

def __getitem__(self, idx):

label, f = self.labeled_files[idx]

# read text data of file and convert it to lower case.

# UnicodeDecodeError: 'cp932' codec can't decode byte 0x96 in position 80:

# illegal multibyte sequence

# -> 上記のようなerrorが出力されたので, encoding="utf-8" を指定.

# WindowsでCP932(Shift-JIS)エンコード以外のファイルを開くのに苦労した話

# https://qiita.com/Yuu94/items/9ffdfcb2c26d6b33792e

# data = open(f).read().lower()

data = open(f, encoding="utf-8").read().lower()

～(略)～

# 4. create Dataset Class.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\aclImdb\\'

train_data = IMDBDataset(folder_path)

test_data = IMDBDataset(folder_path, train = False)

# BrokenPipeError: [Errno 32] Broken pipe

# -> 上記のようなerrorが出力されたので, num_workers = 0 を指定.

# BrokenPipeError: [Errno 32] Broken pipe #4418

# https://github.com/pytorch/pytorch/issues/4418

# train_loader = DataLoader(train_data, batch_size = 32, shuffle = True, num_workers = 4)

# test_loader = DataLoader(test_data, batch_size = 32, shuffle = True, num_workers = 4)

train_loader = DataLoader(train_data, batch_size = 32, shuffle = True, num_workers = 0)

test_loader = DataLoader(test_data, batch_size = 32, shuffle = True, num_workers = 0)

～(略)～

# 6. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

100%|██████████| 782/782 [00:36<00:00, 24.47it/s]
0 0.6631813692619734 0.7117999792098999 0.6716399788856506
100%|██████████| 782/782 [00:30<00:00, 25.56it/s]
1 0.5390779934156581 0.7869199514389038 0.7339999675750732
100%|██████████| 782/782 [00:29<00:00, 26.39it/s]
2 0.49078431573060466 0.7927599549293518 0.7233200073242188
100%|██████████| 782/782 [00:29<00:00, 26.22it/s]
3 0.37571508580309043 0.8649599552154541 0.7659599781036377
100%|██████████| 782/782 [00:29<00:00, 26.73it/s]
4 0.4539797544631812 0.5961999893188477 0.5614399909973145
100%|██████████| 782/782 [00:30<00:00, 26.06it/s]
5 0.4392406488471019 0.8939200043678284 0.774399995803833
100%|██████████| 782/782 [00:34<00:00, 23.42it/s]
6 0.2916669836910942 0.9161999821662903 0.7767599821090698
100%|██████████| 782/782 [00:31<00:00, 24.62it/s]
7 0.23334355754515781 0.9411999583244324 0.788919985294342
100%|██████████| 782/782 [00:29<00:00, 26.45it/s]
8 0.18953481500687272 0.9602800011634827 0.7843999862670898
100%|██████████| 782/782 [00:28<00:00, 27.45it/s]
9 0.14923329765925095 0.9648399949073792 0.7839199900627136
--------------------------------------------------
Elapsed Time: 598.657867193222[sec]

100%|██████████| 782/782 [00:36<00:00, 24.47it/s]

0 0.6631813692619734 0.7117999792098999 0.6716399788856506

100%|██████████| 782/782 [00:30<00:00, 25.56it/s]

1 0.5390779934156581 0.7869199514389038 0.7339999675750732

100%|██████████| 782/782 [00:29<00:00, 26.39it/s]

2 0.49078431573060466 0.7927599549293518 0.7233200073242188

100%|██████████| 782/782 [00:29<00:00, 26.22it/s]

3 0.37571508580309043 0.8649599552154541 0.7659599781036377

100%|██████████| 782/782 [00:29<00:00, 26.73it/s]

4 0.4539797544631812 0.5961999893188477 0.5614399909973145

100%|██████████| 782/782 [00:30<00:00, 26.06it/s]

5 0.4392406488471019 0.8939200043678284 0.774399995803833

100%|██████████| 782/782 [00:34<00:00, 23.42it/s]

6 0.2916669836910942 0.9161999821662903 0.7767599821090698

100%|██████████| 782/782 [00:31<00:00, 24.62it/s]

7 0.23334355754515781 0.9411999583244324 0.788919985294342

100%|██████████| 782/782 [00:29<00:00, 26.45it/s]

8 0.18953481500687272 0.9602800011634827 0.7843999862670898

100%|██████████| 782/782 [00:28<00:00, 27.45it/s]

9 0.14923329765925095 0.9648399949073792 0.7839199900627136

--------------------------------------------------

Elapsed Time: 598.657867193222[sec]

1. ファイルオープン時のエラー.
UnicodeDecodeError: 'cp932' codec can't decode byte...
-> 本件は, 参照URL① を元に, encoding="utf-8" を設定することで回避できた.

2. DataLoaderの設定値に関するエラー.
BrokenPipeError: [Errno 32] Broken pipe
-> 本件は, 参照URL② を元に, num_workers = 0 を設定することで回避できた.

3. 実行時間について, 以下の結果だった.
Elapsed Time: 598.657867193222[sec]

4.精度について, 以下の結果だった.
約78%
-> 書籍では, 約77% であるため, ほぼ一致していた.

1. ファイルオープン時のエラー.

UnicodeDecodeError: 'cp932' codec can't decode byte...

-> 本件は, 参照URL① を元に, encoding="utf-8" を設定することで回避できた.

2. DataLoaderの設定値に関するエラー.

BrokenPipeError: [Errno 32] Broken pipe

-> 本件は, 参照URL② を元に, num_workers = 0 を設定することで回避できた.

3. 実行時間について, 以下の結果だった.

Elapsed Time: 598.657867193222[sec]

4.精度について, 以下の結果だった.

約78%

-> 書籍では, 約77% であるため, ほぼ一致していた.

■参照サイト
【参照URL①】WindowsでCP932(Shift-JIS)エンコード以外のファイルを開くのに苦労した話
【参照URL②】BrokenPipeError: [Errno 32] Broken pipe #4418

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月6日

C++ の動作確認をしてみた（３２）

C++の練習を兼ねて, AtCoder Beginner Contest 053 の問題C（X: Yet Another Die Game), 問題D（Card Eater) を解いてみた.

■感想.
1. とりあえず, 解説見ずに解けたので良かったと思う.
※解説みたら, 同じ方針だったので, 着眼点については, 及第点に到達できたと思う.

本家のサイトABC053 /ARC068 解説をご覧下さい.

■C++版プログラム(問題C／AC版).

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

int main() {
    
    // 1. 入力情報取得.
    LL X;
    cin >> X;
    
    // 2. 合計で, X点以上得るために必要な最小の操作回数を計算.
    // 6 -> 5 -> 6 -> ... で, 得点すればよい筈.
    LL q = X / 11;
    LL r = X % 11;
    LL ans = 2 * q;
    if(r > 0 && r <= 6) ans++;
    if(r > 6)           ans += 2;
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

int main() {

// 1. 入力情報取得.

LL X;

cin >> X;

// 2. 合計で, X点以上得るために必要な最小の操作回数を計算.

// 6 -> 5 -> 6 -> ... で, 得点すればよい筈.

LL q = X / 11;

LL r = X % 11;

LL ans = 2 * q;

if(r > 0 && r <= 6) ans++;

if(r > 6) ans += 2;

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■C++版プログラム(問題D／AC版).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

int main() {

    // 1. 入力情報取得.
    int N;
    cin >> N;
    
    // ex.
    // ① 1 … 6枚, 2 … 4枚, 3 … 5枚
    // ↓ 1 … 5枚, 2 … 4枚, 3 … 4枚
    // ↓ 1 … 4枚, 2 … 4枚, 3 … 3枚
    // ↓ 1 … 2枚, 2 … 4枚, 3 … 3枚
    // ↓ 1 … 2枚, 2 … 2枚, 3 … 3枚
    // ↓ 1 … 1枚, 2 … 2枚, 3 … 2枚
    // ② 1 … 1枚, 2 … 1枚, 3 … 1枚
    // -> 一回の操作で, 合計2枚ずつカードが減少していく.
    // -> 六回の操作で, 合計12枚のカードが減少した.
    // 上記, ① と ② を, 同じ状態と見做すことができる.
    map<int, int> m;
    FOR(i, 0, N) {
        int a;
        cin >> a;
        m[a]++;
    }
    
    // 2. mapのサイズ と mapの値の合計(= N) を比較.
    // -> 差分が, 偶数か奇数であるかで, 回数が変わるはず.
    int ans = m.size();
    bool odd = (N - m.size()) % 2;
    if(odd) ans--;
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

int main() {

// 1. 入力情報取得.

int N;

cin >> N;

// ex.

// ① 1 … 6枚, 2 … 4枚, 3 … 5枚

// ↓ 1 … 5枚, 2 … 4枚, 3 … 4枚

// ↓ 1 … 4枚, 2 … 4枚, 3 … 3枚

// ↓ 1 … 2枚, 2 … 4枚, 3 … 3枚

// ↓ 1 … 2枚, 2 … 2枚, 3 … 3枚

// ↓ 1 … 1枚, 2 … 2枚, 3 … 2枚

// ② 1 … 1枚, 2 … 1枚, 3 … 1枚

// -> 一回の操作で, 合計2枚ずつカードが減少していく.

// -> 六回の操作で, 合計12枚のカードが減少した.

// 上記, ① と ② を, 同じ状態と見做すことができる.

map<int, int> m;

FOR(i, 0, N) {

int a;

cin >> a;

m[a]++;

}

// 2. mapのサイズと mapの値の合計(= N) を比較.

// -> 差分が, 偶数か奇数であるかで, 回数が変わるはず.

int ans = m.size();

bool odd = (N - m.size()) % 2;

if(odd) ans--;

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■参照サイト
AtCoder Beginner Contest 053

C++の練習を兼ねて, AtCoder Beginner Contest 053 の 問題C（X: Yet Another Die Game), 問題D（Card Eater) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 053 の問題C（X: Yet Another Die Game), 問題D（Card Eater) を解いてみた.