11月, 2018 | 個人用メモ帳

2018年11月14日

PyTorch の動作確認をしてみた（１９）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.5 Encoder-Decoderモデルによる機械翻訳 (P.135 – P.145) である。
※1. プログラムの詳細は, 書籍を参考(P.135 – P.145)にして下さい.
※2. 書籍上で紹介されていたスペイン語のパターン以外の言語も, とりあえず動かしてみた.

スペイン語: spa.txt
スウェーデン語: swe.txt
ドイツ語: deu.txt
フランス語: fra.txt
ロシア語: rus.txt

■Encoder-Decoderモデルの動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
import os, re, time, collections, itertools

～(略)～

# 4. create Dataset Class.
start = time.time()
batch_size = 64
max_len = 10
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\translation\\'
dss = []
dss.append(["Spanish:", TranslationPairDataset(folder_path + "\\spa.txt", max_len = max_len)])
dss.append(["Swedish:", TranslationPairDataset(folder_path + "\\swe.txt", max_len = max_len)])
dss.append(["German:", TranslationPairDataset(folder_path + "\\deu.txt", max_len = max_len)])
dss.append(["French:", TranslationPairDataset(folder_path + "\\fra.txt", max_len = max_len)])
dss.append(["Russian:", TranslationPairDataset(folder_path + "\\rus.txt", max_len = max_len)])
# loader = DataLoader(ds, batch_size = batch_size, shuffle = True, num_workers = 0)

～(略)～

# 7. declare functions to translate.
def translate(input_str, ds, enc, dec, max_len = 15, device = "cpu"):
～(略)～

# 8. sample output.
for ds in dss:
    # <class '__main__.TranslationPairDataset'>
    # print(type(ds[1]))
    enc = Encoder(len(ds[1].src_word_list), 100, 100, 2)
    dec = Decoder(len(ds[1].trg_word_list), 100, 100, 2)
    print('-' + str(ds[0]) + '-------------------------------------------------')
    print(translate("This is PyTorch practice.", ds[1], enc, dec))

# 9. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

import os, re, time, collections, itertools

～(略)～

# 4. create Dataset Class.

start = time.time()

batch_size = 64

max_len = 10

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\translation\\'

dss = []

dss.append(["Spanish:", TranslationPairDataset(folder_path + "\\spa.txt", max_len = max_len)])

dss.append(["Swedish:", TranslationPairDataset(folder_path + "\\swe.txt", max_len = max_len)])

dss.append(["German:", TranslationPairDataset(folder_path + "\\deu.txt", max_len = max_len)])

dss.append(["French:", TranslationPairDataset(folder_path + "\\fra.txt", max_len = max_len)])

dss.append(["Russian:", TranslationPairDataset(folder_path + "\\rus.txt", max_len = max_len)])

# loader = DataLoader(ds, batch_size = batch_size, shuffle = True, num_workers = 0)

～(略)～

# 7. declare functions to translate.

def translate(input_str, ds, enc, dec, max_len = 15, device = "cpu"):

～(略)～

# 8. sample output.

for ds in dss:

# <class '__main__.TranslationPairDataset'>

# print(type(ds[1]))

enc = Encoder(len(ds[1].src_word_list), 100, 100, 2)

dec = Decoder(len(ds[1].trg_word_list), 100, 100, 2)

print('-' + str(ds[0]) + '-------------------------------------------------')

print(translate("This is PyTorch practice.", ds[1], enc, dec))

# 9. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.
書籍上で指摘されているが, とりあえず, よく分からない文章が生成された.

-Spanish:-------------------------------------------------
deceso ocurriera acordaba acordaba silbar adicta ocurriera canté llegará llegará llegará llegará llegará llegará mía
-Swedish:-------------------------------------------------
fräknar jättestor jättestor jättestor jättestor jättestor apelsinjuice jättestor jättestor jättestor jättestor jättestor anordna sänt jättestor
-German:-------------------------------------------------
riesengroß riesengroß riesengroß fantasiewesen aspirin tarnuniformen tarnuniformen erlaubnis erlaubnis cola intelligenten cola betriebe betriebe rege
-French:-------------------------------------------------
rencontrâmes déçus 1980 cirez croissance exagérés cirez cirez cirez revêtait-il j'annulerai trouvait-il été ris coudre
-Russian:-------------------------------------------------
устрашающе последнюю последнюю убедительны убедительны хуйню чихаем париты хуйню подустал париты протёр описать описать меняла
--------------------------------------------------
Elapsed Time: 23.467519521713257[sec]

-Spanish:-------------------------------------------------

deceso ocurriera acordaba acordaba silbar adicta ocurriera canté llegará llegará llegará llegará llegará llegará mía

-Swedish:-------------------------------------------------

fräknar jättestor jättestor jättestor jättestor jättestor apelsinjuice jättestor jättestor jättestor jättestor jättestor anordna sänt jättestor

-German:-------------------------------------------------

riesengroß riesengroß riesengroß fantasiewesen aspirin tarnuniformen tarnuniformen erlaubnis erlaubnis cola intelligenten cola betriebe betriebe rege

-French:-------------------------------------------------

rencontrâmes déçus 1980 cirez croissance exagérés cirez cirez cirez revêtait-il j'annulerai trouvait-il été ris coudre

-Russian:-------------------------------------------------

устрашающе последнюю последнюю убедительны убедительны хуйню чихаем париты хуйню подустал париты протёр описать описать меняла

--------------------------------------------------

Elapsed Time: 23.467519521713257[sec]

■参照サイト
【参照URL①】Tab-delimited Bilingual Sentence Pairs

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月13日

PyTorch の動作確認をしてみた（１８）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.5 Encoder-Decoderモデルによる機械翻訳 (P.135 – P.139) である。

※1. プログラムの詳細は, 書籍を参考(P.135 – P.139)にして下さい.
※2. 書籍上で定義されている関数について, 挙動が見えなかったので, 実際に出力させてみた.

■関数(normalize, parse_line, build_vocab, words2tensor)の動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
import re, collections

# 2. regular expression.
remove_marks_regex = re.compile("[\,\(\)\[\]\*:;¿!]|<.*?>")
shift_marks_regex = re.compile("([?!\.])")

unk = 0
sos = 1
eos = 2

～(略)～

text = "This is a test character! is this string is checking for test? \
This string consists of test character strings, wow!"
print('- normalize --------------------------------------------')
print(normalize(text))
print('- parse_line -------------------------------------------')
print(parse_line("He ran.	Él corrió."))
print('- build_vocab ------------------------------------------')
l, d = build_vocab(text)
print("l=" + str(l))
print("d=" + str(d))
print('- words2tensor -----------------------------------------')
t, seq = words2tensor(l, d, 30, padding = 0)
print("t=" + str(t))
print("seq=" + str(seq))

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

import re, collections

# 2. regular expression.

remove_marks_regex = re.compile("[\,\(\)\[\]\*:;¿!]|<.*?>")

shift_marks_regex = re.compile("([?!\.])")

unk = 0

sos = 1

eos = 2

～(略)～

text = "This is a test character! is this string is checking for test? \

This string consists of test character strings, wow!"

print('- normalize --------------------------------------------')

print(normalize(text))

print('- parse_line -------------------------------------------')

print(parse_line("He ran. Él corrió."))

print('- build_vocab ------------------------------------------')

l, d = build_vocab(text)

print("l=" + str(l))

print("d=" + str(d))

print('- words2tensor -----------------------------------------')

t, seq = words2tensor(l, d, 30, padding = 0)

print("t=" + str(t))

print("seq=" + str(seq))

■実行結果.

- normalize --------------------------------------------
this is a test character is this string is checking for test ? this string consists of test character strings wow
- parse_line -------------------------------------------
(['he', 'ran', '.'], ['él', 'corrió', '.'])
- build_vocab ------------------------------------------
l=['<UNK>', '<SOS>', '<EOS>', ' ', 's', 't', 'i', 'r', 'c', 'h', 'e', 'a', 'n', 'g', 'o', 'T', '!', 'f', 'w', 'k', '?', ',']
d={'<UNK>': 0, '<SOS>': 1, '<EOS>': 2, ' ': 3, 's': 4, 't': 5, 'i': 6, 'r': 7, 'c': 8, 'h': 9, 'e': 10, 'a': 11, 'n': 12, 'g': 13, 'o': 14, 'T': 15, '!': 16, 'f': 17, 'w': 18, 'k': 19, '?': 20, ',': 21}
- words2tensor -----------------------------------------
t=tensor([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16, 17,
        18, 19, 20, 21,  2,  0,  0,  0,  0,  0,  0,  0,  0])
seq=23

- normalize --------------------------------------------

this is a test character is this string is checking for test ? this string consists of test character strings wow

- parse_line -------------------------------------------

(['he', 'ran', '.'], ['él', 'corrió', '.'])

- build_vocab ------------------------------------------

l=['<UNK>', '<SOS>', '<EOS>', ' ', 's', 't', 'i', 'r', 'c', 'h', 'e', 'a', 'n', 'g', 'o', 'T', '!', 'f', 'w', 'k', '?', ',']

d={'<UNK>': 0, '<SOS>': 1, '<EOS>': 2, ' ': 3, 's': 4, 't': 5, 'i': 6, 'r': 7, 'c': 8, 'h': 9, 'e': 10, 'a': 11, 'n': 12, 'g': 13, 'o': 14, 'T': 15, '!': 16, 'f': 17, 'w': 18, 'k': 19, '?': 20, ',': 21}

- words2tensor -----------------------------------------

t=tensor([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17,

18, 19, 20, 21, 2, 0, 0, 0, 0, 0, 0, 0, 0])

seq=23

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月11日

PyTorch の動作確認をしてみた（１７）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.4 RNNによる文章生成 (P.126 – P.134) である。

※1. プログラムの詳細は, 書籍を参考(P.126 – P.134)にして下さい.
※2. 動作確認時に躓いた箇所も, コメントした.

■関数(str2ints, ints2str)の動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import string

～(略)～

# 3. sample output.
s = "This is a test character! is this string is checking for test? \
This string consists of test character strings, wow!"
print('-string -> integers list---------------------------------------')
print(str2ints(s, vocab_dict))

x = [55, 17, 18, 28, 94, 18, 28, 94, 10, 94, 29, 14, 28, 29, 94, 12, 
       17, 10, 27, 10, 12, 29, 14, 27, 62, 94, 18, 28, 94, 29, 17, 18, 
       28, 94, 28, 29, 27, 18, 23, 16, 94, 18, 28, 94, 12, 17, 14, 12, 
       20, 18, 23, 16, 94, 15, 24, 27, 94, 29, 14, 28, 29, 82, 94, 55, 
       17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 12, 24, 23, 28, 18, 
       28, 29, 28, 94, 24, 15, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 
       10, 12, 29, 14, 27, 94, 28, 29, 27, 18, 23, 16, 28, 73, 94, 32, 
       24, 32, 62]
print('-integers list -> string---------------------------------------')
print(ints2str(x, all_chars))

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import string

～(略)～

# 3. sample output.

s = "This is a test character! is this string is checking for test? \

This string consists of test character strings, wow!"

print('-string -> integers list---------------------------------------')

print(str2ints(s, vocab_dict))

x = [55, 17, 18, 28, 94, 18, 28, 94, 10, 94, 29, 14, 28, 29, 94, 12,

17, 10, 27, 10, 12, 29, 14, 27, 62, 94, 18, 28, 94, 29, 17, 18,

28, 94, 28, 29, 27, 18, 23, 16, 94, 18, 28, 94, 12, 17, 14, 12,

20, 18, 23, 16, 94, 15, 24, 27, 94, 29, 14, 28, 29, 82, 94, 55,

17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 12, 24, 23, 28, 18,

28, 29, 28, 94, 24, 15, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27,

10, 12, 29, 14, 27, 94, 28, 29, 27, 18, 23, 16, 28, 73, 94, 32,

24, 32, 62]

print('-integers list -> string---------------------------------------')

print(ints2str(x, all_chars))

■実行結果.

-string -> integers list---------------------------------------
[55, 17, 18, 28, 94, 18, 28, 94, 10, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 10, 12, 29, 14, 27, 62, 94, 18, 28, 94, 29, 17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 18, 28, 94, 12, 17, 14, 12, 20, 18, 23, 16, 94, 15, 24, 27, 94, 29, 14, 28, 29, 82, 94, 55, 17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 12, 24, 23, 28, 18, 28, 29, 28, 94, 24, 15, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 10, 12, 29, 14, 27, 94, 28, 29, 27, 18, 23, 16, 28, 73, 94, 32, 24, 32, 62]
-integers list -> string---------------------------------------
This is a test character! is this string is checking for test? This string consists of test character strings, wow!

-string -> integers list---------------------------------------

[55, 17, 18, 28, 94, 18, 28, 94, 10, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 10, 12, 29, 14, 27, 62, 94, 18, 28, 94, 29, 17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 18, 28, 94, 12, 17, 14, 12, 20, 18, 23, 16, 94, 15, 24, 27, 94, 29, 14, 28, 29, 82, 94, 55, 17, 18, 28, 94, 28, 29, 27, 18, 23, 16, 94, 12, 24, 23, 28, 18, 28, 29, 28, 94, 24, 15, 94, 29, 14, 28, 29, 94, 12, 17, 10, 27, 10, 12, 29, 14, 27, 94, 28, 29, 27, 18, 23, 16, 28, 73, 94, 32, 24, 32, 62]

-integers list -> string---------------------------------------

This is a test character! is this string is checking for test? This string consists of test character strings, wow!

■RNNによる文章生成(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch, string, os, time
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
from tqdm import tqdm
from statistics import mean

～(略)～

# string -> integers list.
# KeyError: '·'
# -> 理由: tinyshakespeare.txt の 保管方法誤り.
# https://github.com/karpathy/char-rnn/tree/master/data/tinyshakespeare
# -> 上記サイトに表示されている input.txt を, [右クリック] - [名前を付けてリンク先を保存]
# で, download すると, 大量のhtmlタグが含まれたものが download されてしまう.
# 
# https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt
# -> 上記サイトを表示後, [右クリック] - [名前を付けて保存] とすることで, KeyError が解消した.

～(略)～

# 6. create Dataset Class.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\tinyshakespeare\\'
# karpathy/char-rnn
# https://github.com/karpathy/char-rnn/tree/master/data/tinyshakespeare
ds = ShakespeareDataset(folder_path + "\\tinyshakespeare.txt", chunk_size = 200)
loader = DataLoader(ds, batch_size = 32, shuffle = True, num_workers = 0)

# 7. training.
# TypeError: __init__() got an unexpected keyword argument 'num_layers'
# -> ShakespeareDataset と 記載していたことが原因.
# -> 全く別物の名前が似ているクラス ShakespeareDataset, SequenceGenerationNet を使う場合に, 要注意.
net = SequenceGenerationNet(vocab_size, 20, 50, num_layers = 2, dropout = 0.1)
～(略)～

for epoch in range(50):
    net.train()
    losses = []
    for data in tqdm(loader):
～(略)～
        # RuntimeError: cudnn RNN backward can only be called in training mode.
        # -> 以下の通り, error原因は, コーディングに関するインデント誤りによる error.
        # -> error内容 の イメージとしては, 
        # loader の ループ処理中(訓練中)に, train mode で設定されていた net が, 
        # generate_seq関数 の 呼び出しで, eval modeに切り替わってしまったため, 
        # loss.backward() の 処理で失敗したと推測している.
        # -> epoch単位 で, 
        # epoch 0: train mode -> eval mode
        # epoch 1: train mode -> eval mode
        # ...
        # のように, net の mode が, 切り替わるのが正しい動作に見える.
        # print(epoch, mean(losses))
        # with torch.no_grad():
        #     print(generate_seq(net, device = "cuda:0"))
    # -> 書籍を確認して修正したところ, 解消した.
    print('--------------------------------------------------')
    print('epoch: ' + str(epoch) + '  mean(loss): ' + str(mean(losses)))
    with torch.no_grad():
        print(generate_seq(net, device = "cuda:0"))

# 8. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch, string, os, time

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

from tqdm import tqdm

from statistics import mean

～(略)～

# string -> integers list.

# KeyError: '·'

# -> 理由: tinyshakespeare.txt の保管方法誤り.

# https://github.com/karpathy/char-rnn/tree/master/data/tinyshakespeare

# -> 上記サイトに表示されている input.txt を, [右クリック] - [名前を付けてリンク先を保存]

# で, download すると, 大量のhtmlタグが含まれたものが download されてしまう.

# https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt

# -> 上記サイトを表示後, [右クリック] - [名前を付けて保存] とすることで, KeyError が解消した.

～(略)～

# 6. create Dataset Class.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\tinyshakespeare\\'

# karpathy/char-rnn

# https://github.com/karpathy/char-rnn/tree/master/data/tinyshakespeare

ds = ShakespeareDataset(folder_path + "\\tinyshakespeare.txt", chunk_size = 200)

loader = DataLoader(ds, batch_size = 32, shuffle = True, num_workers = 0)

# 7. training.

# TypeError: __init__() got an unexpected keyword argument 'num_layers'

# -> ShakespeareDataset と記載していたことが原因.

# -> 全く別物の名前が似ているクラス ShakespeareDataset, SequenceGenerationNet を使う場合に, 要注意.

net = SequenceGenerationNet(vocab_size, 20, 50, num_layers = 2, dropout = 0.1)

～(略)～

for epoch in range(50):

net.train()

losses = []

for data in tqdm(loader):

～(略)～

# RuntimeError: cudnn RNN backward can only be called in training mode.

# -> 以下の通り, error原因は, コーディングに関するインデント誤りによる error.

# -> error内容のイメージとしては,

# loader のループ処理中(訓練中)に, train mode で設定されていた net が,

# generate_seq関数の呼び出しで, eval modeに切り替わってしまったため,

# loss.backward() の処理で失敗したと推測している.

# -> epoch単位で,

# epoch 0: train mode -> eval mode

# epoch 1: train mode -> eval mode

# ...

# のように, net の mode が, 切り替わるのが正しい動作に見える.

# print(epoch, mean(losses))

# with torch.no_grad():

# print(generate_seq(net, device = "cuda:0"))

# -> 書籍を確認して修正したところ, 解消した.

print('--------------------------------------------------')

print('epoch: ' + str(epoch) + ' mean(loss): ' + str(mean(losses)))

with torch.no_grad():

print(generate_seq(net, device = "cuda:0"))

# 8. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(epoch = 50).
文章と言われてみれば, 見えなくも無さそうだが, 精度は, まだまだ低そうに見える.

～(略)～
--------------------------------------------------
epoch: 47  mean(loss): 1.6681576177052089
The King said stopating now toold;
As joy whope great sholojy skeee ack: now fe't will
A senough now us iT the have of his blict
Scary, as this reis thee are will soverness
Come, kind fathith me here of more ourh yo
100%|██████████| 175/175 [00:04<00:00, 35.31it/s]
--------------------------------------------------
epoch: 48  mean(loss): 1.6644004263196672
The King said At traight is our fout noth and have
To thy ender, your part; but that lord; as niverous fear;
An than dake sugh he seemens me in by
trant near to much here?

ROMEO:

MENENIUS:
I'ch you I ranter, the w
100%|██████████| 175/175 [00:04<00:00, 35.11it/s]
--------------------------------------------------
epoch: 49  mean(loss): 1.6615660510744368
The King said to lordter hiskiendy and
Nor I will more,
Like in tractor of his merner; but conserys
sming but them Worlouth a fine,
Now thy chiresheble in her Granter, Sciren,
Are pardutersly, I hope dequricks. Ever
--------------------------------------------------
Elapsed Time: 269.3071098327637[sec]

～(略)～

--------------------------------------------------

epoch: 47 mean(loss): 1.6681576177052089

The King said stopating now toold;

As joy whope great sholojy skeee ack: now fe't will

A senough now us iT the have of his blict

Scary, as this reis thee are will soverness

Come, kind fathith me here of more ourh yo

100%|██████████| 175/175 [00:04<00:00, 35.31it/s]

--------------------------------------------------

epoch: 48 mean(loss): 1.6644004263196672

The King said At traight is our fout noth and have

To thy ender, your part; but that lord; as niverous fear;

An than dake sugh he seemens me in by

trant near to much here?

ROMEO:

MENENIUS:

I'ch you I ranter, the w

100%|██████████| 175/175 [00:04<00:00, 35.11it/s]

--------------------------------------------------

epoch: 49 mean(loss): 1.6615660510744368

The King said to lordter hiskiendy and

Nor I will more,

Like in tractor of his merner; but conserys

sming but them Worlouth a fine,

Now thy chiresheble in her Granter, Sciren,

Are pardutersly, I hope dequricks. Ever

--------------------------------------------------

Elapsed Time: 269.3071098327637[sec]

■ハマった現象 & 解決策.

1. str2ints関数におけるエラー.
KeyError: '·'
-> 本件は, 参照URL① から, input.txt を, [右クリック] - [名前を付けてリンク先を保存] した
ことにより, 大量のhtmlタグが含まれたものが download されていたことが原因だった.
-> 参照URL② を 表示させて, 表示後, [右クリック] - [名前を付けて保存] することで, KeyError が解消した.

2. netに関するエラー.
TypeError: __init__() got an unexpected keyword argument 'num_layers'
-> 本件は, net に 代入するクラスを, ShakespeareDataset としていたことが原因.
-> net に 代入するクラスを, 書籍通りに, SequenceGenerationNet に修正して解消した.
※全く別物の名前が似ているクラスを取り扱う場合に要注意. 

3. 訓練時のエラー.
RuntimeError: cudnn RNN backward can only be called in training mode.
-> 本件は, コーディング時のインデント誤りが原因.
-> インデントを修正して解消した.

1. str2ints関数におけるエラー.

KeyError: '·'

-> 本件は, 参照URL① から, input.txt を, [右クリック] - [名前を付けてリンク先を保存] した

ことにより, 大量のhtmlタグが含まれたものが download されていたことが原因だった.

-> 参照URL② を表示させて, 表示後, [右クリック] - [名前を付けて保存] することで, KeyError が解消した.

2. netに関するエラー.

TypeError: __init__() got an unexpected keyword argument 'num_layers'

-> 本件は, net に代入するクラスを, ShakespeareDataset としていたことが原因.

-> net に代入するクラスを, 書籍通りに, SequenceGenerationNet に修正して解消した.

※全く別物の名前が似ているクラスを取り扱う場合に要注意.

3. 訓練時のエラー.

RuntimeError: cudnn RNN backward can only be called in training mode.

-> 本件は, コーディング時のインデント誤りが原因.

-> インデントを修正して解消した.

■参照サイト
【参照URL①】karpathy/char-rnn
【参照URL②】tinyshakespeare.txt の内容

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月10日2018年11月10日

PyTorch の動作確認をしてみた（１６）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.3 RNNと文章のクラス分類 (P.113 – P.121) である。

※1. プログラムの詳細は, 書籍を参考(P.113 – P.121)にして下さい.
※2. RNN の挙動について, 前回の課題として残していたものがあったので, 再度, 復習した.
※3. 参照URL① を元に, positive, negative に関する予測, 正解に関する情報を出力させるなどの, 動作確認を行った.
-> DataLoaderの使い方で, 落とし穴があったので, 実行結果でも, コメントした.

■RNNと文章のクラス分類に関する動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
from tqdm import tqdm
from statistics import mean
import os, re, pathlib, glob, time

～(略)～

# 3. create Dataset Class.
class IMDBDataset(Dataset):
    def __init__(self, dir_path, train = True, max_len = 100, padding = True):
～(略)～
    
    def __getitem__(self, idx):
～(略)～
        subDirctory = os.path.basename(os.path.dirname(f))
        print("idx: " + str(idx) + " " + str(subDirctory + "/" + str(os.path.basename(f))))
        # print("n_tokens: " + str(n_tokens))
        # ex.
        # idx: 0 neg/0_2.txt
        # idx: 1 neg/1_3.txt
        # idx: 2 pos/0_10.txt
        # idx: 3 pos/1_10.txt 
        # -> idx から, ファイルを一意に識別できるはず.
        return data, label, n_tokens, idx

# 4. create Dataset Class.
start = time.time()
folder_path = os.path.expanduser('~')
# folder_path = folder_path + '\\.spyder-py3\\pytorch\\aclImdb\\'
folder_path = folder_path + '\\.spyder-py3\\pytorch\\aclImdb_small\\'
train_data = IMDBDataset(folder_path)
test_data = IMDBDataset(folder_path, train = False)

～(略)～

# 6. create a training.
# 6. create a training.
def eval_net(net, data_loader, device="cpu"):
    net.eval()
    ys, ypreds, fs = [], [], []
    for x, y, l, f in data_loader:
        # x=tensor([[   10,     6,     3,  6269,  4804,  ...
        # 4,     1,    16]],device='cuda:0')
        # y=tensor([0, 0, 1, 1], device='cuda:0')
        # l=tensor([100, 100, 100, 100], device='cuda:0')
        # f=tensor([2, 0, 1, 3], device='cuda:0')
        x, y, l, f = x.to(device), y.to(device), l.to(device), f.to(device)
        # print("x=" + repr(x))
        # print("y=" + repr(y))
        # print("l=" + repr(l))
        # print("f=" + repr(f))
        with torch.no_grad():
～(略)～
            fs.append(f)
～(略)～
    fs = torch.cat(fs)
    acc = (ys == ypreds).float().sum() / len(ys)
    # print("ys size=" + str(ys.size()) + "  ypreds size=" + str(ypreds.size()) + "  fs size=" + str(fs.size()))
    # a = [1, 2, 3, 4, 5]
    # b = [1, 3, 4, 3, 5]
    # c = [i for i, j in zip(a, b) if i == j]
    # print(c) # [1, 5]
    # [index, k, i, j] は, loop の index, file の index, 正解ラベル, 予測ラベル の意味.
    #
    # zip-like function that pads to longest length?
    # https://stackoverflow.com/questions/1277278/zip-like-function-that-pads-to-longest-length
    # ys size=torch.Size([25000])  ypreds size=torch.Size([25000])  f size=torch.Size([8])
    # -> file の index に関して, 取得方法が, bug となっていることが判明(torch.Size([25000])でないとおかしい).
    # -> リスト fs を用意して, f を保管するように, プログラムを修正して, bug fix とした.
    # ※ fs size=torch.Size([25000]) を確認できた.
    correct, wrong = [], []
    for index, (k, i, j) in enumerate(zip(fs, ys, ypreds)):
        if i == j:
            correct.append([index, k, i, j])
        else:
            wrong.append([index, k, i, j])
    return acc.item(), correct, wrong, len(correct), len(wrong)

～(略)～

correct_list, wrong_list = [], []
for epoch in range(5):
～(略)～
    for x, y, l, f in tqdm(train_loader):
        x, y, l, f = x.to("cuda:0"), y.to("cuda:0"), l.to("cuda:0"), f.to("cuda:0")
～(略)～
    print('- train -----------------------------------------------')
    train_acc = eval_net(net, train_loader, "cuda:0")
    print('- test ------------------------------------------------')
    # idx: neg: 0 ～ 12499, pos: 12500 ～ 24999
    val_acc = eval_net(net, test_loader, "cuda:0")
    print(epoch, mean(losses), train_acc[0], val_acc[0])
    if epoch + 1 == 5:
        correct_list.append(val_acc[1])
        wrong_list.append(val_acc[2])

print('--- display 3 wrong answers ------------------------------------------')
# ex.
# [[0, tensor(3, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], 
# [2, tensor(1, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')]]
# -> 上記のデータは, 以下のように理解できる.
# 1. loop index = 0, file index = 3 に対応するテキストファイルは, pos/1_10.txt である.
# 当該 RNNモデル で, negative(tensor(0, device='cuda:0')) と 予想したが, 
# 正解は, positive(tensor(1, device='cuda:0')) であるということ.
# 2. loop index = 2, file index = 1 に対応するテキストファイルは, neg/1_3.txt である.
# 当該 RNNモデル で, positive(tensor(1, device='cuda:0')) と 予想したが, 
# 正解は, negative(tensor(0, device='cuda:0')) であるということ.
print(str(wrong_list[0][0:3]))

print('--- display 3 correct answers ----------------------------------------')
# ex.
# [[1, tensor(0, device='cuda:0'), tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], 
# [3, tensor(2, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')]]
# -> 上記のデータは, 以下のように理解できる.
# 1. loop index = 1, file index = 0 に対応するテキストファイルは, neg/0_2.txt である.
# 当該 RNNモデル で, negative(tensor(0, device='cuda:0')) と 予想し, 正解と同じ結果だったということ.
# 2. loop index = 3, file index = 2 に対応するテキストファイルは, pos/0_10.txt である.
# 当該 RNNモデル で, positive(tensor(1, device='cuda:0')) と 予想し, 正解と同じ結果だったということ.
print(str(correct_list[0][0:3]))
       
# 6. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

from tqdm import tqdm

from statistics import mean

import os, re, pathlib, glob, time

～(略)～

# 3. create Dataset Class.

class IMDBDataset(Dataset):

def __init__(self, dir_path, train = True, max_len = 100, padding = True):

～(略)～

def __getitem__(self, idx):

～(略)～

subDirctory = os.path.basename(os.path.dirname(f))

print("idx: " + str(idx) + " " + str(subDirctory + "/" + str(os.path.basename(f))))

# print("n_tokens: " + str(n_tokens))

# ex.

# idx: 0 neg/0_2.txt

# idx: 1 neg/1_3.txt

# idx: 2 pos/0_10.txt

# idx: 3 pos/1_10.txt

# -> idx から, ファイルを一意に識別できるはず.

return data, label, n_tokens, idx

# 4. create Dataset Class.

start = time.time()

folder_path = os.path.expanduser('~')

# folder_path = folder_path + '\\.spyder-py3\\pytorch\\aclImdb\\'

folder_path = folder_path + '\\.spyder-py3\\pytorch\\aclImdb_small\\'

train_data = IMDBDataset(folder_path)

test_data = IMDBDataset(folder_path, train = False)

～(略)～

# 6. create a training.

def eval_net(net, data_loader, device="cpu"):

net.eval()

ys, ypreds, fs = [], [], []

for x, y, l, f in data_loader:

# x=tensor([[ 10, 6, 3, 6269, 4804, ...

# 4, 1, 16]],device='cuda:0')

# y=tensor([0, 0, 1, 1], device='cuda:0')

# l=tensor([100, 100, 100, 100], device='cuda:0')

# f=tensor([2, 0, 1, 3], device='cuda:0')

x, y, l, f = x.to(device), y.to(device), l.to(device), f.to(device)

# print("x=" + repr(x))

# print("y=" + repr(y))

# print("l=" + repr(l))

# print("f=" + repr(f))

with torch.no_grad():

～(略)～

fs.append(f)

～(略)～

fs = torch.cat(fs)

acc = (ys == ypreds).float().sum() / len(ys)

# print("ys size=" + str(ys.size()) + " ypreds size=" + str(ypreds.size()) + " fs size=" + str(fs.size()))

# a = [1, 2, 3, 4, 5]

# b = [1, 3, 4, 3, 5]

# c = [i for i, j in zip(a, b) if i == j]

# print(c) # [1, 5]

# [index, k, i, j] は, loop の index, file の index, 正解ラベル, 予測ラベルの意味.

# zip-like function that pads to longest length?

# https://stackoverflow.com/questions/1277278/zip-like-function-that-pads-to-longest-length

# ys size=torch.Size([25000]) ypreds size=torch.Size([25000]) f size=torch.Size([8])

# -> file の index に関して, 取得方法が, bug となっていることが判明(torch.Size([25000])でないとおかしい).

# -> リスト fs を用意して, f を保管するように, プログラムを修正して, bug fix とした.

# ※ fs size=torch.Size([25000]) を確認できた.

correct, wrong = [], []

for index, (k, i, j) in enumerate(zip(fs, ys, ypreds)):

if i == j:

correct.append([index, k, i, j])

else:

wrong.append([index, k, i, j])

return acc.item(), correct, wrong, len(correct), len(wrong)

～(略)～

correct_list, wrong_list = [], []

for epoch in range(5):

～(略)～

for x, y, l, f in tqdm(train_loader):

x, y, l, f = x.to("cuda:0"), y.to("cuda:0"), l.to("cuda:0"), f.to("cuda:0")

～(略)～

print('- train -----------------------------------------------')

train_acc = eval_net(net, train_loader, "cuda:0")

print('- test ------------------------------------------------')

# idx: neg: 0 ～ 12499, pos: 12500 ～ 24999

val_acc = eval_net(net, test_loader, "cuda:0")

print(epoch, mean(losses), train_acc[0], val_acc[0])

if epoch + 1 == 5:

correct_list.append(val_acc[1])

wrong_list.append(val_acc[2])

print('--- display 3 wrong answers ------------------------------------------')

# ex.

# [[0, tensor(3, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')],

# [2, tensor(1, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')]]

# -> 上記のデータは, 以下のように理解できる.

# 1. loop index = 0, file index = 3 に対応するテキストファイルは, pos/1_10.txt である.

# 当該 RNNモデルで, negative(tensor(0, device='cuda:0')) と予想したが,

# 正解は, positive(tensor(1, device='cuda:0')) であるということ.

# 2. loop index = 2, file index = 1 に対応するテキストファイルは, neg/1_3.txt である.

# 当該 RNNモデルで, positive(tensor(1, device='cuda:0')) と予想したが,

# 正解は, negative(tensor(0, device='cuda:0')) であるということ.

print(str(wrong_list[0][0:3]))

print('--- display 3 correct answers ----------------------------------------')

# ex.

# [[1, tensor(0, device='cuda:0'), tensor(0, device='cuda:0'), tensor(0, device='cuda:0')],

# [3, tensor(2, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')]]

# -> 上記のデータは, 以下のように理解できる.

# 1. loop index = 1, file index = 0 に対応するテキストファイルは, neg/0_2.txt である.

# 当該 RNNモデルで, negative(tensor(0, device='cuda:0')) と予想し, 正解と同じ結果だったということ.

# 2. loop index = 3, file index = 2 に対応するテキストファイルは, pos/0_10.txt である.

# 当該 RNNモデルで, positive(tensor(1, device='cuda:0')) と予想し, 正解と同じ結果だったということ.

print(str(correct_list[0][0:3]))

# 6. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.
1. [aclImdb_small]フォルダで確認(※データ数を少なくして検証)した場合(epoch = 5).
※以下のファイルで構成されているものとする.
imdb.vocab
aclImdb_small\train\neg\1_1.txt
aclImdb_small\train\neg\0_3.txt
aclImdb_small\train\pos\0_9.txt
aclImdb_small\train\pos\1_7.txt
aclImdb_small\train\unsup\0_0.txt
aclImdb_small\train\unsup\1_0.txt
aclImdb_small\test\neg\1_3.txt
aclImdb_small\test\neg\0_2.txt
aclImdb_small\test\pos\1_10.txt
aclImdb_small\test\pos\0_10.txt

  0%|          | 0/1 [00:00<?, ?it/s]idx: 3 pos/1_7.txt
idx: 2 pos/0_9.txt
idx: 0 neg/0_3.txt
idx: 1 neg/1_1.txt
100%|██████████| 1/1 [00:00<00:00, 21.34it/s]
- train -----------------------------------------------
idx: 2 pos/0_9.txt
idx: 3 pos/1_7.txt
idx: 1 neg/1_1.txt
idx: 0 neg/0_3.txt
- test ------------------------------------------------
idx: 0 neg/0_2.txt
idx: 2 pos/0_10.txt
idx: 3 pos/1_10.txt
idx: 1 neg/1_3.txt
0 0.6945884227752686 0.5 0.5
～(略)～
  0%|          | 0/1 [00:00<?, ?it/s]idx: 3 pos/1_7.txt
idx: 1 neg/1_1.txt
idx: 0 neg/0_3.txt
idx: 2 pos/0_9.txt
100%|██████████| 1/1 [00:00<00:00, 32.01it/s]
- train -----------------------------------------------
idx: 3 pos/1_7.txt
idx: 0 neg/0_3.txt
idx: 1 neg/1_1.txt
idx: 2 pos/0_9.txt
- test ------------------------------------------------
idx: 3 pos/1_10.txt
idx: 2 pos/0_10.txt
idx: 0 neg/0_2.txt
idx: 1 neg/1_3.txt
4 0.668656587600708 1.0 0.25
--- display 3 wrong answers ------------------------------------------
wrong answers: 3 count
[[0, tensor(3, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [2, tensor(0, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [3, tensor(1, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')]]
[tensor(3, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')]
--- display 3 correct answers ----------------------------------------
correct answers: 1 count
[[1, tensor(2, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')]]
[tensor(2, device='cuda:0')]
--------------------------------------------------
Elapsed Time: 0.8228132724761963[sec]

0%| | 0/1 [00:00<?, ?it/s]idx: 3 pos/1_7.txt

idx: 2 pos/0_9.txt

idx: 0 neg/0_3.txt

idx: 1 neg/1_1.txt

100%|██████████| 1/1 [00:00<00:00, 21.34it/s]

- train -----------------------------------------------

idx: 2 pos/0_9.txt

idx: 3 pos/1_7.txt

idx: 1 neg/1_1.txt

idx: 0 neg/0_3.txt

- test ------------------------------------------------

idx: 0 neg/0_2.txt

idx: 2 pos/0_10.txt

idx: 3 pos/1_10.txt

idx: 1 neg/1_3.txt

0 0.6945884227752686 0.5 0.5

～(略)～

0%| | 0/1 [00:00<?, ?it/s]idx: 3 pos/1_7.txt

idx: 1 neg/1_1.txt

idx: 0 neg/0_3.txt

idx: 2 pos/0_9.txt

100%|██████████| 1/1 [00:00<00:00, 32.01it/s]

- train -----------------------------------------------

idx: 3 pos/1_7.txt

idx: 0 neg/0_3.txt

idx: 1 neg/1_1.txt

idx: 2 pos/0_9.txt

- test ------------------------------------------------

idx: 3 pos/1_10.txt

idx: 2 pos/0_10.txt

idx: 0 neg/0_2.txt

idx: 1 neg/1_3.txt

4 0.668656587600708 1.0 0.25

--- display 3 wrong answers ------------------------------------------

wrong answers: 3 count

[[0, tensor(3, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [2, tensor(0, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [3, tensor(1, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')]]

[tensor(3, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')]

--- display 3 correct answers ----------------------------------------

correct answers: 1 count

[[1, tensor(2, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')]]

[tensor(2, device='cuda:0')]

--------------------------------------------------

Elapsed Time: 0.8228132724761963[sec]

2. [aclImdb]フォルダで確認した場合(epoch = 5).
※[aclImdb/test/neg]フォルダ, [aclImdb/test/pos]フォルダに, それぞれ, 12500枚ずつのテキストファイルが保管されている.

100%|██████████| 782/782 [00:28<00:00, 27.27it/s]
0 0.6803007814128076 0.5694000124931335 0.5467999577522278
100%|██████████| 782/782 [00:29<00:00, 26.34it/s]
1 0.6741279620496209 0.6917200088500977 0.6663599610328674
100%|██████████| 782/782 [00:28<00:00, 27.24it/s]
2 0.5203743184275944 0.8087999820709229 0.7526800036430359
100%|██████████| 782/782 [00:29<00:00, 24.33it/s]
3 0.4052099124778567 0.8601999878883362 0.7773999571800232
100%|██████████| 782/782 [00:29<00:00, 26.26it/s]
4 0.3286202476762445 0.8942399621009827 0.780519962310791
--- display 3 wrong answers ------------------------------------------
wrong answers: 5487 count
[[3, tensor(15535, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [6, tensor(8360, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [19, tensor(20988, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')]]
[tensor(15535, device='cuda:0'), tensor(8360, device='cuda:0'), tensor(20988, device='cuda:0'), tensor(17145, device='cuda:0'), tensor(23872, device='cuda:0'), tensor(17204, device='cuda:0'), tensor(7080, device='cuda:0'), tensor(3940, device='cuda:0'), tensor(21051, device='cuda:0')]
--- display 3 correct answers ----------------------------------------
correct answers: 19513 count
[[0, tensor(1340, device='cuda:0'), tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [1, tensor(15574, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')], [2, tensor(23196, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')]]
[tensor(1340, device='cuda:0'), tensor(15574, device='cuda:0'), tensor(23196, device='cuda:0'), tensor(8859, device='cuda:0'), tensor(15517, device='cuda:0'), tensor(6357, device='cuda:0'), tensor(16916, device='cuda:0'), tensor(5740, device='cuda:0'), tensor(10242, device='cuda:0')]
--------------------------------------------------
Elapsed Time: 329.3756453990936[sec]

100%|██████████| 782/782 [00:28<00:00, 27.27it/s]

0 0.6803007814128076 0.5694000124931335 0.5467999577522278

100%|██████████| 782/782 [00:29<00:00, 26.34it/s]

1 0.6741279620496209 0.6917200088500977 0.6663599610328674

100%|██████████| 782/782 [00:28<00:00, 27.24it/s]

2 0.5203743184275944 0.8087999820709229 0.7526800036430359

100%|██████████| 782/782 [00:29<00:00, 24.33it/s]

3 0.4052099124778567 0.8601999878883362 0.7773999571800232

100%|██████████| 782/782 [00:29<00:00, 26.26it/s]

4 0.3286202476762445 0.8942399621009827 0.780519962310791

--- display 3 wrong answers ------------------------------------------

wrong answers: 5487 count

[[3, tensor(15535, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [6, tensor(8360, device='cuda:0'), tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [19, tensor(20988, device='cuda:0'), tensor(1, device='cuda:0'), tensor(0, device='cuda:0')]]

[tensor(15535, device='cuda:0'), tensor(8360, device='cuda:0'), tensor(20988, device='cuda:0'), tensor(17145, device='cuda:0'), tensor(23872, device='cuda:0'), tensor(17204, device='cuda:0'), tensor(7080, device='cuda:0'), tensor(3940, device='cuda:0'), tensor(21051, device='cuda:0')]

--- display 3 correct answers ----------------------------------------

correct answers: 19513 count

[[0, tensor(1340, device='cuda:0'), tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [1, tensor(15574, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')], [2, tensor(23196, device='cuda:0'), tensor(1, device='cuda:0'), tensor(1, device='cuda:0')]]

[tensor(1340, device='cuda:0'), tensor(15574, device='cuda:0'), tensor(23196, device='cuda:0'), tensor(8859, device='cuda:0'), tensor(15517, device='cuda:0'), tensor(6357, device='cuda:0'), tensor(16916, device='cuda:0'), tensor(5740, device='cuda:0'), tensor(10242, device='cuda:0')]

--------------------------------------------------

Elapsed Time: 329.3756453990936[sec]

■実行結果.

1. [aclImdb_small]フォルダで確認した場合.
精度:  25%
テスト画像正解数: 4枚中, 1枚正解.
誤答に関する情報:
① loop index = 0, file index = 3 に対応するテキストファイルは, pos/1_10.txt である.
当該 RNNモデル で, negative(tensor(0, device='cuda:0')) と 予想したが, 
正解は, positive(tensor(1, device='cuda:0')) であるということ.
② loop index = 2, file index = 0 に対応するテキストファイルは, neg/0_2.txt である.
当該 RNNモデル で, positive(tensor(1, device='cuda:0')) と 予想したが, 
正解は, negative(tensor(0, device='cuda:0')) であるということ.
③ loop index = 3, file index = 1 に対応するテキストファイルは, neg/1_3.txt である.
当該 RNNモデル で, positive(tensor(1, device='cuda:0')) と 予想したが, 
正解は, negative(tensor(0, device='cuda:0')) であるということ.

2. [aclImdb]フォルダで確認した場合.
精度:  約78%
テスト画像正解数: 25000枚中, 19513枚正解.
誤答に関する情報:
① loop index = 3, file index = 15535 に対応するテキストファイルは, pos/1482_10.txt である.
当該 RNNモデル で, negative(tensor(0, device='cuda:0')) と 予想したが, 
正解は, positive(tensor(1, device='cuda:0')) であるということ.
② loop index = 6, file index = 8360 に対応するテキストファイルは, neg/6275_1.txt である.
当該 RNNモデル で, positive(tensor(1, device='cuda:0')) と 予想したが, 
正解は, negative(tensor(0, device='cuda:0')) であるということ.
③ loop index = 19, file index = 20988 に対応するテキストファイルは, pos/6390_10.txt である.
当該 RNNモデル で, negative(tensor(0, device='cuda:0')) と 予想したが, 
正解は, positive(tensor(1, device='cuda:0')) であるということ.

※上記, 誤答に関する情報で, 対応するテキストファイルの特定については, 
IMDBDatasetクラス の __getitem__関数内で, 別途, 以下の内容で確認した.
subDirctory = os.path.basename(os.path.dirname(f))
if idx == 15535 or idx == 8360 or idx == 20988:
    print("idx: " + str(idx) + " " + str(subDirctory + "/" + str(os.path.basename(f))))

3. eval_net関数での file の index 取得について.
data_loader から取り出した f を そのまま使うと, サイズ(torch.Size([8]))を確認すると分かるように, 誤った出力結果となる.
-> リスト fs を用意して, f を保管するように, 対応する必要があることに注意.
-> リストfs を テンソルに変換後は, 想定していたサイズ(torch.Size([25000]))となっていることが確認できた.

4. 誤答した文章の例(test/pos/6390_10.txt).
It gives the ordinary guy/girl the chance to be on television singing as their favourite stars.<br /><br />For the majority of the time, they sound like the singer they are meant to be portraying.<br /><br />Another twist to it - A team of make up people and costumers dress the contestant up like that singer. They might not look like them but the likelihood of getting someone that sounds like a person looking exactly the same as them are very slim.<br /><br />It's a load of fun for your Saturday night - and the contestants aren't raging wannabes like they are on another TV singing show. The fact that there are no prizes involved and it is for fun means that it will attract a different type of person.<br /><br />The only gripe i have is with the Kids version - it looks like they have done the round of stage schools- what happened to the normal kids?
-> 上記文章について, RNNモデルでは, negativeと予想し, positiveが正解のため, 誤答となったが, 個人的に, Google 翻訳などで上記文章を読んでみても, positive なのか, negative なのか, 判別できなかった(positive とも negative とも, 受け取れるように見える...汗).

1. [aclImdb_small]フォルダで確認した場合.

精度: 25%

テスト画像正解数: 4枚中, 1枚正解.

誤答に関する情報:

① loop index = 0, file index = 3 に対応するテキストファイルは, pos/1_10.txt である.

当該 RNNモデルで, negative(tensor(0, device='cuda:0')) と予想したが,

正解は, positive(tensor(1, device='cuda:0')) であるということ.

② loop index = 2, file index = 0 に対応するテキストファイルは, neg/0_2.txt である.

当該 RNNモデルで, positive(tensor(1, device='cuda:0')) と予想したが,

正解は, negative(tensor(0, device='cuda:0')) であるということ.

③ loop index = 3, file index = 1 に対応するテキストファイルは, neg/1_3.txt である.

当該 RNNモデルで, positive(tensor(1, device='cuda:0')) と予想したが,

正解は, negative(tensor(0, device='cuda:0')) であるということ.

2. [aclImdb]フォルダで確認した場合.

精度: 約78%

テスト画像正解数: 25000枚中, 19513枚正解.

誤答に関する情報:

① loop index = 3, file index = 15535 に対応するテキストファイルは, pos/1482_10.txt である.

当該 RNNモデルで, negative(tensor(0, device='cuda:0')) と予想したが,

正解は, positive(tensor(1, device='cuda:0')) であるということ.

② loop index = 6, file index = 8360 に対応するテキストファイルは, neg/6275_1.txt である.

当該 RNNモデルで, positive(tensor(1, device='cuda:0')) と予想したが,

正解は, negative(tensor(0, device='cuda:0')) であるということ.

③ loop index = 19, file index = 20988 に対応するテキストファイルは, pos/6390_10.txt である.

当該 RNNモデルで, negative(tensor(0, device='cuda:0')) と予想したが,

正解は, positive(tensor(1, device='cuda:0')) であるということ.

※上記, 誤答に関する情報で, 対応するテキストファイルの特定については,

IMDBDatasetクラスの __getitem__関数内で, 別途, 以下の内容で確認した.

subDirctory = os.path.basename(os.path.dirname(f))

if idx == 15535 or idx == 8360 or idx == 20988:

print("idx: " + str(idx) + " " + str(subDirctory + "/" + str(os.path.basename(f))))

3. eval_net関数での file の index 取得について.

data_loader から取り出した f をそのまま使うと, サイズ(torch.Size([8]))を確認すると分かるように, 誤った出力結果となる.

-> リスト fs を用意して, f を保管するように, 対応する必要があることに注意.

-> リストfs をテンソルに変換後は, 想定していたサイズ(torch.Size([25000]))となっていることが確認できた.

4. 誤答した文章の例(test/pos/6390_10.txt).

It gives the ordinary guy/girl the chance to be on television singing as their favourite stars. For the majority of the time, they sound like the singer they are meant to be portraying. Another twist to it - A team of make up people and costumers dress the contestant up like that singer. They might not look like them but the likelihood of getting someone that sounds like a person looking exactly the same as them are very slim. It's a load of fun for your Saturday night - and the contestants aren't raging wannabes like they are on another TV singing show. The fact that there are no prizes involved and it is for fun means that it will attract a different type of person. The only gripe i have is with the Kids version - it looks like they have done the round of stage schools- what happened to the normal kids?

-> 上記文章について, RNNモデルでは, negativeと予想し, positiveが正解のため, 誤答となったが, 個人的に, Google 翻訳などで上記文章を読んでみても, positive なのか, negative なのか, 判別できなかった(positive とも negative とも, 受け取れるように見える...汗).

■参照サイト
【参照URL①】DataLoader Filenames in each Batch
【参照URL②】zip-like function that pads to longest length?

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月8日

PyTorch の動作確認をしてみた（１５）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

※1. プログラムの詳細は, 書籍を参考(P.113 – P.121)にして下さい.
※2. とりあえず出力されるところまで, 動作確認を行った.

■RNNと文章のクラス分類に関する動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import (Dataset, DataLoader)
from tqdm import tqdm
from statistics import mean
import os, re, pathlib, glob, time

～(略)～

# 3. create Dataset Class.
class IMDBDataset(Dataset):
    def __init__(self, dir_path, train = True, max_len = 100, padding = True):
～(略)～
        # read vocabulary files and divide them line by line.
        # UnicodeDecodeError: 'cp932' codec can't decode byte 0x9f in position 290036: 
        # illegal multibyte sequence
        # -> 上記のようなerrorが出力されたので, encoding="utf-8" を指定.
        # WindowsでCP932(Shift-JIS)エンコード以外のファイルを開くのに苦労した話
        # https://qiita.com/Yuu94/items/9ffdfcb2c26d6b33792e
        # self.vocab_array = vocab_path.open().read().strip().splitlines()
        self.vocab_array = vocab_path.open(encoding="utf-8").read().strip().splitlines()
        
～(略)～
    
    def __getitem__(self, idx):
        label, f = self.labeled_files[idx]
        # read text data of file and convert it to lower case.
        # UnicodeDecodeError: 'cp932' codec can't decode byte 0x96 in position 80: 
        # illegal multibyte sequence
        # -> 上記のようなerrorが出力されたので, encoding="utf-8" を指定.
        # WindowsでCP932(Shift-JIS)エンコード以外のファイルを開くのに苦労した話
        # https://qiita.com/Yuu94/items/9ffdfcb2c26d6b33792e
        # data = open(f).read().lower()
        data = open(f, encoding="utf-8").read().lower()
～(略)～
    
# 4. create Dataset Class.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\aclImdb\\'
train_data = IMDBDataset(folder_path)
test_data = IMDBDataset(folder_path, train = False)

# BrokenPipeError: [Errno 32] Broken pipe
# -> 上記のようなerrorが出力されたので, num_workers = 0 を指定.
# BrokenPipeError: [Errno 32] Broken pipe #4418
# https://github.com/pytorch/pytorch/issues/4418
# train_loader = DataLoader(train_data, batch_size = 32, shuffle = True, num_workers = 4)
# test_loader = DataLoader(test_data, batch_size = 32, shuffle = True, num_workers = 4)
train_loader = DataLoader(train_data, batch_size = 32, shuffle = True, num_workers = 0)
test_loader = DataLoader(test_data, batch_size = 32, shuffle = True, num_workers = 0)

～(略)～

# 6. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import (Dataset, DataLoader)

from tqdm import tqdm

from statistics import mean

import os, re, pathlib, glob, time

～(略)～

# 3. create Dataset Class.

class IMDBDataset(Dataset):

def __init__(self, dir_path, train = True, max_len = 100, padding = True):

～(略)～

# read vocabulary files and divide them line by line.

# UnicodeDecodeError: 'cp932' codec can't decode byte 0x9f in position 290036:

# illegal multibyte sequence

# -> 上記のようなerrorが出力されたので, encoding="utf-8" を指定.

# WindowsでCP932(Shift-JIS)エンコード以外のファイルを開くのに苦労した話

# https://qiita.com/Yuu94/items/9ffdfcb2c26d6b33792e

# self.vocab_array = vocab_path.open().read().strip().splitlines()

self.vocab_array = vocab_path.open(encoding="utf-8").read().strip().splitlines()

～(略)～

def __getitem__(self, idx):

label, f = self.labeled_files[idx]

# read text data of file and convert it to lower case.

# UnicodeDecodeError: 'cp932' codec can't decode byte 0x96 in position 80:

# illegal multibyte sequence

# -> 上記のようなerrorが出力されたので, encoding="utf-8" を指定.

# WindowsでCP932(Shift-JIS)エンコード以外のファイルを開くのに苦労した話

# https://qiita.com/Yuu94/items/9ffdfcb2c26d6b33792e

# data = open(f).read().lower()

data = open(f, encoding="utf-8").read().lower()

～(略)～

# 4. create Dataset Class.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\aclImdb\\'

train_data = IMDBDataset(folder_path)

test_data = IMDBDataset(folder_path, train = False)

# BrokenPipeError: [Errno 32] Broken pipe

# -> 上記のようなerrorが出力されたので, num_workers = 0 を指定.

# BrokenPipeError: [Errno 32] Broken pipe #4418

# https://github.com/pytorch/pytorch/issues/4418

# train_loader = DataLoader(train_data, batch_size = 32, shuffle = True, num_workers = 4)

# test_loader = DataLoader(test_data, batch_size = 32, shuffle = True, num_workers = 4)

train_loader = DataLoader(train_data, batch_size = 32, shuffle = True, num_workers = 0)

test_loader = DataLoader(test_data, batch_size = 32, shuffle = True, num_workers = 0)

～(略)～

# 6. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

100%|██████████| 782/782 [00:36<00:00, 24.47it/s]
0 0.6631813692619734 0.7117999792098999 0.6716399788856506
100%|██████████| 782/782 [00:30<00:00, 25.56it/s]
1 0.5390779934156581 0.7869199514389038 0.7339999675750732
100%|██████████| 782/782 [00:29<00:00, 26.39it/s]
2 0.49078431573060466 0.7927599549293518 0.7233200073242188
100%|██████████| 782/782 [00:29<00:00, 26.22it/s]
3 0.37571508580309043 0.8649599552154541 0.7659599781036377
100%|██████████| 782/782 [00:29<00:00, 26.73it/s]
4 0.4539797544631812 0.5961999893188477 0.5614399909973145
100%|██████████| 782/782 [00:30<00:00, 26.06it/s]
5 0.4392406488471019 0.8939200043678284 0.774399995803833
100%|██████████| 782/782 [00:34<00:00, 23.42it/s]
6 0.2916669836910942 0.9161999821662903 0.7767599821090698
100%|██████████| 782/782 [00:31<00:00, 24.62it/s]
7 0.23334355754515781 0.9411999583244324 0.788919985294342
100%|██████████| 782/782 [00:29<00:00, 26.45it/s]
8 0.18953481500687272 0.9602800011634827 0.7843999862670898
100%|██████████| 782/782 [00:28<00:00, 27.45it/s]
9 0.14923329765925095 0.9648399949073792 0.7839199900627136
--------------------------------------------------
Elapsed Time: 598.657867193222[sec]

100%|██████████| 782/782 [00:36<00:00, 24.47it/s]

0 0.6631813692619734 0.7117999792098999 0.6716399788856506

100%|██████████| 782/782 [00:30<00:00, 25.56it/s]

1 0.5390779934156581 0.7869199514389038 0.7339999675750732

100%|██████████| 782/782 [00:29<00:00, 26.39it/s]

2 0.49078431573060466 0.7927599549293518 0.7233200073242188

100%|██████████| 782/782 [00:29<00:00, 26.22it/s]

3 0.37571508580309043 0.8649599552154541 0.7659599781036377

100%|██████████| 782/782 [00:29<00:00, 26.73it/s]

4 0.4539797544631812 0.5961999893188477 0.5614399909973145

100%|██████████| 782/782 [00:30<00:00, 26.06it/s]

5 0.4392406488471019 0.8939200043678284 0.774399995803833

100%|██████████| 782/782 [00:34<00:00, 23.42it/s]

6 0.2916669836910942 0.9161999821662903 0.7767599821090698

100%|██████████| 782/782 [00:31<00:00, 24.62it/s]

7 0.23334355754515781 0.9411999583244324 0.788919985294342

100%|██████████| 782/782 [00:29<00:00, 26.45it/s]

8 0.18953481500687272 0.9602800011634827 0.7843999862670898

100%|██████████| 782/782 [00:28<00:00, 27.45it/s]

9 0.14923329765925095 0.9648399949073792 0.7839199900627136

--------------------------------------------------

Elapsed Time: 598.657867193222[sec]

1. ファイルオープン時のエラー.
UnicodeDecodeError: 'cp932' codec can't decode byte...
-> 本件は, 参照URL① を元に, encoding="utf-8" を設定することで回避できた.

2. DataLoaderの設定値に関するエラー.
BrokenPipeError: [Errno 32] Broken pipe
-> 本件は, 参照URL② を元に, num_workers = 0 を設定することで回避できた.

3. 実行時間について, 以下の結果だった.
Elapsed Time: 598.657867193222[sec]

4.精度について, 以下の結果だった.
約78%
-> 書籍では, 約77% であるため, ほぼ一致していた.

1. ファイルオープン時のエラー.

UnicodeDecodeError: 'cp932' codec can't decode byte...

-> 本件は, 参照URL① を元に, encoding="utf-8" を設定することで回避できた.

2. DataLoaderの設定値に関するエラー.

BrokenPipeError: [Errno 32] Broken pipe

-> 本件は, 参照URL② を元に, num_workers = 0 を設定することで回避できた.

3. 実行時間について, 以下の結果だった.

Elapsed Time: 598.657867193222[sec]

4.精度について, 以下の結果だった.

約78%

-> 書籍では, 約77% であるため, ほぼ一致していた.

■参照サイト
【参照URL①】WindowsでCP932(Shift-JIS)エンコード以外のファイルを開くのに苦労した話
【参照URL②】BrokenPipeError: [Errno 32] Broken pipe #4418

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月6日

C++ の動作確認をしてみた（３２）

C++の練習を兼ねて, AtCoder Beginner Contest 053 の問題C（X: Yet Another Die Game), 問題D（Card Eater) を解いてみた.

■感想.
1. とりあえず, 解説見ずに解けたので良かったと思う.
※解説みたら, 同じ方針だったので, 着眼点については, 及第点に到達できたと思う.

本家のサイトABC053 /ARC068 解説をご覧下さい.

■C++版プログラム(問題C／AC版).

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

int main() {
    
    // 1. 入力情報取得.
    LL X;
    cin >> X;
    
    // 2. 合計で, X点以上得るために必要な最小の操作回数を計算.
    // 6 -> 5 -> 6 -> ... で, 得点すればよい筈.
    LL q = X / 11;
    LL r = X % 11;
    LL ans = 2 * q;
    if(r > 0 && r <= 6) ans++;
    if(r > 6)           ans += 2;
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

int main() {

// 1. 入力情報取得.

LL X;

cin >> X;

// 2. 合計で, X点以上得るために必要な最小の操作回数を計算.

// 6 -> 5 -> 6 -> ... で, 得点すればよい筈.

LL q = X / 11;

LL r = X % 11;

LL ans = 2 * q;

if(r > 0 && r <= 6) ans++;

if(r > 6) ans += 2;

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■C++版プログラム(問題D／AC版).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

int main() {

    // 1. 入力情報取得.
    int N;
    cin >> N;
    
    // ex.
    // ① 1 … 6枚, 2 … 4枚, 3 … 5枚
    // ↓ 1 … 5枚, 2 … 4枚, 3 … 4枚
    // ↓ 1 … 4枚, 2 … 4枚, 3 … 3枚
    // ↓ 1 … 2枚, 2 … 4枚, 3 … 3枚
    // ↓ 1 … 2枚, 2 … 2枚, 3 … 3枚
    // ↓ 1 … 1枚, 2 … 2枚, 3 … 2枚
    // ② 1 … 1枚, 2 … 1枚, 3 … 1枚
    // -> 一回の操作で, 合計2枚ずつカードが減少していく.
    // -> 六回の操作で, 合計12枚のカードが減少した.
    // 上記, ① と ② を, 同じ状態と見做すことができる.
    map<int, int> m;
    FOR(i, 0, N) {
        int a;
        cin >> a;
        m[a]++;
    }
    
    // 2. mapのサイズ と mapの値の合計(= N) を比較.
    // -> 差分が, 偶数か奇数であるかで, 回数が変わるはず.
    int ans = m.size();
    bool odd = (N - m.size()) % 2;
    if(odd) ans--;
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

int main() {

// 1. 入力情報取得.

int N;

cin >> N;

// ex.

// ① 1 … 6枚, 2 … 4枚, 3 … 5枚

// ↓ 1 … 5枚, 2 … 4枚, 3 … 4枚

// ↓ 1 … 4枚, 2 … 4枚, 3 … 3枚

// ↓ 1 … 2枚, 2 … 4枚, 3 … 3枚

// ↓ 1 … 2枚, 2 … 2枚, 3 … 3枚

// ↓ 1 … 1枚, 2 … 2枚, 3 … 2枚

// ② 1 … 1枚, 2 … 1枚, 3 … 1枚

// -> 一回の操作で, 合計2枚ずつカードが減少していく.

// -> 六回の操作で, 合計12枚のカードが減少した.

// 上記, ① と ② を, 同じ状態と見做すことができる.

map<int, int> m;

FOR(i, 0, N) {

int a;

cin >> a;

m[a]++;

}

// 2. mapのサイズと mapの値の合計(= N) を比較.

// -> 差分が, 偶数か奇数であるかで, 回数が変わるはず.

int ans = m.size();

bool odd = (N - m.size()) % 2;

if(odd) ans--;

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■参照サイト
AtCoder Beginner Contest 053

2018年11月6日2018年11月6日

PyTorch の動作確認をしてみた（１４）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.1 RNNとは～ (P.108 – P.114) である。

※1. プログラムの詳細は, 書籍を参考(P.108 – P.114)にして下さい.
※2. 今回は, PyTorch というよりは, 寧ろ Pythonの正規表現の確認となったように思う.
※3. 併せて, 書籍上の関数(text2ids, list2tensor)について, 簡単な動作確認を行った.

■text2ids, list2tensorの動作確認(書籍の関数).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
import re

～(略)～

# 3. sample output.
text = "This is a test character! is this string is checking for test? \
This string consists of test character strings, wow!"
ids = text2ids(text, {"test": 1, "This": 2, "?": 3, "!": 4, "is": 5, "string": 6, "character": 7})
print('-ids-------------------------------------------------')
print(ids)

tensor_1 = list2tensor(ids, max_len = 10, padding = True)
print('-tensor_1--------------------------------------------')
print(tensor_1)

tensor_2 = list2tensor([2, 5, 0, 1, 7], max_len = 10, padding = True)
print('-tensor_2--------------------------------------------')
print(tensor_2)

tensor_3 = list2tensor([2, 5, 0, 1, 7], max_len = 10, padding = False)
print('-tensor_3--------------------------------------------')
print(tensor_3)

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

import re

～(略)～

# 3. sample output.

text = "This is a test character! is this string is checking for test? \

This string consists of test character strings, wow!"

ids = text2ids(text, {"test": 1, "This": 2, "?": 3, "!": 4, "is": 5, "string": 6, "character": 7})

print('-ids-------------------------------------------------')

print(ids)

tensor_1 = list2tensor(ids, max_len = 10, padding = True)

print('-tensor_1--------------------------------------------')

print(tensor_1)

tensor_2 = list2tensor([2, 5, 0, 1, 7], max_len = 10, padding = True)

print('-tensor_2--------------------------------------------')

print(tensor_2)

tensor_3 = list2tensor([2, 5, 0, 1, 7], max_len = 10, padding = False)

print('-tensor_3--------------------------------------------')

print(tensor_3)

■実行結果.

-ids-------------------------------------------------
[2, 5, 0, 1, 7, 4, 5, 0, 6, 5, 0, 0, 1, 3, 2, 6, 0, 0, 1, 7, 0, 0, 4]
-tensor_1--------------------------------------------
(tensor([2, 5, 0, 1, 7, 4, 5, 0, 6, 5]), 10)
-tensor_2--------------------------------------------
(tensor([2, 5, 0, 1, 7, 0, 0, 0, 0, 0]), 5)
-tensor_3--------------------------------------------
(tensor([2, 5, 0, 1, 7]), 5)

-ids-------------------------------------------------

[2, 5, 0, 1, 7, 4, 5, 0, 6, 5, 0, 0, 1, 3, 2, 6, 0, 0, 1, 7, 0, 0, 4]

-tensor_1--------------------------------------------

(tensor([2, 5, 0, 1, 7, 4, 5, 0, 6, 5]), 10)

-tensor_2--------------------------------------------

(tensor([2, 5, 0, 1, 7, 0, 0, 0, 0, 0]), 5)

-tensor_3--------------------------------------------

(tensor([2, 5, 0, 1, 7]), 5)

■正規表現の動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import re

# 2. prepare 2 functions.
# 6.2. re — 正規表現操作.
# https://docs.python.jp/3/library/re.html
remove_marks_regex = re.compile("[,\.\(\)\[\]\*:;]|<.*?>")
shift_marks_regex = re.compile("([?!])")

# 3. sample output.
text_1 = "This, is a test."
# return the position of the first occurrence of comma.
print(remove_marks_regex.search(text_1))

text_2 = "This is a. test."
# return the position of the first period.
print(remove_marks_regex.search(text_2, 9))
# return the position of the second period.
print(remove_marks_regex.search(text_2, 10))

text_3 = "This (is , a) test!"
# return the position of the first occurrence of the opening parenthesis.
print(remove_marks_regex.search(text_3))

text_4 = "This is] a )test)!"
# return the position of the first occurrence of the right parenthesis.
print(remove_marks_regex.search(text_4, 2))

text_5 = "This is a :test!"
# return the position of the first occurrence of the colon.
print(remove_marks_regex.search(text_5, 0))

text_6 = "This is <a, t.e?s!t!>"
# return the position of the first occurrence of <string>.
print(remove_marks_regex.search(text_6))

text_7 = "This (is a ? test!"
# return the position of the first appearing question mark.
print(shift_marks_regex.search(text_7))

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import re

# 2. prepare 2 functions.

# 6.2. re — 正規表現操作.

# https://docs.python.jp/3/library/re.html

remove_marks_regex = re.compile("[,\.\(\)\[\]\*:;]|<.*?>")

shift_marks_regex = re.compile("([?!])")

# 3. sample output.

text_1 = "This, is a test."

# return the position of the first occurrence of comma.

print(remove_marks_regex.search(text_1))

text_2 = "This is a. test."

# return the position of the first period.

print(remove_marks_regex.search(text_2, 9))

# return the position of the second period.

print(remove_marks_regex.search(text_2, 10))

text_3 = "This (is , a) test!"

# return the position of the first occurrence of the opening parenthesis.

print(remove_marks_regex.search(text_3))

text_4 = "This is] a )test)!"

# return the position of the first occurrence of the right parenthesis.

print(remove_marks_regex.search(text_4, 2))

text_5 = "This is a :test!"

# return the position of the first occurrence of the colon.

print(remove_marks_regex.search(text_5, 0))

text_6 = "This is <a, t.e?s!t!>"

# return the position of the first occurrence of <string>.

print(remove_marks_regex.search(text_6))

text_7 = "This (is a ? test!"

# return the position of the first appearing question mark.

print(shift_marks_regex.search(text_7))

■実行結果.

<re.Match object; span=(4, 5), match=','>
<re.Match object; span=(9, 10), match='.'>
<re.Match object; span=(15, 16), match='.'>
<re.Match object; span=(5, 6), match='('>
<re.Match object; span=(7, 8), match=']'>
<re.Match object; span=(10, 11), match=':'>
<re.Match object; span=(8, 21), match='<a, t.e?s!t!>'>
<re.Match object; span=(11, 12), match='?'>

<re.Match object; span=(4, 5), match=','>

<re.Match object; span=(9, 10), match='.'>

<re.Match object; span=(15, 16), match='.'>

<re.Match object; span=(5, 6), match='('>

<re.Match object; span=(7, 8), match=']'>

<re.Match object; span=(10, 11), match=':'>

<re.Match object; span=(8, 21), match='<a, t.e?s!t!>'>

<re.Match object; span=(11, 12), match='?'>

■参照サイト
【参照URL①】6.2. re — 正規表現操作

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月4日2018年11月6日

PyTorch の動作確認をしてみた（１３）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 4.5 DCGANによる画像生成(P.093 – P.104) である。

※1. プログラムの詳細は, 書籍を参考(P.093 – P.104)にして下さい.
※2. 書籍上は, 訓練した生成モデル, 識別モデルの保存については, 書かれていたが, ロードについては記載されてなかったので, 動作確認時に, 参照サイト① ～参照サイト② を参考に, 動作確認した.
※3. 参照サイト② (“A common PyTorch convention is to save models using either a .pt or .pth file extension.”) にあるように, 訓練した生成モデル, 識別モデルの拡張子を, “.pth” で保存したため, 書籍上の “.prm” と異なっている.
※4. 生成モデルをロードした際の動作確認は, 訓練済みの生成モデルをロードする形で行ったので, 非常に短時間(1秒未満)で, 画像の生成を確認できた.

■生成モデル, 識別モデルの確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torchvision.datasets import ImageFolder
from torchvision import transforms
from torch.utils.data import DataLoader
import time, os

# 2. prepare DataLoader.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\oxford-102'

～(略)～

print('-img_data size----------------------------------')
print(len(img_data))

# 3. build an image generation model.
nz = 100
ngf = 32

# Input:  torch.Size([64, 100, 1, 1])
# Output: torch.Size([64, 3, 64, 64])
class GNet(nn.Module):
    def __init__(self):
        super().__init__()
        # 次元の計算について, 公式サイト通りとする.
        # ex. 
        # kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3
        # kernel_size = 5      ならば, kernel_size[0] = 5, kernel_size[1] = 5
        # padding = (3, 5)     ならば, padding[0] = 3, padding[1] = 5
        # padding = 2          ならば, padding[0] = 2, padding[1] = 2
        # stride = (4, 5)      ならば, stride[0] = 4, stride[1] = 5
        # stride = 3           ならば, stride[0] = 3, stride[1] = 3
        # dilation は, ここでは, 初期値 (1, 1) を 使用するため, dilation[0] = 1, dilation[1] = 1
        # output_padding は, ここでは, 初期値 0 を 使用するため, output_padding[0] = 0, output_padding[1] = 0
        
        # Conv2d
        # Input:  (N, Cin, Hin, Win)
        # Output: (N, Cout, Hout, Wout)
        # Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1
        # Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1
    
        # ConvTranspose2d
        # Input:  (N, Cin, Hin, Win)
        # Output: (N, Cout, Hout, Wout)
        # Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]
        # Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]
        self.main = nn.Sequential(
            # 1. ConvTranspose2d
            # Input:  (64, 100, 1, 1)
            # Hout =  (1 - 1) × 1 - 2 × 0 + 4 + 0 = 4
            # Wout =  (1 - 1) × 1 - 2 × 0 + 4 + 0 = 4
            # Output: (64, 256, 4, 4)
            nn.ConvTranspose2d(nz, ngf * 8, 4, stride = 1, padding = 0, bias = False),
            
～(略)～
            
            # 5. ConvTranspose2d
            # Input:  (64, 32, 32, 32)
            # Hout =  (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64
            # Wout =  (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64
            # Output: (64, 3, 64, 64)
            nn.ConvTranspose2d(ngf, 3, 4, stride = 2, padding = 1, bias = False),
            nn.Tanh()
            
            )

    def forward(self, x):
        out = self.main(x)
        return out

# 4. build an identification model.
ndf = 32

# Input:  torch.Size([64, 3, 64, 64])
# Output: torch.Size([64])
class DNet(nn.Module):
    def __init__(self):
        super().__init__()
        # 次元の計算について, 公式サイト通りとする.
        # ex. 
        # kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3
        # kernel_size = 5      ならば, kernel_size[0] = 5, kernel_size[1] = 5
        # padding = (3, 5)     ならば, padding[0] = 3, padding[1] = 5
        # padding = 2          ならば, padding[0] = 2, padding[1] = 2
        # stride = (4, 5)      ならば, stride[0] = 4, stride[1] = 5
        # stride = 3           ならば, stride[0] = 3, stride[1] = 3
        # dilation は, ここでは, 初期値 (1, 1) を 使用するため, dilation[0] = 1, dilation[1] = 1
        # output_padding は, ここでは, 初期値 0 を 使用するため, output_padding[0] = 0, output_padding[1] = 0
        
        # Conv2d
        # Input:  (N, Cin, Hin, Win)
        # Output: (N, Cout, Hout, Wout)
        # Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1
        # Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1
    
        # ConvTranspose2d
        # Input:  (N, Cin, Hin, Win)
        # Output: (N, Cout, Hout, Wout)
        # Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]
        # Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]
        self.main = nn.Sequential(
            # 1. Conv2d
            # Input:  (64, 3, 64, 64)
            # Hout =  (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32
            # Wout =  (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32
            # Output: (64, 32, 32, 32)
            nn.Conv2d(3, ndf, 4, stride = 2, padding = 1, bias = False),
            nn.LeakyReLU(0.2, inplace = True),
            
～(略)～
            
            # 5. Conv2d
            # Input:  (64, 256, 4, 4)
            # Hout =  (4 + 2 × 0 − 1 × (4 − 1) − 1) / 1 + 1 = 1
            # Wout =  (4 + 2 × 0 − 1 × (4 − 1) − 1) / 1 + 1 = 1
            # Output: (64, 1, 1, 1)
            nn.Conv2d(ndf * 8, 1, 4, stride = 1, padding = 0, bias = False),
            )

    def forward(self, x):
        out = self.main(x)
        return out.squeeze()

# 5. create a training function.
～(略)～

# RuntimeError: Expected object of type torch.FloatTensor 
# but found type torch.cuda.FloatTensor for argument #2 'weight'
# -> .to("cuda:0") is necessary at dummy data.
# gnet_test_input = torch.ones(64, 100, 1, 1)
gnet_test_input = torch.ones(64, 100, 1, 1).to("cuda:0")
gnet_output_size = g(gnet_test_input).size()
print()
print('-gnet input --------------------------------------')
print(gnet_test_input.size())
print('-GNet---------------------------------------------')
print(g)
print('-gnet output--------------------------------------')
print(gnet_output_size)

print()
# RuntimeError: Expected object of type torch.FloatTensor 
# but found type torch.cuda.FloatTensor for argument #2 'weight'
# -> .to("cuda:0") is necessary at dummy data.
# dnet_test_input = torch.ones(64, 3, 64, 64)
dnet_test_input = torch.ones(64, 3, 64, 64).to("cuda:0")
dnet_output_size = d(dnet_test_input).size()
print('-dnet input --------------------------------------')
print(dnet_test_input.size())
print('-DNet---------------------------------------------')
print(d)
print('-dnet output--------------------------------------')
print(dnet_output_size)

# 9. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torchvision.datasets import ImageFolder

from torchvision import transforms

from torch.utils.data import DataLoader

import time, os

# 2. prepare DataLoader.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\oxford-102'

～(略)～

print('-img_data size----------------------------------')

print(len(img_data))

# 3. build an image generation model.

nz = 100

ngf = 32

# Input: torch.Size([64, 100, 1, 1])

# Output: torch.Size([64, 3, 64, 64])

class GNet(nn.Module):

def __init__(self):

super().__init__()

# 次元の計算について, 公式サイト通りとする.

# ex.

# kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3

# kernel_size = 5 ならば, kernel_size[0] = 5, kernel_size[1] = 5

# padding = (3, 5) ならば, padding[0] = 3, padding[1] = 5

# padding = 2 ならば, padding[0] = 2, padding[1] = 2

# stride = (4, 5) ならば, stride[0] = 4, stride[1] = 5

# stride = 3 ならば, stride[0] = 3, stride[1] = 3

# dilation は, ここでは, 初期値 (1, 1) を使用するため, dilation[0] = 1, dilation[1] = 1

# output_padding は, ここでは, 初期値 0 を使用するため, output_padding[0] = 0, output_padding[1] = 0

# Conv2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1

# Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

# ConvTranspose2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]

# Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]

self.main = nn.Sequential(

# 1. ConvTranspose2d

# Input: (64, 100, 1, 1)

# Hout = (1 - 1) × 1 - 2 × 0 + 4 + 0 = 4

# Wout = (1 - 1) × 1 - 2 × 0 + 4 + 0 = 4

# Output: (64, 256, 4, 4)

nn.ConvTranspose2d(nz, ngf * 8, 4, stride = 1, padding = 0, bias = False),

～(略)～

# 5. ConvTranspose2d

# Input: (64, 32, 32, 32)

# Hout = (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64

# Wout = (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64

# Output: (64, 3, 64, 64)

nn.ConvTranspose2d(ngf, 3, 4, stride = 2, padding = 1, bias = False),

nn.Tanh()

)

def forward(self, x):

out = self.main(x)

return out

# 4. build an identification model.

ndf = 32

# Input: torch.Size([64, 3, 64, 64])

# Output: torch.Size([64])

class DNet(nn.Module):

def __init__(self):

super().__init__()

# 次元の計算について, 公式サイト通りとする.

# ex.

# kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3

# kernel_size = 5 ならば, kernel_size[0] = 5, kernel_size[1] = 5

# padding = (3, 5) ならば, padding[0] = 3, padding[1] = 5

# padding = 2 ならば, padding[0] = 2, padding[1] = 2

# stride = (4, 5) ならば, stride[0] = 4, stride[1] = 5

# stride = 3 ならば, stride[0] = 3, stride[1] = 3

# dilation は, ここでは, 初期値 (1, 1) を使用するため, dilation[0] = 1, dilation[1] = 1

# output_padding は, ここでは, 初期値 0 を使用するため, output_padding[0] = 0, output_padding[1] = 0

# Conv2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1

# Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

# ConvTranspose2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]

# Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]

self.main = nn.Sequential(

# 1. Conv2d

# Input: (64, 3, 64, 64)

# Hout = (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32

# Wout = (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32

# Output: (64, 32, 32, 32)

nn.Conv2d(3, ndf, 4, stride = 2, padding = 1, bias = False),

nn.LeakyReLU(0.2, inplace = True),

～(略)～

# 5. Conv2d

# Input: (64, 256, 4, 4)

# Hout = (4 + 2 × 0 − 1 × (4 − 1) − 1) / 1 + 1 = 1

# Wout = (4 + 2 × 0 − 1 × (4 − 1) − 1) / 1 + 1 = 1

# Output: (64, 1, 1, 1)

nn.Conv2d(ndf * 8, 1, 4, stride = 1, padding = 0, bias = False),

)

def forward(self, x):

out = self.main(x)

return out.squeeze()

# 5. create a training function.

～(略)～

# RuntimeError: Expected object of type torch.FloatTensor

# but found type torch.cuda.FloatTensor for argument #2 'weight'

# -> .to("cuda:0") is necessary at dummy data.

# gnet_test_input = torch.ones(64, 100, 1, 1)

gnet_test_input = torch.ones(64, 100, 1, 1).to("cuda:0")

gnet_output_size = g(gnet_test_input).size()

print()

print('-gnet input --------------------------------------')

print(gnet_test_input.size())

print('-GNet---------------------------------------------')

print(g)

print('-gnet output--------------------------------------')

print(gnet_output_size)

print()

# RuntimeError: Expected object of type torch.FloatTensor

# but found type torch.cuda.FloatTensor for argument #2 'weight'

# -> .to("cuda:0") is necessary at dummy data.

# dnet_test_input = torch.ones(64, 3, 64, 64)

dnet_test_input = torch.ones(64, 3, 64, 64).to("cuda:0")

dnet_output_size = d(dnet_test_input).size()

print('-dnet input --------------------------------------')

print(dnet_test_input.size())

print('-DNet---------------------------------------------')

print(d)

print('-dnet output--------------------------------------')

print(dnet_output_size)

# 9. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

-img_data size----------------------------------
8189

-gnet input --------------------------------------
torch.Size([64, 100, 1, 1])
-GNet---------------------------------------------
GNet(
  (main): Sequential(
    (0): ConvTranspose2d(100, 256, kernel_size=(4, 4), stride=(1, 1), bias=False)
    (1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (2): ReLU(inplace)
    (3): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (4): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (5): ReLU(inplace)
    (6): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (7): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (8): ReLU(inplace)
    (9): ConvTranspose2d(64, 32, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (10): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (11): ReLU(inplace)
    (12): ConvTranspose2d(32, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (13): Tanh()
  )
)
-gnet output--------------------------------------
torch.Size([64, 3, 64, 64])

-dnet input --------------------------------------
torch.Size([64, 3, 64, 64])
-DNet---------------------------------------------
DNet(
  (main): Sequential(
    (0): Conv2d(3, 32, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (1): LeakyReLU(negative_slope=0.2, inplace)
    (2): Conv2d(32, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (3): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (4): LeakyReLU(negative_slope=0.2, inplace)
    (5): Conv2d(64, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (6): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (7): LeakyReLU(negative_slope=0.2, inplace)
    (8): Conv2d(128, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (9): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (10): LeakyReLU(negative_slope=0.2, inplace)
    (11): Conv2d(256, 1, kernel_size=(4, 4), stride=(1, 1), bias=False)
  )
)
-dnet output--------------------------------------
torch.Size([64])
--------------------------------------------------
Elapsed Time: 0.3280467987060547[sec]

-img_data size----------------------------------

8189

-gnet input --------------------------------------

torch.Size([64, 100, 1, 1])

-GNet---------------------------------------------

GNet(

(main): Sequential(

(0): ConvTranspose2d(100, 256, kernel_size=(4, 4), stride=(1, 1), bias=False)

(1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(2): ReLU(inplace)

(3): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(4): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(5): ReLU(inplace)

(6): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(7): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(8): ReLU(inplace)

(9): ConvTranspose2d(64, 32, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(10): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(11): ReLU(inplace)

(12): ConvTranspose2d(32, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(13): Tanh()

)

-gnet output--------------------------------------

torch.Size([64, 3, 64, 64])

-dnet input --------------------------------------

torch.Size([64, 3, 64, 64])

-DNet---------------------------------------------

DNet(

(main): Sequential(

(0): Conv2d(3, 32, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(1): LeakyReLU(negative_slope=0.2, inplace)

(2): Conv2d(32, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(3): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(4): LeakyReLU(negative_slope=0.2, inplace)

(5): Conv2d(64, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(6): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(7): LeakyReLU(negative_slope=0.2, inplace)

(8): Conv2d(128, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(9): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(10): LeakyReLU(negative_slope=0.2, inplace)

(11): Conv2d(256, 1, kernel_size=(4, 4), stride=(1, 1), bias=False)

)

-dnet output--------------------------------------

torch.Size([64])

--------------------------------------------------

Elapsed Time: 0.3280467987060547[sec]

■生成モデル, 識別モデルの訓練～画像生成(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torchvision.utils import save_image
from torch import nn, optim
from torchvision.datasets import ImageFolder
from torchvision import transforms
from torch.utils.data import DataLoader
from statistics import mean
from tqdm import tqdm
import time, os

# 2. prepare DataLoader.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\oxford-102'

～(略)～

# 8. train dcgan.
for epoch in range(101):
    loss = train_dcgan(g, d, opt_g, opt_d, img_loader)
    print('log_loss_g = ' + str(loss[0]) + '  log_loss_d = ' + str(loss[1]))
    # save the learning result every ten iterations.
    if epoch % 10 == 0:
        # SAVING AND LOADING MODELS
        # https://pytorch.org/tutorials/beginner/saving_loading_models.html
        # -> A common PyTorch convention is 
        # to save models using either a .pt or .pth file extension.
        # torch.save(g.state_dict(), folder_path + "\\g_{:03d}.prm".format(epoch), pickle_protocol = 4)
        # torch.save(d.state_dict(), folder_path + "\\d_{:03d}.prm".format(epoch), pickle_protocol = 4)
        
        torch.save(g.state_dict(), folder_path + "\\g_{:03d}.pth".format(epoch), pickle_protocol = 4)
        torch.save(d.state_dict(), folder_path + "\\d_{:03d}.pth".format(epoch), pickle_protocol = 4)
        # save images generated from z.
        generated_img = g(fixed_z)
        save_image(generated_img, folder_path + "\\{:03d}.jpg".format(epoch))

# 9. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torchvision.utils import save_image

from torch import nn, optim

from torchvision.datasets import ImageFolder

from torchvision import transforms

from torch.utils.data import DataLoader

from statistics import mean

from tqdm import tqdm

import time, os

# 2. prepare DataLoader.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\oxford-102'

～(略)～

# 8. train dcgan.

for epoch in range(101):

loss = train_dcgan(g, d, opt_g, opt_d, img_loader)

print('log_loss_g = ' + str(loss[0]) + ' log_loss_d = ' + str(loss[1]))

# save the learning result every ten iterations.

if epoch % 10 == 0:

# SAVING AND LOADING MODELS

# https://pytorch.org/tutorials/beginner/saving_loading_models.html

# -> A common PyTorch convention is

# to save models using either a .pt or .pth file extension.

# torch.save(g.state_dict(), folder_path + "\\g_{:03d}.prm".format(epoch), pickle_protocol = 4)

# torch.save(d.state_dict(), folder_path + "\\d_{:03d}.prm".format(epoch), pickle_protocol = 4)

torch.save(g.state_dict(), folder_path + "\\g_{:03d}.pth".format(epoch), pickle_protocol = 4)

torch.save(d.state_dict(), folder_path + "\\d_{:03d}.pth".format(epoch), pickle_protocol = 4)

# save images generated from z.

generated_img = g(fixed_z)

save_image(generated_img, folder_path + "\\{:03d}.jpg".format(epoch))

# 9. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

100%|██████████| 128/128 [01:03<00:00,  2.03it/s]
log_loss_g = 2.2799523485591635  log_loss_d = 0.4408646282972768
100%|██████████| 128/128 [01:01<00:00,  2.19it/s]
log_loss_g = 2.5616258112713695  log_loss_d = 0.3513457009103149
100%|██████████| 128/128 [00:59<00:00,  2.17it/s]
～(略)～
100%|██████████| 128/128 [00:57<00:00,  2.26it/s]
log_loss_g = 3.2437106231227517  log_loss_d = 0.20105345878982916
100%|██████████| 128/128 [00:58<00:00,  2.25it/s]
log_loss_g = 3.300489889457822  log_loss_d = 0.2834379920968786
100%|██████████| 128/128 [00:58<00:00,  2.23it/s]
log_loss_g = 3.283644081093371  log_loss_d = 0.23608757741749287
--------------------------------------------------
Elapsed Time: 5991.337444782257[sec]

100%|██████████| 128/128 [01:03<00:00, 2.03it/s]

log_loss_g = 2.2799523485591635 log_loss_d = 0.4408646282972768

100%|██████████| 128/128 [01:01<00:00, 2.19it/s]

log_loss_g = 2.5616258112713695 log_loss_d = 0.3513457009103149

100%|██████████| 128/128 [00:59<00:00, 2.17it/s]

～(略)～

100%|██████████| 128/128 [00:57<00:00, 2.26it/s]

log_loss_g = 3.2437106231227517 log_loss_d = 0.20105345878982916

100%|██████████| 128/128 [00:58<00:00, 2.25it/s]

log_loss_g = 3.300489889457822 log_loss_d = 0.2834379920968786

100%|██████████| 128/128 [00:58<00:00, 2.23it/s]

log_loss_g = 3.283644081093371 log_loss_d = 0.23608757741749287

--------------------------------------------------

Elapsed Time: 5991.337444782257[sec]

■訓練済み生成モデルのロード～画像生成(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torchvision.utils import save_image
from torch import nn
from torchvision.datasets import ImageFolder
from torchvision import transforms
from torch.utils.data import DataLoader
import time, os

# 2. prepare DataLoader.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\oxford-102'

～(略)～

# 5. declare variables for monitoring.
fixed_z = torch.randn(batch_size, nz, 1, 1).to("cuda:0")

# 6. load model.
g = GNet().to("cuda:0")
g.load_state_dict(torch.load(folder_path + "\\g_100.pth"))

# 7. save image.
generated_img = g(fixed_z)
save_image(generated_img, folder_path + "\\test_image_from_load_model.jpg")

# . display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torchvision.utils import save_image

from torch import nn

from torchvision.datasets import ImageFolder

from torchvision import transforms

from torch.utils.data import DataLoader

import time, os

# 2. prepare DataLoader.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\oxford-102'

～(略)～

# 5. declare variables for monitoring.

fixed_z = torch.randn(batch_size, nz, 1, 1).to("cuda:0")

# 6. load model.

g = GNet().to("cuda:0")

g.load_state_dict(torch.load(folder_path + "\\g_100.pth"))

# 7. save image.

generated_img = g(fixed_z)

save_image(generated_img, folder_path + "\\test_image_from_load_model.jpg")

# . display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

--------------------------------------------------
Elapsed Time: 0.11433911323547363[sec]

1 2	-------------------------------------------------- Elapsed Time: 0.11433911323547363[sec]

■以上の実行結果から, 以下のことが分かった.

1. 生成モデル, 識別モデルの確認.
RuntimeError: Expected object of type torch.FloatTensor 
but found type torch.cuda.FloatTensor for argument #2 'weight'
-> 注意点として, ダミーデータで確認するときに, 上記のような error が出力される場合があった.
-> 本件は, ダミーデータ(Tensor) に, .to("cuda:0") を設定することで回避できた.

2. 生成モデル, 識別モデルの訓練.
① epoch 300 で, 約17185秒 かかった
※1. こちらは, 画像生成失敗したときの結果であるため, 割愛した.
※2. 画像生成失敗の原因は, コーディング誤りであった. 
具体的には, 2つのオプティマイザーに渡すネットワーク情報を, 両方とも識別モデルのパラメータを渡していたためである.
Elapsed Time: 17184.786625623703[sec]

② epoch 101 で, 約5992秒 かかった.
Elapsed Time: 5991.337444782257[sec]

3. 生成画像の成否確認.
epoch 0 で, いったん出力された画像を確認されることをお勧めする. 
下記のように, 画像生成が上手くいく場合は, epoch 0 でも, 何かしら変化が分かるからである. 
epoch 300 で, 画像生成失敗したときは, 下記のように, epoch 0 で, 真っ黒な画像が出力され, 
以降 の epochでも, 同様に, 真っ黒な画像が出力された.

4. 生成画像の比較.
以下のように, epoch 50 で, 十分綺麗な画像が生成されたことが分かった.

5. 訓練済み生成モデルのロード.
epoch 100 の画像を, ごく短時間(1秒未満)で, 画像の生成を確認できた.

1. 生成モデル, 識別モデルの確認.

RuntimeError: Expected object of type torch.FloatTensor

but found type torch.cuda.FloatTensor for argument #2 'weight'

-> 注意点として, ダミーデータで確認するときに, 上記のような error が出力される場合があった.

-> 本件は, ダミーデータ(Tensor) に, .to("cuda:0") を設定することで回避できた.

2. 生成モデル, 識別モデルの訓練.

① epoch 300 で, 約17185秒かかった

※1. こちらは, 画像生成失敗したときの結果であるため, 割愛した.

※2. 画像生成失敗の原因は, コーディング誤りであった.

具体的には, 2つのオプティマイザーに渡すネットワーク情報を, 両方とも識別モデルのパラメータを渡していたためである.

Elapsed Time: 17184.786625623703[sec]

② epoch 101 で, 約5992秒かかった.

Elapsed Time: 5991.337444782257[sec]

3. 生成画像の成否確認.

epoch 0 で, いったん出力された画像を確認されることをお勧めする.

下記のように, 画像生成が上手くいく場合は, epoch 0 でも, 何かしら変化が分かるからである.

epoch 300 で, 画像生成失敗したときは, 下記のように, epoch 0 で, 真っ黒な画像が出力され,

以降の epochでも, 同様に, 真っ黒な画像が出力された.

4. 生成画像の比較.

以下のように, epoch 50 で, 十分綺麗な画像が生成されたことが分かった.

5. 訓練済み生成モデルのロード.

epoch 100 の画像を, ごく短時間(1秒未満)で, 画像の生成を確認できた.

3. 画像生成失敗時（epoch 0）

4-1. 画像生成成功時（epoch 0）

4-2. 画像生成成功時（epoch 50）

4-3. 画像生成成功時（epoch 100）

5. 訓練済み生成モデルによる画像生成

■参照サイト
【参照URL①】Saving torch models
【参照URL②】SAVING AND LOADING MODELS

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月3日

C++ の動作確認をしてみた（３１）

C++の練習を兼ねて, AtCoder Beginner Contest 056 の問題C（Go Home), 問題D（No Need) を解いてみた.

■感想.
1. 問題C, 問題D ともに, 時間はかかったもの(※特に, 問題D)の, 解説見ずに解けたので, 良かったと思う.
2. 当方の解答方針は, 入力値N(カードの枚数), K(よい集合の判定条件) を, 再帰的に, どんどん縮小していく方針を採用した.

本家のサイトARC070 / ABC056 解説をご覧下さい.

■C++版プログラム(問題C／AC版).

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

int main() {
    
    // 1. 入力情報取得.
    LL X;
    cin >> X;
    
    // 2. カンガルーの家に到着する最小の時刻を計算.
    // 移動距離の総和を計算していき, X 以上のときに, 抜ける.
    // -> dist と X の 差分に相当する時刻 dist - X において, 移動しないを選択すればよいので最小のはず.
    // n(n + 1) / 2 >= 10 の 9乗 を満たす n は, 44720.8 … なので, 44721 まで確認すれば十分のはず.
    LL dist = 0;
    LL ans  = 0;
    FOR(i, 1, 44722) {
        dist += i;
        ans = i;
        if(dist >= X) break;
    }
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

int main() {

// 1. 入力情報取得.

LL X;

cin >> X;

// 2. カンガルーの家に到着する最小の時刻を計算.

// 移動距離の総和を計算していき, X 以上のときに, 抜ける.

// -> dist と X の差分に相当する時刻 dist - X において, 移動しないを選択すればよいので最小のはず.

// n(n + 1) / 2 >= 10 の 9乗を満たす n は, 44720.8 … なので, 44721 まで確認すれば十分のはず.

LL dist = 0;

LL ans = 0;

FOR(i, 1, 44722) {

dist += i;

ans = i;

if(dist >= X) break;

}

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■C++版プログラム(問題D／WA版, 2_042.txt で, Wrong Answer).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

typedef long long LL;

// 不要なカードの枚数を調査し, 返却.
// @param v: カードに書かれている数字の集合.
// @param K: カードの部分集合に関する判定基準.
// @return ans: 不要なカードの枚数.
LL noNeedCards(vector<LL> &v, LL K) {
    
    // 1-1. K が ゼロ未満 の 場合は, v に 保管したカードの枚数だけ不要なので, それを出力.
    if(K <= 0) return v.size();
    
    // 1-2. v について, Σvi を 確認し, K を 超えるときの vi を 把握.
    LL total = 0;
    LL index = 0;
    // cout << K << endl;
    FOR(i, 0, v.size()) {
        total += v[i];
        index = i;
        // cout << index << " " << v[i] << " " << total << " " << endl;
        if(total >= K) break;
    }
    
    // 1-3. K に 満たない場合は, v に 保管したカードの枚数だけ不要なので, それを出力.
    if(total < K)  return v.size();

    // 1-4. K に 等しい場合は, すべてのカードが必要となるので, 不要なカードは, 0枚.
    if(total == K) return 0;

    // 1-5. K より 大きい場合は, 本関数を再帰呼び出しする.
    K -= v[index];
    v.resize(index);
    return noNeedCards(v, K);
    
}

int main() {

    // 1. 入力情報取得.
    LL N, K;
    cin >> N >> K;
    vector<LL> v;
    FOR(i, 0, N) {
        // ai >= K は, Skip.
        LL a;
        cin >> a;
        if(a < K) v.push_back(a);
    }
    
    // 2. K より 大きい場合は, 以下の内容を調べることになる.
    // 2-1. v を 昇順sort.
    sort(v.begin(), v.end());
    
    // 2-2. 不要なカードの枚数を調べる.
    LL ans = noNeedCards(v, K);
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

typedef long long LL;

// 不要なカードの枚数を調査し, 返却.

// @param v: カードに書かれている数字の集合.

// @param K: カードの部分集合に関する判定基準.

// @return ans: 不要なカードの枚数.

LL noNeedCards(vector<LL> &v, LL K) {

// 1-1. K がゼロ未満の場合は, v に保管したカードの枚数だけ不要なので, それを出力.

if(K <= 0) return v.size();

// 1-2. v について, Σvi を確認し, K を超えるときの vi を把握.

LL total = 0;

LL index = 0;

// cout << K << endl;

FOR(i, 0, v.size()) {

total += v[i];

index = i;

// cout << index << " " << v[i] << " " << total << " " << endl;

if(total >= K) break;

}

// 1-3. K に満たない場合は, v に保管したカードの枚数だけ不要なので, それを出力.

if(total < K) return v.size();

// 1-4. K に等しい場合は, すべてのカードが必要となるので, 不要なカードは, 0枚.

if(total == K) return 0;

// 1-5. K より大きい場合は, 本関数を再帰呼び出しする.

K -= v[index];

v.resize(index);

return noNeedCards(v, K);

}

int main() {

// 1. 入力情報取得.

LL N, K;

cin >> N >> K;

vector<LL> v;

FOR(i, 0, N) {

// ai >= K は, Skip.

LL a;

cin >> a;

if(a < K) v.push_back(a);

}

// 2. K より大きい場合は, 以下の内容を調べることになる.

// 2-1. v を昇順sort.

sort(v.begin(), v.end());

// 2-2. 不要なカードの枚数を調べる.

LL ans = noNeedCards(v, K);

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■C++版プログラム(問題D／AC版).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

typedef long long LL;

// 不要なカードの枚数を調査し, 返却.
// @param v: カードに書かれている数字の集合.
// @param K: カードの部分集合に関する判定基準.
// @return ans: 不要なカードの枚数.
LL noNeedCards(vector<LL> &v, LL K) {
    
    // 1-1. K が ゼロ未満 の 場合は, v に 保管したカードの枚数だけ不要なので, それを出力.
    // if(K <= 0) return v.size();    // 2_042.txt の Wrong Answer対策.
    if(K < 0) return v.size();
    
    // 1-2. v の 要素で, K以上を除外.
    // 0_002.txt の Wrong Answer対策.
    vector<LL> lv;
    for(auto &p : v) if(p < K) lv.push_back(p);    // p >= K は, Skip.
    
    // 1-3. v について, Σvi を 確認し, K を 超えるときの vi を 把握.
    LL total = 0;
    LL index = 0;
    // cout << K << endl;
    FOR(i, 0, lv.size()) {
        total += lv[i];
        index = i;
        // cout << index << " " << lv[i] << " " << total << " " << endl;
        // [input]
        // 4 5
        // 1 2 3 4
        // 
        // [output]
        // 5
        // 0 1 1 
        // 1 2 3 
        // 2 3 6 
        // 2
        // 0 1 1 
        // 1
        // -> 1 2 3 4 の 4 について, noNeedCards関数で, 評価される前に, 
        // Skipしてしまうことが, Wrong Answer の 原因と推定される.
        // -> よって, 以下のif文をコメントアウトした.
        // if(total >= K) break;    // 2_042.txt の Wrong Answer対策.
    }
    
    // 1-4. K に 満たない場合は, lv に 保管したカードの枚数だけ不要なので, それを出力.
    if(total < K)  return lv.size();

    // 1-5. K に 等しい場合は, すべてのカードが必要となるので, 不要なカードは, 0枚.
    if(total == K) return 0;

    // 1-6. K より 大きい場合は, 本関数を再帰呼び出しする.
    K -= lv[index];
    lv.resize(index);
    return noNeedCards(lv, K);
    
}

int main() {

    // 1. 入力情報取得.
    LL N, K;
    cin >> N >> K;
    vector<LL> v;
    FOR(i, 0, N) {
        // ai >= K は, Skip.
        LL a;
        cin >> a;
        if(a < K) v.push_back(a);
    }
    
    // 2. K より 大きい場合は, 以下の内容を調べることになる.
    // 2-1. v を 昇順sort.
    sort(v.begin(), v.end());
    
    // 2-2. 不要なカードの枚数を調べる.
    LL ans = noNeedCards(v, K);
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

typedef long long LL;

// 不要なカードの枚数を調査し, 返却.

// @param v: カードに書かれている数字の集合.

// @param K: カードの部分集合に関する判定基準.

// @return ans: 不要なカードの枚数.

LL noNeedCards(vector<LL> &v, LL K) {

// 1-1. K がゼロ未満の場合は, v に保管したカードの枚数だけ不要なので, それを出力.

// if(K <= 0) return v.size(); // 2_042.txt の Wrong Answer対策.

if(K < 0) return v.size();

// 1-2. v の要素で, K以上を除外.

// 0_002.txt の Wrong Answer対策.

vector<LL> lv;

for(auto &p : v) if(p < K) lv.push_back(p); // p >= K は, Skip.

// 1-3. v について, Σvi を確認し, K を超えるときの vi を把握.

LL total = 0;

LL index = 0;

// cout << K << endl;

FOR(i, 0, lv.size()) {

total += lv[i];

index = i;

// cout << index << " " << lv[i] << " " << total << " " << endl;

// [input]

// 4 5

// 1 2 3 4

// [output]

// 5

// 0 1 1

// 1 2 3

// 2 3 6

// 2

// 0 1 1

// 1

// -> 1 2 3 4 の 4 について, noNeedCards関数で, 評価される前に,

// Skipしてしまうことが, Wrong Answer の原因と推定される.

// -> よって, 以下のif文をコメントアウトした.

// if(total >= K) break; // 2_042.txt の Wrong Answer対策.

}

// 1-4. K に満たない場合は, lv に保管したカードの枚数だけ不要なので, それを出力.

if(total < K) return lv.size();

// 1-5. K に等しい場合は, すべてのカードが必要となるので, 不要なカードは, 0枚.

if(total == K) return 0;

// 1-6. K より大きい場合は, 本関数を再帰呼び出しする.

K -= lv[index];

lv.resize(index);

return noNeedCards(lv, K);

}

int main() {

// 1. 入力情報取得.

LL N, K;

cin >> N >> K;

vector<LL> v;

FOR(i, 0, N) {

// ai >= K は, Skip.

LL a;

cin >> a;

if(a < K) v.push_back(a);

}

// 2. K より大きい場合は, 以下の内容を調べることになる.

// 2-1. v を昇順sort.

sort(v.begin(), v.end());

// 2-2. 不要なカードの枚数を調べる.

LL ans = noNeedCards(v, K);

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■デバッグ出力例(問題D／AC版).
[入力例] について, 最初から3つ目までを, 本家のサイトから, 抜粋している.

[入力例]
3 6
1 4 3

[出力例]
6
0 1 1 
1 3 4 
2 4 8 
2
0 1 1 
1
-> 上記, 1 が解答となる.

[入力例]
5 400
3 1 4 1 5

[出力例]
400
0 1 1 
1 1 2 
2 3 5 
3 4 9 
4 5 14 
5
-> 上記, 5 が解答となる.

[入力例]
6 20
10 4 3 10 25 2

[出力例]
20
0 2 2 
1 3 5 
2 4 9 
3 10 19 
4 10 29 
10
0 2 2 
1 3 5 
2 4 9 
3
-> 上記, 3 が解答となる.

[入力例]
4 5
1 2 3 4

[出力例]
5
0 1 1 
1 2 3 
2 3 6 
3 4 10 
1
0
-> 上記, 0 が解答となる.

[入力例]
5 10
1 3 5 7 9

[出力例]
10
0 1 1 
1 3 4 
2 5 9 
3 7 16 
4 9 25 
1
0
-> 上記, 0 が解答となる.

[入力例]
8 16
1 2 3 4 5 16 16 16

[出力例]
16
0 1 1 
1 2 3 
2 3 6 
3 4 10 
4 5 15 
5
-> 上記, 5 が解答となる.

[入力例]

3 6

1 4 3

[出力例]

0 1 1

1 3 4

2 4 8

0 1 1

-> 上記, 1 が解答となる.

[入力例]

5 400

3 1 4 1 5

[出力例]

400

0 1 1

1 1 2

2 3 5

3 4 9

4 5 14

-> 上記, 5 が解答となる.

[入力例]

6 20

10 4 3 10 25 2

[出力例]

0 2 2

1 3 5

2 4 9

3 10 19

4 10 29

0 2 2

1 3 5

2 4 9

-> 上記, 3 が解答となる.

[入力例]

4 5

1 2 3 4

[出力例]

0 1 1

1 2 3

2 3 6

3 4 10

-> 上記, 0 が解答となる.

[入力例]

5 10

1 3 5 7 9

[出力例]

0 1 1

1 3 4

2 5 9

3 7 16

4 9 25

-> 上記, 0 が解答となる.

[入力例]

8 16

1 2 3 4 5 16 16 16

[出力例]

0 1 1

1 2 3

2 3 6

3 4 10

4 5 15

-> 上記, 5 が解答となる.

■参照サイト
AtCoder Beginner Contest 056

2018年11月1日

PyTorch の動作確認をしてみた（１２）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 4.4 CNN回帰モデルによる画像の高解像化(P.088 – P.092) である。

※1. プログラムの詳細は, 書籍を参考(P.088 – P.092)にして下さい.
※2. 書籍上は, 訓練したCNNモデルの保存／ロードについて, 記載されてなかったので, 動作確認時に, 参照サイト① ～参照サイト③ を参考に, プログラムを追記した.
-> なお, 訓練時に, epoch = 10 で, 800秒以上かかることが分かったため, 訓練したCNNモデルを, 保存したいという動機があったためである.
※3. 高解像度化の動作確認は, 訓練したCNNモデルをロードする形で行ったので, 非常に短時間(1秒未満)で, 画像ファイルの出力を確認できた.

■CNNの訓練(書籍CNNの訓練を抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torchvision.datasets import ImageFolder
from torchvision import transforms
from torch.utils.data import DataLoader
import time, math, os
from tqdm import tqdm
import shutil

# 2. to save torch model.
# Best way to save a trained model in PyTorch?
# https://stackoverflow.com/questions/42703500/best-way-to-save-a-trained-model-in-pytorch
# 
# pytorch/examples
# https://github.com/pytorch/examples/blob/0984955bb8525452d1c0e4d14499756eae76755b/imagenet/main.py#L139-L145
def save_checkpoint(state, is_best, filename='checkpoint.pth.tar'):
    torch.save(state, filename)
    if is_best:
        shutil.copyfile(filename, 'model_best.pth.tar')

～(略)～

# 4. declare a training helper function.
def train_net(net, train_loader, test_loader, save_model_file_name,
        optimizer_cls = optim.Adam,
        loss_fn = nn.MSELoss(),
        n_iter = 10, device = "cpu"):
    train_losses, val_acc = [], []
    optimizer = optimizer_cls(net.parameters())
    best_prec1 = 0
～(略)～

        # Best way to save a trained model in PyTorch?
        # https://stackoverflow.com/questions/42703500/best-way-to-save-a-trained-model-in-pytorch
        # 
        # pytorch/examples
        # https://github.com/pytorch/examples/blob/0984955bb8525452d1c0e4d14499756eae76755b/imagenet/main.py#L139-L145
        prec1 = val_acc[-1]
        is_best = prec1 > best_prec1
        best_prec1 = max(prec1, best_prec1)
        save_checkpoint({
            'epoch': epoch + 1,
            'state_dict': net.state_dict(),
            'best_prec1': best_prec1,
            'optimizer' : optimizer.state_dict(),
        }, is_best, filename=save_model_file_name)

～(略)～

# 6. get training data and test data.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\lfw-deepfunneled'
train_data = DownSizedPairImageFolder(folder_path + "\\train", 
            transform=transforms.ToTensor())
test_data = DownSizedPairImageFolder(folder_path + "\\test", 
            transform=transforms.ToTensor())

# 7. Create DataLoader with a batch size of 32 respectively.
batch_size = 32
train_loader = DataLoader(train_data, batch_size=batch_size, shuffle=True)
test_loader = DataLoader(test_data, batch_size=batch_size, shuffle=False)

# 8. declare network.
# torch.nn
# https://pytorch.org/docs/stable/nn.html#torch.nn.ConvTranspose2d
# ex.
# Input:  torch.Size([1, 3, 128, 128])
# Output: torch.Size([1, 3, 512, 512])
net = nn.Sequential(
    # 次元の計算について, 公式サイト通りとする.
    # ex. 
    # kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3
    # kernel_size = 5      ならば, kernel_size[0] = 5, kernel_size[1] = 5
    # padding = (3, 5)     ならば, padding[0] = 3, padding[1] = 5
    # padding = 2          ならば, padding[0] = 2, padding[1] = 2
    # stride = (4, 5)      ならば, stride[0] = 4, stride[1] = 5
    # stride = 3           ならば, stride[0] = 3, stride[1] = 3
    # dilation は, ここでは, 初期値 (1, 1) を 使用するため, dilation[0] = 1, dilation[1] = 1
    # output_padding は, ここでは, 初期値 0 を 使用するため, output_padding[0] = 0, output_padding[1] = 0
    
    # Conv2d
    # Input:  (N, Cin, Hin, Win)
    # Output: (N, Cout, Hout, Wout)
    # Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1
    # Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

    # ConvTranspose2d
    # Input:  (N, Cin, Hin, Win)
    # Output: (N, Cout, Hout, Wout)
    # Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]
    # Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]
    
～(略)～

    # 4. ConvTranspose2d
    # Input:  (1, 64, 256, 256)
    # Hout =  (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512
    # Wout =  (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512
    # Output: (1, 3, 512, 512)
    nn.ConvTranspose2d(64, 3, 4, stride = 2, padding = 1),
    
)
 
# 9. execute training
net.to("cuda:0")
save_model_file_name = folder_path + '\\checkpoint.pth.tar'
train_net(net, train_loader, test_loader, save_model_file_name, device = "cuda:0")

# 10. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torchvision.datasets import ImageFolder

from torchvision import transforms

from torch.utils.data import DataLoader

import time, math, os

from tqdm import tqdm

import shutil

# 2. to save torch model.

# Best way to save a trained model in PyTorch?

# https://stackoverflow.com/questions/42703500/best-way-to-save-a-trained-model-in-pytorch

# pytorch/examples

# https://github.com/pytorch/examples/blob/0984955bb8525452d1c0e4d14499756eae76755b/imagenet/main.py#L139-L145

def save_checkpoint(state, is_best, filename='checkpoint.pth.tar'):

torch.save(state, filename)

if is_best:

shutil.copyfile(filename, 'model_best.pth.tar')

～(略)～

# 4. declare a training helper function.

def train_net(net, train_loader, test_loader, save_model_file_name,

optimizer_cls = optim.Adam,

loss_fn = nn.MSELoss(),

n_iter = 10, device = "cpu"):

train_losses, val_acc = [], []

optimizer = optimizer_cls(net.parameters())

best_prec1 = 0

～(略)～

# Best way to save a trained model in PyTorch?

# https://stackoverflow.com/questions/42703500/best-way-to-save-a-trained-model-in-pytorch

# pytorch/examples

# https://github.com/pytorch/examples/blob/0984955bb8525452d1c0e4d14499756eae76755b/imagenet/main.py#L139-L145

prec1 = val_acc[-1]

is_best = prec1 > best_prec1

best_prec1 = max(prec1, best_prec1)

save_checkpoint({

'epoch': epoch + 1,

'state_dict': net.state_dict(),

'best_prec1': best_prec1,

'optimizer' : optimizer.state_dict(),

}, is_best, filename=save_model_file_name)

～(略)～

# 6. get training data and test data.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\lfw-deepfunneled'

train_data = DownSizedPairImageFolder(folder_path + "\\train",

transform=transforms.ToTensor())

test_data = DownSizedPairImageFolder(folder_path + "\\test",

transform=transforms.ToTensor())

# 7. Create DataLoader with a batch size of 32 respectively.

batch_size = 32

train_loader = DataLoader(train_data, batch_size=batch_size, shuffle=True)

test_loader = DataLoader(test_data, batch_size=batch_size, shuffle=False)

# 8. declare network.

# torch.nn

# https://pytorch.org/docs/stable/nn.html#torch.nn.ConvTranspose2d

# ex.

# Input: torch.Size([1, 3, 128, 128])

# Output: torch.Size([1, 3, 512, 512])

net = nn.Sequential(

# 次元の計算について, 公式サイト通りとする.

# ex.

# kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3

# kernel_size = 5 ならば, kernel_size[0] = 5, kernel_size[1] = 5

# padding = (3, 5) ならば, padding[0] = 3, padding[1] = 5

# padding = 2 ならば, padding[0] = 2, padding[1] = 2

# stride = (4, 5) ならば, stride[0] = 4, stride[1] = 5

# stride = 3 ならば, stride[0] = 3, stride[1] = 3

# dilation は, ここでは, 初期値 (1, 1) を使用するため, dilation[0] = 1, dilation[1] = 1

# output_padding は, ここでは, 初期値 0 を使用するため, output_padding[0] = 0, output_padding[1] = 0

# Conv2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1

# Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

# ConvTranspose2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]

# Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]

～(略)～

# 4. ConvTranspose2d

# Input: (1, 64, 256, 256)

# Hout = (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512

# Wout = (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512

# Output: (1, 3, 512, 512)

nn.ConvTranspose2d(64, 3, 4, stride = 2, padding = 1),

)

# 9. execute training

net.to("cuda:0")

save_model_file_name = folder_path + '\\checkpoint.pth.tar'

train_net(net, train_loader, test_loader, save_model_file_name, device = "cuda:0")

# 10. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

100%|██████████| 409/409 [01:21<00:00,  6.13it/s]
0 0.014687953655173077 18.33038706467884 24.7860811423676
100%|██████████| 409/409 [01:18<00:00,  5.31it/s]
1 0.003026380704050943 25.190764407316067 26.22962871283715
100%|██████████| 409/409 [01:19<00:00,  6.08it/s]
2 0.0028060169180076397 25.519097148560505 26.402582314008022
100%|██████████| 409/409 [01:19<00:00,  5.14it/s]
3 0.0025529012736957746 25.929659799933184 26.431970727737788
100%|██████████| 409/409 [01:19<00:00,  5.91it/s]
4 0.0024290909298438313 26.14556227644325 25.60002797809263
100%|██████████| 409/409 [01:19<00:00,  5.13it/s]
5 0.002380632517590645 26.233076385723564 26.9437039437746
100%|██████████| 409/409 [01:19<00:00,  6.03it/s]
6 0.002286262329767998 26.4087393936757 27.172655655185363
100%|██████████| 409/409 [01:19<00:00,  5.36it/s]
7 0.0022002258360804875 26.575327399369503 27.21442603141393
100%|██████████| 409/409 [01:19<00:00,  5.68it/s]
8 0.002206177676715922 26.563595141487912 26.89212311452963
100%|██████████| 409/409 [01:20<00:00,  5.75it/s]
9 0.002144348673001023 26.68704596568539 27.371439209672104
--------------------------------------------------
Elapsed Time: 804.4375095367432[sec]

100%|██████████| 409/409 [01:21<00:00, 6.13it/s]

0 0.014687953655173077 18.33038706467884 24.7860811423676

100%|██████████| 409/409 [01:18<00:00, 5.31it/s]

1 0.003026380704050943 25.190764407316067 26.22962871283715

100%|██████████| 409/409 [01:19<00:00, 6.08it/s]

2 0.0028060169180076397 25.519097148560505 26.402582314008022

100%|██████████| 409/409 [01:19<00:00, 5.14it/s]

3 0.0025529012736957746 25.929659799933184 26.431970727737788

100%|██████████| 409/409 [01:19<00:00, 5.91it/s]

4 0.0024290909298438313 26.14556227644325 25.60002797809263

100%|██████████| 409/409 [01:19<00:00, 5.13it/s]

5 0.002380632517590645 26.233076385723564 26.9437039437746

100%|██████████| 409/409 [01:19<00:00, 6.03it/s]

6 0.002286262329767998 26.4087393936757 27.172655655185363

100%|██████████| 409/409 [01:19<00:00, 5.36it/s]

7 0.0022002258360804875 26.575327399369503 27.21442603141393

100%|██████████| 409/409 [01:19<00:00, 5.68it/s]

8 0.002206177676715922 26.563595141487912 26.89212311452963

100%|██████████| 409/409 [01:20<00:00, 5.75it/s]

9 0.002144348673001023 26.68704596568539 27.371439209672104

--------------------------------------------------

Elapsed Time: 804.4375095367432[sec]

■CNNモデルによる高解像度化の動作確認(書籍上の高解像度化の内容を抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torchvision.utils import save_image
from torch import nn, optim
from torchvision.datasets import ImageFolder
from torchvision import transforms
from torch.utils.data import DataLoader
import time, os

# 2. declare network.
# torch.nn
# https://pytorch.org/docs/stable/nn.html#torch.nn.ConvTranspose2d
# ex.
# Input:  torch.Size([1, 3, 128, 128])
# Output: torch.Size([1, 3, 512, 512])
net = nn.Sequential(
    # 次元の計算について, 公式サイト通りとする.
    # ex. 
    # kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3
    # kernel_size = 5      ならば, kernel_size[0] = 5, kernel_size[1] = 5
    # padding = (3, 5)     ならば, padding[0] = 3, padding[1] = 5
    # padding = 2          ならば, padding[0] = 2, padding[1] = 2
    # stride = (4, 5)      ならば, stride[0] = 4, stride[1] = 5
    # stride = 3           ならば, stride[0] = 3, stride[1] = 3
    # dilation は, ここでは, 初期値 (1, 1) を 使用するため, dilation[0] = 1, dilation[1] = 1
    # output_padding は, ここでは, 初期値 0 を 使用するため, output_padding[0] = 0, output_padding[1] = 0
    
    # Conv2d
    # Input:  (N, Cin, Hin, Win)
    # Output: (N, Cout, Hout, Wout)
    # Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1
    # Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

    # ConvTranspose2d
    # Input:  (N, Cin, Hin, Win)
    # Output: (N, Cout, Hout, Wout)
    # Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]
    # Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]
    
    
～(略)～

    # 4. ConvTranspose2d
    # Input:  (1, 64, 256, 256)
    # Hout =  (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512
    # Wout =  (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512
    # Output: (1, 3, 512, 512)
    nn.ConvTranspose2d(64, 3, 4, stride = 2, padding = 1),
    
)

～(略)～

# 6. enlarge with Bilinear.
# warnings.warn("nn.functional.upsample is deprecated. Use nn.functional.interpolate instead.")
# bl_recon = torch.nn.functional.upsample(x, 128, mode = "bilinear", align_corners = True)
bl_recon = torch.nn.functional.interpolate(x, 128, mode = "bilinear", align_corners = True)

# 7. enlarge with CNN.
# RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same
# -> net.to("cuda:0") を 追加して, 上記 error を 回避した.
net.to("cuda:0")
# Saving and loading a model in Pytorch?
# https://discuss.pytorch.org/t/saving-and-loading-a-model-in-pytorch/2610/49
# -> 上記サイトを確認後, 以下のような形で, 保存したCNNモデルを呼び出す形で対応した.
checkpoint = torch.load(folder_path + '\\checkpoint.pth.tar')
net.load_state_dict(checkpoint['state_dict'])
optimizer = optim.Adam(net.parameters())
optimizer.load_state_dict(checkpoint['optimizer']) 
cnn_recon = net(x.to("cuda:0")).to("cpu")

# 8. combine the image of original, and of Bilinear, and of CNN by torch.cat and 
# write it out to the image file with save_image.
save_image(torch.cat([y, bl_recon, cnn_recon], 0), folder_path + "\\cnn_upscale.jpg", nrow = 5)

# 9. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torchvision.utils import save_image

from torch import nn, optim

from torchvision.datasets import ImageFolder

from torchvision import transforms

from torch.utils.data import DataLoader

import time, os

# 2. declare network.

# torch.nn

# https://pytorch.org/docs/stable/nn.html#torch.nn.ConvTranspose2d

# ex.

# Input: torch.Size([1, 3, 128, 128])

# Output: torch.Size([1, 3, 512, 512])

net = nn.Sequential(

# 次元の計算について, 公式サイト通りとする.

# ex.

# kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3

# kernel_size = 5 ならば, kernel_size[0] = 5, kernel_size[1] = 5

# padding = (3, 5) ならば, padding[0] = 3, padding[1] = 5

# padding = 2 ならば, padding[0] = 2, padding[1] = 2

# stride = (4, 5) ならば, stride[0] = 4, stride[1] = 5

# stride = 3 ならば, stride[0] = 3, stride[1] = 3

# dilation は, ここでは, 初期値 (1, 1) を使用するため, dilation[0] = 1, dilation[1] = 1

# output_padding は, ここでは, 初期値 0 を使用するため, output_padding[0] = 0, output_padding[1] = 0

# Conv2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1

# Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

# ConvTranspose2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]

# Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]

～(略)～

# 4. ConvTranspose2d

# Input: (1, 64, 256, 256)

# Hout = (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512

# Wout = (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512

# Output: (1, 3, 512, 512)

nn.ConvTranspose2d(64, 3, 4, stride = 2, padding = 1),

)

～(略)～

# 6. enlarge with Bilinear.

# warnings.warn("nn.functional.upsample is deprecated. Use nn.functional.interpolate instead.")

# bl_recon = torch.nn.functional.upsample(x, 128, mode = "bilinear", align_corners = True)

bl_recon = torch.nn.functional.interpolate(x, 128, mode = "bilinear", align_corners = True)

# 7. enlarge with CNN.

# RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same

# -> net.to("cuda:0") を追加して, 上記 error を回避した.

net.to("cuda:0")

# Saving and loading a model in Pytorch?

# https://discuss.pytorch.org/t/saving-and-loading-a-model-in-pytorch/2610/49

# -> 上記サイトを確認後, 以下のような形で, 保存したCNNモデルを呼び出す形で対応した.

checkpoint = torch.load(folder_path + '\\checkpoint.pth.tar')

net.load_state_dict(checkpoint['state_dict'])

optimizer = optim.Adam(net.parameters())

optimizer.load_state_dict(checkpoint['optimizer'])

cnn_recon = net(x.to("cuda:0")).to("cpu")

# 8. combine the image of original, and of Bilinear, and of CNN by torch.cat and

# write it out to the image file with save_image.

save_image(torch.cat([y, bl_recon, cnn_recon], 0), folder_path + "\\cnn_upscale.jpg", nrow = 5)

# 9. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

--------------------------------------------------
Elapsed Time: 0.3804628849029541[sec]

1 2	-------------------------------------------------- Elapsed Time: 0.3804628849029541[sec]

■以上の実行結果から, 以下のことが分かった.

1. CNNモデルのロード.
RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same
上記のようなerrorが出力されたため, net.to("cuda:0") をいったん呼び出す必要があることが分かった.

2. CNNモデルの保存先.
ここでは, [.spyder-py3\pytorch\lfw-deepfunneled]フォルダ内に, [checkpoint.pth.tar]ファイルとして, 保存された.

3. 高解像度化の出力画像の保存先.
ここでは, [.spyder-py3\pytorch\lfw-deepfunneled]フォルダ内に, [cnn_upscale.jpg]ファイルとして, 保存された.

4. 警告.
torch.nn.functional.upsample で, warnings が出力されたので, torch.nn.functional.interpolate で, 動作確認した.

1. CNNモデルのロード.

RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same

上記のようなerrorが出力されたため, net.to("cuda:0") をいったん呼び出す必要があることが分かった.

2. CNNモデルの保存先.

ここでは, [.spyder-py3\pytorch\lfw-deepfunneled]フォルダ内に, [checkpoint.pth.tar]ファイルとして, 保存された.

3. 高解像度化の出力画像の保存先.

ここでは, [.spyder-py3\pytorch\lfw-deepfunneled]フォルダ内に, [cnn_upscale.jpg]ファイルとして, 保存された.

4. 警告.

torch.nn.functional.upsample で, warnings が出力されたので, torch.nn.functional.interpolate で, 動作確認した.

■参照サイト
【参照URL①】Saving and loading a model in Pytorch?
【参照URL②】pytorch/examples
【参照URL③】Best way to save a trained model in PyTorch?

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

C++の練習を兼ねて, AtCoder Beginner Contest 053 の 問題C（X: Yet Another Die Game), 問題D（Card Eater) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 056 の 問題C（Go Home), 問題D（No Need) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 053 の問題C（X: Yet Another Die Game), 問題D（Card Eater) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 056 の問題C（Go Home), 問題D（No Need) を解いてみた.