個人用メモ帳

2018年11月6日2018年11月6日

PyTorch の動作確認をしてみた（１４）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 5.1 RNNとは～ (P.108 – P.114) である。

※1. プログラムの詳細は, 書籍を参考(P.108 – P.114)にして下さい.
※2. 今回は, PyTorch というよりは, 寧ろ Pythonの正規表現の確認となったように思う.
※3. 併せて, 書籍上の関数(text2ids, list2tensor)について, 簡単な動作確認を行った.

■text2ids, list2tensorの動作確認(書籍の関数).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
import re

～(略)～

# 3. sample output.
text = "This is a test character! is this string is checking for test? \
This string consists of test character strings, wow!"
ids = text2ids(text, {"test": 1, "This": 2, "?": 3, "!": 4, "is": 5, "string": 6, "character": 7})
print('-ids-------------------------------------------------')
print(ids)

tensor_1 = list2tensor(ids, max_len = 10, padding = True)
print('-tensor_1--------------------------------------------')
print(tensor_1)

tensor_2 = list2tensor([2, 5, 0, 1, 7], max_len = 10, padding = True)
print('-tensor_2--------------------------------------------')
print(tensor_2)

tensor_3 = list2tensor([2, 5, 0, 1, 7], max_len = 10, padding = False)
print('-tensor_3--------------------------------------------')
print(tensor_3)

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

import re

～(略)～

# 3. sample output.

text = "This is a test character! is this string is checking for test? \

This string consists of test character strings, wow!"

ids = text2ids(text, {"test": 1, "This": 2, "?": 3, "!": 4, "is": 5, "string": 6, "character": 7})

print('-ids-------------------------------------------------')

print(ids)

tensor_1 = list2tensor(ids, max_len = 10, padding = True)

print('-tensor_1--------------------------------------------')

print(tensor_1)

tensor_2 = list2tensor([2, 5, 0, 1, 7], max_len = 10, padding = True)

print('-tensor_2--------------------------------------------')

print(tensor_2)

tensor_3 = list2tensor([2, 5, 0, 1, 7], max_len = 10, padding = False)

print('-tensor_3--------------------------------------------')

print(tensor_3)

■実行結果.

-ids-------------------------------------------------
[2, 5, 0, 1, 7, 4, 5, 0, 6, 5, 0, 0, 1, 3, 2, 6, 0, 0, 1, 7, 0, 0, 4]
-tensor_1--------------------------------------------
(tensor([2, 5, 0, 1, 7, 4, 5, 0, 6, 5]), 10)
-tensor_2--------------------------------------------
(tensor([2, 5, 0, 1, 7, 0, 0, 0, 0, 0]), 5)
-tensor_3--------------------------------------------
(tensor([2, 5, 0, 1, 7]), 5)

-ids-------------------------------------------------

[2, 5, 0, 1, 7, 4, 5, 0, 6, 5, 0, 0, 1, 3, 2, 6, 0, 0, 1, 7, 0, 0, 4]

-tensor_1--------------------------------------------

(tensor([2, 5, 0, 1, 7, 4, 5, 0, 6, 5]), 10)

-tensor_2--------------------------------------------

(tensor([2, 5, 0, 1, 7, 0, 0, 0, 0, 0]), 5)

-tensor_3--------------------------------------------

(tensor([2, 5, 0, 1, 7]), 5)

■正規表現の動作確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import re

# 2. prepare 2 functions.
# 6.2. re — 正規表現操作.
# https://docs.python.jp/3/library/re.html
remove_marks_regex = re.compile("[,\.\(\)\[\]\*:;]|<.*?>")
shift_marks_regex = re.compile("([?!])")

# 3. sample output.
text_1 = "This, is a test."
# return the position of the first occurrence of comma.
print(remove_marks_regex.search(text_1))

text_2 = "This is a. test."
# return the position of the first period.
print(remove_marks_regex.search(text_2, 9))
# return the position of the second period.
print(remove_marks_regex.search(text_2, 10))

text_3 = "This (is , a) test!"
# return the position of the first occurrence of the opening parenthesis.
print(remove_marks_regex.search(text_3))

text_4 = "This is] a )test)!"
# return the position of the first occurrence of the right parenthesis.
print(remove_marks_regex.search(text_4, 2))

text_5 = "This is a :test!"
# return the position of the first occurrence of the colon.
print(remove_marks_regex.search(text_5, 0))

text_6 = "This is <a, t.e?s!t!>"
# return the position of the first occurrence of <string>.
print(remove_marks_regex.search(text_6))

text_7 = "This (is a ? test!"
# return the position of the first appearing question mark.
print(shift_marks_regex.search(text_7))

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import re

# 2. prepare 2 functions.

# 6.2. re — 正規表現操作.

# https://docs.python.jp/3/library/re.html

remove_marks_regex = re.compile("[,\.\(\)\[\]\*:;]|<.*?>")

shift_marks_regex = re.compile("([?!])")

# 3. sample output.

text_1 = "This, is a test."

# return the position of the first occurrence of comma.

print(remove_marks_regex.search(text_1))

text_2 = "This is a. test."

# return the position of the first period.

print(remove_marks_regex.search(text_2, 9))

# return the position of the second period.

print(remove_marks_regex.search(text_2, 10))

text_3 = "This (is , a) test!"

# return the position of the first occurrence of the opening parenthesis.

print(remove_marks_regex.search(text_3))

text_4 = "This is] a )test)!"

# return the position of the first occurrence of the right parenthesis.

print(remove_marks_regex.search(text_4, 2))

text_5 = "This is a :test!"

# return the position of the first occurrence of the colon.

print(remove_marks_regex.search(text_5, 0))

text_6 = "This is <a, t.e?s!t!>"

# return the position of the first occurrence of <string>.

print(remove_marks_regex.search(text_6))

text_7 = "This (is a ? test!"

# return the position of the first appearing question mark.

print(shift_marks_regex.search(text_7))

■実行結果.

<re.Match object; span=(4, 5), match=','>
<re.Match object; span=(9, 10), match='.'>
<re.Match object; span=(15, 16), match='.'>
<re.Match object; span=(5, 6), match='('>
<re.Match object; span=(7, 8), match=']'>
<re.Match object; span=(10, 11), match=':'>
<re.Match object; span=(8, 21), match='<a, t.e?s!t!>'>
<re.Match object; span=(11, 12), match='?'>

<re.Match object; span=(4, 5), match=','>

<re.Match object; span=(9, 10), match='.'>

<re.Match object; span=(15, 16), match='.'>

<re.Match object; span=(5, 6), match='('>

<re.Match object; span=(7, 8), match=']'>

<re.Match object; span=(10, 11), match=':'>

<re.Match object; span=(8, 21), match='<a, t.e?s!t!>'>

<re.Match object; span=(11, 12), match='?'>

■参照サイト
【参照URL①】6.2. re — 正規表現操作

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月4日2018年11月6日

PyTorch の動作確認をしてみた（１３）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 4.5 DCGANによる画像生成(P.093 – P.104) である。

※1. プログラムの詳細は, 書籍を参考(P.093 – P.104)にして下さい.
※2. 書籍上は, 訓練した生成モデル, 識別モデルの保存については, 書かれていたが, ロードについては記載されてなかったので, 動作確認時に, 参照サイト① ～参照サイト② を参考に, 動作確認した.
※3. 参照サイト② (“A common PyTorch convention is to save models using either a .pt or .pth file extension.”) にあるように, 訓練した生成モデル, 識別モデルの拡張子を, “.pth” で保存したため, 書籍上の “.prm” と異なっている.
※4. 生成モデルをロードした際の動作確認は, 訓練済みの生成モデルをロードする形で行ったので, 非常に短時間(1秒未満)で, 画像の生成を確認できた.

■生成モデル, 識別モデルの確認(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torchvision.datasets import ImageFolder
from torchvision import transforms
from torch.utils.data import DataLoader
import time, os

# 2. prepare DataLoader.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\oxford-102'

～(略)～

print('-img_data size----------------------------------')
print(len(img_data))

# 3. build an image generation model.
nz = 100
ngf = 32

# Input:  torch.Size([64, 100, 1, 1])
# Output: torch.Size([64, 3, 64, 64])
class GNet(nn.Module):
    def __init__(self):
        super().__init__()
        # 次元の計算について, 公式サイト通りとする.
        # ex. 
        # kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3
        # kernel_size = 5      ならば, kernel_size[0] = 5, kernel_size[1] = 5
        # padding = (3, 5)     ならば, padding[0] = 3, padding[1] = 5
        # padding = 2          ならば, padding[0] = 2, padding[1] = 2
        # stride = (4, 5)      ならば, stride[0] = 4, stride[1] = 5
        # stride = 3           ならば, stride[0] = 3, stride[1] = 3
        # dilation は, ここでは, 初期値 (1, 1) を 使用するため, dilation[0] = 1, dilation[1] = 1
        # output_padding は, ここでは, 初期値 0 を 使用するため, output_padding[0] = 0, output_padding[1] = 0
        
        # Conv2d
        # Input:  (N, Cin, Hin, Win)
        # Output: (N, Cout, Hout, Wout)
        # Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1
        # Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1
    
        # ConvTranspose2d
        # Input:  (N, Cin, Hin, Win)
        # Output: (N, Cout, Hout, Wout)
        # Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]
        # Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]
        self.main = nn.Sequential(
            # 1. ConvTranspose2d
            # Input:  (64, 100, 1, 1)
            # Hout =  (1 - 1) × 1 - 2 × 0 + 4 + 0 = 4
            # Wout =  (1 - 1) × 1 - 2 × 0 + 4 + 0 = 4
            # Output: (64, 256, 4, 4)
            nn.ConvTranspose2d(nz, ngf * 8, 4, stride = 1, padding = 0, bias = False),
            
～(略)～
            
            # 5. ConvTranspose2d
            # Input:  (64, 32, 32, 32)
            # Hout =  (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64
            # Wout =  (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64
            # Output: (64, 3, 64, 64)
            nn.ConvTranspose2d(ngf, 3, 4, stride = 2, padding = 1, bias = False),
            nn.Tanh()
            
            )

    def forward(self, x):
        out = self.main(x)
        return out

# 4. build an identification model.
ndf = 32

# Input:  torch.Size([64, 3, 64, 64])
# Output: torch.Size([64])
class DNet(nn.Module):
    def __init__(self):
        super().__init__()
        # 次元の計算について, 公式サイト通りとする.
        # ex. 
        # kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3
        # kernel_size = 5      ならば, kernel_size[0] = 5, kernel_size[1] = 5
        # padding = (3, 5)     ならば, padding[0] = 3, padding[1] = 5
        # padding = 2          ならば, padding[0] = 2, padding[1] = 2
        # stride = (4, 5)      ならば, stride[0] = 4, stride[1] = 5
        # stride = 3           ならば, stride[0] = 3, stride[1] = 3
        # dilation は, ここでは, 初期値 (1, 1) を 使用するため, dilation[0] = 1, dilation[1] = 1
        # output_padding は, ここでは, 初期値 0 を 使用するため, output_padding[0] = 0, output_padding[1] = 0
        
        # Conv2d
        # Input:  (N, Cin, Hin, Win)
        # Output: (N, Cout, Hout, Wout)
        # Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1
        # Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1
    
        # ConvTranspose2d
        # Input:  (N, Cin, Hin, Win)
        # Output: (N, Cout, Hout, Wout)
        # Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]
        # Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]
        self.main = nn.Sequential(
            # 1. Conv2d
            # Input:  (64, 3, 64, 64)
            # Hout =  (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32
            # Wout =  (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32
            # Output: (64, 32, 32, 32)
            nn.Conv2d(3, ndf, 4, stride = 2, padding = 1, bias = False),
            nn.LeakyReLU(0.2, inplace = True),
            
～(略)～
            
            # 5. Conv2d
            # Input:  (64, 256, 4, 4)
            # Hout =  (4 + 2 × 0 − 1 × (4 − 1) − 1) / 1 + 1 = 1
            # Wout =  (4 + 2 × 0 − 1 × (4 − 1) − 1) / 1 + 1 = 1
            # Output: (64, 1, 1, 1)
            nn.Conv2d(ndf * 8, 1, 4, stride = 1, padding = 0, bias = False),
            )

    def forward(self, x):
        out = self.main(x)
        return out.squeeze()

# 5. create a training function.
～(略)～

# RuntimeError: Expected object of type torch.FloatTensor 
# but found type torch.cuda.FloatTensor for argument #2 'weight'
# -> .to("cuda:0") is necessary at dummy data.
# gnet_test_input = torch.ones(64, 100, 1, 1)
gnet_test_input = torch.ones(64, 100, 1, 1).to("cuda:0")
gnet_output_size = g(gnet_test_input).size()
print()
print('-gnet input --------------------------------------')
print(gnet_test_input.size())
print('-GNet---------------------------------------------')
print(g)
print('-gnet output--------------------------------------')
print(gnet_output_size)

print()
# RuntimeError: Expected object of type torch.FloatTensor 
# but found type torch.cuda.FloatTensor for argument #2 'weight'
# -> .to("cuda:0") is necessary at dummy data.
# dnet_test_input = torch.ones(64, 3, 64, 64)
dnet_test_input = torch.ones(64, 3, 64, 64).to("cuda:0")
dnet_output_size = d(dnet_test_input).size()
print('-dnet input --------------------------------------')
print(dnet_test_input.size())
print('-DNet---------------------------------------------')
print(d)
print('-dnet output--------------------------------------')
print(dnet_output_size)

# 9. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torchvision.datasets import ImageFolder

from torchvision import transforms

from torch.utils.data import DataLoader

import time, os

# 2. prepare DataLoader.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\oxford-102'

～(略)～

print('-img_data size----------------------------------')

print(len(img_data))

# 3. build an image generation model.

nz = 100

ngf = 32

# Input: torch.Size([64, 100, 1, 1])

# Output: torch.Size([64, 3, 64, 64])

class GNet(nn.Module):

def __init__(self):

super().__init__()

# 次元の計算について, 公式サイト通りとする.

# ex.

# kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3

# kernel_size = 5 ならば, kernel_size[0] = 5, kernel_size[1] = 5

# padding = (3, 5) ならば, padding[0] = 3, padding[1] = 5

# padding = 2 ならば, padding[0] = 2, padding[1] = 2

# stride = (4, 5) ならば, stride[0] = 4, stride[1] = 5

# stride = 3 ならば, stride[0] = 3, stride[1] = 3

# dilation は, ここでは, 初期値 (1, 1) を使用するため, dilation[0] = 1, dilation[1] = 1

# output_padding は, ここでは, 初期値 0 を使用するため, output_padding[0] = 0, output_padding[1] = 0

# Conv2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1

# Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

# ConvTranspose2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]

# Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]

self.main = nn.Sequential(

# 1. ConvTranspose2d

# Input: (64, 100, 1, 1)

# Hout = (1 - 1) × 1 - 2 × 0 + 4 + 0 = 4

# Wout = (1 - 1) × 1 - 2 × 0 + 4 + 0 = 4

# Output: (64, 256, 4, 4)

nn.ConvTranspose2d(nz, ngf * 8, 4, stride = 1, padding = 0, bias = False),

～(略)～

# 5. ConvTranspose2d

# Input: (64, 32, 32, 32)

# Hout = (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64

# Wout = (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64

# Output: (64, 3, 64, 64)

nn.ConvTranspose2d(ngf, 3, 4, stride = 2, padding = 1, bias = False),

nn.Tanh()

)

def forward(self, x):

out = self.main(x)

return out

# 4. build an identification model.

ndf = 32

# Input: torch.Size([64, 3, 64, 64])

# Output: torch.Size([64])

class DNet(nn.Module):

def __init__(self):

super().__init__()

# 次元の計算について, 公式サイト通りとする.

# ex.

# kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3

# kernel_size = 5 ならば, kernel_size[0] = 5, kernel_size[1] = 5

# padding = (3, 5) ならば, padding[0] = 3, padding[1] = 5

# padding = 2 ならば, padding[0] = 2, padding[1] = 2

# stride = (4, 5) ならば, stride[0] = 4, stride[1] = 5

# stride = 3 ならば, stride[0] = 3, stride[1] = 3

# dilation は, ここでは, 初期値 (1, 1) を使用するため, dilation[0] = 1, dilation[1] = 1

# output_padding は, ここでは, 初期値 0 を使用するため, output_padding[0] = 0, output_padding[1] = 0

# Conv2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1

# Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

# ConvTranspose2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]

# Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]

self.main = nn.Sequential(

# 1. Conv2d

# Input: (64, 3, 64, 64)

# Hout = (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32

# Wout = (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32

# Output: (64, 32, 32, 32)

nn.Conv2d(3, ndf, 4, stride = 2, padding = 1, bias = False),

nn.LeakyReLU(0.2, inplace = True),

～(略)～

# 5. Conv2d

# Input: (64, 256, 4, 4)

# Hout = (4 + 2 × 0 − 1 × (4 − 1) − 1) / 1 + 1 = 1

# Wout = (4 + 2 × 0 − 1 × (4 − 1) − 1) / 1 + 1 = 1

# Output: (64, 1, 1, 1)

nn.Conv2d(ndf * 8, 1, 4, stride = 1, padding = 0, bias = False),

)

def forward(self, x):

out = self.main(x)

return out.squeeze()

# 5. create a training function.

～(略)～

# RuntimeError: Expected object of type torch.FloatTensor

# but found type torch.cuda.FloatTensor for argument #2 'weight'

# -> .to("cuda:0") is necessary at dummy data.

# gnet_test_input = torch.ones(64, 100, 1, 1)

gnet_test_input = torch.ones(64, 100, 1, 1).to("cuda:0")

gnet_output_size = g(gnet_test_input).size()

print()

print('-gnet input --------------------------------------')

print(gnet_test_input.size())

print('-GNet---------------------------------------------')

print(g)

print('-gnet output--------------------------------------')

print(gnet_output_size)

print()

# RuntimeError: Expected object of type torch.FloatTensor

# but found type torch.cuda.FloatTensor for argument #2 'weight'

# -> .to("cuda:0") is necessary at dummy data.

# dnet_test_input = torch.ones(64, 3, 64, 64)

dnet_test_input = torch.ones(64, 3, 64, 64).to("cuda:0")

dnet_output_size = d(dnet_test_input).size()

print('-dnet input --------------------------------------')

print(dnet_test_input.size())

print('-DNet---------------------------------------------')

print(d)

print('-dnet output--------------------------------------')

print(dnet_output_size)

# 9. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

-img_data size----------------------------------
8189

-gnet input --------------------------------------
torch.Size([64, 100, 1, 1])
-GNet---------------------------------------------
GNet(
  (main): Sequential(
    (0): ConvTranspose2d(100, 256, kernel_size=(4, 4), stride=(1, 1), bias=False)
    (1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (2): ReLU(inplace)
    (3): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (4): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (5): ReLU(inplace)
    (6): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (7): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (8): ReLU(inplace)
    (9): ConvTranspose2d(64, 32, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (10): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (11): ReLU(inplace)
    (12): ConvTranspose2d(32, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (13): Tanh()
  )
)
-gnet output--------------------------------------
torch.Size([64, 3, 64, 64])

-dnet input --------------------------------------
torch.Size([64, 3, 64, 64])
-DNet---------------------------------------------
DNet(
  (main): Sequential(
    (0): Conv2d(3, 32, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (1): LeakyReLU(negative_slope=0.2, inplace)
    (2): Conv2d(32, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (3): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (4): LeakyReLU(negative_slope=0.2, inplace)
    (5): Conv2d(64, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (6): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (7): LeakyReLU(negative_slope=0.2, inplace)
    (8): Conv2d(128, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)
    (9): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (10): LeakyReLU(negative_slope=0.2, inplace)
    (11): Conv2d(256, 1, kernel_size=(4, 4), stride=(1, 1), bias=False)
  )
)
-dnet output--------------------------------------
torch.Size([64])
--------------------------------------------------
Elapsed Time: 0.3280467987060547[sec]

-img_data size----------------------------------

8189

-gnet input --------------------------------------

torch.Size([64, 100, 1, 1])

-GNet---------------------------------------------

GNet(

(main): Sequential(

(0): ConvTranspose2d(100, 256, kernel_size=(4, 4), stride=(1, 1), bias=False)

(1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(2): ReLU(inplace)

(3): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(4): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(5): ReLU(inplace)

(6): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(7): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(8): ReLU(inplace)

(9): ConvTranspose2d(64, 32, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(10): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(11): ReLU(inplace)

(12): ConvTranspose2d(32, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(13): Tanh()

)

-gnet output--------------------------------------

torch.Size([64, 3, 64, 64])

-dnet input --------------------------------------

torch.Size([64, 3, 64, 64])

-DNet---------------------------------------------

DNet(

(main): Sequential(

(0): Conv2d(3, 32, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(1): LeakyReLU(negative_slope=0.2, inplace)

(2): Conv2d(32, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(3): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(4): LeakyReLU(negative_slope=0.2, inplace)

(5): Conv2d(64, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(6): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(7): LeakyReLU(negative_slope=0.2, inplace)

(8): Conv2d(128, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False)

(9): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(10): LeakyReLU(negative_slope=0.2, inplace)

(11): Conv2d(256, 1, kernel_size=(4, 4), stride=(1, 1), bias=False)

)

-dnet output--------------------------------------

torch.Size([64])

--------------------------------------------------

Elapsed Time: 0.3280467987060547[sec]

■生成モデル, 識別モデルの訓練～画像生成(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torchvision.utils import save_image
from torch import nn, optim
from torchvision.datasets import ImageFolder
from torchvision import transforms
from torch.utils.data import DataLoader
from statistics import mean
from tqdm import tqdm
import time, os

# 2. prepare DataLoader.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\oxford-102'

～(略)～

# 8. train dcgan.
for epoch in range(101):
    loss = train_dcgan(g, d, opt_g, opt_d, img_loader)
    print('log_loss_g = ' + str(loss[0]) + '  log_loss_d = ' + str(loss[1]))
    # save the learning result every ten iterations.
    if epoch % 10 == 0:
        # SAVING AND LOADING MODELS
        # https://pytorch.org/tutorials/beginner/saving_loading_models.html
        # -> A common PyTorch convention is 
        # to save models using either a .pt or .pth file extension.
        # torch.save(g.state_dict(), folder_path + "\\g_{:03d}.prm".format(epoch), pickle_protocol = 4)
        # torch.save(d.state_dict(), folder_path + "\\d_{:03d}.prm".format(epoch), pickle_protocol = 4)
        
        torch.save(g.state_dict(), folder_path + "\\g_{:03d}.pth".format(epoch), pickle_protocol = 4)
        torch.save(d.state_dict(), folder_path + "\\d_{:03d}.pth".format(epoch), pickle_protocol = 4)
        # save images generated from z.
        generated_img = g(fixed_z)
        save_image(generated_img, folder_path + "\\{:03d}.jpg".format(epoch))

# 9. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torchvision.utils import save_image

from torch import nn, optim

from torchvision.datasets import ImageFolder

from torchvision import transforms

from torch.utils.data import DataLoader

from statistics import mean

from tqdm import tqdm

import time, os

# 2. prepare DataLoader.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\oxford-102'

～(略)～

# 8. train dcgan.

for epoch in range(101):

loss = train_dcgan(g, d, opt_g, opt_d, img_loader)

print('log_loss_g = ' + str(loss[0]) + ' log_loss_d = ' + str(loss[1]))

# save the learning result every ten iterations.

if epoch % 10 == 0:

# SAVING AND LOADING MODELS

# https://pytorch.org/tutorials/beginner/saving_loading_models.html

# -> A common PyTorch convention is

# to save models using either a .pt or .pth file extension.

# torch.save(g.state_dict(), folder_path + "\\g_{:03d}.prm".format(epoch), pickle_protocol = 4)

# torch.save(d.state_dict(), folder_path + "\\d_{:03d}.prm".format(epoch), pickle_protocol = 4)

torch.save(g.state_dict(), folder_path + "\\g_{:03d}.pth".format(epoch), pickle_protocol = 4)

torch.save(d.state_dict(), folder_path + "\\d_{:03d}.pth".format(epoch), pickle_protocol = 4)

# save images generated from z.

generated_img = g(fixed_z)

save_image(generated_img, folder_path + "\\{:03d}.jpg".format(epoch))

# 9. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

100%|██████████| 128/128 [01:03<00:00,  2.03it/s]
log_loss_g = 2.2799523485591635  log_loss_d = 0.4408646282972768
100%|██████████| 128/128 [01:01<00:00,  2.19it/s]
log_loss_g = 2.5616258112713695  log_loss_d = 0.3513457009103149
100%|██████████| 128/128 [00:59<00:00,  2.17it/s]
～(略)～
100%|██████████| 128/128 [00:57<00:00,  2.26it/s]
log_loss_g = 3.2437106231227517  log_loss_d = 0.20105345878982916
100%|██████████| 128/128 [00:58<00:00,  2.25it/s]
log_loss_g = 3.300489889457822  log_loss_d = 0.2834379920968786
100%|██████████| 128/128 [00:58<00:00,  2.23it/s]
log_loss_g = 3.283644081093371  log_loss_d = 0.23608757741749287
--------------------------------------------------
Elapsed Time: 5991.337444782257[sec]

100%|██████████| 128/128 [01:03<00:00, 2.03it/s]

log_loss_g = 2.2799523485591635 log_loss_d = 0.4408646282972768

100%|██████████| 128/128 [01:01<00:00, 2.19it/s]

log_loss_g = 2.5616258112713695 log_loss_d = 0.3513457009103149

100%|██████████| 128/128 [00:59<00:00, 2.17it/s]

～(略)～

100%|██████████| 128/128 [00:57<00:00, 2.26it/s]

log_loss_g = 3.2437106231227517 log_loss_d = 0.20105345878982916

100%|██████████| 128/128 [00:58<00:00, 2.25it/s]

log_loss_g = 3.300489889457822 log_loss_d = 0.2834379920968786

100%|██████████| 128/128 [00:58<00:00, 2.23it/s]

log_loss_g = 3.283644081093371 log_loss_d = 0.23608757741749287

--------------------------------------------------

Elapsed Time: 5991.337444782257[sec]

■訓練済み生成モデルのロード～画像生成(書籍から一部抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torchvision.utils import save_image
from torch import nn
from torchvision.datasets import ImageFolder
from torchvision import transforms
from torch.utils.data import DataLoader
import time, os

# 2. prepare DataLoader.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\oxford-102'

～(略)～

# 5. declare variables for monitoring.
fixed_z = torch.randn(batch_size, nz, 1, 1).to("cuda:0")

# 6. load model.
g = GNet().to("cuda:0")
g.load_state_dict(torch.load(folder_path + "\\g_100.pth"))

# 7. save image.
generated_img = g(fixed_z)
save_image(generated_img, folder_path + "\\test_image_from_load_model.jpg")

# . display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torchvision.utils import save_image

from torch import nn

from torchvision.datasets import ImageFolder

from torchvision import transforms

from torch.utils.data import DataLoader

import time, os

# 2. prepare DataLoader.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\oxford-102'

～(略)～

# 5. declare variables for monitoring.

fixed_z = torch.randn(batch_size, nz, 1, 1).to("cuda:0")

# 6. load model.

g = GNet().to("cuda:0")

g.load_state_dict(torch.load(folder_path + "\\g_100.pth"))

# 7. save image.

generated_img = g(fixed_z)

save_image(generated_img, folder_path + "\\test_image_from_load_model.jpg")

# . display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

--------------------------------------------------
Elapsed Time: 0.11433911323547363[sec]

1 2	-------------------------------------------------- Elapsed Time: 0.11433911323547363[sec]

■以上の実行結果から, 以下のことが分かった.

1. 生成モデル, 識別モデルの確認.
RuntimeError: Expected object of type torch.FloatTensor 
but found type torch.cuda.FloatTensor for argument #2 'weight'
-> 注意点として, ダミーデータで確認するときに, 上記のような error が出力される場合があった.
-> 本件は, ダミーデータ(Tensor) に, .to("cuda:0") を設定することで回避できた.

2. 生成モデル, 識別モデルの訓練.
① epoch 300 で, 約17185秒 かかった
※1. こちらは, 画像生成失敗したときの結果であるため, 割愛した.
※2. 画像生成失敗の原因は, コーディング誤りであった. 
具体的には, 2つのオプティマイザーに渡すネットワーク情報を, 両方とも識別モデルのパラメータを渡していたためである.
Elapsed Time: 17184.786625623703[sec]

② epoch 101 で, 約5992秒 かかった.
Elapsed Time: 5991.337444782257[sec]

3. 生成画像の成否確認.
epoch 0 で, いったん出力された画像を確認されることをお勧めする. 
下記のように, 画像生成が上手くいく場合は, epoch 0 でも, 何かしら変化が分かるからである. 
epoch 300 で, 画像生成失敗したときは, 下記のように, epoch 0 で, 真っ黒な画像が出力され, 
以降 の epochでも, 同様に, 真っ黒な画像が出力された.

4. 生成画像の比較.
以下のように, epoch 50 で, 十分綺麗な画像が生成されたことが分かった.

5. 訓練済み生成モデルのロード.
epoch 100 の画像を, ごく短時間(1秒未満)で, 画像の生成を確認できた.

1. 生成モデル, 識別モデルの確認.

RuntimeError: Expected object of type torch.FloatTensor

but found type torch.cuda.FloatTensor for argument #2 'weight'

-> 注意点として, ダミーデータで確認するときに, 上記のような error が出力される場合があった.

-> 本件は, ダミーデータ(Tensor) に, .to("cuda:0") を設定することで回避できた.

2. 生成モデル, 識別モデルの訓練.

① epoch 300 で, 約17185秒かかった

※1. こちらは, 画像生成失敗したときの結果であるため, 割愛した.

※2. 画像生成失敗の原因は, コーディング誤りであった.

具体的には, 2つのオプティマイザーに渡すネットワーク情報を, 両方とも識別モデルのパラメータを渡していたためである.

Elapsed Time: 17184.786625623703[sec]

② epoch 101 で, 約5992秒かかった.

Elapsed Time: 5991.337444782257[sec]

3. 生成画像の成否確認.

epoch 0 で, いったん出力された画像を確認されることをお勧めする.

下記のように, 画像生成が上手くいく場合は, epoch 0 でも, 何かしら変化が分かるからである.

epoch 300 で, 画像生成失敗したときは, 下記のように, epoch 0 で, 真っ黒な画像が出力され,

以降の epochでも, 同様に, 真っ黒な画像が出力された.

4. 生成画像の比較.

以下のように, epoch 50 で, 十分綺麗な画像が生成されたことが分かった.

5. 訓練済み生成モデルのロード.

epoch 100 の画像を, ごく短時間(1秒未満)で, 画像の生成を確認できた.

3. 画像生成失敗時（epoch 0）

4-1. 画像生成成功時（epoch 0）

4-2. 画像生成成功時（epoch 50）

4-3. 画像生成成功時（epoch 100）

5. 訓練済み生成モデルによる画像生成

■参照サイト
【参照URL①】Saving torch models
【参照URL②】SAVING AND LOADING MODELS

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年11月3日

C++ の動作確認をしてみた（３１）

C++の練習を兼ねて, AtCoder Beginner Contest 056 の問題C（Go Home), 問題D（No Need) を解いてみた.

■感想.
1. 問題C, 問題D ともに, 時間はかかったもの(※特に, 問題D)の, 解説見ずに解けたので, 良かったと思う.
2. 当方の解答方針は, 入力値N(カードの枚数), K(よい集合の判定条件) を, 再帰的に, どんどん縮小していく方針を採用した.

本家のサイトARC070 / ABC056 解説をご覧下さい.

■C++版プログラム(問題C／AC版).

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

int main() {
    
    // 1. 入力情報取得.
    LL X;
    cin >> X;
    
    // 2. カンガルーの家に到着する最小の時刻を計算.
    // 移動距離の総和を計算していき, X 以上のときに, 抜ける.
    // -> dist と X の 差分に相当する時刻 dist - X において, 移動しないを選択すればよいので最小のはず.
    // n(n + 1) / 2 >= 10 の 9乗 を満たす n は, 44720.8 … なので, 44721 まで確認すれば十分のはず.
    LL dist = 0;
    LL ans  = 0;
    FOR(i, 1, 44722) {
        dist += i;
        ans = i;
        if(dist >= X) break;
    }
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

int main() {

// 1. 入力情報取得.

LL X;

cin >> X;

// 2. カンガルーの家に到着する最小の時刻を計算.

// 移動距離の総和を計算していき, X 以上のときに, 抜ける.

// -> dist と X の差分に相当する時刻 dist - X において, 移動しないを選択すればよいので最小のはず.

// n(n + 1) / 2 >= 10 の 9乗を満たす n は, 44720.8 … なので, 44721 まで確認すれば十分のはず.

LL dist = 0;

LL ans = 0;

FOR(i, 1, 44722) {

dist += i;

ans = i;

if(dist >= X) break;

}

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■C++版プログラム(問題D／WA版, 2_042.txt で, Wrong Answer).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

typedef long long LL;

// 不要なカードの枚数を調査し, 返却.
// @param v: カードに書かれている数字の集合.
// @param K: カードの部分集合に関する判定基準.
// @return ans: 不要なカードの枚数.
LL noNeedCards(vector<LL> &v, LL K) {
    
    // 1-1. K が ゼロ未満 の 場合は, v に 保管したカードの枚数だけ不要なので, それを出力.
    if(K <= 0) return v.size();
    
    // 1-2. v について, Σvi を 確認し, K を 超えるときの vi を 把握.
    LL total = 0;
    LL index = 0;
    // cout << K << endl;
    FOR(i, 0, v.size()) {
        total += v[i];
        index = i;
        // cout << index << " " << v[i] << " " << total << " " << endl;
        if(total >= K) break;
    }
    
    // 1-3. K に 満たない場合は, v に 保管したカードの枚数だけ不要なので, それを出力.
    if(total < K)  return v.size();

    // 1-4. K に 等しい場合は, すべてのカードが必要となるので, 不要なカードは, 0枚.
    if(total == K) return 0;

    // 1-5. K より 大きい場合は, 本関数を再帰呼び出しする.
    K -= v[index];
    v.resize(index);
    return noNeedCards(v, K);
    
}

int main() {

    // 1. 入力情報取得.
    LL N, K;
    cin >> N >> K;
    vector<LL> v;
    FOR(i, 0, N) {
        // ai >= K は, Skip.
        LL a;
        cin >> a;
        if(a < K) v.push_back(a);
    }
    
    // 2. K より 大きい場合は, 以下の内容を調べることになる.
    // 2-1. v を 昇順sort.
    sort(v.begin(), v.end());
    
    // 2-2. 不要なカードの枚数を調べる.
    LL ans = noNeedCards(v, K);
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

typedef long long LL;

// 不要なカードの枚数を調査し, 返却.

// @param v: カードに書かれている数字の集合.

// @param K: カードの部分集合に関する判定基準.

// @return ans: 不要なカードの枚数.

LL noNeedCards(vector<LL> &v, LL K) {

// 1-1. K がゼロ未満の場合は, v に保管したカードの枚数だけ不要なので, それを出力.

if(K <= 0) return v.size();

// 1-2. v について, Σvi を確認し, K を超えるときの vi を把握.

LL total = 0;

LL index = 0;

// cout << K << endl;

FOR(i, 0, v.size()) {

total += v[i];

index = i;

// cout << index << " " << v[i] << " " << total << " " << endl;

if(total >= K) break;

}

// 1-3. K に満たない場合は, v に保管したカードの枚数だけ不要なので, それを出力.

if(total < K) return v.size();

// 1-4. K に等しい場合は, すべてのカードが必要となるので, 不要なカードは, 0枚.

if(total == K) return 0;

// 1-5. K より大きい場合は, 本関数を再帰呼び出しする.

K -= v[index];

v.resize(index);

return noNeedCards(v, K);

}

int main() {

// 1. 入力情報取得.

LL N, K;

cin >> N >> K;

vector<LL> v;

FOR(i, 0, N) {

// ai >= K は, Skip.

LL a;

cin >> a;

if(a < K) v.push_back(a);

}

// 2. K より大きい場合は, 以下の内容を調べることになる.

// 2-1. v を昇順sort.

sort(v.begin(), v.end());

// 2-2. 不要なカードの枚数を調べる.

LL ans = noNeedCards(v, K);

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■C++版プログラム(問題D／AC版).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

typedef long long LL;

// 不要なカードの枚数を調査し, 返却.
// @param v: カードに書かれている数字の集合.
// @param K: カードの部分集合に関する判定基準.
// @return ans: 不要なカードの枚数.
LL noNeedCards(vector<LL> &v, LL K) {
    
    // 1-1. K が ゼロ未満 の 場合は, v に 保管したカードの枚数だけ不要なので, それを出力.
    // if(K <= 0) return v.size();    // 2_042.txt の Wrong Answer対策.
    if(K < 0) return v.size();
    
    // 1-2. v の 要素で, K以上を除外.
    // 0_002.txt の Wrong Answer対策.
    vector<LL> lv;
    for(auto &p : v) if(p < K) lv.push_back(p);    // p >= K は, Skip.
    
    // 1-3. v について, Σvi を 確認し, K を 超えるときの vi を 把握.
    LL total = 0;
    LL index = 0;
    // cout << K << endl;
    FOR(i, 0, lv.size()) {
        total += lv[i];
        index = i;
        // cout << index << " " << lv[i] << " " << total << " " << endl;
        // [input]
        // 4 5
        // 1 2 3 4
        // 
        // [output]
        // 5
        // 0 1 1 
        // 1 2 3 
        // 2 3 6 
        // 2
        // 0 1 1 
        // 1
        // -> 1 2 3 4 の 4 について, noNeedCards関数で, 評価される前に, 
        // Skipしてしまうことが, Wrong Answer の 原因と推定される.
        // -> よって, 以下のif文をコメントアウトした.
        // if(total >= K) break;    // 2_042.txt の Wrong Answer対策.
    }
    
    // 1-4. K に 満たない場合は, lv に 保管したカードの枚数だけ不要なので, それを出力.
    if(total < K)  return lv.size();

    // 1-5. K に 等しい場合は, すべてのカードが必要となるので, 不要なカードは, 0枚.
    if(total == K) return 0;

    // 1-6. K より 大きい場合は, 本関数を再帰呼び出しする.
    K -= lv[index];
    lv.resize(index);
    return noNeedCards(lv, K);
    
}

int main() {

    // 1. 入力情報取得.
    LL N, K;
    cin >> N >> K;
    vector<LL> v;
    FOR(i, 0, N) {
        // ai >= K は, Skip.
        LL a;
        cin >> a;
        if(a < K) v.push_back(a);
    }
    
    // 2. K より 大きい場合は, 以下の内容を調べることになる.
    // 2-1. v を 昇順sort.
    sort(v.begin(), v.end());
    
    // 2-2. 不要なカードの枚数を調べる.
    LL ans = noNeedCards(v, K);
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

typedef long long LL;

// 不要なカードの枚数を調査し, 返却.

// @param v: カードに書かれている数字の集合.

// @param K: カードの部分集合に関する判定基準.

// @return ans: 不要なカードの枚数.

LL noNeedCards(vector<LL> &v, LL K) {

// 1-1. K がゼロ未満の場合は, v に保管したカードの枚数だけ不要なので, それを出力.

// if(K <= 0) return v.size(); // 2_042.txt の Wrong Answer対策.

if(K < 0) return v.size();

// 1-2. v の要素で, K以上を除外.

// 0_002.txt の Wrong Answer対策.

vector<LL> lv;

for(auto &p : v) if(p < K) lv.push_back(p); // p >= K は, Skip.

// 1-3. v について, Σvi を確認し, K を超えるときの vi を把握.

LL total = 0;

LL index = 0;

// cout << K << endl;

FOR(i, 0, lv.size()) {

total += lv[i];

index = i;

// cout << index << " " << lv[i] << " " << total << " " << endl;

// [input]

// 4 5

// 1 2 3 4

// [output]

// 5

// 0 1 1

// 1 2 3

// 2 3 6

// 2

// 0 1 1

// 1

// -> 1 2 3 4 の 4 について, noNeedCards関数で, 評価される前に,

// Skipしてしまうことが, Wrong Answer の原因と推定される.

// -> よって, 以下のif文をコメントアウトした.

// if(total >= K) break; // 2_042.txt の Wrong Answer対策.

}

// 1-4. K に満たない場合は, lv に保管したカードの枚数だけ不要なので, それを出力.

if(total < K) return lv.size();

// 1-5. K に等しい場合は, すべてのカードが必要となるので, 不要なカードは, 0枚.

if(total == K) return 0;

// 1-6. K より大きい場合は, 本関数を再帰呼び出しする.

K -= lv[index];

lv.resize(index);

return noNeedCards(lv, K);

}

int main() {

// 1. 入力情報取得.

LL N, K;

cin >> N >> K;

vector<LL> v;

FOR(i, 0, N) {

// ai >= K は, Skip.

LL a;

cin >> a;

if(a < K) v.push_back(a);

}

// 2. K より大きい場合は, 以下の内容を調べることになる.

// 2-1. v を昇順sort.

sort(v.begin(), v.end());

// 2-2. 不要なカードの枚数を調べる.

LL ans = noNeedCards(v, K);

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■デバッグ出力例(問題D／AC版).
[入力例] について, 最初から3つ目までを, 本家のサイトから, 抜粋している.

[入力例]
3 6
1 4 3

[出力例]
6
0 1 1 
1 3 4 
2 4 8 
2
0 1 1 
1
-> 上記, 1 が解答となる.

[入力例]
5 400
3 1 4 1 5

[出力例]
400
0 1 1 
1 1 2 
2 3 5 
3 4 9 
4 5 14 
5
-> 上記, 5 が解答となる.

[入力例]
6 20
10 4 3 10 25 2

[出力例]
20
0 2 2 
1 3 5 
2 4 9 
3 10 19 
4 10 29 
10
0 2 2 
1 3 5 
2 4 9 
3
-> 上記, 3 が解答となる.

[入力例]
4 5
1 2 3 4

[出力例]
5
0 1 1 
1 2 3 
2 3 6 
3 4 10 
1
0
-> 上記, 0 が解答となる.

[入力例]
5 10
1 3 5 7 9

[出力例]
10
0 1 1 
1 3 4 
2 5 9 
3 7 16 
4 9 25 
1
0
-> 上記, 0 が解答となる.

[入力例]
8 16
1 2 3 4 5 16 16 16

[出力例]
16
0 1 1 
1 2 3 
2 3 6 
3 4 10 
4 5 15 
5
-> 上記, 5 が解答となる.

[入力例]

3 6

1 4 3

[出力例]

0 1 1

1 3 4

2 4 8

0 1 1

-> 上記, 1 が解答となる.

[入力例]

5 400

3 1 4 1 5

[出力例]

400

0 1 1

1 1 2

2 3 5

3 4 9

4 5 14

-> 上記, 5 が解答となる.

[入力例]

6 20

10 4 3 10 25 2

[出力例]

0 2 2

1 3 5

2 4 9

3 10 19

4 10 29

0 2 2

1 3 5

2 4 9

-> 上記, 3 が解答となる.

[入力例]

4 5

1 2 3 4

[出力例]

0 1 1

1 2 3

2 3 6

3 4 10

-> 上記, 0 が解答となる.

[入力例]

5 10

1 3 5 7 9

[出力例]

0 1 1

1 3 4

2 5 9

3 7 16

4 9 25

-> 上記, 0 が解答となる.

[入力例]

8 16

1 2 3 4 5 16 16 16

[出力例]

0 1 1

1 2 3

2 3 6

3 4 10

4 5 15

-> 上記, 5 が解答となる.

■参照サイト
AtCoder Beginner Contest 056

2018年11月1日

PyTorch の動作確認をしてみた（１２）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 4.4 CNN回帰モデルによる画像の高解像化(P.088 – P.092) である。

※1. プログラムの詳細は, 書籍を参考(P.088 – P.092)にして下さい.
※2. 書籍上は, 訓練したCNNモデルの保存／ロードについて, 記載されてなかったので, 動作確認時に, 参照サイト① ～参照サイト③ を参考に, プログラムを追記した.
-> なお, 訓練時に, epoch = 10 で, 800秒以上かかることが分かったため, 訓練したCNNモデルを, 保存したいという動機があったためである.
※3. 高解像度化の動作確認は, 訓練したCNNモデルをロードする形で行ったので, 非常に短時間(1秒未満)で, 画像ファイルの出力を確認できた.

■CNNの訓練(書籍CNNの訓練を抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torchvision.datasets import ImageFolder
from torchvision import transforms
from torch.utils.data import DataLoader
import time, math, os
from tqdm import tqdm
import shutil

# 2. to save torch model.
# Best way to save a trained model in PyTorch?
# https://stackoverflow.com/questions/42703500/best-way-to-save-a-trained-model-in-pytorch
# 
# pytorch/examples
# https://github.com/pytorch/examples/blob/0984955bb8525452d1c0e4d14499756eae76755b/imagenet/main.py#L139-L145
def save_checkpoint(state, is_best, filename='checkpoint.pth.tar'):
    torch.save(state, filename)
    if is_best:
        shutil.copyfile(filename, 'model_best.pth.tar')

～(略)～

# 4. declare a training helper function.
def train_net(net, train_loader, test_loader, save_model_file_name,
        optimizer_cls = optim.Adam,
        loss_fn = nn.MSELoss(),
        n_iter = 10, device = "cpu"):
    train_losses, val_acc = [], []
    optimizer = optimizer_cls(net.parameters())
    best_prec1 = 0
～(略)～

        # Best way to save a trained model in PyTorch?
        # https://stackoverflow.com/questions/42703500/best-way-to-save-a-trained-model-in-pytorch
        # 
        # pytorch/examples
        # https://github.com/pytorch/examples/blob/0984955bb8525452d1c0e4d14499756eae76755b/imagenet/main.py#L139-L145
        prec1 = val_acc[-1]
        is_best = prec1 > best_prec1
        best_prec1 = max(prec1, best_prec1)
        save_checkpoint({
            'epoch': epoch + 1,
            'state_dict': net.state_dict(),
            'best_prec1': best_prec1,
            'optimizer' : optimizer.state_dict(),
        }, is_best, filename=save_model_file_name)

～(略)～

# 6. get training data and test data.
start = time.time()
folder_path = os.path.expanduser('~')
folder_path = folder_path + '\\.spyder-py3\\pytorch\\lfw-deepfunneled'
train_data = DownSizedPairImageFolder(folder_path + "\\train", 
            transform=transforms.ToTensor())
test_data = DownSizedPairImageFolder(folder_path + "\\test", 
            transform=transforms.ToTensor())

# 7. Create DataLoader with a batch size of 32 respectively.
batch_size = 32
train_loader = DataLoader(train_data, batch_size=batch_size, shuffle=True)
test_loader = DataLoader(test_data, batch_size=batch_size, shuffle=False)

# 8. declare network.
# torch.nn
# https://pytorch.org/docs/stable/nn.html#torch.nn.ConvTranspose2d
# ex.
# Input:  torch.Size([1, 3, 128, 128])
# Output: torch.Size([1, 3, 512, 512])
net = nn.Sequential(
    # 次元の計算について, 公式サイト通りとする.
    # ex. 
    # kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3
    # kernel_size = 5      ならば, kernel_size[0] = 5, kernel_size[1] = 5
    # padding = (3, 5)     ならば, padding[0] = 3, padding[1] = 5
    # padding = 2          ならば, padding[0] = 2, padding[1] = 2
    # stride = (4, 5)      ならば, stride[0] = 4, stride[1] = 5
    # stride = 3           ならば, stride[0] = 3, stride[1] = 3
    # dilation は, ここでは, 初期値 (1, 1) を 使用するため, dilation[0] = 1, dilation[1] = 1
    # output_padding は, ここでは, 初期値 0 を 使用するため, output_padding[0] = 0, output_padding[1] = 0
    
    # Conv2d
    # Input:  (N, Cin, Hin, Win)
    # Output: (N, Cout, Hout, Wout)
    # Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1
    # Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

    # ConvTranspose2d
    # Input:  (N, Cin, Hin, Win)
    # Output: (N, Cout, Hout, Wout)
    # Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]
    # Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]
    
～(略)～

    # 4. ConvTranspose2d
    # Input:  (1, 64, 256, 256)
    # Hout =  (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512
    # Wout =  (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512
    # Output: (1, 3, 512, 512)
    nn.ConvTranspose2d(64, 3, 4, stride = 2, padding = 1),
    
)
 
# 9. execute training
net.to("cuda:0")
save_model_file_name = folder_path + '\\checkpoint.pth.tar'
train_net(net, train_loader, test_loader, save_model_file_name, device = "cuda:0")

# 10. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torchvision.datasets import ImageFolder

from torchvision import transforms

from torch.utils.data import DataLoader

import time, math, os

from tqdm import tqdm

import shutil

# 2. to save torch model.

# Best way to save a trained model in PyTorch?

# https://stackoverflow.com/questions/42703500/best-way-to-save-a-trained-model-in-pytorch

# pytorch/examples

# https://github.com/pytorch/examples/blob/0984955bb8525452d1c0e4d14499756eae76755b/imagenet/main.py#L139-L145

def save_checkpoint(state, is_best, filename='checkpoint.pth.tar'):

torch.save(state, filename)

if is_best:

shutil.copyfile(filename, 'model_best.pth.tar')

～(略)～

# 4. declare a training helper function.

def train_net(net, train_loader, test_loader, save_model_file_name,

optimizer_cls = optim.Adam,

loss_fn = nn.MSELoss(),

n_iter = 10, device = "cpu"):

train_losses, val_acc = [], []

optimizer = optimizer_cls(net.parameters())

best_prec1 = 0

～(略)～

# Best way to save a trained model in PyTorch?

# https://stackoverflow.com/questions/42703500/best-way-to-save-a-trained-model-in-pytorch

# pytorch/examples

# https://github.com/pytorch/examples/blob/0984955bb8525452d1c0e4d14499756eae76755b/imagenet/main.py#L139-L145

prec1 = val_acc[-1]

is_best = prec1 > best_prec1

best_prec1 = max(prec1, best_prec1)

save_checkpoint({

'epoch': epoch + 1,

'state_dict': net.state_dict(),

'best_prec1': best_prec1,

'optimizer' : optimizer.state_dict(),

}, is_best, filename=save_model_file_name)

～(略)～

# 6. get training data and test data.

start = time.time()

folder_path = os.path.expanduser('~')

folder_path = folder_path + '\\.spyder-py3\\pytorch\\lfw-deepfunneled'

train_data = DownSizedPairImageFolder(folder_path + "\\train",

transform=transforms.ToTensor())

test_data = DownSizedPairImageFolder(folder_path + "\\test",

transform=transforms.ToTensor())

# 7. Create DataLoader with a batch size of 32 respectively.

batch_size = 32

train_loader = DataLoader(train_data, batch_size=batch_size, shuffle=True)

test_loader = DataLoader(test_data, batch_size=batch_size, shuffle=False)

# 8. declare network.

# torch.nn

# https://pytorch.org/docs/stable/nn.html#torch.nn.ConvTranspose2d

# ex.

# Input: torch.Size([1, 3, 128, 128])

# Output: torch.Size([1, 3, 512, 512])

net = nn.Sequential(

# 次元の計算について, 公式サイト通りとする.

# ex.

# kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3

# kernel_size = 5 ならば, kernel_size[0] = 5, kernel_size[1] = 5

# padding = (3, 5) ならば, padding[0] = 3, padding[1] = 5

# padding = 2 ならば, padding[0] = 2, padding[1] = 2

# stride = (4, 5) ならば, stride[0] = 4, stride[1] = 5

# stride = 3 ならば, stride[0] = 3, stride[1] = 3

# dilation は, ここでは, 初期値 (1, 1) を使用するため, dilation[0] = 1, dilation[1] = 1

# output_padding は, ここでは, 初期値 0 を使用するため, output_padding[0] = 0, output_padding[1] = 0

# Conv2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1

# Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

# ConvTranspose2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]

# Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]

～(略)～

# 4. ConvTranspose2d

# Input: (1, 64, 256, 256)

# Hout = (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512

# Wout = (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512

# Output: (1, 3, 512, 512)

nn.ConvTranspose2d(64, 3, 4, stride = 2, padding = 1),

)

# 9. execute training

net.to("cuda:0")

save_model_file_name = folder_path + '\\checkpoint.pth.tar'

train_net(net, train_loader, test_loader, save_model_file_name, device = "cuda:0")

# 10. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

100%|██████████| 409/409 [01:21<00:00,  6.13it/s]
0 0.014687953655173077 18.33038706467884 24.7860811423676
100%|██████████| 409/409 [01:18<00:00,  5.31it/s]
1 0.003026380704050943 25.190764407316067 26.22962871283715
100%|██████████| 409/409 [01:19<00:00,  6.08it/s]
2 0.0028060169180076397 25.519097148560505 26.402582314008022
100%|██████████| 409/409 [01:19<00:00,  5.14it/s]
3 0.0025529012736957746 25.929659799933184 26.431970727737788
100%|██████████| 409/409 [01:19<00:00,  5.91it/s]
4 0.0024290909298438313 26.14556227644325 25.60002797809263
100%|██████████| 409/409 [01:19<00:00,  5.13it/s]
5 0.002380632517590645 26.233076385723564 26.9437039437746
100%|██████████| 409/409 [01:19<00:00,  6.03it/s]
6 0.002286262329767998 26.4087393936757 27.172655655185363
100%|██████████| 409/409 [01:19<00:00,  5.36it/s]
7 0.0022002258360804875 26.575327399369503 27.21442603141393
100%|██████████| 409/409 [01:19<00:00,  5.68it/s]
8 0.002206177676715922 26.563595141487912 26.89212311452963
100%|██████████| 409/409 [01:20<00:00,  5.75it/s]
9 0.002144348673001023 26.68704596568539 27.371439209672104
--------------------------------------------------
Elapsed Time: 804.4375095367432[sec]

100%|██████████| 409/409 [01:21<00:00, 6.13it/s]

0 0.014687953655173077 18.33038706467884 24.7860811423676

100%|██████████| 409/409 [01:18<00:00, 5.31it/s]

1 0.003026380704050943 25.190764407316067 26.22962871283715

100%|██████████| 409/409 [01:19<00:00, 6.08it/s]

2 0.0028060169180076397 25.519097148560505 26.402582314008022

100%|██████████| 409/409 [01:19<00:00, 5.14it/s]

3 0.0025529012736957746 25.929659799933184 26.431970727737788

100%|██████████| 409/409 [01:19<00:00, 5.91it/s]

4 0.0024290909298438313 26.14556227644325 25.60002797809263

100%|██████████| 409/409 [01:19<00:00, 5.13it/s]

5 0.002380632517590645 26.233076385723564 26.9437039437746

100%|██████████| 409/409 [01:19<00:00, 6.03it/s]

6 0.002286262329767998 26.4087393936757 27.172655655185363

100%|██████████| 409/409 [01:19<00:00, 5.36it/s]

7 0.0022002258360804875 26.575327399369503 27.21442603141393

100%|██████████| 409/409 [01:19<00:00, 5.68it/s]

8 0.002206177676715922 26.563595141487912 26.89212311452963

100%|██████████| 409/409 [01:20<00:00, 5.75it/s]

9 0.002144348673001023 26.68704596568539 27.371439209672104

--------------------------------------------------

Elapsed Time: 804.4375095367432[sec]

■CNNモデルによる高解像度化の動作確認(書籍上の高解像度化の内容を抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torchvision.utils import save_image
from torch import nn, optim
from torchvision.datasets import ImageFolder
from torchvision import transforms
from torch.utils.data import DataLoader
import time, os

# 2. declare network.
# torch.nn
# https://pytorch.org/docs/stable/nn.html#torch.nn.ConvTranspose2d
# ex.
# Input:  torch.Size([1, 3, 128, 128])
# Output: torch.Size([1, 3, 512, 512])
net = nn.Sequential(
    # 次元の計算について, 公式サイト通りとする.
    # ex. 
    # kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3
    # kernel_size = 5      ならば, kernel_size[0] = 5, kernel_size[1] = 5
    # padding = (3, 5)     ならば, padding[0] = 3, padding[1] = 5
    # padding = 2          ならば, padding[0] = 2, padding[1] = 2
    # stride = (4, 5)      ならば, stride[0] = 4, stride[1] = 5
    # stride = 3           ならば, stride[0] = 3, stride[1] = 3
    # dilation は, ここでは, 初期値 (1, 1) を 使用するため, dilation[0] = 1, dilation[1] = 1
    # output_padding は, ここでは, 初期値 0 を 使用するため, output_padding[0] = 0, output_padding[1] = 0
    
    # Conv2d
    # Input:  (N, Cin, Hin, Win)
    # Output: (N, Cout, Hout, Wout)
    # Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1
    # Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

    # ConvTranspose2d
    # Input:  (N, Cin, Hin, Win)
    # Output: (N, Cout, Hout, Wout)
    # Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]
    # Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]
    
    
～(略)～

    # 4. ConvTranspose2d
    # Input:  (1, 64, 256, 256)
    # Hout =  (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512
    # Wout =  (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512
    # Output: (1, 3, 512, 512)
    nn.ConvTranspose2d(64, 3, 4, stride = 2, padding = 1),
    
)

～(略)～

# 6. enlarge with Bilinear.
# warnings.warn("nn.functional.upsample is deprecated. Use nn.functional.interpolate instead.")
# bl_recon = torch.nn.functional.upsample(x, 128, mode = "bilinear", align_corners = True)
bl_recon = torch.nn.functional.interpolate(x, 128, mode = "bilinear", align_corners = True)

# 7. enlarge with CNN.
# RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same
# -> net.to("cuda:0") を 追加して, 上記 error を 回避した.
net.to("cuda:0")
# Saving and loading a model in Pytorch?
# https://discuss.pytorch.org/t/saving-and-loading-a-model-in-pytorch/2610/49
# -> 上記サイトを確認後, 以下のような形で, 保存したCNNモデルを呼び出す形で対応した.
checkpoint = torch.load(folder_path + '\\checkpoint.pth.tar')
net.load_state_dict(checkpoint['state_dict'])
optimizer = optim.Adam(net.parameters())
optimizer.load_state_dict(checkpoint['optimizer']) 
cnn_recon = net(x.to("cuda:0")).to("cpu")

# 8. combine the image of original, and of Bilinear, and of CNN by torch.cat and 
# write it out to the image file with save_image.
save_image(torch.cat([y, bl_recon, cnn_recon], 0), folder_path + "\\cnn_upscale.jpg", nrow = 5)

# 9. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torchvision.utils import save_image

from torch import nn, optim

from torchvision.datasets import ImageFolder

from torchvision import transforms

from torch.utils.data import DataLoader

import time, os

# 2. declare network.

# torch.nn

# https://pytorch.org/docs/stable/nn.html#torch.nn.ConvTranspose2d

# ex.

# Input: torch.Size([1, 3, 128, 128])

# Output: torch.Size([1, 3, 512, 512])

net = nn.Sequential(

# 次元の計算について, 公式サイト通りとする.

# ex.

# kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3

# kernel_size = 5 ならば, kernel_size[0] = 5, kernel_size[1] = 5

# padding = (3, 5) ならば, padding[0] = 3, padding[1] = 5

# padding = 2 ならば, padding[0] = 2, padding[1] = 2

# stride = (4, 5) ならば, stride[0] = 4, stride[1] = 5

# stride = 3 ならば, stride[0] = 3, stride[1] = 3

# dilation は, ここでは, 初期値 (1, 1) を使用するため, dilation[0] = 1, dilation[1] = 1

# output_padding は, ここでは, 初期値 0 を使用するため, output_padding[0] = 0, output_padding[1] = 0

# Conv2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1

# Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

# ConvTranspose2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]

# Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]

～(略)～

# 4. ConvTranspose2d

# Input: (1, 64, 256, 256)

# Hout = (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512

# Wout = (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512

# Output: (1, 3, 512, 512)

nn.ConvTranspose2d(64, 3, 4, stride = 2, padding = 1),

)

～(略)～

# 6. enlarge with Bilinear.

# warnings.warn("nn.functional.upsample is deprecated. Use nn.functional.interpolate instead.")

# bl_recon = torch.nn.functional.upsample(x, 128, mode = "bilinear", align_corners = True)

bl_recon = torch.nn.functional.interpolate(x, 128, mode = "bilinear", align_corners = True)

# 7. enlarge with CNN.

# RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same

# -> net.to("cuda:0") を追加して, 上記 error を回避した.

net.to("cuda:0")

# Saving and loading a model in Pytorch?

# https://discuss.pytorch.org/t/saving-and-loading-a-model-in-pytorch/2610/49

# -> 上記サイトを確認後, 以下のような形で, 保存したCNNモデルを呼び出す形で対応した.

checkpoint = torch.load(folder_path + '\\checkpoint.pth.tar')

net.load_state_dict(checkpoint['state_dict'])

optimizer = optim.Adam(net.parameters())

optimizer.load_state_dict(checkpoint['optimizer'])

cnn_recon = net(x.to("cuda:0")).to("cpu")

# 8. combine the image of original, and of Bilinear, and of CNN by torch.cat and

# write it out to the image file with save_image.

save_image(torch.cat([y, bl_recon, cnn_recon], 0), folder_path + "\\cnn_upscale.jpg", nrow = 5)

# 9. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果.

--------------------------------------------------
Elapsed Time: 0.3804628849029541[sec]

1 2	-------------------------------------------------- Elapsed Time: 0.3804628849029541[sec]

■以上の実行結果から, 以下のことが分かった.

1. CNNモデルのロード.
RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same
上記のようなerrorが出力されたため, net.to("cuda:0") をいったん呼び出す必要があることが分かった.

2. CNNモデルの保存先.
ここでは, [.spyder-py3\pytorch\lfw-deepfunneled]フォルダ内に, [checkpoint.pth.tar]ファイルとして, 保存された.

3. 高解像度化の出力画像の保存先.
ここでは, [.spyder-py3\pytorch\lfw-deepfunneled]フォルダ内に, [cnn_upscale.jpg]ファイルとして, 保存された.

4. 警告.
torch.nn.functional.upsample で, warnings が出力されたので, torch.nn.functional.interpolate で, 動作確認した.

1. CNNモデルのロード.

RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same

上記のようなerrorが出力されたため, net.to("cuda:0") をいったん呼び出す必要があることが分かった.

2. CNNモデルの保存先.

ここでは, [.spyder-py3\pytorch\lfw-deepfunneled]フォルダ内に, [checkpoint.pth.tar]ファイルとして, 保存された.

3. 高解像度化の出力画像の保存先.

ここでは, [.spyder-py3\pytorch\lfw-deepfunneled]フォルダ内に, [cnn_upscale.jpg]ファイルとして, 保存された.

4. 警告.

torch.nn.functional.upsample で, warnings が出力されたので, torch.nn.functional.interpolate で, 動作確認した.

■参照サイト
【参照URL①】Saving and loading a model in Pytorch?
【参照URL②】pytorch/examples
【参照URL③】Best way to save a trained model in PyTorch?

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年10月31日

C++ の動作確認をしてみた（３０）

C++の練習を兼ねて, AtCoder Beginner Contest 055 の問題C（Scc Puzzle), 問題D（Menagerie) を解いてみた.

■感想.
問題C, 問題D ともに, 時間はかかったもの(※特に, 問題D)の, 解説見ずに解けたので, 良かったと思う.
※結局, 解説と同じ方針だった.

本家のサイトABC055 / ARC069 解説をご覧下さい.

■C++版プログラム(問題C／AC版).

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

int main() {
    
    // 1. 入力情報取得.
    LL N, M;
    cin >> N >> M;
    
    // 2. 'Scc' を 出来るだけ大量に生成する.
    LL ans  = 0;
    // 2-1. M <= 2 × N の 場合.
    if(M <= 2 * N)  ans = M / 2;
    // 2-2. M > 2 × N の場合.
    // (M - 2 * N)個 の 'c' から 'Scc' を 1組を作るのに, 4つずつ消費するため, 4で割ることになる.
    else            ans = N + (M - 2 * N) / 4;
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

int main() {

// 1. 入力情報取得.

LL N, M;

cin >> N >> M;

// 2. 'Scc' を出来るだけ大量に生成する.

LL ans = 0;

// 2-1. M <= 2 × N の場合.

if(M <= 2 * N) ans = M / 2;

// 2-2. M > 2 × N の場合.

// (M - 2 * N)個の 'c' から 'Scc' を 1組を作るのに, 4つずつ消費するため, 4で割ることになる.

else ans = N + (M - 2 * N) / 4;

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■C++版プログラム(問題D／AC版).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

// 与えられた文字から, 次の文字を判定.
// @param csw: 現在の文字.
// @param bsw: 前回の文字.
// @param ox:  'o' or 'x'.
// @return :   'S' or 'W' or 'A' を 返却.
char update(char csw, char bsw, char ox) {
    
    // 前回の文字 と 異なる文字 を 設定.
    char invbsw = (bsw == 'S') ? 'W' : 'S';
    
    // csw == 'S' かつ ox == 'o' の 場合.
    if(csw == 'S' && ox == 'o') return bsw;

    // csw == 'S' かつ ox == 'x' の 場合.
    if(csw == 'S' && ox == 'x') return invbsw;

    // csw == 'W' かつ ox == 'o' の 場合.
    if(csw == 'W' && ox == 'o') return invbsw;

    // csw == 'W' かつ ox == 'x' の 場合.
    if(csw == 'W' && ox == 'x') return bsw;
    
    // 上記以外の場合.
    return 'A';

}

int main() {

    // 1. 入力情報取得.
    int N;
    string S;
    cin >> N;
    cin >> S;
    
    // 2. 文字列 S1 ～ S4 を設定.
    // ex)
    // N = 3 の 場合.
    // S1 = "SSAAA" … SSを先頭とする文字列.
    // S2 = "SWAAA" … SWを先頭とする文字列.
    // S3 = "WSAAA" … WSを先頭とする文字列.
    // S4 = "WWAAA" … WWを先頭とする文字列.
    string S1, S2, S3, S4, A;
    FOR(i, 0, N) A += 'A';
    S1 = "SS" + A;
    S2 = "SW" + A;
    S3 = "WS" + A;
    S4 = "WW" + A;
    
    // 3. 文字列 S1 ～ S4 を更新.
    // 3-1. S1 ～ S4更新.
    FOR(i, 1, N + 1) {
        S1[i + 1] = update(S1[i], S1[i - 1], S[i - 1]);
        S2[i + 1] = update(S2[i], S2[i - 1], S[i - 1]);
        S3[i + 1] = update(S3[i], S3[i - 1], S[i - 1]);
        S4[i + 1] = update(S4[i], S4[i - 1], S[i - 1]);
    }
    
    // cout << S1 << endl;
    // cout << S2 << endl;
    // cout << S3 << endl;
    // cout << S4 << endl;
    
    // 3-2. S1 ～ S4判定.
    bool b1 = (S1[0] == S1[N] && S1[1] == S1[N + 1]) ? true : false;
    bool b2 = (S2[0] == S2[N] && S2[1] == S2[N + 1]) ? true : false;
    bool b3 = (S3[0] == S3[N] && S3[1] == S3[N + 1]) ? true : false;
    bool b4 = (S4[0] == S4[N] && S4[1] == S4[N + 1]) ? true : false;

    // 3-3. S1 ～ S4 の 先頭文字, 最終文字を削除.
    S1.erase(S1.begin());
    S1.pop_back();
    S2.erase(S2.begin());
    S2.pop_back();
    S3.erase(S3.begin());
    S3.pop_back();
    S4.erase(S4.begin());
    S4.pop_back();
    
    // 4. 出力 ～ 後処理.
    if(b1)                       cout << S1 << endl;
    if(!b1 && b2)                cout << S2 << endl;
    if(!b1 && !b2 && b3)         cout << S3 << endl;
    if(!b1 && !b2 && !b3 && b4)  cout << S4 << endl;
    if(!b1 && !b2 && !b3 && !b4) cout << -1 << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

// 与えられた文字から, 次の文字を判定.

// @param csw: 現在の文字.

// @param bsw: 前回の文字.

// @param ox: 'o' or 'x'.

// @return : 'S' or 'W' or 'A' を返却.

char update(char csw, char bsw, char ox) {

// 前回の文字と異なる文字を設定.

char invbsw = (bsw == 'S') ? 'W' : 'S';

// csw == 'S' かつ ox == 'o' の場合.

if(csw == 'S' && ox == 'o') return bsw;

// csw == 'S' かつ ox == 'x' の場合.

if(csw == 'S' && ox == 'x') return invbsw;

// csw == 'W' かつ ox == 'o' の場合.

if(csw == 'W' && ox == 'o') return invbsw;

// csw == 'W' かつ ox == 'x' の場合.

if(csw == 'W' && ox == 'x') return bsw;

// 上記以外の場合.

return 'A';

}

int main() {

// 1. 入力情報取得.

int N;

string S;

cin >> N;

cin >> S;

// 2. 文字列 S1 ～ S4 を設定.

// ex)

// N = 3 の場合.

// S1 = "SSAAA" … SSを先頭とする文字列.

// S2 = "SWAAA" … SWを先頭とする文字列.

// S3 = "WSAAA" … WSを先頭とする文字列.

// S4 = "WWAAA" … WWを先頭とする文字列.

string S1, S2, S3, S4, A;

FOR(i, 0, N) A += 'A';

S1 = "SS" + A;

S2 = "SW" + A;

S3 = "WS" + A;

S4 = "WW" + A;

// 3. 文字列 S1 ～ S4 を更新.

// 3-1. S1 ～ S4更新.

FOR(i, 1, N + 1) {

S1[i + 1] = update(S1[i], S1[i - 1], S[i - 1]);

S2[i + 1] = update(S2[i], S2[i - 1], S[i - 1]);

S3[i + 1] = update(S3[i], S3[i - 1], S[i - 1]);

S4[i + 1] = update(S4[i], S4[i - 1], S[i - 1]);

}

// cout << S1 << endl;

// cout << S2 << endl;

// cout << S3 << endl;

// cout << S4 << endl;

// 3-2. S1 ～ S4判定.

bool b1 = (S1[0] == S1[N] && S1[1] == S1[N + 1]) ? true : false;

bool b2 = (S2[0] == S2[N] && S2[1] == S2[N + 1]) ? true : false;

bool b3 = (S3[0] == S3[N] && S3[1] == S3[N + 1]) ? true : false;

bool b4 = (S4[0] == S4[N] && S4[1] == S4[N + 1]) ? true : false;

// 3-3. S1 ～ S4 の先頭文字, 最終文字を削除.

S1.erase(S1.begin());

S1.pop_back();

S2.erase(S2.begin());

S2.pop_back();

S3.erase(S3.begin());

S3.pop_back();

S4.erase(S4.begin());

S4.pop_back();

// 4. 出力～後処理.

if(b1) cout << S1 << endl;

if(!b1 && b2) cout << S2 << endl;

if(!b1 && !b2 && b3) cout << S3 << endl;

if(!b1 && !b2 && !b3 && b4) cout << S4 << endl;

if(!b1 && !b2 && !b3 && !b4) cout << -1 << endl;

return 0;

}

■参照サイト
AtCoder Beginner Contest 055

2018年10月30日

PyTorch の動作確認をしてみた（１１）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 4.4 CNN回帰モデルによる画像の高解像化(P.083 – P.088) である。

※1. プログラムの詳細は、書籍を参考(P.083 – P.088)にして下さい。
※2. ConvTranspose2d が出てきたので, 改めて本家のサイトを確認し, プログラム上に, 計算式等をメモした.

■CNN回帰モデル(書籍CNNモデルを抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torchvision.datasets import ImageFolder
from torchvision import transforms
from torch.utils.data import DataLoader
import os, time

～(略)～

# 4. declare network.
# torch.nn
# https://pytorch.org/docs/stable/nn.html#torch.nn.ConvTranspose2d
# ex.
# Input:  torch.Size([1, 3, 128, 128])
# Output: torch.Size([1, 3, 512, 512])
net = nn.Sequential(
    # 次元の計算について, 公式サイト通りとする.
    # ex. 
    # kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3
    # kernel_size = 5      ならば, kernel_size[0] = 5, kernel_size[1] = 5
    # padding = (3, 5)     ならば, padding[0] = 3, padding[1] = 5
    # padding = 2          ならば, padding[0] = 2, padding[1] = 2
    # stride = (4, 5)      ならば, stride[0] = 4, stride[1] = 5
    # stride = 3           ならば, stride[0] = 3, stride[1] = 3
    # dilation は, ここでは, 初期値 (1, 1) を 使用するため, dilation[0] = 1, dilation[1] = 1
    # output_padding は, ここでは, 初期値 0 を 使用するため, output_padding[0] = 0, output_padding[1] = 0
    
    # Conv2d
    # Input:  (N, Cin, Hin, Win)
    # Output: (N, Cout, Hout, Wout)
    # Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1
    # Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

    # ConvTranspose2d
    # Input:  (N, Cin, Hin, Win)
    # Output: (N, Cout, Hout, Wout)
    # Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]
    # Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]
    
    # 1. Conv2d
    # Input:  (1, 3, 128, 128)
    # Hout =  (128 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 64
    # Wout =  (128 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 64
    # Output: (1, 256, 64, 64)
    nn.Conv2d(3, 256, 4, stride = 2, padding = 1),
    nn.ReLU(),

    # 1. BatchNorm2d
    # same shape as input.
    # Input:  (1, 256, 64, 64)
    # Output: (1, 256, 64, 64)
    nn.BatchNorm2d(256),

    # 2. Conv2d
    # Input:  (1, 256, 64, 64)
    # Hout =  (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32
    # Wout =  (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32
    # Output: (1, 512, 32, 32)
    nn.Conv2d(256, 512, 4, stride = 2, padding = 1),
    nn.ReLU(),
    
    # 2. BatchNorm2d
    # same shape as input.
    # Input:  (1, 512, 32, 32)
    # Output: (1, 512, 32, 32)
    nn.BatchNorm2d(512),

    # 1. ConvTranspose2d
    # Input:  (1, 512, 32, 32)
    # Hout =  (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64
    # Wout =  (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64
    # Output: (1, 256, 64, 64)
    nn.ConvTranspose2d(512, 256, 4, stride = 2, padding = 1),
    nn.ReLU(),
    
    # 1. BatchNorm2d
    # same shape as input.
    # Input:  (1, 256, 64, 64)
    # Output: (1, 256, 64, 64)
    nn.BatchNorm2d(256),
    
    # 2. ConvTranspose2d
    # Input:  (1, 256, 64, 64)
    # Hout =  (64 - 1) × 2 - 2 × 1 + 4 + 0 = 128
    # Wout =  (64 - 1) × 2 - 2 × 1 + 4 + 0 = 128
    # Output: (1, 128, 128, 128)
    nn.ConvTranspose2d(256, 128, 4, stride = 2, padding = 1),
    nn.ReLU(),
    
    # 2. BatchNorm2d
    # same shape as input.
    # Input:  (1, 128, 128, 128)
    # Output: (1, 128, 128, 128)
    nn.BatchNorm2d(128),

    # 3. ConvTranspose2d
    # Input:  (1, 128, 128, 128)
    # Hout =  (128 - 1) × 2 - 2 × 1 + 4 + 0 = 256
    # Wout =  (128 - 1) × 2 - 2 × 1 + 4 + 0 = 256
    # Output: (1, 64, 256, 256)
    nn.ConvTranspose2d(128, 64, 4, stride = 2, padding = 1),
    nn.ReLU(),
    
    # 3. BatchNorm2d
    # same shape as input.
    # Input:  (1, 64, 256, 256)
    # Output: (1, 64, 256, 256)
    nn.BatchNorm2d(64),

    # 4. ConvTranspose2d
    # Input:  (1, 64, 256, 256)
    # Hout =  (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512
    # Wout =  (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512
    # Output: (1, 3, 512, 512)
    nn.ConvTranspose2d(64, 3, 4, stride = 2, padding = 1),
    
)

# 5. dummy data.
test_input = torch.ones(1, 3, 128, 128)
conv_output_size = net(test_input).size()
print('-input size --------------------------------------')
print(test_input.size())
print('-net----------------------------------------------')
print(net)
print('-output size--------------------------------------')
print(conv_output_size)

# 6. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torchvision.datasets import ImageFolder

from torchvision import transforms

from torch.utils.data import DataLoader

import os, time

～(略)～

# 4. declare network.

# torch.nn

# https://pytorch.org/docs/stable/nn.html#torch.nn.ConvTranspose2d

# ex.

# Input: torch.Size([1, 3, 128, 128])

# Output: torch.Size([1, 3, 512, 512])

net = nn.Sequential(

# 次元の計算について, 公式サイト通りとする.

# ex.

# kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3

# kernel_size = 5 ならば, kernel_size[0] = 5, kernel_size[1] = 5

# padding = (3, 5) ならば, padding[0] = 3, padding[1] = 5

# padding = 2 ならば, padding[0] = 2, padding[1] = 2

# stride = (4, 5) ならば, stride[0] = 4, stride[1] = 5

# stride = 3 ならば, stride[0] = 3, stride[1] = 3

# dilation は, ここでは, 初期値 (1, 1) を使用するため, dilation[0] = 1, dilation[1] = 1

# output_padding は, ここでは, 初期値 0 を使用するため, output_padding[0] = 0, output_padding[1] = 0

# Conv2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1

# Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

# ConvTranspose2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]

# Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]

# 1. Conv2d

# Input: (1, 3, 128, 128)

# Hout = (128 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 64

# Wout = (128 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 64

# Output: (1, 256, 64, 64)

nn.Conv2d(3, 256, 4, stride = 2, padding = 1),

nn.ReLU(),

# 1. BatchNorm2d

# same shape as input.

# Input: (1, 256, 64, 64)

# Output: (1, 256, 64, 64)

nn.BatchNorm2d(256),

# 2. Conv2d

# Input: (1, 256, 64, 64)

# Hout = (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32

# Wout = (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32

# Output: (1, 512, 32, 32)

nn.Conv2d(256, 512, 4, stride = 2, padding = 1),

nn.ReLU(),

# 2. BatchNorm2d

# same shape as input.

# Input: (1, 512, 32, 32)

# Output: (1, 512, 32, 32)

nn.BatchNorm2d(512),

# 1. ConvTranspose2d

# Input: (1, 512, 32, 32)

# Hout = (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64

# Wout = (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64

# Output: (1, 256, 64, 64)

nn.ConvTranspose2d(512, 256, 4, stride = 2, padding = 1),

nn.ReLU(),

# 1. BatchNorm2d

# same shape as input.

# Input: (1, 256, 64, 64)

# Output: (1, 256, 64, 64)

nn.BatchNorm2d(256),

# 2. ConvTranspose2d

# Input: (1, 256, 64, 64)

# Hout = (64 - 1) × 2 - 2 × 1 + 4 + 0 = 128

# Wout = (64 - 1) × 2 - 2 × 1 + 4 + 0 = 128

# Output: (1, 128, 128, 128)

nn.ConvTranspose2d(256, 128, 4, stride = 2, padding = 1),

nn.ReLU(),

# 2. BatchNorm2d

# same shape as input.

# Input: (1, 128, 128, 128)

# Output: (1, 128, 128, 128)

nn.BatchNorm2d(128),

# 3. ConvTranspose2d

# Input: (1, 128, 128, 128)

# Hout = (128 - 1) × 2 - 2 × 1 + 4 + 0 = 256

# Wout = (128 - 1) × 2 - 2 × 1 + 4 + 0 = 256

# Output: (1, 64, 256, 256)

nn.ConvTranspose2d(128, 64, 4, stride = 2, padding = 1),

nn.ReLU(),

# 3. BatchNorm2d

# same shape as input.

# Input: (1, 64, 256, 256)

# Output: (1, 64, 256, 256)

nn.BatchNorm2d(64),

# 4. ConvTranspose2d

# Input: (1, 64, 256, 256)

# Hout = (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512

# Wout = (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512

# Output: (1, 3, 512, 512)

nn.ConvTranspose2d(64, 3, 4, stride = 2, padding = 1),

)

# 5. dummy data.

test_input = torch.ones(1, 3, 128, 128)

conv_output_size = net(test_input).size()

print('-input size --------------------------------------')

print(test_input.size())

print('-net----------------------------------------------')

print(net)

print('-output size--------------------------------------')

print(conv_output_size)

# 6. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(input size = torch.Size([1, 3, 128, 128]) の場合).

-input size --------------------------------------
torch.Size([1, 3, 128, 128])
-net----------------------------------------------
Sequential(
  (0): Conv2d(3, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (1): ReLU()
  (2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (3): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (4): ReLU()
  (5): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (6): ConvTranspose2d(512, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (7): ReLU()
  (8): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (9): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (10): ReLU()
  (11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (12): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (13): ReLU()
  (14): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (15): ConvTranspose2d(64, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
)
-output size--------------------------------------
torch.Size([1, 3, 512, 512])
--------------------------------------------------
Elapsed Time: 1.847071886062622[sec]

-input size --------------------------------------

torch.Size([1, 3, 128, 128])

-net----------------------------------------------

Sequential(

(0): Conv2d(3, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(1): ReLU()

(2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(3): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(4): ReLU()

(5): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(6): ConvTranspose2d(512, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(7): ReLU()

(8): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(9): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(10): ReLU()

(11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(12): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(13): ReLU()

(14): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(15): ConvTranspose2d(64, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

)

-output size--------------------------------------

torch.Size([1, 3, 512, 512])

--------------------------------------------------

Elapsed Time: 1.847071886062622[sec]

■実行結果(input size = torch.Size([1, 3, 32, 32]) の場合).

-input size --------------------------------------
torch.Size([1, 3, 32, 32])
-net----------------------------------------------
Sequential(
  (0): Conv2d(3, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (1): ReLU()
  (2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (3): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (4): ReLU()
  (5): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (6): ConvTranspose2d(512, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (7): ReLU()
  (8): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (9): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (10): ReLU()
  (11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (12): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (13): ReLU()
  (14): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (15): ConvTranspose2d(64, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
)
-output size--------------------------------------
torch.Size([1, 3, 128, 128])
--------------------------------------------------
Elapsed Time: 1.452575922012329[sec]

-input size --------------------------------------

torch.Size([1, 3, 32, 32])

-net----------------------------------------------

Sequential(

(0): Conv2d(3, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(1): ReLU()

(2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(3): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(4): ReLU()

(5): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(6): ConvTranspose2d(512, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(7): ReLU()

(8): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(9): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(10): ReLU()

(11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(12): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(13): ReLU()

(14): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(15): ConvTranspose2d(64, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

)

-output size--------------------------------------

torch.Size([1, 3, 128, 128])

--------------------------------------------------

Elapsed Time: 1.452575922012329[sec]

■以上の実行結果から, 以下のことが分かった.

以下の内容の通り, 入力画像 の 縦・横サイズ が, それぞれ4倍に拡大されることを確認できた.
① 入力サイズ torch.Size([1, 3, 128, 128]) に対応する 出力サイズ は, torch.Size([1, 3, 512, 512]) となること.
※画像: 1枚 × (RGBのチャンネル)3種類 × (高)512px × (幅)512px に変換されるイメージ.

② 入力サイズ torch.Size([1, 3, 32, 32]) に対応する 出力サイズ は, torch.Size([1, 3, 128, 128]) となること.
※画像: 1枚 × (RGBのチャンネル)3種類 × (高)128px × (幅)128px に変換されるイメージ.

以下の内容の通り, 入力画像の縦・横サイズが, それぞれ4倍に拡大されることを確認できた.

① 入力サイズ torch.Size([1, 3, 128, 128]) に対応する出力サイズは, torch.Size([1, 3, 512, 512]) となること.

※画像: 1枚 × (RGBのチャンネル)3種類 × (高)512px × (幅)512px に変換されるイメージ.

② 入力サイズ torch.Size([1, 3, 32, 32]) に対応する出力サイズは, torch.Size([1, 3, 128, 128]) となること.

※画像: 1枚 × (RGBのチャンネル)3種類 × (高)128px × (幅)128px に変換されるイメージ.

■参照サイト
【参照URL①】torch.nn.Conv2d
【参照URL②】torch.nn.BatchNorm2d
【参照URL③】torch.nn.ConvTranspose2d

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年10月28日2018年10月30日

PyTorch の動作確認をしてみた（１０）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 4.3.1 転移学習(P.072 – P.082) である。

※1. プログラムの詳細は、書籍を参考(P.072 – P.082)にして下さい。
※2. 転移学習の挙動について, もう少し深めたかったので, 再度, 復習した.
※3. 画像を出力させるなどして, 再度動作確認してみた.

■転移学習(自作CNNモデル).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
import torchvision
from torch import nn, optim
from torch.utils.data import DataLoader
from torchvision.datasets import ImageFolder
from torchvision import transforms
from tqdm import tqdm
import numpy as np
import matplotlib.pyplot as plt
import time

# 2. display image function.
# TRANSFER LEARNING TUTORIAL
# https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html
def imshow(inp, title=None):
    """Imshow for Tensor."""
    inp = inp.numpy().transpose((1, 2, 0))
    # mean = np.array([0.485, 0.456, 0.406])
    # std = np.array([0.229, 0.224, 0.225])
    # inp = std * inp + mean
    # inp = np.clip(inp, 0, 1)
    plt.axis('off')
    plt.imshow(inp)
    if title is not None:
        plt.title(title)
    # plt.pause(0.001)  # pause a bit so that plots are updated

# 3. describe the model training function.
def eval_net(net, data_loader, device="cpu"):
～(略)～
    # calculate prediction accuracy.
    acc = (ys == ypreds).float().sum() / len(ys)
    # a = [1, 2, 3, 4, 5]
    # b = [1, 3, 4, 3, 5]
    # c = [i for i, j in zip(a, b) if i == j]
    # print(c) # [1, 5]
    # [index, i, j] は, 画像のindex, 正解ラベル, 予測ラベル の意味.
    correct, wrong = [], []
    for index, (i, j) in enumerate(zip(ys, ypreds)):
        if i == j:
            correct.append([index, i, j])
        else:
            wrong.append([index, i, j])
    return acc.item(), correct, wrong, len(correct), len(wrong)

def train_net(net, train_loader, test_loader, only_fc= True, 
              optimizer_cls = optim.Adam,
              loss_fn = nn.CrossEntropyLoss(),
              n_iter = 10, device = "cpu"):
～(略)～
    correct_list, wrong_list = [], []
    for epoch in range(n_iter):
～(略)～
        e = eval_net(net, test_loader, device)
        val_acc.append(e[0])
        if epoch + 1 == n_iter:
            correct_list.append(e[1])
            wrong_list.append(e[2])
        print(epoch, train_losses[-1], train_acc[-1], val_acc[-1], flush=True)
    return correct_list, wrong_list, e[3], e[4]

～(略)～

# 5. Create DataLoader with a batch size of 128 respectively.
train_loader = DataLoader(train_imgs, batch_size=64, shuffle=True)
test_loader = DataLoader(test_imgs, batch_size=64, shuffle=False)

# https://github.com/andreh7/ecal-rechits-pytorch-training/blob/master/FlattenLayer.py
class FlattenLayer(nn.Module):
    # a 'View' reshaping the input to dimension (minibatch, product of remaining dimensions)
    # typically to be used after a convolutional network and before the dense layers

    ### def __init__(self):
    ###     super(FlattenLayer, self).__init__()

    def forward(self, x):
        # see e.g. https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.py#L44
        # https://pytorch.org/docs/stable/tensors.html
        # the size -1 is inferred from other dimensions
        # print(x.size()) # torch.Size([1, 192, 3, 3])
        return x.view(x.size(0), -1)

    def __repr__(self):
        return self.__class__.__name__ + " ()"

# 定番のConvolutional Neural Networkをゼロから理解する.
# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in:  torch.Size([1, 3, 224, 224])
# out: torch.Size([1, 192, 3, 3])
conv_net = nn.Sequential(
    # 以下のように略記.
    # H: image height, W: image width
    # P: padding, KH: kernel height, KW: kernel weight
    # SH: stride height, SW: stride weight

    # in: dimension 3, out: dimension 32.
    # 111 = {(H)224 + 2 * (P)0 - (KH)4} / (SH)2 + 1
    nn.Conv2d(3, 32, 4, stride=2),
    # 37 = 111 / (KH)3
    nn.MaxPool2d(3),
    nn.ReLU(),
    # in: dimension 32.
    nn.BatchNorm2d(32),
    
    # in: dimension 32, out: dimension 96.
    # 18 = {(H)37 + 2 * (P)0 - (KH)3} / (SH)2 + 1
    nn.Conv2d(32, 96, 3, stride=2),
    # 9 = 18 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 96.
    nn.BatchNorm2d(96),
    
    # in: dimension 96, out: dimension 192.
    # 6 = {(H)9 + 2 * (P)0 - (KH)4} / (SH)1 + 1
    nn.Conv2d(96, 192, 4),
    # 3 = 6 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 192.
    nn.BatchNorm2d(192),
    
    # torch.Size([1, 192, 3, 3]) 
    FlattenLayer() 
)

～(略)～

# 8. execute training
start = time.time()
net.to("cuda:0")
correct_list, wrong_list, correct_count, wrong_count = train_net(net, train_loader, test_loader, only_fc = False, n_iter = 10, device = "cuda:0")

# 9. display processing time.
end = time.time()
images, labels = next(iter(test_loader))
fig = plt.figure(figsize=(12, 12))
print('--- display 9 wrong answers ------------------------------------------')
print('wrong answers: ' + str(wrong_count) + ' count')
# wrong_list[0][0:9][0]: <class 'list'>, wrong_list[0][0:9][0][1]: <class 'torch.Tensor'>
print(wrong_list[0][0:9])
indexes_for_wrong_list_image = [x[0] for x in wrong_list[0][0:9]]
print(str(indexes_for_wrong_list_image)) # ex. [30, 31, 32, 33, 34, 35, 36, 37, 38]
wrong_images_list = []
for i, v in enumerate(images):
    if i in indexes_for_wrong_list_image:
        # print(i)
        # 検証用画像 の サイズ(224 × 224)
        # v[0].size(): torch.Size([224, 224])
        # print(v[0].size())
        # Adding a dimension to a tensor in PyTorch.
        # http://blog.outcome.io/adding-a-dimension-to-a-tensor-in-pytorch/
        # uv: torch.Size([224, 224]) -> torch.Size([1, 224, 224])
        uv = v[0][None, :, :]
        # print(uv.shape)
        wrong_images_list.append(uv)
# How to turn a list of tensor to tensor?
# https://discuss.pytorch.org/t/how-to-turn-a-list-of-tensor-to-tensor/8868/4
# -> convert list to torch.Tensor by torch.stack.
wrong_images_list = torch.stack(wrong_images_list)
print(wrong_images_list.size()) # torch.Size([9, 1, 224, 224])
wrong_images = torchvision.utils.make_grid(wrong_images_list, nrow=3, padding=1)
plt.subplot(121)
plt.title('wrong')
imshow(wrong_images)

print('--- display 9 correct answers ----------------------------------------')
print('correct answers: ' + str(correct_count) + ' count')
print(correct_list[0][0:9])
indexes_for_correct_list_image = [x[0] for x in correct_list[0][0:9]]
print(str(indexes_for_correct_list_image)) # ex. [0, 1, 2, 3, 4, 5, 6, 7, 8]
correct_images_list = []
for i, v in enumerate(images):
    if i in indexes_for_correct_list_image:
        uv = v[0][None, :, :]
        # print(uv.shape)
        correct_images_list.append(uv)
correct_images_list = torch.stack(correct_images_list)
print(correct_images_list.size()) # torch.Size([9, 1, 224, 224])
correct_images = torchvision.utils.make_grid(correct_images_list, nrow=3, padding=1)
plt.subplot(122)
plt.title('correct')
imshow(correct_images)

print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

import torchvision

from torch import nn, optim

from torch.utils.data import DataLoader

from torchvision.datasets import ImageFolder

from torchvision import transforms

from tqdm import tqdm

import numpy as np

import matplotlib.pyplot as plt

import time

# 2. display image function.

# TRANSFER LEARNING TUTORIAL

# https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html

def imshow(inp, title=None):

"""Imshow for Tensor."""

inp = inp.numpy().transpose((1, 2, 0))

# mean = np.array([0.485, 0.456, 0.406])

# std = np.array([0.229, 0.224, 0.225])

# inp = std * inp + mean

# inp = np.clip(inp, 0, 1)

plt.axis('off')

plt.imshow(inp)

if title is not None:

plt.title(title)

# plt.pause(0.001) # pause a bit so that plots are updated

# 3. describe the model training function.

def eval_net(net, data_loader, device="cpu"):

～(略)～

# calculate prediction accuracy.

acc = (ys == ypreds).float().sum() / len(ys)

# a = [1, 2, 3, 4, 5]

# b = [1, 3, 4, 3, 5]

# c = [i for i, j in zip(a, b) if i == j]

# print(c) # [1, 5]

# [index, i, j] は, 画像のindex, 正解ラベル, 予測ラベルの意味.

correct, wrong = [], []

for index, (i, j) in enumerate(zip(ys, ypreds)):

if i == j:

correct.append([index, i, j])

else:

wrong.append([index, i, j])

return acc.item(), correct, wrong, len(correct), len(wrong)

def train_net(net, train_loader, test_loader, only_fc= True,

optimizer_cls = optim.Adam,

loss_fn = nn.CrossEntropyLoss(),

n_iter = 10, device = "cpu"):

～(略)～

correct_list, wrong_list = [], []

for epoch in range(n_iter):

～(略)～

e = eval_net(net, test_loader, device)

val_acc.append(e[0])

if epoch + 1 == n_iter:

correct_list.append(e[1])

wrong_list.append(e[2])

print(epoch, train_losses[-1], train_acc[-1], val_acc[-1], flush=True)

return correct_list, wrong_list, e[3], e[4]

～(略)～

# 5. Create DataLoader with a batch size of 128 respectively.

train_loader = DataLoader(train_imgs, batch_size=64, shuffle=True)

test_loader = DataLoader(test_imgs, batch_size=64, shuffle=False)

# https://github.com/andreh7/ecal-rechits-pytorch-training/blob/master/FlattenLayer.py

class FlattenLayer(nn.Module):

# a 'View' reshaping the input to dimension (minibatch, product of remaining dimensions)

# typically to be used after a convolutional network and before the dense layers

### def __init__(self):

### super(FlattenLayer, self).__init__()

def forward(self, x):

# see e.g. https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.py#L44

# https://pytorch.org/docs/stable/tensors.html

# the size -1 is inferred from other dimensions

# print(x.size()) # torch.Size([1, 192, 3, 3])

return x.view(x.size(0), -1)

def __repr__(self):

return self.__class__.__name__ + " ()"

# 定番のConvolutional Neural Networkをゼロから理解する.

# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in: torch.Size([1, 3, 224, 224])

# out: torch.Size([1, 192, 3, 3])

conv_net = nn.Sequential(

# 以下のように略記.

# H: image height, W: image width

# P: padding, KH: kernel height, KW: kernel weight

# SH: stride height, SW: stride weight

# in: dimension 3, out: dimension 32.

# 111 = {(H)224 + 2 * (P)0 - (KH)4} / (SH)2 + 1

nn.Conv2d(3, 32, 4, stride=2),

# 37 = 111 / (KH)3

nn.MaxPool2d(3),

nn.ReLU(),

# in: dimension 32.

nn.BatchNorm2d(32),

# in: dimension 32, out: dimension 96.

# 18 = {(H)37 + 2 * (P)0 - (KH)3} / (SH)2 + 1

nn.Conv2d(32, 96, 3, stride=2),

# 9 = 18 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 96.

nn.BatchNorm2d(96),

# in: dimension 96, out: dimension 192.

# 6 = {(H)9 + 2 * (P)0 - (KH)4} / (SH)1 + 1

nn.Conv2d(96, 192, 4),

# 3 = 6 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 192.

nn.BatchNorm2d(192),

# torch.Size([1, 192, 3, 3])

FlattenLayer()

)

～(略)～

# 8. execute training

start = time.time()

net.to("cuda:0")

correct_list, wrong_list, correct_count, wrong_count = train_net(net, train_loader, test_loader, only_fc = False, n_iter = 10, device = "cuda:0")

# 9. display processing time.

end = time.time()

images, labels = next(iter(test_loader))

fig = plt.figure(figsize=(12, 12))

print('--- display 9 wrong answers ------------------------------------------')

print('wrong answers: ' + str(wrong_count) + ' count')

# wrong_list[0][0:9][0]: <class 'list'>, wrong_list[0][0:9][0][1]: <class 'torch.Tensor'>

print(wrong_list[0][0:9])

indexes_for_wrong_list_image = [x[0] for x in wrong_list[0][0:9]]

print(str(indexes_for_wrong_list_image)) # ex. [30, 31, 32, 33, 34, 35, 36, 37, 38]

wrong_images_list = []

for i, v in enumerate(images):

if i in indexes_for_wrong_list_image:

# print(i)

# 検証用画像のサイズ(224 × 224)

# v[0].size(): torch.Size([224, 224])

# print(v[0].size())

# Adding a dimension to a tensor in PyTorch.

# http://blog.outcome.io/adding-a-dimension-to-a-tensor-in-pytorch/

# uv: torch.Size([224, 224]) -> torch.Size([1, 224, 224])

uv = v[0][None, :, :]

# print(uv.shape)

wrong_images_list.append(uv)

# How to turn a list of tensor to tensor?

# https://discuss.pytorch.org/t/how-to-turn-a-list-of-tensor-to-tensor/8868/4

# -> convert list to torch.Tensor by torch.stack.

wrong_images_list = torch.stack(wrong_images_list)

print(wrong_images_list.size()) # torch.Size([9, 1, 224, 224])

wrong_images = torchvision.utils.make_grid(wrong_images_list, nrow=3, padding=1)

plt.subplot(121)

plt.title('wrong')

imshow(wrong_images)

print('--- display 9 correct answers ----------------------------------------')

print('correct answers: ' + str(correct_count) + ' count')

print(correct_list[0][0:9])

indexes_for_correct_list_image = [x[0] for x in correct_list[0][0:9]]

print(str(indexes_for_correct_list_image)) # ex. [0, 1, 2, 3, 4, 5, 6, 7, 8]

correct_images_list = []

for i, v in enumerate(images):

if i in indexes_for_correct_list_image:

uv = v[0][None, :, :]

# print(uv.shape)

correct_images_list.append(uv)

correct_images_list = torch.stack(correct_images_list)

print(correct_images_list.size()) # torch.Size([9, 1, 224, 224])

correct_images = torchvision.utils.make_grid(correct_images_list, nrow=3, padding=1)

plt.subplot(122)

plt.title('correct')

imshow(correct_images)

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(自作CNNモデル, batch size = 64, epoch = 10).

['burrito', 'taco']
--------------------------------------------------
{'burrito': 0, 'taco': 1}
--------------------------------------------------
100%|██████████| 12/12 [00:02<00:00,  4.52it/s]
0 0.6830520169301466 0.6362359550561798 0.5
100%|██████████| 12/12 [00:02<00:00,  4.77it/s]
1 0.6677237559448589 0.7078651685393258 0.5
100%|██████████| 12/12 [00:02<00:00,  4.83it/s]
2 0.5626629401337017 0.7443820224719101 0.5250000357627869
100%|██████████| 12/12 [00:02<00:00,  4.66it/s]
3 0.5950394137339159 0.7303370786516854 0.6000000238418579
100%|██████████| 12/12 [00:02<00:00,  4.80it/s]
4 0.536611795425415 0.7528089887640449 0.699999988079071
100%|██████████| 12/12 [00:02<00:00,  4.89it/s]
5 0.49385149641470477 0.7682584269662921 0.824999988079071
100%|██████████| 12/12 [00:02<00:00,  4.60it/s]
6 0.5017545900561593 0.7808988764044944 0.675000011920929
100%|██████████| 12/12 [00:02<00:00,  4.66it/s]
7 0.5005106126720255 0.7710674157303371 0.75
100%|██████████| 12/12 [00:02<00:00,  4.89it/s]
8 0.45471032099290326 0.7837078651685393 0.824999988079071
100%|██████████| 12/12 [00:02<00:00,  4.60it/s]
9 0.45345142212781037 0.8216292134831461 0.800000011920929
--- display 9 wrong answers ------------------------------------------
wrong answers: 8 count
[[2, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [13, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [18, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [23, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [34, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [35, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [36, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [39, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')]]
[2, 13, 18, 23, 34, 35, 36, 39]
torch.Size([8, 1, 224, 224])
--- display 9 correct answers ----------------------------------------
correct answers: 32 count
[[0, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [1, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [3, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [4, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [5, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [6, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [7, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [8, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [9, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')]]
[0, 1, 3, 4, 5, 6, 7, 8, 9]
torch.Size([9, 1, 224, 224])
--------------------------------------------------
Elapsed Time: 27.11858892440796[sec]

['burrito', 'taco']

--------------------------------------------------

{'burrito': 0, 'taco': 1}

--------------------------------------------------

100%|██████████| 12/12 [00:02<00:00, 4.52it/s]

0 0.6830520169301466 0.6362359550561798 0.5

100%|██████████| 12/12 [00:02<00:00, 4.77it/s]

1 0.6677237559448589 0.7078651685393258 0.5

100%|██████████| 12/12 [00:02<00:00, 4.83it/s]

2 0.5626629401337017 0.7443820224719101 0.5250000357627869

100%|██████████| 12/12 [00:02<00:00, 4.66it/s]

3 0.5950394137339159 0.7303370786516854 0.6000000238418579

100%|██████████| 12/12 [00:02<00:00, 4.80it/s]

4 0.536611795425415 0.7528089887640449 0.699999988079071

100%|██████████| 12/12 [00:02<00:00, 4.89it/s]

5 0.49385149641470477 0.7682584269662921 0.824999988079071

100%|██████████| 12/12 [00:02<00:00, 4.60it/s]

6 0.5017545900561593 0.7808988764044944 0.675000011920929

100%|██████████| 12/12 [00:02<00:00, 4.66it/s]

7 0.5005106126720255 0.7710674157303371 0.75

100%|██████████| 12/12 [00:02<00:00, 4.89it/s]

8 0.45471032099290326 0.7837078651685393 0.824999988079071

100%|██████████| 12/12 [00:02<00:00, 4.60it/s]

9 0.45345142212781037 0.8216292134831461 0.800000011920929

--- display 9 wrong answers ------------------------------------------

wrong answers: 8 count

[[2, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [13, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [18, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [23, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [34, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [35, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [36, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [39, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')]]

[2, 13, 18, 23, 34, 35, 36, 39]

torch.Size([8, 1, 224, 224])

--- display 9 correct answers ----------------------------------------

correct answers: 32 count

[[0, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [1, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [3, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [4, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [5, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [6, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [7, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [8, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [9, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')]]

[0, 1, 3, 4, 5, 6, 7, 8, 9]

torch.Size([9, 1, 224, 224])

--------------------------------------------------

Elapsed Time: 27.11858892440796[sec]

■転移学習(書籍CNNモデル).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
import torchvision
from torch import nn, optim
from torch.utils.data import DataLoader
from torchvision.datasets import ImageFolder
from torchvision import transforms
from tqdm import tqdm
import numpy as np
import matplotlib.pyplot as plt
import time

# 2. display image function.
# TRANSFER LEARNING TUTORIAL
# https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html
def imshow(inp, title=None):
    """Imshow for Tensor."""
    inp = inp.numpy().transpose((1, 2, 0))
    # mean = np.array([0.485, 0.456, 0.406])
    # std = np.array([0.229, 0.224, 0.225])
    # inp = std * inp + mean
    # inp = np.clip(inp, 0, 1)
    plt.axis('off')
    plt.imshow(inp)
    if title is not None:
        plt.title(title)
    # plt.pause(0.001)  # pause a bit so that plots are updated
    
# 3. describe the model training function.
def eval_net(net, data_loader, device="cpu"):
～(略)～
    # calculate prediction accuracy.
    acc = (ys == ypreds).float().sum() / len(ys)
    # a = [1, 2, 3, 4, 5]
    # b = [1, 3, 4, 3, 5]
    # c = [i for i, j in zip(a, b) if i == j]
    # print(c) # [1, 5]
    # [index, i, j] は, 画像のindex, 正解ラベル, 予測ラベル の意味.
    correct, wrong = [], []
    for index, (i, j) in enumerate(zip(ys, ypreds)):
        if i == j:
            correct.append([index, i, j])
        else:
            wrong.append([index, i, j])
    return acc.item(), correct, wrong, len(correct), len(wrong)

def train_net(net, train_loader, test_loader, only_fc= True, 
              optimizer_cls = optim.Adam,
              loss_fn = nn.CrossEntropyLoss(),
              n_iter = 10, device = "cpu"):
～(略)～
    correct_list, wrong_list = [], []
    for epoch in range(n_iter):
～(略)～
        e = eval_net(net, test_loader, device)
        val_acc.append(e[0])
        if epoch + 1 == n_iter:
            correct_list.append(e[1])
            wrong_list.append(e[2])
        print(epoch, train_losses[-1], train_acc[-1], val_acc[-1], flush=True)
    return correct_list, wrong_list, e[3], e[4]

～(略)～

# 5. Create DataLoader with a batch size of 128 respectively.
train_loader = DataLoader(train_imgs, batch_size=32, shuffle=True)
test_loader = DataLoader(test_imgs, batch_size=32, shuffle=False)

# https://github.com/andreh7/ecal-rechits-pytorch-training/blob/master/FlattenLayer.py
class FlattenLayer(nn.Module):
    # a 'View' reshaping the input to dimension (minibatch, product of remaining dimensions)
    # typically to be used after a convolutional network and before the dense layers

    ### def __init__(self):
    ###     super(FlattenLayer, self).__init__()

    def forward(self, x):
        # see e.g. https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.py#L44
        # https://pytorch.org/docs/stable/tensors.html
        # the size -1 is inferred from other dimensions
        # print(x.size()) # torch.Size([1, 128, 24, 24])
        return x.view(x.size(0), -1)

    def __repr__(self):
        return self.__class__.__name__ + " ()"

# 定番のConvolutional Neural Networkをゼロから理解する.
# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in:  torch.Size([1, 3, 224, 224])
# out: torch.Size([1, 128, 24, 24])
conv_net = nn.Sequential(
    # 以下のように略記.
    # H: image height, W: image width
    # P: padding, KH: kernel height, KW: kernel weight
    # SH: stride height, SW: stride weight

    # in: dimension 3, out: dimension 32.
    # 220 = {(H)224 + 2 * (P)0 - (KH)5} / (SH)1 + 1
    nn.Conv2d(3, 32, 5),
    # 110 = 220 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 32.
    nn.BatchNorm2d(32),
    
    # in: dimension 32, out: dimension 64.
    # 106 = {(H)110 + 2 * (P)0 - (KH)5} / (SH)1 + 1
    nn.Conv2d(32, 64, 5),
    # 53 = 106 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 64.
    nn.BatchNorm2d(64),
    
    # in: dimension 64, out: dimension 128.
    # 49 = {(H)53 + 2 * (P)0 - (KH)5} / (SH)1 + 1
    nn.Conv2d(64, 128, 5),
    # 24 = 49 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 128.
    nn.BatchNorm2d(128),
    
    # torch.Size([1, 128, 24, 24]) 
    FlattenLayer() 
)

～(略)～

# 8. execute training
start = time.time()
net.to("cuda:0")
correct_list, wrong_list, correct_count, wrong_count = train_net(net, train_loader, test_loader, only_fc = False, n_iter = 10, device = "cuda:0")

# 9. display processing time.
end = time.time()
images, labels = next(iter(test_loader))
fig = plt.figure(figsize=(12, 12))
print('--- display 9 wrong answers ------------------------------------------')
print('wrong answers: ' + str(wrong_count) + ' count')
# wrong_list[0][0:9][0]: <class 'list'>, wrong_list[0][0:9][0][1]: <class 'torch.Tensor'>
print(wrong_list[0][0:9])
indexes_for_wrong_list_image = [x[0] for x in wrong_list[0][0:9]]
print(str(indexes_for_wrong_list_image)) # ex. [30, 31, 32, 33, 34, 35, 36, 37, 38]
wrong_images_list = []
for i, v in enumerate(images):
    if i in indexes_for_wrong_list_image:
        # print(i)
        # 検証用画像 の サイズ(224 × 224)
        # v[0].size(): torch.Size([224, 224])
        # print(v[0].size())
        # Adding a dimension to a tensor in PyTorch.
        # http://blog.outcome.io/adding-a-dimension-to-a-tensor-in-pytorch/
        # uv: torch.Size([224, 224]) -> torch.Size([1, 224, 224])
        uv = v[0][None, :, :]
        # print(uv.shape)
        wrong_images_list.append(uv)
# How to turn a list of tensor to tensor?
# https://discuss.pytorch.org/t/how-to-turn-a-list-of-tensor-to-tensor/8868/4
# -> convert list to torch.Tensor by torch.stack.
wrong_images_list = torch.stack(wrong_images_list)
print(wrong_images_list.size()) # torch.Size([9, 3, 224, 224])
wrong_images = torchvision.utils.make_grid(wrong_images_list, nrow=3, padding=1)
plt.subplot(121)
plt.title('wrong')
imshow(wrong_images)

print('--- display 9 correct answers ----------------------------------------')
print('correct answers: ' + str(correct_count) + ' count')
print(correct_list[0][0:9])
indexes_for_correct_list_image = [x[0] for x in correct_list[0][0:9]]
print(str(indexes_for_correct_list_image)) # ex. [0, 1, 2, 3, 4, 5, 6, 7, 8]
correct_images_list = []
for i, v in enumerate(images):
    if i in indexes_for_correct_list_image:
        uv = v[0][None, :, :]
        # print(uv.shape)
        correct_images_list.append(uv)
correct_images_list = torch.stack(correct_images_list)
print(correct_images_list.size()) # torch.Size([9, 3, 224, 224])
correct_images = torchvision.utils.make_grid(correct_images_list, nrow=3, padding=1)
plt.subplot(122)
plt.title('correct')
imshow(correct_images)

print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

import torchvision

from torch import nn, optim

from torch.utils.data import DataLoader

from torchvision.datasets import ImageFolder

from torchvision import transforms

from tqdm import tqdm

import numpy as np

import matplotlib.pyplot as plt

import time

# 2. display image function.

# TRANSFER LEARNING TUTORIAL

# https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html

def imshow(inp, title=None):

"""Imshow for Tensor."""

inp = inp.numpy().transpose((1, 2, 0))

# mean = np.array([0.485, 0.456, 0.406])

# std = np.array([0.229, 0.224, 0.225])

# inp = std * inp + mean

# inp = np.clip(inp, 0, 1)

plt.axis('off')

plt.imshow(inp)

if title is not None:

plt.title(title)

# plt.pause(0.001) # pause a bit so that plots are updated

# 3. describe the model training function.

def eval_net(net, data_loader, device="cpu"):

～(略)～

# calculate prediction accuracy.

acc = (ys == ypreds).float().sum() / len(ys)

# a = [1, 2, 3, 4, 5]

# b = [1, 3, 4, 3, 5]

# c = [i for i, j in zip(a, b) if i == j]

# print(c) # [1, 5]

# [index, i, j] は, 画像のindex, 正解ラベル, 予測ラベルの意味.

correct, wrong = [], []

for index, (i, j) in enumerate(zip(ys, ypreds)):

if i == j:

correct.append([index, i, j])

else:

wrong.append([index, i, j])

return acc.item(), correct, wrong, len(correct), len(wrong)

def train_net(net, train_loader, test_loader, only_fc= True,

optimizer_cls = optim.Adam,

loss_fn = nn.CrossEntropyLoss(),

n_iter = 10, device = "cpu"):

～(略)～

correct_list, wrong_list = [], []

for epoch in range(n_iter):

～(略)～

e = eval_net(net, test_loader, device)

val_acc.append(e[0])

if epoch + 1 == n_iter:

correct_list.append(e[1])

wrong_list.append(e[2])

print(epoch, train_losses[-1], train_acc[-1], val_acc[-1], flush=True)

return correct_list, wrong_list, e[3], e[4]

～(略)～

# 5. Create DataLoader with a batch size of 128 respectively.

train_loader = DataLoader(train_imgs, batch_size=32, shuffle=True)

test_loader = DataLoader(test_imgs, batch_size=32, shuffle=False)

# https://github.com/andreh7/ecal-rechits-pytorch-training/blob/master/FlattenLayer.py

class FlattenLayer(nn.Module):

# a 'View' reshaping the input to dimension (minibatch, product of remaining dimensions)

# typically to be used after a convolutional network and before the dense layers

### def __init__(self):

### super(FlattenLayer, self).__init__()

def forward(self, x):

# see e.g. https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.py#L44

# https://pytorch.org/docs/stable/tensors.html

# the size -1 is inferred from other dimensions

# print(x.size()) # torch.Size([1, 128, 24, 24])

return x.view(x.size(0), -1)

def __repr__(self):

return self.__class__.__name__ + " ()"

# 定番のConvolutional Neural Networkをゼロから理解する.

# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in: torch.Size([1, 3, 224, 224])

# out: torch.Size([1, 128, 24, 24])

conv_net = nn.Sequential(

# 以下のように略記.

# H: image height, W: image width

# P: padding, KH: kernel height, KW: kernel weight

# SH: stride height, SW: stride weight

# in: dimension 3, out: dimension 32.

# 220 = {(H)224 + 2 * (P)0 - (KH)5} / (SH)1 + 1

nn.Conv2d(3, 32, 5),

# 110 = 220 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 32.

nn.BatchNorm2d(32),

# in: dimension 32, out: dimension 64.

# 106 = {(H)110 + 2 * (P)0 - (KH)5} / (SH)1 + 1

nn.Conv2d(32, 64, 5),

# 53 = 106 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 64.

nn.BatchNorm2d(64),

# in: dimension 64, out: dimension 128.

# 49 = {(H)53 + 2 * (P)0 - (KH)5} / (SH)1 + 1

nn.Conv2d(64, 128, 5),

# 24 = 49 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 128.

nn.BatchNorm2d(128),

# torch.Size([1, 128, 24, 24])

FlattenLayer()

)

～(略)～

# 8. execute training

start = time.time()

net.to("cuda:0")

correct_list, wrong_list, correct_count, wrong_count = train_net(net, train_loader, test_loader, only_fc = False, n_iter = 10, device = "cuda:0")

# 9. display processing time.

end = time.time()

images, labels = next(iter(test_loader))

fig = plt.figure(figsize=(12, 12))

print('--- display 9 wrong answers ------------------------------------------')

print('wrong answers: ' + str(wrong_count) + ' count')

# wrong_list[0][0:9][0]: <class 'list'>, wrong_list[0][0:9][0][1]: <class 'torch.Tensor'>

print(wrong_list[0][0:9])

indexes_for_wrong_list_image = [x[0] for x in wrong_list[0][0:9]]

print(str(indexes_for_wrong_list_image)) # ex. [30, 31, 32, 33, 34, 35, 36, 37, 38]

wrong_images_list = []

for i, v in enumerate(images):

if i in indexes_for_wrong_list_image:

# print(i)

# 検証用画像のサイズ(224 × 224)

# v[0].size(): torch.Size([224, 224])

# print(v[0].size())

# Adding a dimension to a tensor in PyTorch.

# http://blog.outcome.io/adding-a-dimension-to-a-tensor-in-pytorch/

# uv: torch.Size([224, 224]) -> torch.Size([1, 224, 224])

uv = v[0][None, :, :]

# print(uv.shape)

wrong_images_list.append(uv)

# How to turn a list of tensor to tensor?

# https://discuss.pytorch.org/t/how-to-turn-a-list-of-tensor-to-tensor/8868/4

# -> convert list to torch.Tensor by torch.stack.

wrong_images_list = torch.stack(wrong_images_list)

print(wrong_images_list.size()) # torch.Size([9, 3, 224, 224])

wrong_images = torchvision.utils.make_grid(wrong_images_list, nrow=3, padding=1)

plt.subplot(121)

plt.title('wrong')

imshow(wrong_images)

print('--- display 9 correct answers ----------------------------------------')

print('correct answers: ' + str(correct_count) + ' count')

print(correct_list[0][0:9])

indexes_for_correct_list_image = [x[0] for x in correct_list[0][0:9]]

print(str(indexes_for_correct_list_image)) # ex. [0, 1, 2, 3, 4, 5, 6, 7, 8]

correct_images_list = []

for i, v in enumerate(images):

if i in indexes_for_correct_list_image:

uv = v[0][None, :, :]

# print(uv.shape)

correct_images_list.append(uv)

correct_images_list = torch.stack(correct_images_list)

print(correct_images_list.size()) # torch.Size([9, 3, 224, 224])

correct_images = torchvision.utils.make_grid(correct_images_list, nrow=3, padding=1)

plt.subplot(122)

plt.title('correct')

imshow(correct_images)

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(書籍CNNモデル, batch size = 32, epoch = 10).

['burrito', 'taco']
--------------------------------------------------
{'burrito': 0, 'taco': 1}
--------------------------------------------------
100%|██████████| 23/23 [00:07<00:00,  4.46it/s]
0 2.479653466831554 0.5435393258426966 0.5
100%|██████████| 23/23 [00:05<00:00,  4.10it/s]
1 2.466307753866369 0.5814606741573034 0.6000000238418579
100%|██████████| 23/23 [00:05<00:00,  4.19it/s]
2 2.526581260291013 0.6151685393258427 0.6000000238418579
100%|██████████| 23/23 [00:05<00:00,  4.90it/s]
3 2.122632611881603 0.6587078651685393 0.6000000238418579
100%|██████████| 23/23 [00:05<00:00,  4.33it/s]
4 2.096345370466059 0.6320224719101124 0.6000000238418579
100%|██████████| 23/23 [00:05<00:00,  4.48it/s]
5 2.1521816036917945 0.6432584269662921 0.7250000238418579
100%|██████████| 23/23 [00:05<00:00,  4.36it/s]
6 2.21564337069338 0.625 0.6500000357627869
100%|██████████| 23/23 [00:05<00:00,  4.40it/s]
7 1.912211228500713 0.6615168539325843 0.6500000357627869
100%|██████████| 23/23 [00:05<00:00,  4.38it/s]
8 1.6763860231096095 0.6853932584269663 0.550000011920929
100%|██████████| 23/23 [00:05<00:00,  4.38it/s]
9 1.9310889487916774 0.6671348314606742 0.75
--- display 9 wrong answers ------------------------------------------
wrong answers: 10 count
[[6, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [15, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [23, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [25, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [29, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [31, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [32, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [34, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [37, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')]]
[6, 15, 23, 25, 29, 31, 32, 34, 37]
torch.Size([6, 1, 224, 224])
--- display 9 correct answers ----------------------------------------
correct answers: 30 count
[[0, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [1, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [2, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [3, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [4, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [5, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [7, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [8, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [9, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')]]
[0, 1, 2, 3, 4, 5, 7, 8, 9]
torch.Size([9, 1, 224, 224])
--------------------------------------------------
Elapsed Time: 59.16644787788391[sec]

['burrito', 'taco']

--------------------------------------------------

{'burrito': 0, 'taco': 1}

--------------------------------------------------

100%|██████████| 23/23 [00:07<00:00, 4.46it/s]

0 2.479653466831554 0.5435393258426966 0.5

100%|██████████| 23/23 [00:05<00:00, 4.10it/s]

1 2.466307753866369 0.5814606741573034 0.6000000238418579

100%|██████████| 23/23 [00:05<00:00, 4.19it/s]

2 2.526581260291013 0.6151685393258427 0.6000000238418579

100%|██████████| 23/23 [00:05<00:00, 4.90it/s]

3 2.122632611881603 0.6587078651685393 0.6000000238418579

100%|██████████| 23/23 [00:05<00:00, 4.33it/s]

4 2.096345370466059 0.6320224719101124 0.6000000238418579

100%|██████████| 23/23 [00:05<00:00, 4.48it/s]

5 2.1521816036917945 0.6432584269662921 0.7250000238418579

100%|██████████| 23/23 [00:05<00:00, 4.36it/s]

6 2.21564337069338 0.625 0.6500000357627869

100%|██████████| 23/23 [00:05<00:00, 4.40it/s]

7 1.912211228500713 0.6615168539325843 0.6500000357627869

100%|██████████| 23/23 [00:05<00:00, 4.38it/s]

8 1.6763860231096095 0.6853932584269663 0.550000011920929

100%|██████████| 23/23 [00:05<00:00, 4.38it/s]

9 1.9310889487916774 0.6671348314606742 0.75

--- display 9 wrong answers ------------------------------------------

wrong answers: 10 count

[[6, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [15, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [23, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [25, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [29, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [31, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [32, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [34, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [37, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')]]

[6, 15, 23, 25, 29, 31, 32, 34, 37]

torch.Size([6, 1, 224, 224])

--- display 9 correct answers ----------------------------------------

correct answers: 30 count

[[0, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [1, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [2, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [3, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [4, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [5, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [7, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [8, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [9, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')]]

[0, 1, 2, 3, 4, 5, 7, 8, 9]

torch.Size([9, 1, 224, 224])

--------------------------------------------------

Elapsed Time: 59.16644787788391[sec]

■以上の実行結果から, 以下のことが分かった.

① GPUメモリに関するエラー(RuntimeError: CUDA error: out of memory).
自作CNNモデルで, バッチサイズを, 64に設定して, 3～4回実行してすると, 上記のようなエラーメッセージが出力された.
書籍CNNモデルでは, バッチサイズを, 64 に設定して実行すると, 上記エラーが出力されて動かせなかったので, 書籍通りに, バッチサイズ 32 で動作確認した.

② 出力画像に関すること.
・テスト画像は, 合計40枚(burrito: 20枚, taco: 20枚)で確認している.
・自作CNNモデルで, wrong の 一番右下が, 黒い正方形で出力されたが, 不正解だったテスト画像が, 8枚だったため, 9枚に満たなかったことによる出力結果と理解している.
・書籍CNNモデルで, wrong が, 6枚しか表示されてない理由として, バッチサイズ を 32 に設定したことによる出力結果([6, 15, 23, 25, 29, 31] の 6枚)と理解している.

③ 自作CNNモデルで, の テスト画像 の (index的に)39番目 について,
'burrito' と 予想(tensor(0, device='cuda:0')) したが, 'taco' が 正解(tensor(1, device='cuda:0')) との情報が得られた.

④ 書籍CNNモデルで, の テスト画像 の (index的に)6番目 について,
'taco' と 予想(tensor(1, device='cuda:0')) したが, 'burrito' が 正解(tensor(0, device='cuda:0')) との情報が得られた.

⑤ 転移学習の精度 と 正解数 との関係.
転移学習の精度が上がると, テスト画像の正解数が上がると予想される.
※直観的には, 正しく見えるが, 具体的なデータとして確認することが出来た.

[自作CNNモデル]
転移学習の精度:   約82%
テスト画像正解数: 40枚中, 32枚正解.
 
[書籍CNNモデル]
転移学習の精度:   約66%
テスト画像正解数: 40枚中, 30枚正解.

⑥ 転移学習の成否について.
自作CNNモデル, 書籍CNNモデルのいずれも, 何度も実行していると, 転移学習が上手くいかない場合が出てくる(体感として, 2割前後)ことがあったので, 技術的な今後の動向に着目したい.

① GPUメモリに関するエラー(RuntimeError: CUDA error: out of memory).

自作CNNモデルで, バッチサイズを, 64に設定して, 3～4回実行してすると, 上記のようなエラーメッセージが出力された.

書籍CNNモデルでは, バッチサイズを, 64 に設定して実行すると, 上記エラーが出力されて動かせなかったので, 書籍通りに, バッチサイズ 32 で動作確認した.

② 出力画像に関すること.

・テスト画像は, 合計40枚(burrito: 20枚, taco: 20枚)で確認している.

・自作CNNモデルで, wrong の一番右下が, 黒い正方形で出力されたが, 不正解だったテスト画像が, 8枚だったため, 9枚に満たなかったことによる出力結果と理解している.

・書籍CNNモデルで, wrong が, 6枚しか表示されてない理由として, バッチサイズを 32 に設定したことによる出力結果([6, 15, 23, 25, 29, 31] の 6枚)と理解している.

③ 自作CNNモデルで, のテスト画像の (index的に)39番目について,

'burrito' と予想(tensor(0, device='cuda:0')) したが, 'taco' が正解(tensor(1, device='cuda:0')) との情報が得られた.

④ 書籍CNNモデルで, のテスト画像の (index的に)6番目について,

'taco' と予想(tensor(1, device='cuda:0')) したが, 'burrito' が正解(tensor(0, device='cuda:0')) との情報が得られた.

⑤ 転移学習の精度と正解数との関係.

転移学習の精度が上がると, テスト画像の正解数が上がると予想される.

※直観的には, 正しく見えるが, 具体的なデータとして確認することが出来た.

[自作CNNモデル]

転移学習の精度: 約82%

テスト画像正解数: 40枚中, 32枚正解.

[書籍CNNモデル]

転移学習の精度: 約66%

テスト画像正解数: 40枚中, 30枚正解.

⑥ 転移学習の成否について.

自作CNNモデル, 書籍CNNモデルのいずれも, 何度も実行していると, 転移学習が上手くいかない場合が出てくる(体感として, 2割前後)ことがあったので, 技術的な今後の動向に着目したい.

■参照サイト
【参照URL①】定番のConvolutional Neural Networkをゼロから理解する.
【参照URL②】Adding a dimension to a tensor in PyTorch.
【参照URL③】How to turn a list of tensor to tensor?
【参照URL④】andreh7/ecal-rechits-pytorch-training
【参照URL⑤】TRANSFER LEARNING TUTORIAL

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年10月27日2018年10月27日

C++ の動作確認をしてみた（２９）

C++の練習を兼ねて, AtCoder Beginner Contest 058 の問題C（怪文書 / Dubious Document), 問題D（井井井 / ###) を解いてみた.

■感想.
1. 問題C, 問題D ともに, 時間はかかったもの(※特に, 問題D)の, 解説見ずに解けたので, 良かったと思う.
2. 問題D は, 最初, 同じ長方形を複数回カウントしてよいものと理解したが, 以下の入力値(本家のサイトにあるもの)で,
確認したところ, 誤答となったので, “同じ長方形は, ただ一度だけカウント” すると理解して, ロジックを組み直したものである.

[入力値]
6 5
-790013317 -192321079 95834122 418379342 586260100 802780784
-253230108 193944314 363756450 712662868 735867677

[出力値]
x方向: 802780784 - (-790013317) = 1592794101
y方向: 735867677 - (-253230108) = 989097785
-> 1575429117260166285
-> (x軸中央4本の選び方)2の4乗 × (y軸中央3本の選び方)2の3乗 = 128倍して, 201654927009301284480
-> MOD(1000000007) すると, 716805301
※正答は, 835067060 なので, 誤答である.

[入力値]

6 5

-790013317 -192321079 95834122 418379342 586260100 802780784

-253230108 193944314 363756450 712662868 735867677

[出力値]

x方向: 802780784 - (-790013317) = 1592794101

y方向: 735867677 - (-253230108) = 989097785

-> 1575429117260166285

-> (x軸中央4本の選び方)2の4乗 × (y軸中央3本の選び方)2の3乗 = 128倍して, 201654927009301284480

-> MOD(1000000007) すると, 716805301

※正答は, 835067060 なので, 誤答である.

本家のサイトABC058 / ARC071 解説をご覧下さい.

■C++版プログラム(問題C／AC版).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

int main() {
    
    // 1. 入力情報取得.
    int n;
    cin >> n;
    vector<map<char, int>> vm;
    FOR(i, 0, n) {
        string s;
        cin >> s;
        map<char, int> mp;
        FOR(j, 0, 26) mp['a' + j] = 0;
        FOR(j, 0, s.size()) mp[s[j]]++;
        vm.push_back(mp);
    }
    
    // 2. 条件を満たす最長の文字列のうち、辞書順で最小のものを作成.
    // 2-1. 各文字列で出現した a-z の最小回数を調べる必要がある.
    map<char, int> minMap;
    FOR(i, 0, 26) minMap['a' + i] = 9999;
    for(auto itr = vm.begin(); itr != vm.end(); ++itr) {
        for(auto &m : *itr) {
            auto k = m.first;
            auto v = m.second;
            // cout << k << " " << v << endl;
            if(minMap[k] > v) minMap[k] = v;
        }
    }
    // for(auto &p : minMap) cout << p.first << " " << p.second << endl;
    
    // 2-2. 1回以上出現した各文字を, a-z の順に結合.
    string ans;
    for(auto &p : minMap) {
        string s(p.second, p.first);
        ans += s;
    }
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

int main() {

// 1. 入力情報取得.

int n;

cin >> n;

vector<map<char, int>> vm;

FOR(i, 0, n) {

string s;

cin >> s;

map<char, int> mp;

FOR(j, 0, 26) mp['a' + j] = 0;

FOR(j, 0, s.size()) mp[s[j]]++;

vm.push_back(mp);

}

// 2. 条件を満たす最長の文字列のうち、辞書順で最小のものを作成.

// 2-1. 各文字列で出現した a-z の最小回数を調べる必要がある.

map<char, int> minMap;

FOR(i, 0, 26) minMap['a' + i] = 9999;

for(auto itr = vm.begin(); itr != vm.end(); ++itr) {

for(auto &m : *itr) {

auto k = m.first;

auto v = m.second;

// cout << k << " " << v << endl;

if(minMap[k] > v) minMap[k] = v;

}

// for(auto &p : minMap) cout << p.first << " " << p.second << endl;

// 2-2. 1回以上出現した各文字を, a-z の順に結合.

string ans;

for(auto &p : minMap) {

string s(p.second, p.first);

ans += s;

}

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■C++版プログラム(問題D／AC版).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

typedef long long LL;
 
const LL MOD = 1000000007;

int main() {

    // 1. 入力情報取得.
    LL N, M;
    cin >> N >> M;
    LL x[N + 1] = {};
    LL y[M + 1] = {};
    FOR(i, 1, N + 1) cin >> x[i];
    FOR(i, 1, M + 1) cin >> y[i];
    
    // 2. x, y軸方向で, 一行当たりの面積和を計算.
    // 例)
    // N = 7 の 場合, 区間[1, 7] における棒の置き方を確認する.
    // 長さ1 … 区間[1, 2], [2, 3], [3, 4], [4, 5], [5, 6], [6, 7] で, 6通り.
    // 長さ2 … 区間[1, 3], [2, 4], [3, 5], [4, 6], [5, 7]         で, 5通り.
    // 長さ3 … 区間[1, 4], [2, 5], [3, 6], [4, 7]                 で, 4通り.
    // 長さ4 … 区間[1, 5], [2, 6], [3, 7]                         で, 3通り.
    // 長さ5 … 区間[1, 6], [2, 7]                                 で, 2通り.
    // 長さ6 … 区間[1, 7]                                         で, 1通り.
    // 
    // -> 以上の棒の置き方から, 各区間に出現する棒の本数を数えることにする.
    // 区間[1, 2] …  6回 (DP[1]と置く)
    // 区間[2, 3] … 10回 (DP[2]と置く)
    // 区間[3, 4] … 12回 (DP[3]と置く)
    // 区間[4, 5] … 12回 (DP[4]と置く)
    // 区間[5, 6] … 10回 (DP[5]と置く)
    // 区間[6, 7] …  6回 (DP[6]と置く)
    //
    // -> 上記までの調査から, 以下の関係式が判明した.
    // DP[0] = 0, DP[i] = (N - i) + DP[i - 1] - (i - 1)
    
    // 2-1. x軸方向について, 一行当たりの面積和を計算.
    // 出現本数を保管.
    LL DPX[N + 1] = {};
    FOR(i, 1, N) {
        DPX[i] = (N - i) + DPX[i - 1] - (i - 1);
        DPX[i] %= MOD;
    }
    // FOR(i, 1, N) cout << DPX[i] << endl;

    // 面積和を保管.
    LL AreaX = 0;
    FOR(i, 2, N + 1) {
        AreaX += (x[i] - x[i - 1]) * DPX[i - 1];
        AreaX %= MOD;
    }
    // cout << AreaX << endl;
    
    // 2-2. y軸方向について, 一列当たりの面積和を計算.
    // 出現本数を保管.
    LL DPY[M + 1] = {};
    FOR(i, 1, M) {
        DPY[i] = (M - i) + DPY[i - 1] - (i - 1);
        DPY[i] %= MOD;
    }
    // FOR(i, 1, M) cout << DPY[i] << endl;

    // 面積和を保管.
    LL AreaY = 0;
    FOR(i, 2, M + 1) {
        AreaY += (y[i] - y[i - 1]) * DPY[i - 1];
        AreaY %= MOD;
    }
    // cout << AreaY << endl;
    
    // 3. すべての長方形についての面積の総和(MOD版)
    LL ans = AreaX;
    ans *= AreaY;
    ans %= MOD;
    
    // 4. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

typedef long long LL;

const LL MOD = 1000000007;

int main() {

// 1. 入力情報取得.

LL N, M;

cin >> N >> M;

LL x[N + 1] = {};

LL y[M + 1] = {};

FOR(i, 1, N + 1) cin >> x[i];

FOR(i, 1, M + 1) cin >> y[i];

// 2. x, y軸方向で, 一行当たりの面積和を計算.

// 例)

// N = 7 の場合, 区間[1, 7] における棒の置き方を確認する.

// 長さ1 … 区間[1, 2], [2, 3], [3, 4], [4, 5], [5, 6], [6, 7] で, 6通り.

// 長さ2 … 区間[1, 3], [2, 4], [3, 5], [4, 6], [5, 7] で, 5通り.

// 長さ3 … 区間[1, 4], [2, 5], [3, 6], [4, 7] で, 4通り.

// 長さ4 … 区間[1, 5], [2, 6], [3, 7] で, 3通り.

// 長さ5 … 区間[1, 6], [2, 7] で, 2通り.

// 長さ6 … 区間[1, 7] で, 1通り.

// -> 以上の棒の置き方から, 各区間に出現する棒の本数を数えることにする.

// 区間[1, 2] … 6回 (DP[1]と置く)

// 区間[2, 3] … 10回 (DP[2]と置く)

// 区間[3, 4] … 12回 (DP[3]と置く)

// 区間[4, 5] … 12回 (DP[4]と置く)

// 区間[5, 6] … 10回 (DP[5]と置く)

// 区間[6, 7] … 6回 (DP[6]と置く)

// -> 上記までの調査から, 以下の関係式が判明した.

// DP[0] = 0, DP[i] = (N - i) + DP[i - 1] - (i - 1)

// 2-1. x軸方向について, 一行当たりの面積和を計算.

// 出現本数を保管.

LL DPX[N + 1] = {};

FOR(i, 1, N) {

DPX[i] = (N - i) + DPX[i - 1] - (i - 1);

DPX[i] %= MOD;

}

// FOR(i, 1, N) cout << DPX[i] << endl;

// 面積和を保管.

LL AreaX = 0;

FOR(i, 2, N + 1) {

AreaX += (x[i] - x[i - 1]) * DPX[i - 1];

AreaX %= MOD;

}

// cout << AreaX << endl;

// 2-2. y軸方向について, 一列当たりの面積和を計算.

// 出現本数を保管.

LL DPY[M + 1] = {};

FOR(i, 1, M) {

DPY[i] = (M - i) + DPY[i - 1] - (i - 1);

DPY[i] %= MOD;

}

// FOR(i, 1, M) cout << DPY[i] << endl;

// 面積和を保管.

LL AreaY = 0;

FOR(i, 2, M + 1) {

AreaY += (y[i] - y[i - 1]) * DPY[i - 1];

AreaY %= MOD;

}

// cout << AreaY << endl;

// 3. すべての長方形についての面積の総和(MOD版)

LL ans = AreaX;

ans *= AreaY;

ans %= MOD;

// 4. 出力～後処理.

cout << ans << endl;

return 0;

}

■参照サイト
AtCoder Beginner Contest 058

2018年10月25日2018年10月25日

PyTorch の動作確認をしてみた（９）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

※1. プログラムの詳細は、書籍を参考(P.072 – P.082)にして下さい。
※2. CNN の理解をもう少し深めたかったので, 再度, 復習した.
※3. 前回と, 異なるCNNモデルを適当に構築して, 再度動作確認してみた.

■転移学習(書籍の一部を抜粋・改変).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import DataLoader
from torchvision.datasets import ImageFolder
from torchvision import transforms
from tqdm import tqdm
import time

～(略)～

# 定番のConvolutional Neural Networkをゼロから理解する.
# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in:  torch.Size([1, 3, 224, 224])
# out: torch.Size([1, 192, 3, 3])
conv_net = nn.Sequential(
    # 以下のように略記.
    # H: image height, W: image width
    # P: padding, KH: kernel height, KW: kernel weight
    # SH: stride height, SW: stride weight

    # in: dimension 3, out: dimension 32.
    # 111 = {(H)224 + 2 * (P)0 - (KH)4 / (SH)2} + 1
    nn.Conv2d(3, 32, 4, stride=2),
    # 37 = 111 / (KH)3
    nn.MaxPool2d(3),
    nn.ReLU(),
    # in: dimension 32.
    nn.BatchNorm2d(32),
    
    # in: dimension 32, out: dimension 96.
    # 18 = {(H)37 + 2 * (P)0 - (KH)3 / (SH)2} + 1
    nn.Conv2d(32, 96, 3, stride=2),
    # 9 = 18 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 96.
    nn.BatchNorm2d(96),
    
    # in: dimension 96, out: dimension 192.
    # 6 = {(H)9 + 2 * (P)0 - (KH)4 / (SH)1} + 1
    nn.Conv2d(96, 192, 4),
    # 3 = 6 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 192.
    nn.BatchNorm2d(192),
    
    # torch.Size([1, 192, 3, 3]) 
    FlattenLayer() 
)

# 5. Finally, by convolution, check what kind of size it is.
test_input = torch.ones(1, 3, 224, 224)
# tensor: torch.Size([1, 3, 224, 224])
# 1 × (RGB)3 × (image height)224 × (image weight)224
print('-test_input---------------------------------------')
print(test_input.size())
conv_output_size = conv_net(test_input).size()[-1]
print('-conv_net-----------------------------------------')
print(conv_net)
print('-conv_output_size---------------------------------')
print(conv_output_size) # 1728 = 1 * 192 * 3 * 3.

～(略)～

# 8. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import DataLoader

from torchvision.datasets import ImageFolder

from torchvision import transforms

from tqdm import tqdm

import time

～(略)～

# 定番のConvolutional Neural Networkをゼロから理解する.

# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in: torch.Size([1, 3, 224, 224])

# out: torch.Size([1, 192, 3, 3])

conv_net = nn.Sequential(

# 以下のように略記.

# H: image height, W: image width

# P: padding, KH: kernel height, KW: kernel weight

# SH: stride height, SW: stride weight

# in: dimension 3, out: dimension 32.

# 111 = {(H)224 + 2 * (P)0 - (KH)4 / (SH)2} + 1

nn.Conv2d(3, 32, 4, stride=2),

# 37 = 111 / (KH)3

nn.MaxPool2d(3),

nn.ReLU(),

# in: dimension 32.

nn.BatchNorm2d(32),

# in: dimension 32, out: dimension 96.

# 18 = {(H)37 + 2 * (P)0 - (KH)3 / (SH)2} + 1

nn.Conv2d(32, 96, 3, stride=2),

# 9 = 18 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 96.

nn.BatchNorm2d(96),

# in: dimension 96, out: dimension 192.

# 6 = {(H)9 + 2 * (P)0 - (KH)4 / (SH)1} + 1

nn.Conv2d(96, 192, 4),

# 3 = 6 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 192.

nn.BatchNorm2d(192),

# torch.Size([1, 192, 3, 3])

FlattenLayer()

)

# 5. Finally, by convolution, check what kind of size it is.

test_input = torch.ones(1, 3, 224, 224)

# tensor: torch.Size([1, 3, 224, 224])

# 1 × (RGB)3 × (image height)224 × (image weight)224

print('-test_input---------------------------------------')

print(test_input.size())

conv_output_size = conv_net(test_input).size()[-1]

print('-conv_net-----------------------------------------')

print(conv_net)

print('-conv_output_size---------------------------------')

print(conv_output_size) # 1728 = 1 * 192 * 3 * 3.

～(略)～

# 8. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

※上記ソースについて, 下記のようなコメントの読み替えが必要です.
nn.Conv2d(3, 32, 4, stride=2) … # 111 = {(H)224 + 2 * (P)0 – (KH)4} / (SH)2 + 1
nn.Conv2d(32, 96, 3, stride=2) … # 18 = {(H)37 + 2 * (P)0 – (KH)3} / (SH)2 + 1
nn.Conv2d(96, 192, 4) … # 6 = {(H)9 + 2 * (P)0 – (KH)4} / (SH)1 + 1

■実行結果(epoch = 10).

-test_input---------------------------------------
torch.Size([1, 3, 224, 224])
-conv_net-----------------------------------------
Sequential(
  (0): Conv2d(3, 32, kernel_size=(4, 4), stride=(2, 2))
  (1): MaxPool2d(kernel_size=3, stride=3, padding=0, dilation=1, ceil_mode=False)
  (2): ReLU()
  (3): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (4): Conv2d(32, 96, kernel_size=(3, 3), stride=(2, 2))
  (5): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (6): ReLU()
  (7): BatchNorm2d(96, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (8): Conv2d(96, 192, kernel_size=(4, 4), stride=(1, 1))
  (9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (10): ReLU()
  (11): BatchNorm2d(192, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (12): FlattenLayer ()
)
-conv_output_size---------------------------------
1728
100%|██████████| 23/23 [00:02<00:00,  8.88it/s]
0 0.7228032743388956 0.6460674157303371 0.5
100%|██████████| 23/23 [00:02<00:00,  9.15it/s]
1 0.6300705386833712 0.6938202247191011 0.5833333730697632
100%|██████████| 23/23 [00:02<00:00,  8.98it/s]
2 0.6060458611358296 0.7205056179775281 0.6833333969116211
100%|██████████| 23/23 [00:02<00:00,  8.75it/s]
3 0.528985005888072 0.7584269662921348 0.7166666984558105
100%|██████████| 23/23 [00:02<00:00,  8.63it/s]
4 0.4921892082149332 0.7696629213483146 0.8000000715255737
100%|██████████| 23/23 [00:02<00:00,  9.21it/s]
5 0.5014416643164374 0.7696629213483146 0.8000000715255737
100%|██████████| 23/23 [00:02<00:00,  9.08it/s]
6 0.45061514323407953 0.7907303370786517 0.8333333730697632
100%|██████████| 23/23 [00:02<00:00,  9.57it/s]
7 0.4644389802759344 0.7935393258426966 0.7500000596046448
100%|██████████| 23/23 [00:02<00:00,  9.75it/s]
8 0.4227466962554238 0.8132022471910112 0.7833333611488342
100%|██████████| 23/23 [00:02<00:00,  8.36it/s]
9 0.4435369643298062 0.8019662921348315 0.7833333611488342
--------------------------------------------------
Elapsed Time: 27.840532064437866[sec]

-test_input---------------------------------------

torch.Size([1, 3, 224, 224])

-conv_net-----------------------------------------

Sequential(

(0): Conv2d(3, 32, kernel_size=(4, 4), stride=(2, 2))

(1): MaxPool2d(kernel_size=3, stride=3, padding=0, dilation=1, ceil_mode=False)

(2): ReLU()

(3): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(4): Conv2d(32, 96, kernel_size=(3, 3), stride=(2, 2))

(5): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)

(6): ReLU()

(7): BatchNorm2d(96, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(8): Conv2d(96, 192, kernel_size=(4, 4), stride=(1, 1))

(9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)

(10): ReLU()

(11): BatchNorm2d(192, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(12): FlattenLayer ()

)

-conv_output_size---------------------------------

1728

100%|██████████| 23/23 [00:02<00:00, 8.88it/s]

0 0.7228032743388956 0.6460674157303371 0.5

100%|██████████| 23/23 [00:02<00:00, 9.15it/s]

1 0.6300705386833712 0.6938202247191011 0.5833333730697632

100%|██████████| 23/23 [00:02<00:00, 8.98it/s]

2 0.6060458611358296 0.7205056179775281 0.6833333969116211

100%|██████████| 23/23 [00:02<00:00, 8.75it/s]

3 0.528985005888072 0.7584269662921348 0.7166666984558105

100%|██████████| 23/23 [00:02<00:00, 8.63it/s]

4 0.4921892082149332 0.7696629213483146 0.8000000715255737

100%|██████████| 23/23 [00:02<00:00, 9.21it/s]

5 0.5014416643164374 0.7696629213483146 0.8000000715255737

100%|██████████| 23/23 [00:02<00:00, 9.08it/s]

6 0.45061514323407953 0.7907303370786517 0.8333333730697632

100%|██████████| 23/23 [00:02<00:00, 9.57it/s]

7 0.4644389802759344 0.7935393258426966 0.7500000596046448

100%|██████████| 23/23 [00:02<00:00, 9.75it/s]

8 0.4227466962554238 0.8132022471910112 0.7833333611488342

100%|██████████| 23/23 [00:02<00:00, 8.36it/s]

9 0.4435369643298062 0.8019662921348315 0.7833333611488342

--------------------------------------------------

Elapsed Time: 27.840532064437866[sec]

■以上の実行結果から, 以下のことが分かった.

① 実行時間について, 以下の改善が見られた.
-> stride = (2, 2) の設定を追加したことで, 処理の早い段階で, 情報量が大幅に削減されたため, と推測している.
[前回]
Elapsed Time: 56.54160785675049[sec]

[今回]
Elapsed Time: 27.840532064437866[sec]

② 精度について, 以下の改善が見られた(※理由は, 不明).
[前回]
約67%

[今回]
約80%

⑤ CNN の 構造 について, 理解を深めるため, 改めて, 以下のように追跡し, 参照URL① の 計算式を使って, 説明を追加した.
[入力値(test_input)]
画像: 1枚 × (RGBの)3種類 × (高)224px × (幅)224px
-> torch.Size([1, 3, 224, 224])

[Convolution Layer(その1)]
nn.Conv2d(3, 32, 4, stride=2) … in(第一引数): dimension 3, out(第二引数): dimension 32 の 設定.
-> 111 = {(H)224 + 2 * (P)0 - (KH)4} / (SH)2 + 1
※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)111px × (幅)111px に変換されるイメージ.

[Pooling Layer(その1)]
nn.MaxPool2d(3) … サイズが1/3となる.
-> 37 = 111 / (KH)3
※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)37px × (幅)37px に変換されるイメージ.

[Batch Normalization(その1)]
nn.BatchNorm2d(32) … サイズは, 変わらない, [Convolution Layer(その1)] の out(第二引数): dimension 32 を 引数とするらしい.

[Convolution Layer(その2)]
nn.Conv2d(32, 96, 3, stride=2) … in(第一引数): dimension 32, out(第二引数): dimension 96 の 設定.
-> 18 = {(H)37 + 2 * (P)0 - (KH)3} / (SH)2 + 1
※画像: 1枚 × (RGBのチャンネル???)96種類 × (高)18px × (幅)18px に変換されるイメージ.

[Pooling Layer(その2)]
nn.MaxPool2d(2) … サイズが1/2となる.
-> 9 = 18 / (KH)2
※画像: 1枚 × (RGBのチャンネル???)96種類 × (高)9px × (幅)9px に変換されるイメージ.

[Batch Normalization(その2)]
nn.BatchNorm2d(96) … サイズは, 変わらない, [Convolution Layer(その2)] の out(第二引数): dimension 96 を 引数とするらしい.

[Convolution Layer(その3)]
nn.Conv2d(96, 192, 4) … in(第一引数): dimension 96, out(第二引数): dimension 192 の 設定.
-> 6 = {(H)9 + 2 * (P)0 - (KH)4} / (SH)1 + 1
※画像: 1枚 × (RGBのチャンネル???)192種類 × (高)6px × (幅)6px に変換されるイメージ.

[Pooling Layer(その3)]
nn.MaxPool2d(2) … サイズが1/2となる.
-> 3 = 6 / (KH)2
※画像: 1枚 × (RGBのチャンネル???)192種類 × (高)3px × (幅)3px に変換されるイメージ.

[Batch Normalization(その3)]
nn.BatchNorm2d(192) … サイズは, 変わらない, [Convolution Layer(その3)] の out(第二引数): dimension 192 を 引数とするらしい.

[Flatten Layer]
FlattenLayer() … サイズは,  torch.Size([1, 192, 3, 3]) から, torch.Size([1, 1728]) に変換される.
※画像: 1枚 × (情報量)1728個 に変換されるイメージ.

[出力値(conv_output_size)]
※画像: (情報量)1728個 に変換されるイメージ.

① 実行時間について, 以下の改善が見られた.

-> stride = (2, 2) の設定を追加したことで, 処理の早い段階で, 情報量が大幅に削減されたため, と推測している.

[前回]

Elapsed Time: 56.54160785675049[sec]

[今回]

Elapsed Time: 27.840532064437866[sec]

② 精度について, 以下の改善が見られた(※理由は, 不明).

[前回]

約67%

[今回]

約80%

⑤ CNN の構造について, 理解を深めるため, 改めて, 以下のように追跡し, 参照URL① の計算式を使って, 説明を追加した.

[入力値(test_input)]

画像: 1枚 × (RGBの)3種類 × (高)224px × (幅)224px

-> torch.Size([1, 3, 224, 224])

[Convolution Layer(その1)]

nn.Conv2d(3, 32, 4, stride=2) … in(第一引数): dimension 3, out(第二引数): dimension 32 の設定.

-> 111 = {(H)224 + 2 * (P)0 - (KH)4} / (SH)2 + 1

※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)111px × (幅)111px に変換されるイメージ.

[Pooling Layer(その1)]

nn.MaxPool2d(3) … サイズが1/3となる.

-> 37 = 111 / (KH)3

※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)37px × (幅)37px に変換されるイメージ.

[Batch Normalization(その1)]

nn.BatchNorm2d(32) … サイズは, 変わらない, [Convolution Layer(その1)] の out(第二引数): dimension 32 を引数とするらしい.

[Convolution Layer(その2)]

nn.Conv2d(32, 96, 3, stride=2) … in(第一引数): dimension 32, out(第二引数): dimension 96 の設定.

-> 18 = {(H)37 + 2 * (P)0 - (KH)3} / (SH)2 + 1

※画像: 1枚 × (RGBのチャンネル???)96種類 × (高)18px × (幅)18px に変換されるイメージ.

[Pooling Layer(その2)]

nn.MaxPool2d(2) … サイズが1/2となる.

-> 9 = 18 / (KH)2

※画像: 1枚 × (RGBのチャンネル???)96種類 × (高)9px × (幅)9px に変換されるイメージ.

[Batch Normalization(その2)]

nn.BatchNorm2d(96) … サイズは, 変わらない, [Convolution Layer(その2)] の out(第二引数): dimension 96 を引数とするらしい.

[Convolution Layer(その3)]

nn.Conv2d(96, 192, 4) … in(第一引数): dimension 96, out(第二引数): dimension 192 の設定.

-> 6 = {(H)9 + 2 * (P)0 - (KH)4} / (SH)1 + 1

※画像: 1枚 × (RGBのチャンネル???)192種類 × (高)6px × (幅)6px に変換されるイメージ.

[Pooling Layer(その3)]

nn.MaxPool2d(2) … サイズが1/2となる.

-> 3 = 6 / (KH)2

※画像: 1枚 × (RGBのチャンネル???)192種類 × (高)3px × (幅)3px に変換されるイメージ.

[Batch Normalization(その3)]

nn.BatchNorm2d(192) … サイズは, 変わらない, [Convolution Layer(その3)] の out(第二引数): dimension 192 を引数とするらしい.

[Flatten Layer]

FlattenLayer() … サイズは, torch.Size([1, 192, 3, 3]) から, torch.Size([1, 1728]) に変換される.

※画像: 1枚 × (情報量)1728個に変換されるイメージ.

[出力値(conv_output_size)]

※画像: (情報量)1728個に変換されるイメージ.

■参照サイト
【参照URL①】定番のConvolutional Neural Networkをゼロから理解する.

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年10月25日2018年10月25日

PyTorch の動作確認をしてみた（８）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

※1. プログラムの詳細は、書籍を参考(P.072 – P.082)にして下さい。
※2. 転移学習の前に, CNN の理解が怪しかったので, 復習した.

■転移学習(書籍の一部を抜粋・改変).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import DataLoader
from torchvision.datasets import ImageFolder
from torchvision import transforms
from tqdm import tqdm
import time

～(略)～

# 3. make Dataset.
train_imgs = ImageFolder(
       # ".spyder-py3\\taco_and_burrito\\train\\", 
       # -> 以下のようなエラーが出力されたので, pathを修正.
       # FileNotFoundError: [WinError 3] 指定されたパスが見つかりません。: 
       #'.spyder-py3\\taco_and_burrito\\train\\'
        "taco_and_burrito\\train\\", 
        transform = transforms.Compose([
                transforms.RandomCrop(224),
                transforms.ToTensor()])
        )

～(略)～

# https://github.com/andreh7/ecal-rechits-pytorch-training/blob/master/FlattenLayer.py
class FlattenLayer(nn.Module):
    # a 'View' reshaping the input to dimension (minibatch, product of remaining dimensions)
    # typically to be used after a convolutional network and before the dense layers

    ### def __init__(self):
    ###     super(FlattenLayer, self).__init__()

    def forward(self, x):
        # see e.g. https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.py#L44
        # https://pytorch.org/docs/stable/tensors.html
        # the size -1 is inferred from other dimensions
        # print(x.size()) # torch.Size([1, 128, 24, 24])
        return x.view(x.size(0), -1)

    def __repr__(self):
        return self.__class__.__name__ + " ()"

# 定番のConvolutional Neural Networkをゼロから理解する.
# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in:  torch.Size([1, 3, 224, 224])
# out: torch.Size([1, 128, 24, 24])
conv_net = nn.Sequential(
    # 以下のように略記.
    # H: image height, W: image width
    # P: padding, KH: kernel height, KW: kernel weight
    # SH: stride height, SW: stride weight

    # in: dimension 3, out: dimension 32.
    # 220 = {(H)224 + 2 * (P)0 - (KH)5 / (SH)1} + 1
    nn.Conv2d(3, 32, 5),
    # 110 = 220 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 32.
    nn.BatchNorm2d(32),
    
    # in: dimension 32, out: dimension 64.
    # 106 = {(H)110 + 2 * (P)0 - (KH)5 / (SH)1} + 1
    nn.Conv2d(32, 64, 5),
    # 53 = 106 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 64.
    nn.BatchNorm2d(64),
    
    # in: dimension 64, out: dimension 128.
    # 49 = {(H)53 + 2 * (P)0 - (KH)5 / (SH)1} + 1
    nn.Conv2d(64, 128, 5),
    # 24 = 49 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 128.
    nn.BatchNorm2d(128),
    
    # torch.Size([1, 128, 24, 24]) 
    FlattenLayer() 
)

# 5. Finally, by convolution, check what kind of size it is.
test_input = torch.ones(1, 3, 224, 224)
# tensor: torch.Size([1, 3, 224, 224])
# 1 × (RGB)3 × (image height)224 × (image weight)224
print('-test_input---------------------------------------')
print(test_input.size())
conv_output_size = conv_net(test_input).size()[-1]
print('-conv_net-----------------------------------------')
print(conv_net)
print('-conv_output_size---------------------------------')
print(conv_output_size) # 73728 = 1 * 128 * 24 * 24.

～(略)～

# 8. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import DataLoader

from torchvision.datasets import ImageFolder

from torchvision import transforms

from tqdm import tqdm

import time

～(略)～

# 3. make Dataset.

train_imgs = ImageFolder(

# ".spyder-py3\\taco_and_burrito\\train\\",

# -> 以下のようなエラーが出力されたので, pathを修正.

# FileNotFoundError: [WinError 3] 指定されたパスが見つかりません。:

#'.spyder-py3\\taco_and_burrito\\train\\'

"taco_and_burrito\\train\\",

transform = transforms.Compose([

transforms.RandomCrop(224),

transforms.ToTensor()])

)

～(略)～

# https://github.com/andreh7/ecal-rechits-pytorch-training/blob/master/FlattenLayer.py

class FlattenLayer(nn.Module):

# a 'View' reshaping the input to dimension (minibatch, product of remaining dimensions)

# typically to be used after a convolutional network and before the dense layers

### def __init__(self):

### super(FlattenLayer, self).__init__()

def forward(self, x):

# see e.g. https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.py#L44

# https://pytorch.org/docs/stable/tensors.html

# the size -1 is inferred from other dimensions

# print(x.size()) # torch.Size([1, 128, 24, 24])

return x.view(x.size(0), -1)

def __repr__(self):

return self.__class__.__name__ + " ()"

# 定番のConvolutional Neural Networkをゼロから理解する.

# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in: torch.Size([1, 3, 224, 224])

# out: torch.Size([1, 128, 24, 24])

conv_net = nn.Sequential(

# 以下のように略記.

# H: image height, W: image width

# P: padding, KH: kernel height, KW: kernel weight

# SH: stride height, SW: stride weight

# in: dimension 3, out: dimension 32.

# 220 = {(H)224 + 2 * (P)0 - (KH)5 / (SH)1} + 1

nn.Conv2d(3, 32, 5),

# 110 = 220 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 32.

nn.BatchNorm2d(32),

# in: dimension 32, out: dimension 64.

# 106 = {(H)110 + 2 * (P)0 - (KH)5 / (SH)1} + 1

nn.Conv2d(32, 64, 5),

# 53 = 106 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 64.

nn.BatchNorm2d(64),

# in: dimension 64, out: dimension 128.

# 49 = {(H)53 + 2 * (P)0 - (KH)5 / (SH)1} + 1

nn.Conv2d(64, 128, 5),

# 24 = 49 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 128.

nn.BatchNorm2d(128),

# torch.Size([1, 128, 24, 24])

FlattenLayer()

)

# 5. Finally, by convolution, check what kind of size it is.

test_input = torch.ones(1, 3, 224, 224)

# tensor: torch.Size([1, 3, 224, 224])

# 1 × (RGB)3 × (image height)224 × (image weight)224

print('-test_input---------------------------------------')

print(test_input.size())

conv_output_size = conv_net(test_input).size()[-1]

print('-conv_net-----------------------------------------')

print(conv_net)

print('-conv_output_size---------------------------------')

print(conv_output_size) # 73728 = 1 * 128 * 24 * 24.

～(略)～

# 8. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

※上記ソースについて, 下記のようなコメントの読み替えが必要です.
nn.Conv2d(3, 32, 5) … # 220 = {(H)224 + 2 * (P)0 – (KH)5} / (SH)1 + 1
nn.Conv2d(32, 64, 5) … # 106 = {(H)110 + 2 * (P)0 – (KH)5} / (SH)1 + 1
nn.Conv2d(64, 128, 5) … # 49 = {(H)53 + 2 * (P)0 – (KH)5} / (SH)1 + 1

■実行結果(epoch = 10).

-test_input---------------------------------------
torch.Size([1, 3, 224, 224])
-conv_net-----------------------------------------
Sequential(
  (0): Conv2d(3, 32, kernel_size=(5, 5), stride=(1, 1))
  (1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (2): ReLU()
  (3): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (4): Conv2d(32, 64, kernel_size=(5, 5), stride=(1, 1))
  (5): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (6): ReLU()
  (7): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (8): Conv2d(64, 128, kernel_size=(5, 5), stride=(1, 1))
  (9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (10): ReLU()
  (11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (12): FlattenLayer ()
)
-conv_output_size---------------------------------
73728
100%|██████████| 23/23 [00:05<00:00,  4.07it/s]
0 2.1239339912479576 0.5379213483146067 0.5166667103767395
100%|██████████| 23/23 [00:05<00:00,  4.06it/s]
1 2.9489047635685313 0.5912921348314607 0.6166666746139526
100%|██████████| 23/23 [00:05<00:00,  4.18it/s]
2 2.7068503390658987 0.6221910112359551 0.7000000476837158
100%|██████████| 23/23 [00:05<00:00,  4.26it/s]
3 3.0366936163468794 0.625 0.6166666746139526
100%|██████████| 23/23 [00:05<00:00,  5.11it/s]
4 2.7064651305025276 0.6165730337078652 0.6666666865348816
100%|██████████| 23/23 [00:05<00:00,  4.24it/s]
5 2.357206783511422 0.6573033707865169 0.6333333849906921
100%|██████████| 23/23 [00:05<00:00,  4.40it/s]
6 2.1463713212446733 0.6446629213483146 0.6666666865348816
100%|██████████| 23/23 [00:05<00:00,  4.37it/s]
7 1.9633805778893558 0.6741573033707865 0.6666666865348816
100%|██████████| 23/23 [00:05<00:00,  4.32it/s]
8 2.0187623500823975 0.6629213483146067 0.6666666865348816
100%|██████████| 23/23 [00:05<00:00,  4.35it/s]
9 1.9592277868227526 0.672752808988764 0.7500000596046448
--------------------------------------------------
Elapsed Time: 56.54160785675049[sec]

-test_input---------------------------------------

torch.Size([1, 3, 224, 224])

-conv_net-----------------------------------------

Sequential(

(0): Conv2d(3, 32, kernel_size=(5, 5), stride=(1, 1))

(1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)

(2): ReLU()

(3): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(4): Conv2d(32, 64, kernel_size=(5, 5), stride=(1, 1))

(5): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)

(6): ReLU()

(7): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(8): Conv2d(64, 128, kernel_size=(5, 5), stride=(1, 1))

(9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)

(10): ReLU()

(11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(12): FlattenLayer ()

)

-conv_output_size---------------------------------

73728

100%|██████████| 23/23 [00:05<00:00, 4.07it/s]

0 2.1239339912479576 0.5379213483146067 0.5166667103767395

100%|██████████| 23/23 [00:05<00:00, 4.06it/s]

1 2.9489047635685313 0.5912921348314607 0.6166666746139526

100%|██████████| 23/23 [00:05<00:00, 4.18it/s]

2 2.7068503390658987 0.6221910112359551 0.7000000476837158

100%|██████████| 23/23 [00:05<00:00, 4.26it/s]

3 3.0366936163468794 0.625 0.6166666746139526

100%|██████████| 23/23 [00:05<00:00, 5.11it/s]

4 2.7064651305025276 0.6165730337078652 0.6666666865348816

100%|██████████| 23/23 [00:05<00:00, 4.24it/s]

5 2.357206783511422 0.6573033707865169 0.6333333849906921

100%|██████████| 23/23 [00:05<00:00, 4.40it/s]

6 2.1463713212446733 0.6446629213483146 0.6666666865348816

100%|██████████| 23/23 [00:05<00:00, 4.37it/s]

7 1.9633805778893558 0.6741573033707865 0.6666666865348816

100%|██████████| 23/23 [00:05<00:00, 4.32it/s]

8 2.0187623500823975 0.6629213483146067 0.6666666865348816

100%|██████████| 23/23 [00:05<00:00, 4.35it/s]

9 1.9592277868227526 0.672752808988764 0.7500000596046448

--------------------------------------------------

Elapsed Time: 56.54160785675049[sec]

■以上の実行結果から, 以下のことが分かった.

① ImageFolderの使い方として, Spyderのホームフォルダである, [.spyder-py3]フォルダをトップとして, [.spyder-py3\\taco_and_burrito\\train\\]フォルダを指定すると,
FileNotFoundError: [WinError 3] 指定されたパスが見つかりません。: 
のようなエラーが出力されたため, 
Spyderのホームフォルダ内 の [taco_and_burrito\\train\\]フォルダ を 指定する形に修正したところ, 動作確認出来た.

② 書籍上(P.82)出てくる FlattenLayer層 について, 実装が見当たらなかったので, 下記, 参照URL③ から, そのままソースを持ってくる対応を行った.

③ epoch = 10 における精度は, おおよそ 67% 程度と判明した.

④ view の 引数に, -1 が出てきたので, 参照URL②(# the size -1 is inferred from other dimensions の 説明があった) を 確認した.

⑤ CNN の 構造 が, 理解できてなかったので, 以下のように追跡し, 参照URL① の 計算式を使って, 説明を追加した.
[入力値(test_input)]
画像: 1枚 × (RGBの)3種類 × (高)224px × (幅)224px
-> torch.Size([1, 3, 224, 224])

[Convolution Layer(その1)]
nn.Conv2d(3, 32, 5) … in(第一引数): dimension 3, out(第二引数): dimension 32 の 設定.
-> 220 = {(H)224 + 2 * (P)0 - (KH)5} / (SH)1 + 1
※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)220px × (幅)220px に変換されるイメージ.

[Pooling Layer(その1)]
nn.MaxPool2d(2) … サイズが1/2となる.
-> 110 = 220 / (KH)2
※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)110px × (幅)110px に変換されるイメージ.

[Batch Normalization(その1)]
nn.BatchNorm2d(32) … サイズは, 変わらない, [Convolution Layer(その1)] の out(第二引数): dimension 32 を 引数とするらしい.

[Convolution Layer(その2)]
nn.Conv2d(32, 64, 5) … in(第一引数): dimension 32, out(第二引数): dimension 64 の 設定.
-> 106 = {(H)110 + 2 * (P)0 - (KH)5} / (SH)1 + 1
※画像: 1枚 × (RGBのチャンネル???)64種類 × (高)106px × (幅)106px に変換されるイメージ.

[Pooling Layer(その2)]
nn.MaxPool2d(2) … サイズが1/2となる.
-> 53 = 106 / (KH)2
※画像: 1枚 × (RGBのチャンネル???)64種類 × (高)53px × (幅)53px に変換されるイメージ.

[Batch Normalization(その2)]
nn.BatchNorm2d(64) … サイズは, 変わらない, [Convolution Layer(その2)] の out(第二引数): dimension 64 を 引数とするらしい.

[Convolution Layer(その3)]
nn.Conv2d(64, 128, 5) … in(第一引数): dimension 64, out(第二引数): dimension 128 の 設定.
-> 49 = {(H)53 + 2 * (P)0 - (KH)5} / (SH)1 + 1
※画像: 1枚 × (RGBのチャンネル???)128種類 × (高)49px × (幅)49px に変換されるイメージ.

[Pooling Layer(その3)]
nn.MaxPool2d(2) … サイズが1/2となる.
-> 24 = 49 / (KH)2
※画像: 1枚 × (RGBのチャンネル???)128種類 × (高)24px × (幅)24px に変換されるイメージ.

[Batch Normalization(その3)]
nn.BatchNorm2d(128) … サイズは, 変わらない, [Convolution Layer(その3)] の out(第二引数): dimension 128 を 引数とするらしい.

[Flatten Layer]
FlattenLayer() … サイズは,  torch.Size([1, 128, 24, 24]) から, torch.Size([1, 73728]) に変換される.
※画像: 1枚 × (情報量)73728個 に変換されるイメージ.

[出力値(conv_output_size)]
※画像: (情報量)73728個 に変換されるイメージ.

① ImageFolderの使い方として, Spyderのホームフォルダである, [.spyder-py3]フォルダをトップとして, [.spyder-py3\\taco_and_burrito\\train\\]フォルダを指定すると,

FileNotFoundError: [WinError 3] 指定されたパスが見つかりません。:

のようなエラーが出力されたため,

Spyderのホームフォルダ内の [taco_and_burrito\\train\\]フォルダを指定する形に修正したところ, 動作確認出来た.

② 書籍上(P.82)出てくる FlattenLayer層について, 実装が見当たらなかったので, 下記, 参照URL③ から, そのままソースを持ってくる対応を行った.

③ epoch = 10 における精度は, おおよそ 67% 程度と判明した.

④ view の引数に, -1 が出てきたので, 参照URL②(# the size -1 is inferred from other dimensions の説明があった) を確認した.

⑤ CNN の構造が, 理解できてなかったので, 以下のように追跡し, 参照URL① の計算式を使って, 説明を追加した.

[入力値(test_input)]

画像: 1枚 × (RGBの)3種類 × (高)224px × (幅)224px

-> torch.Size([1, 3, 224, 224])

[Convolution Layer(その1)]

nn.Conv2d(3, 32, 5) … in(第一引数): dimension 3, out(第二引数): dimension 32 の設定.

-> 220 = {(H)224 + 2 * (P)0 - (KH)5} / (SH)1 + 1

※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)220px × (幅)220px に変換されるイメージ.

[Pooling Layer(その1)]

nn.MaxPool2d(2) … サイズが1/2となる.

-> 110 = 220 / (KH)2

※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)110px × (幅)110px に変換されるイメージ.

[Batch Normalization(その1)]

nn.BatchNorm2d(32) … サイズは, 変わらない, [Convolution Layer(その1)] の out(第二引数): dimension 32 を引数とするらしい.

[Convolution Layer(その2)]

nn.Conv2d(32, 64, 5) … in(第一引数): dimension 32, out(第二引数): dimension 64 の設定.

-> 106 = {(H)110 + 2 * (P)0 - (KH)5} / (SH)1 + 1

※画像: 1枚 × (RGBのチャンネル???)64種類 × (高)106px × (幅)106px に変換されるイメージ.

[Pooling Layer(その2)]

nn.MaxPool2d(2) … サイズが1/2となる.

-> 53 = 106 / (KH)2

※画像: 1枚 × (RGBのチャンネル???)64種類 × (高)53px × (幅)53px に変換されるイメージ.

[Batch Normalization(その2)]

nn.BatchNorm2d(64) … サイズは, 変わらない, [Convolution Layer(その2)] の out(第二引数): dimension 64 を引数とするらしい.

[Convolution Layer(その3)]

nn.Conv2d(64, 128, 5) … in(第一引数): dimension 64, out(第二引数): dimension 128 の設定.

-> 49 = {(H)53 + 2 * (P)0 - (KH)5} / (SH)1 + 1

※画像: 1枚 × (RGBのチャンネル???)128種類 × (高)49px × (幅)49px に変換されるイメージ.

[Pooling Layer(その3)]

nn.MaxPool2d(2) … サイズが1/2となる.

-> 24 = 49 / (KH)2

※画像: 1枚 × (RGBのチャンネル???)128種類 × (高)24px × (幅)24px に変換されるイメージ.

[Batch Normalization(その3)]

nn.BatchNorm2d(128) … サイズは, 変わらない, [Convolution Layer(その3)] の out(第二引数): dimension 128 を引数とするらしい.

[Flatten Layer]

FlattenLayer() … サイズは, torch.Size([1, 128, 24, 24]) から, torch.Size([1, 73728]) に変換される.

※画像: 1枚 × (情報量)73728個に変換されるイメージ.

[出力値(conv_output_size)]

※画像: (情報量)73728個に変換されるイメージ.

■参照サイト
【参照URL①】定番のConvolutional Neural Networkをゼロから理解する.
【参照URL②】torch.Tensor
【参照URL③】andreh7/ecal-rechits-pytorch-training

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

C++の練習を兼ねて, AtCoder Beginner Contest 056 の 問題C（Go Home), 問題D（No Need) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 055 の 問題C（Scc Puzzle), 問題D（Menagerie) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 058 の 問題C（怪文書 / Dubious Document), 問題D（井井井 / ###) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 056 の問題C（Go Home), 問題D（No Need) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 055 の問題C（Scc Puzzle), 問題D（Menagerie) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 058 の問題C（怪文書 / Dubious Document), 問題D（井井井 / ###) を解いてみた.