10月, 2018 | 個人用メモ帳

2018年10月31日

C++ の動作確認をしてみた（３０）

C++の練習を兼ねて, AtCoder Beginner Contest 055 の問題C（Scc Puzzle), 問題D（Menagerie) を解いてみた.

■感想.
問題C, 問題D ともに, 時間はかかったもの(※特に, 問題D)の, 解説見ずに解けたので, 良かったと思う.
※結局, 解説と同じ方針だった.

本家のサイトABC055 / ARC069 解説をご覧下さい.

■C++版プログラム(問題C／AC版).

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

int main() {
    
    // 1. 入力情報取得.
    LL N, M;
    cin >> N >> M;
    
    // 2. 'Scc' を 出来るだけ大量に生成する.
    LL ans  = 0;
    // 2-1. M <= 2 × N の 場合.
    if(M <= 2 * N)  ans = M / 2;
    // 2-2. M > 2 × N の場合.
    // (M - 2 * N)個 の 'c' から 'Scc' を 1組を作るのに, 4つずつ消費するため, 4で割ることになる.
    else            ans = N + (M - 2 * N) / 4;
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

int main() {

// 1. 入力情報取得.

LL N, M;

cin >> N >> M;

// 2. 'Scc' を出来るだけ大量に生成する.

LL ans = 0;

// 2-1. M <= 2 × N の場合.

if(M <= 2 * N) ans = M / 2;

// 2-2. M > 2 × N の場合.

// (M - 2 * N)個の 'c' から 'Scc' を 1組を作るのに, 4つずつ消費するため, 4で割ることになる.

else ans = N + (M - 2 * N) / 4;

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■C++版プログラム(問題D／AC版).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

// 与えられた文字から, 次の文字を判定.
// @param csw: 現在の文字.
// @param bsw: 前回の文字.
// @param ox:  'o' or 'x'.
// @return :   'S' or 'W' or 'A' を 返却.
char update(char csw, char bsw, char ox) {
    
    // 前回の文字 と 異なる文字 を 設定.
    char invbsw = (bsw == 'S') ? 'W' : 'S';
    
    // csw == 'S' かつ ox == 'o' の 場合.
    if(csw == 'S' && ox == 'o') return bsw;

    // csw == 'S' かつ ox == 'x' の 場合.
    if(csw == 'S' && ox == 'x') return invbsw;

    // csw == 'W' かつ ox == 'o' の 場合.
    if(csw == 'W' && ox == 'o') return invbsw;

    // csw == 'W' かつ ox == 'x' の 場合.
    if(csw == 'W' && ox == 'x') return bsw;
    
    // 上記以外の場合.
    return 'A';

}

int main() {

    // 1. 入力情報取得.
    int N;
    string S;
    cin >> N;
    cin >> S;
    
    // 2. 文字列 S1 ～ S4 を設定.
    // ex)
    // N = 3 の 場合.
    // S1 = "SSAAA" … SSを先頭とする文字列.
    // S2 = "SWAAA" … SWを先頭とする文字列.
    // S3 = "WSAAA" … WSを先頭とする文字列.
    // S4 = "WWAAA" … WWを先頭とする文字列.
    string S1, S2, S3, S4, A;
    FOR(i, 0, N) A += 'A';
    S1 = "SS" + A;
    S2 = "SW" + A;
    S3 = "WS" + A;
    S4 = "WW" + A;
    
    // 3. 文字列 S1 ～ S4 を更新.
    // 3-1. S1 ～ S4更新.
    FOR(i, 1, N + 1) {
        S1[i + 1] = update(S1[i], S1[i - 1], S[i - 1]);
        S2[i + 1] = update(S2[i], S2[i - 1], S[i - 1]);
        S3[i + 1] = update(S3[i], S3[i - 1], S[i - 1]);
        S4[i + 1] = update(S4[i], S4[i - 1], S[i - 1]);
    }
    
    // cout << S1 << endl;
    // cout << S2 << endl;
    // cout << S3 << endl;
    // cout << S4 << endl;
    
    // 3-2. S1 ～ S4判定.
    bool b1 = (S1[0] == S1[N] && S1[1] == S1[N + 1]) ? true : false;
    bool b2 = (S2[0] == S2[N] && S2[1] == S2[N + 1]) ? true : false;
    bool b3 = (S3[0] == S3[N] && S3[1] == S3[N + 1]) ? true : false;
    bool b4 = (S4[0] == S4[N] && S4[1] == S4[N + 1]) ? true : false;

    // 3-3. S1 ～ S4 の 先頭文字, 最終文字を削除.
    S1.erase(S1.begin());
    S1.pop_back();
    S2.erase(S2.begin());
    S2.pop_back();
    S3.erase(S3.begin());
    S3.pop_back();
    S4.erase(S4.begin());
    S4.pop_back();
    
    // 4. 出力 ～ 後処理.
    if(b1)                       cout << S1 << endl;
    if(!b1 && b2)                cout << S2 << endl;
    if(!b1 && !b2 && b3)         cout << S3 << endl;
    if(!b1 && !b2 && !b3 && b4)  cout << S4 << endl;
    if(!b1 && !b2 && !b3 && !b4) cout << -1 << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

// 与えられた文字から, 次の文字を判定.

// @param csw: 現在の文字.

// @param bsw: 前回の文字.

// @param ox: 'o' or 'x'.

// @return : 'S' or 'W' or 'A' を返却.

char update(char csw, char bsw, char ox) {

// 前回の文字と異なる文字を設定.

char invbsw = (bsw == 'S') ? 'W' : 'S';

// csw == 'S' かつ ox == 'o' の場合.

if(csw == 'S' && ox == 'o') return bsw;

// csw == 'S' かつ ox == 'x' の場合.

if(csw == 'S' && ox == 'x') return invbsw;

// csw == 'W' かつ ox == 'o' の場合.

if(csw == 'W' && ox == 'o') return invbsw;

// csw == 'W' かつ ox == 'x' の場合.

if(csw == 'W' && ox == 'x') return bsw;

// 上記以外の場合.

return 'A';

}

int main() {

// 1. 入力情報取得.

int N;

string S;

cin >> N;

cin >> S;

// 2. 文字列 S1 ～ S4 を設定.

// ex)

// N = 3 の場合.

// S1 = "SSAAA" … SSを先頭とする文字列.

// S2 = "SWAAA" … SWを先頭とする文字列.

// S3 = "WSAAA" … WSを先頭とする文字列.

// S4 = "WWAAA" … WWを先頭とする文字列.

string S1, S2, S3, S4, A;

FOR(i, 0, N) A += 'A';

S1 = "SS" + A;

S2 = "SW" + A;

S3 = "WS" + A;

S4 = "WW" + A;

// 3. 文字列 S1 ～ S4 を更新.

// 3-1. S1 ～ S4更新.

FOR(i, 1, N + 1) {

S1[i + 1] = update(S1[i], S1[i - 1], S[i - 1]);

S2[i + 1] = update(S2[i], S2[i - 1], S[i - 1]);

S3[i + 1] = update(S3[i], S3[i - 1], S[i - 1]);

S4[i + 1] = update(S4[i], S4[i - 1], S[i - 1]);

}

// cout << S1 << endl;

// cout << S2 << endl;

// cout << S3 << endl;

// cout << S4 << endl;

// 3-2. S1 ～ S4判定.

bool b1 = (S1[0] == S1[N] && S1[1] == S1[N + 1]) ? true : false;

bool b2 = (S2[0] == S2[N] && S2[1] == S2[N + 1]) ? true : false;

bool b3 = (S3[0] == S3[N] && S3[1] == S3[N + 1]) ? true : false;

bool b4 = (S4[0] == S4[N] && S4[1] == S4[N + 1]) ? true : false;

// 3-3. S1 ～ S4 の先頭文字, 最終文字を削除.

S1.erase(S1.begin());

S1.pop_back();

S2.erase(S2.begin());

S2.pop_back();

S3.erase(S3.begin());

S3.pop_back();

S4.erase(S4.begin());

S4.pop_back();

// 4. 出力～後処理.

if(b1) cout << S1 << endl;

if(!b1 && b2) cout << S2 << endl;

if(!b1 && !b2 && b3) cout << S3 << endl;

if(!b1 && !b2 && !b3 && b4) cout << S4 << endl;

if(!b1 && !b2 && !b3 && !b4) cout << -1 << endl;

return 0;

}

■参照サイト
AtCoder Beginner Contest 055

2018年10月30日

PyTorch の動作確認をしてみた（１１）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 4.4 CNN回帰モデルによる画像の高解像化(P.083 – P.088) である。

※1. プログラムの詳細は、書籍を参考(P.083 – P.088)にして下さい。
※2. ConvTranspose2d が出てきたので, 改めて本家のサイトを確認し, プログラム上に, 計算式等をメモした.

■CNN回帰モデル(書籍CNNモデルを抜粋・加筆).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torchvision.datasets import ImageFolder
from torchvision import transforms
from torch.utils.data import DataLoader
import os, time

～(略)～

# 4. declare network.
# torch.nn
# https://pytorch.org/docs/stable/nn.html#torch.nn.ConvTranspose2d
# ex.
# Input:  torch.Size([1, 3, 128, 128])
# Output: torch.Size([1, 3, 512, 512])
net = nn.Sequential(
    # 次元の計算について, 公式サイト通りとする.
    # ex. 
    # kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3
    # kernel_size = 5      ならば, kernel_size[0] = 5, kernel_size[1] = 5
    # padding = (3, 5)     ならば, padding[0] = 3, padding[1] = 5
    # padding = 2          ならば, padding[0] = 2, padding[1] = 2
    # stride = (4, 5)      ならば, stride[0] = 4, stride[1] = 5
    # stride = 3           ならば, stride[0] = 3, stride[1] = 3
    # dilation は, ここでは, 初期値 (1, 1) を 使用するため, dilation[0] = 1, dilation[1] = 1
    # output_padding は, ここでは, 初期値 0 を 使用するため, output_padding[0] = 0, output_padding[1] = 0
    
    # Conv2d
    # Input:  (N, Cin, Hin, Win)
    # Output: (N, Cout, Hout, Wout)
    # Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1
    # Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

    # ConvTranspose2d
    # Input:  (N, Cin, Hin, Win)
    # Output: (N, Cout, Hout, Wout)
    # Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]
    # Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]
    
    # 1. Conv2d
    # Input:  (1, 3, 128, 128)
    # Hout =  (128 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 64
    # Wout =  (128 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 64
    # Output: (1, 256, 64, 64)
    nn.Conv2d(3, 256, 4, stride = 2, padding = 1),
    nn.ReLU(),

    # 1. BatchNorm2d
    # same shape as input.
    # Input:  (1, 256, 64, 64)
    # Output: (1, 256, 64, 64)
    nn.BatchNorm2d(256),

    # 2. Conv2d
    # Input:  (1, 256, 64, 64)
    # Hout =  (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32
    # Wout =  (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32
    # Output: (1, 512, 32, 32)
    nn.Conv2d(256, 512, 4, stride = 2, padding = 1),
    nn.ReLU(),
    
    # 2. BatchNorm2d
    # same shape as input.
    # Input:  (1, 512, 32, 32)
    # Output: (1, 512, 32, 32)
    nn.BatchNorm2d(512),

    # 1. ConvTranspose2d
    # Input:  (1, 512, 32, 32)
    # Hout =  (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64
    # Wout =  (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64
    # Output: (1, 256, 64, 64)
    nn.ConvTranspose2d(512, 256, 4, stride = 2, padding = 1),
    nn.ReLU(),
    
    # 1. BatchNorm2d
    # same shape as input.
    # Input:  (1, 256, 64, 64)
    # Output: (1, 256, 64, 64)
    nn.BatchNorm2d(256),
    
    # 2. ConvTranspose2d
    # Input:  (1, 256, 64, 64)
    # Hout =  (64 - 1) × 2 - 2 × 1 + 4 + 0 = 128
    # Wout =  (64 - 1) × 2 - 2 × 1 + 4 + 0 = 128
    # Output: (1, 128, 128, 128)
    nn.ConvTranspose2d(256, 128, 4, stride = 2, padding = 1),
    nn.ReLU(),
    
    # 2. BatchNorm2d
    # same shape as input.
    # Input:  (1, 128, 128, 128)
    # Output: (1, 128, 128, 128)
    nn.BatchNorm2d(128),

    # 3. ConvTranspose2d
    # Input:  (1, 128, 128, 128)
    # Hout =  (128 - 1) × 2 - 2 × 1 + 4 + 0 = 256
    # Wout =  (128 - 1) × 2 - 2 × 1 + 4 + 0 = 256
    # Output: (1, 64, 256, 256)
    nn.ConvTranspose2d(128, 64, 4, stride = 2, padding = 1),
    nn.ReLU(),
    
    # 3. BatchNorm2d
    # same shape as input.
    # Input:  (1, 64, 256, 256)
    # Output: (1, 64, 256, 256)
    nn.BatchNorm2d(64),

    # 4. ConvTranspose2d
    # Input:  (1, 64, 256, 256)
    # Hout =  (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512
    # Wout =  (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512
    # Output: (1, 3, 512, 512)
    nn.ConvTranspose2d(64, 3, 4, stride = 2, padding = 1),
    
)

# 5. dummy data.
test_input = torch.ones(1, 3, 128, 128)
conv_output_size = net(test_input).size()
print('-input size --------------------------------------')
print(test_input.size())
print('-net----------------------------------------------')
print(net)
print('-output size--------------------------------------')
print(conv_output_size)

# 6. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torchvision.datasets import ImageFolder

from torchvision import transforms

from torch.utils.data import DataLoader

import os, time

～(略)～

# 4. declare network.

# torch.nn

# https://pytorch.org/docs/stable/nn.html#torch.nn.ConvTranspose2d

# ex.

# Input: torch.Size([1, 3, 128, 128])

# Output: torch.Size([1, 3, 512, 512])

net = nn.Sequential(

# 次元の計算について, 公式サイト通りとする.

# ex.

# kernel_size = (2, 3) ならば, kernel_size[0] = 2, kernel_size[1] = 3

# kernel_size = 5 ならば, kernel_size[0] = 5, kernel_size[1] = 5

# padding = (3, 5) ならば, padding[0] = 3, padding[1] = 5

# padding = 2 ならば, padding[0] = 2, padding[1] = 2

# stride = (4, 5) ならば, stride[0] = 4, stride[1] = 5

# stride = 3 ならば, stride[0] = 3, stride[1] = 3

# dilation は, ここでは, 初期値 (1, 1) を使用するため, dilation[0] = 1, dilation[1] = 1

# output_padding は, ここでは, 初期値 0 を使用するため, output_padding[0] = 0, output_padding[1] = 0

# Conv2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin + 2 × padding[0] − dilation[0] × (kernel_size[0] − 1) − 1) / stride[0] + 1

# Wout = (Win + 2 × padding[1] − dilation[1] × (kernel_size[1] − 1) − 1) / stride[1] + 1

# ConvTranspose2d

# Input: (N, Cin, Hin, Win)

# Output: (N, Cout, Hout, Wout)

# Hout = (Hin − 1) × stride[0] − 2 × padding[0] + kernel_size[0] + output_padding[0]

# Wout = (Win − 1) × stride[1] − 2 × padding[1] + kernel_size[1] + output_padding[1]

# 1. Conv2d

# Input: (1, 3, 128, 128)

# Hout = (128 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 64

# Wout = (128 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 64

# Output: (1, 256, 64, 64)

nn.Conv2d(3, 256, 4, stride = 2, padding = 1),

nn.ReLU(),

# 1. BatchNorm2d

# same shape as input.

# Input: (1, 256, 64, 64)

# Output: (1, 256, 64, 64)

nn.BatchNorm2d(256),

# 2. Conv2d

# Input: (1, 256, 64, 64)

# Hout = (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32

# Wout = (64 + 2 × 1 − 1 × (4 − 1) − 1) / 2 + 1 = 32

# Output: (1, 512, 32, 32)

nn.Conv2d(256, 512, 4, stride = 2, padding = 1),

nn.ReLU(),

# 2. BatchNorm2d

# same shape as input.

# Input: (1, 512, 32, 32)

# Output: (1, 512, 32, 32)

nn.BatchNorm2d(512),

# 1. ConvTranspose2d

# Input: (1, 512, 32, 32)

# Hout = (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64

# Wout = (32 - 1) × 2 - 2 × 1 + 4 + 0 = 64

# Output: (1, 256, 64, 64)

nn.ConvTranspose2d(512, 256, 4, stride = 2, padding = 1),

nn.ReLU(),

# 1. BatchNorm2d

# same shape as input.

# Input: (1, 256, 64, 64)

# Output: (1, 256, 64, 64)

nn.BatchNorm2d(256),

# 2. ConvTranspose2d

# Input: (1, 256, 64, 64)

# Hout = (64 - 1) × 2 - 2 × 1 + 4 + 0 = 128

# Wout = (64 - 1) × 2 - 2 × 1 + 4 + 0 = 128

# Output: (1, 128, 128, 128)

nn.ConvTranspose2d(256, 128, 4, stride = 2, padding = 1),

nn.ReLU(),

# 2. BatchNorm2d

# same shape as input.

# Input: (1, 128, 128, 128)

# Output: (1, 128, 128, 128)

nn.BatchNorm2d(128),

# 3. ConvTranspose2d

# Input: (1, 128, 128, 128)

# Hout = (128 - 1) × 2 - 2 × 1 + 4 + 0 = 256

# Wout = (128 - 1) × 2 - 2 × 1 + 4 + 0 = 256

# Output: (1, 64, 256, 256)

nn.ConvTranspose2d(128, 64, 4, stride = 2, padding = 1),

nn.ReLU(),

# 3. BatchNorm2d

# same shape as input.

# Input: (1, 64, 256, 256)

# Output: (1, 64, 256, 256)

nn.BatchNorm2d(64),

# 4. ConvTranspose2d

# Input: (1, 64, 256, 256)

# Hout = (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512

# Wout = (256 - 1) × 2 - 2 × 1 + 4 + 0 = 512

# Output: (1, 3, 512, 512)

nn.ConvTranspose2d(64, 3, 4, stride = 2, padding = 1),

)

# 5. dummy data.

test_input = torch.ones(1, 3, 128, 128)

conv_output_size = net(test_input).size()

print('-input size --------------------------------------')

print(test_input.size())

print('-net----------------------------------------------')

print(net)

print('-output size--------------------------------------')

print(conv_output_size)

# 6. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(input size = torch.Size([1, 3, 128, 128]) の場合).

-input size --------------------------------------
torch.Size([1, 3, 128, 128])
-net----------------------------------------------
Sequential(
  (0): Conv2d(3, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (1): ReLU()
  (2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (3): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (4): ReLU()
  (5): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (6): ConvTranspose2d(512, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (7): ReLU()
  (8): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (9): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (10): ReLU()
  (11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (12): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (13): ReLU()
  (14): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (15): ConvTranspose2d(64, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
)
-output size--------------------------------------
torch.Size([1, 3, 512, 512])
--------------------------------------------------
Elapsed Time: 1.847071886062622[sec]

-input size --------------------------------------

torch.Size([1, 3, 128, 128])

-net----------------------------------------------

Sequential(

(0): Conv2d(3, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(1): ReLU()

(2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(3): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(4): ReLU()

(5): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(6): ConvTranspose2d(512, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(7): ReLU()

(8): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(9): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(10): ReLU()

(11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(12): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(13): ReLU()

(14): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(15): ConvTranspose2d(64, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

)

-output size--------------------------------------

torch.Size([1, 3, 512, 512])

--------------------------------------------------

Elapsed Time: 1.847071886062622[sec]

■実行結果(input size = torch.Size([1, 3, 32, 32]) の場合).

-input size --------------------------------------
torch.Size([1, 3, 32, 32])
-net----------------------------------------------
Sequential(
  (0): Conv2d(3, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (1): ReLU()
  (2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (3): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (4): ReLU()
  (5): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (6): ConvTranspose2d(512, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (7): ReLU()
  (8): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (9): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (10): ReLU()
  (11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (12): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
  (13): ReLU()
  (14): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (15): ConvTranspose2d(64, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))
)
-output size--------------------------------------
torch.Size([1, 3, 128, 128])
--------------------------------------------------
Elapsed Time: 1.452575922012329[sec]

-input size --------------------------------------

torch.Size([1, 3, 32, 32])

-net----------------------------------------------

Sequential(

(0): Conv2d(3, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(1): ReLU()

(2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(3): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(4): ReLU()

(5): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(6): ConvTranspose2d(512, 256, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(7): ReLU()

(8): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(9): ConvTranspose2d(256, 128, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(10): ReLU()

(11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(12): ConvTranspose2d(128, 64, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

(13): ReLU()

(14): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(15): ConvTranspose2d(64, 3, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1))

)

-output size--------------------------------------

torch.Size([1, 3, 128, 128])

--------------------------------------------------

Elapsed Time: 1.452575922012329[sec]

■以上の実行結果から, 以下のことが分かった.

以下の内容の通り, 入力画像 の 縦・横サイズ が, それぞれ4倍に拡大されることを確認できた.
① 入力サイズ torch.Size([1, 3, 128, 128]) に対応する 出力サイズ は, torch.Size([1, 3, 512, 512]) となること.
※画像: 1枚 × (RGBのチャンネル)3種類 × (高)512px × (幅)512px に変換されるイメージ.

② 入力サイズ torch.Size([1, 3, 32, 32]) に対応する 出力サイズ は, torch.Size([1, 3, 128, 128]) となること.
※画像: 1枚 × (RGBのチャンネル)3種類 × (高)128px × (幅)128px に変換されるイメージ.

以下の内容の通り, 入力画像の縦・横サイズが, それぞれ4倍に拡大されることを確認できた.

① 入力サイズ torch.Size([1, 3, 128, 128]) に対応する出力サイズは, torch.Size([1, 3, 512, 512]) となること.

※画像: 1枚 × (RGBのチャンネル)3種類 × (高)512px × (幅)512px に変換されるイメージ.

② 入力サイズ torch.Size([1, 3, 32, 32]) に対応する出力サイズは, torch.Size([1, 3, 128, 128]) となること.

※画像: 1枚 × (RGBのチャンネル)3種類 × (高)128px × (幅)128px に変換されるイメージ.

■参照サイト
【参照URL①】torch.nn.Conv2d
【参照URL②】torch.nn.BatchNorm2d
【参照URL③】torch.nn.ConvTranspose2d

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年10月28日2018年10月30日

PyTorch の動作確認をしてみた（１０）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

今回確認した内容は、現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY) の 4.3.1 転移学習(P.072 – P.082) である。

※1. プログラムの詳細は、書籍を参考(P.072 – P.082)にして下さい。
※2. 転移学習の挙動について, もう少し深めたかったので, 再度, 復習した.
※3. 画像を出力させるなどして, 再度動作確認してみた.

■転移学習(自作CNNモデル).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
import torchvision
from torch import nn, optim
from torch.utils.data import DataLoader
from torchvision.datasets import ImageFolder
from torchvision import transforms
from tqdm import tqdm
import numpy as np
import matplotlib.pyplot as plt
import time

# 2. display image function.
# TRANSFER LEARNING TUTORIAL
# https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html
def imshow(inp, title=None):
    """Imshow for Tensor."""
    inp = inp.numpy().transpose((1, 2, 0))
    # mean = np.array([0.485, 0.456, 0.406])
    # std = np.array([0.229, 0.224, 0.225])
    # inp = std * inp + mean
    # inp = np.clip(inp, 0, 1)
    plt.axis('off')
    plt.imshow(inp)
    if title is not None:
        plt.title(title)
    # plt.pause(0.001)  # pause a bit so that plots are updated

# 3. describe the model training function.
def eval_net(net, data_loader, device="cpu"):
～(略)～
    # calculate prediction accuracy.
    acc = (ys == ypreds).float().sum() / len(ys)
    # a = [1, 2, 3, 4, 5]
    # b = [1, 3, 4, 3, 5]
    # c = [i for i, j in zip(a, b) if i == j]
    # print(c) # [1, 5]
    # [index, i, j] は, 画像のindex, 正解ラベル, 予測ラベル の意味.
    correct, wrong = [], []
    for index, (i, j) in enumerate(zip(ys, ypreds)):
        if i == j:
            correct.append([index, i, j])
        else:
            wrong.append([index, i, j])
    return acc.item(), correct, wrong, len(correct), len(wrong)

def train_net(net, train_loader, test_loader, only_fc= True, 
              optimizer_cls = optim.Adam,
              loss_fn = nn.CrossEntropyLoss(),
              n_iter = 10, device = "cpu"):
～(略)～
    correct_list, wrong_list = [], []
    for epoch in range(n_iter):
～(略)～
        e = eval_net(net, test_loader, device)
        val_acc.append(e[0])
        if epoch + 1 == n_iter:
            correct_list.append(e[1])
            wrong_list.append(e[2])
        print(epoch, train_losses[-1], train_acc[-1], val_acc[-1], flush=True)
    return correct_list, wrong_list, e[3], e[4]

～(略)～

# 5. Create DataLoader with a batch size of 128 respectively.
train_loader = DataLoader(train_imgs, batch_size=64, shuffle=True)
test_loader = DataLoader(test_imgs, batch_size=64, shuffle=False)

# https://github.com/andreh7/ecal-rechits-pytorch-training/blob/master/FlattenLayer.py
class FlattenLayer(nn.Module):
    # a 'View' reshaping the input to dimension (minibatch, product of remaining dimensions)
    # typically to be used after a convolutional network and before the dense layers

    ### def __init__(self):
    ###     super(FlattenLayer, self).__init__()

    def forward(self, x):
        # see e.g. https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.py#L44
        # https://pytorch.org/docs/stable/tensors.html
        # the size -1 is inferred from other dimensions
        # print(x.size()) # torch.Size([1, 192, 3, 3])
        return x.view(x.size(0), -1)

    def __repr__(self):
        return self.__class__.__name__ + " ()"

# 定番のConvolutional Neural Networkをゼロから理解する.
# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in:  torch.Size([1, 3, 224, 224])
# out: torch.Size([1, 192, 3, 3])
conv_net = nn.Sequential(
    # 以下のように略記.
    # H: image height, W: image width
    # P: padding, KH: kernel height, KW: kernel weight
    # SH: stride height, SW: stride weight

    # in: dimension 3, out: dimension 32.
    # 111 = {(H)224 + 2 * (P)0 - (KH)4} / (SH)2 + 1
    nn.Conv2d(3, 32, 4, stride=2),
    # 37 = 111 / (KH)3
    nn.MaxPool2d(3),
    nn.ReLU(),
    # in: dimension 32.
    nn.BatchNorm2d(32),
    
    # in: dimension 32, out: dimension 96.
    # 18 = {(H)37 + 2 * (P)0 - (KH)3} / (SH)2 + 1
    nn.Conv2d(32, 96, 3, stride=2),
    # 9 = 18 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 96.
    nn.BatchNorm2d(96),
    
    # in: dimension 96, out: dimension 192.
    # 6 = {(H)9 + 2 * (P)0 - (KH)4} / (SH)1 + 1
    nn.Conv2d(96, 192, 4),
    # 3 = 6 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 192.
    nn.BatchNorm2d(192),
    
    # torch.Size([1, 192, 3, 3]) 
    FlattenLayer() 
)

～(略)～

# 8. execute training
start = time.time()
net.to("cuda:0")
correct_list, wrong_list, correct_count, wrong_count = train_net(net, train_loader, test_loader, only_fc = False, n_iter = 10, device = "cuda:0")

# 9. display processing time.
end = time.time()
images, labels = next(iter(test_loader))
fig = plt.figure(figsize=(12, 12))
print('--- display 9 wrong answers ------------------------------------------')
print('wrong answers: ' + str(wrong_count) + ' count')
# wrong_list[0][0:9][0]: <class 'list'>, wrong_list[0][0:9][0][1]: <class 'torch.Tensor'>
print(wrong_list[0][0:9])
indexes_for_wrong_list_image = [x[0] for x in wrong_list[0][0:9]]
print(str(indexes_for_wrong_list_image)) # ex. [30, 31, 32, 33, 34, 35, 36, 37, 38]
wrong_images_list = []
for i, v in enumerate(images):
    if i in indexes_for_wrong_list_image:
        # print(i)
        # 検証用画像 の サイズ(224 × 224)
        # v[0].size(): torch.Size([224, 224])
        # print(v[0].size())
        # Adding a dimension to a tensor in PyTorch.
        # http://blog.outcome.io/adding-a-dimension-to-a-tensor-in-pytorch/
        # uv: torch.Size([224, 224]) -> torch.Size([1, 224, 224])
        uv = v[0][None, :, :]
        # print(uv.shape)
        wrong_images_list.append(uv)
# How to turn a list of tensor to tensor?
# https://discuss.pytorch.org/t/how-to-turn-a-list-of-tensor-to-tensor/8868/4
# -> convert list to torch.Tensor by torch.stack.
wrong_images_list = torch.stack(wrong_images_list)
print(wrong_images_list.size()) # torch.Size([9, 1, 224, 224])
wrong_images = torchvision.utils.make_grid(wrong_images_list, nrow=3, padding=1)
plt.subplot(121)
plt.title('wrong')
imshow(wrong_images)

print('--- display 9 correct answers ----------------------------------------')
print('correct answers: ' + str(correct_count) + ' count')
print(correct_list[0][0:9])
indexes_for_correct_list_image = [x[0] for x in correct_list[0][0:9]]
print(str(indexes_for_correct_list_image)) # ex. [0, 1, 2, 3, 4, 5, 6, 7, 8]
correct_images_list = []
for i, v in enumerate(images):
    if i in indexes_for_correct_list_image:
        uv = v[0][None, :, :]
        # print(uv.shape)
        correct_images_list.append(uv)
correct_images_list = torch.stack(correct_images_list)
print(correct_images_list.size()) # torch.Size([9, 1, 224, 224])
correct_images = torchvision.utils.make_grid(correct_images_list, nrow=3, padding=1)
plt.subplot(122)
plt.title('correct')
imshow(correct_images)

print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

import torchvision

from torch import nn, optim

from torch.utils.data import DataLoader

from torchvision.datasets import ImageFolder

from torchvision import transforms

from tqdm import tqdm

import numpy as np

import matplotlib.pyplot as plt

import time

# 2. display image function.

# TRANSFER LEARNING TUTORIAL

# https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html

def imshow(inp, title=None):

"""Imshow for Tensor."""

inp = inp.numpy().transpose((1, 2, 0))

# mean = np.array([0.485, 0.456, 0.406])

# std = np.array([0.229, 0.224, 0.225])

# inp = std * inp + mean

# inp = np.clip(inp, 0, 1)

plt.axis('off')

plt.imshow(inp)

if title is not None:

plt.title(title)

# plt.pause(0.001) # pause a bit so that plots are updated

# 3. describe the model training function.

def eval_net(net, data_loader, device="cpu"):

～(略)～

# calculate prediction accuracy.

acc = (ys == ypreds).float().sum() / len(ys)

# a = [1, 2, 3, 4, 5]

# b = [1, 3, 4, 3, 5]

# c = [i for i, j in zip(a, b) if i == j]

# print(c) # [1, 5]

# [index, i, j] は, 画像のindex, 正解ラベル, 予測ラベルの意味.

correct, wrong = [], []

for index, (i, j) in enumerate(zip(ys, ypreds)):

if i == j:

correct.append([index, i, j])

else:

wrong.append([index, i, j])

return acc.item(), correct, wrong, len(correct), len(wrong)

def train_net(net, train_loader, test_loader, only_fc= True,

optimizer_cls = optim.Adam,

loss_fn = nn.CrossEntropyLoss(),

n_iter = 10, device = "cpu"):

～(略)～

correct_list, wrong_list = [], []

for epoch in range(n_iter):

～(略)～

e = eval_net(net, test_loader, device)

val_acc.append(e[0])

if epoch + 1 == n_iter:

correct_list.append(e[1])

wrong_list.append(e[2])

print(epoch, train_losses[-1], train_acc[-1], val_acc[-1], flush=True)

return correct_list, wrong_list, e[3], e[4]

～(略)～

# 5. Create DataLoader with a batch size of 128 respectively.

train_loader = DataLoader(train_imgs, batch_size=64, shuffle=True)

test_loader = DataLoader(test_imgs, batch_size=64, shuffle=False)

# https://github.com/andreh7/ecal-rechits-pytorch-training/blob/master/FlattenLayer.py

class FlattenLayer(nn.Module):

# a 'View' reshaping the input to dimension (minibatch, product of remaining dimensions)

# typically to be used after a convolutional network and before the dense layers

### def __init__(self):

### super(FlattenLayer, self).__init__()

def forward(self, x):

# see e.g. https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.py#L44

# https://pytorch.org/docs/stable/tensors.html

# the size -1 is inferred from other dimensions

# print(x.size()) # torch.Size([1, 192, 3, 3])

return x.view(x.size(0), -1)

def __repr__(self):

return self.__class__.__name__ + " ()"

# 定番のConvolutional Neural Networkをゼロから理解する.

# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in: torch.Size([1, 3, 224, 224])

# out: torch.Size([1, 192, 3, 3])

conv_net = nn.Sequential(

# 以下のように略記.

# H: image height, W: image width

# P: padding, KH: kernel height, KW: kernel weight

# SH: stride height, SW: stride weight

# in: dimension 3, out: dimension 32.

# 111 = {(H)224 + 2 * (P)0 - (KH)4} / (SH)2 + 1

nn.Conv2d(3, 32, 4, stride=2),

# 37 = 111 / (KH)3

nn.MaxPool2d(3),

nn.ReLU(),

# in: dimension 32.

nn.BatchNorm2d(32),

# in: dimension 32, out: dimension 96.

# 18 = {(H)37 + 2 * (P)0 - (KH)3} / (SH)2 + 1

nn.Conv2d(32, 96, 3, stride=2),

# 9 = 18 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 96.

nn.BatchNorm2d(96),

# in: dimension 96, out: dimension 192.

# 6 = {(H)9 + 2 * (P)0 - (KH)4} / (SH)1 + 1

nn.Conv2d(96, 192, 4),

# 3 = 6 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 192.

nn.BatchNorm2d(192),

# torch.Size([1, 192, 3, 3])

FlattenLayer()

)

～(略)～

# 8. execute training

start = time.time()

net.to("cuda:0")

correct_list, wrong_list, correct_count, wrong_count = train_net(net, train_loader, test_loader, only_fc = False, n_iter = 10, device = "cuda:0")

# 9. display processing time.

end = time.time()

images, labels = next(iter(test_loader))

fig = plt.figure(figsize=(12, 12))

print('--- display 9 wrong answers ------------------------------------------')

print('wrong answers: ' + str(wrong_count) + ' count')

# wrong_list[0][0:9][0]: <class 'list'>, wrong_list[0][0:9][0][1]: <class 'torch.Tensor'>

print(wrong_list[0][0:9])

indexes_for_wrong_list_image = [x[0] for x in wrong_list[0][0:9]]

print(str(indexes_for_wrong_list_image)) # ex. [30, 31, 32, 33, 34, 35, 36, 37, 38]

wrong_images_list = []

for i, v in enumerate(images):

if i in indexes_for_wrong_list_image:

# print(i)

# 検証用画像のサイズ(224 × 224)

# v[0].size(): torch.Size([224, 224])

# print(v[0].size())

# Adding a dimension to a tensor in PyTorch.

# http://blog.outcome.io/adding-a-dimension-to-a-tensor-in-pytorch/

# uv: torch.Size([224, 224]) -> torch.Size([1, 224, 224])

uv = v[0][None, :, :]

# print(uv.shape)

wrong_images_list.append(uv)

# How to turn a list of tensor to tensor?

# https://discuss.pytorch.org/t/how-to-turn-a-list-of-tensor-to-tensor/8868/4

# -> convert list to torch.Tensor by torch.stack.

wrong_images_list = torch.stack(wrong_images_list)

print(wrong_images_list.size()) # torch.Size([9, 1, 224, 224])

wrong_images = torchvision.utils.make_grid(wrong_images_list, nrow=3, padding=1)

plt.subplot(121)

plt.title('wrong')

imshow(wrong_images)

print('--- display 9 correct answers ----------------------------------------')

print('correct answers: ' + str(correct_count) + ' count')

print(correct_list[0][0:9])

indexes_for_correct_list_image = [x[0] for x in correct_list[0][0:9]]

print(str(indexes_for_correct_list_image)) # ex. [0, 1, 2, 3, 4, 5, 6, 7, 8]

correct_images_list = []

for i, v in enumerate(images):

if i in indexes_for_correct_list_image:

uv = v[0][None, :, :]

# print(uv.shape)

correct_images_list.append(uv)

correct_images_list = torch.stack(correct_images_list)

print(correct_images_list.size()) # torch.Size([9, 1, 224, 224])

correct_images = torchvision.utils.make_grid(correct_images_list, nrow=3, padding=1)

plt.subplot(122)

plt.title('correct')

imshow(correct_images)

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(自作CNNモデル, batch size = 64, epoch = 10).

['burrito', 'taco']
--------------------------------------------------
{'burrito': 0, 'taco': 1}
--------------------------------------------------
100%|██████████| 12/12 [00:02<00:00,  4.52it/s]
0 0.6830520169301466 0.6362359550561798 0.5
100%|██████████| 12/12 [00:02<00:00,  4.77it/s]
1 0.6677237559448589 0.7078651685393258 0.5
100%|██████████| 12/12 [00:02<00:00,  4.83it/s]
2 0.5626629401337017 0.7443820224719101 0.5250000357627869
100%|██████████| 12/12 [00:02<00:00,  4.66it/s]
3 0.5950394137339159 0.7303370786516854 0.6000000238418579
100%|██████████| 12/12 [00:02<00:00,  4.80it/s]
4 0.536611795425415 0.7528089887640449 0.699999988079071
100%|██████████| 12/12 [00:02<00:00,  4.89it/s]
5 0.49385149641470477 0.7682584269662921 0.824999988079071
100%|██████████| 12/12 [00:02<00:00,  4.60it/s]
6 0.5017545900561593 0.7808988764044944 0.675000011920929
100%|██████████| 12/12 [00:02<00:00,  4.66it/s]
7 0.5005106126720255 0.7710674157303371 0.75
100%|██████████| 12/12 [00:02<00:00,  4.89it/s]
8 0.45471032099290326 0.7837078651685393 0.824999988079071
100%|██████████| 12/12 [00:02<00:00,  4.60it/s]
9 0.45345142212781037 0.8216292134831461 0.800000011920929
--- display 9 wrong answers ------------------------------------------
wrong answers: 8 count
[[2, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [13, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [18, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [23, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [34, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [35, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [36, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [39, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')]]
[2, 13, 18, 23, 34, 35, 36, 39]
torch.Size([8, 1, 224, 224])
--- display 9 correct answers ----------------------------------------
correct answers: 32 count
[[0, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [1, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [3, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [4, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [5, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [6, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [7, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [8, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [9, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')]]
[0, 1, 3, 4, 5, 6, 7, 8, 9]
torch.Size([9, 1, 224, 224])
--------------------------------------------------
Elapsed Time: 27.11858892440796[sec]

['burrito', 'taco']

--------------------------------------------------

{'burrito': 0, 'taco': 1}

--------------------------------------------------

100%|██████████| 12/12 [00:02<00:00, 4.52it/s]

0 0.6830520169301466 0.6362359550561798 0.5

100%|██████████| 12/12 [00:02<00:00, 4.77it/s]

1 0.6677237559448589 0.7078651685393258 0.5

100%|██████████| 12/12 [00:02<00:00, 4.83it/s]

2 0.5626629401337017 0.7443820224719101 0.5250000357627869

100%|██████████| 12/12 [00:02<00:00, 4.66it/s]

3 0.5950394137339159 0.7303370786516854 0.6000000238418579

100%|██████████| 12/12 [00:02<00:00, 4.80it/s]

4 0.536611795425415 0.7528089887640449 0.699999988079071

100%|██████████| 12/12 [00:02<00:00, 4.89it/s]

5 0.49385149641470477 0.7682584269662921 0.824999988079071

100%|██████████| 12/12 [00:02<00:00, 4.60it/s]

6 0.5017545900561593 0.7808988764044944 0.675000011920929

100%|██████████| 12/12 [00:02<00:00, 4.66it/s]

7 0.5005106126720255 0.7710674157303371 0.75

100%|██████████| 12/12 [00:02<00:00, 4.89it/s]

8 0.45471032099290326 0.7837078651685393 0.824999988079071

100%|██████████| 12/12 [00:02<00:00, 4.60it/s]

9 0.45345142212781037 0.8216292134831461 0.800000011920929

--- display 9 wrong answers ------------------------------------------

wrong answers: 8 count

[[2, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [13, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [18, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [23, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [34, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [35, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [36, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [39, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')]]

[2, 13, 18, 23, 34, 35, 36, 39]

torch.Size([8, 1, 224, 224])

--- display 9 correct answers ----------------------------------------

correct answers: 32 count

[[0, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [1, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [3, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [4, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [5, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [6, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [7, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [8, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [9, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')]]

[0, 1, 3, 4, 5, 6, 7, 8, 9]

torch.Size([9, 1, 224, 224])

--------------------------------------------------

Elapsed Time: 27.11858892440796[sec]

■転移学習(書籍CNNモデル).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
import torchvision
from torch import nn, optim
from torch.utils.data import DataLoader
from torchvision.datasets import ImageFolder
from torchvision import transforms
from tqdm import tqdm
import numpy as np
import matplotlib.pyplot as plt
import time

# 2. display image function.
# TRANSFER LEARNING TUTORIAL
# https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html
def imshow(inp, title=None):
    """Imshow for Tensor."""
    inp = inp.numpy().transpose((1, 2, 0))
    # mean = np.array([0.485, 0.456, 0.406])
    # std = np.array([0.229, 0.224, 0.225])
    # inp = std * inp + mean
    # inp = np.clip(inp, 0, 1)
    plt.axis('off')
    plt.imshow(inp)
    if title is not None:
        plt.title(title)
    # plt.pause(0.001)  # pause a bit so that plots are updated
    
# 3. describe the model training function.
def eval_net(net, data_loader, device="cpu"):
～(略)～
    # calculate prediction accuracy.
    acc = (ys == ypreds).float().sum() / len(ys)
    # a = [1, 2, 3, 4, 5]
    # b = [1, 3, 4, 3, 5]
    # c = [i for i, j in zip(a, b) if i == j]
    # print(c) # [1, 5]
    # [index, i, j] は, 画像のindex, 正解ラベル, 予測ラベル の意味.
    correct, wrong = [], []
    for index, (i, j) in enumerate(zip(ys, ypreds)):
        if i == j:
            correct.append([index, i, j])
        else:
            wrong.append([index, i, j])
    return acc.item(), correct, wrong, len(correct), len(wrong)

def train_net(net, train_loader, test_loader, only_fc= True, 
              optimizer_cls = optim.Adam,
              loss_fn = nn.CrossEntropyLoss(),
              n_iter = 10, device = "cpu"):
～(略)～
    correct_list, wrong_list = [], []
    for epoch in range(n_iter):
～(略)～
        e = eval_net(net, test_loader, device)
        val_acc.append(e[0])
        if epoch + 1 == n_iter:
            correct_list.append(e[1])
            wrong_list.append(e[2])
        print(epoch, train_losses[-1], train_acc[-1], val_acc[-1], flush=True)
    return correct_list, wrong_list, e[3], e[4]

～(略)～

# 5. Create DataLoader with a batch size of 128 respectively.
train_loader = DataLoader(train_imgs, batch_size=32, shuffle=True)
test_loader = DataLoader(test_imgs, batch_size=32, shuffle=False)

# https://github.com/andreh7/ecal-rechits-pytorch-training/blob/master/FlattenLayer.py
class FlattenLayer(nn.Module):
    # a 'View' reshaping the input to dimension (minibatch, product of remaining dimensions)
    # typically to be used after a convolutional network and before the dense layers

    ### def __init__(self):
    ###     super(FlattenLayer, self).__init__()

    def forward(self, x):
        # see e.g. https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.py#L44
        # https://pytorch.org/docs/stable/tensors.html
        # the size -1 is inferred from other dimensions
        # print(x.size()) # torch.Size([1, 128, 24, 24])
        return x.view(x.size(0), -1)

    def __repr__(self):
        return self.__class__.__name__ + " ()"

# 定番のConvolutional Neural Networkをゼロから理解する.
# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in:  torch.Size([1, 3, 224, 224])
# out: torch.Size([1, 128, 24, 24])
conv_net = nn.Sequential(
    # 以下のように略記.
    # H: image height, W: image width
    # P: padding, KH: kernel height, KW: kernel weight
    # SH: stride height, SW: stride weight

    # in: dimension 3, out: dimension 32.
    # 220 = {(H)224 + 2 * (P)0 - (KH)5} / (SH)1 + 1
    nn.Conv2d(3, 32, 5),
    # 110 = 220 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 32.
    nn.BatchNorm2d(32),
    
    # in: dimension 32, out: dimension 64.
    # 106 = {(H)110 + 2 * (P)0 - (KH)5} / (SH)1 + 1
    nn.Conv2d(32, 64, 5),
    # 53 = 106 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 64.
    nn.BatchNorm2d(64),
    
    # in: dimension 64, out: dimension 128.
    # 49 = {(H)53 + 2 * (P)0 - (KH)5} / (SH)1 + 1
    nn.Conv2d(64, 128, 5),
    # 24 = 49 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 128.
    nn.BatchNorm2d(128),
    
    # torch.Size([1, 128, 24, 24]) 
    FlattenLayer() 
)

～(略)～

# 8. execute training
start = time.time()
net.to("cuda:0")
correct_list, wrong_list, correct_count, wrong_count = train_net(net, train_loader, test_loader, only_fc = False, n_iter = 10, device = "cuda:0")

# 9. display processing time.
end = time.time()
images, labels = next(iter(test_loader))
fig = plt.figure(figsize=(12, 12))
print('--- display 9 wrong answers ------------------------------------------')
print('wrong answers: ' + str(wrong_count) + ' count')
# wrong_list[0][0:9][0]: <class 'list'>, wrong_list[0][0:9][0][1]: <class 'torch.Tensor'>
print(wrong_list[0][0:9])
indexes_for_wrong_list_image = [x[0] for x in wrong_list[0][0:9]]
print(str(indexes_for_wrong_list_image)) # ex. [30, 31, 32, 33, 34, 35, 36, 37, 38]
wrong_images_list = []
for i, v in enumerate(images):
    if i in indexes_for_wrong_list_image:
        # print(i)
        # 検証用画像 の サイズ(224 × 224)
        # v[0].size(): torch.Size([224, 224])
        # print(v[0].size())
        # Adding a dimension to a tensor in PyTorch.
        # http://blog.outcome.io/adding-a-dimension-to-a-tensor-in-pytorch/
        # uv: torch.Size([224, 224]) -> torch.Size([1, 224, 224])
        uv = v[0][None, :, :]
        # print(uv.shape)
        wrong_images_list.append(uv)
# How to turn a list of tensor to tensor?
# https://discuss.pytorch.org/t/how-to-turn-a-list-of-tensor-to-tensor/8868/4
# -> convert list to torch.Tensor by torch.stack.
wrong_images_list = torch.stack(wrong_images_list)
print(wrong_images_list.size()) # torch.Size([9, 3, 224, 224])
wrong_images = torchvision.utils.make_grid(wrong_images_list, nrow=3, padding=1)
plt.subplot(121)
plt.title('wrong')
imshow(wrong_images)

print('--- display 9 correct answers ----------------------------------------')
print('correct answers: ' + str(correct_count) + ' count')
print(correct_list[0][0:9])
indexes_for_correct_list_image = [x[0] for x in correct_list[0][0:9]]
print(str(indexes_for_correct_list_image)) # ex. [0, 1, 2, 3, 4, 5, 6, 7, 8]
correct_images_list = []
for i, v in enumerate(images):
    if i in indexes_for_correct_list_image:
        uv = v[0][None, :, :]
        # print(uv.shape)
        correct_images_list.append(uv)
correct_images_list = torch.stack(correct_images_list)
print(correct_images_list.size()) # torch.Size([9, 3, 224, 224])
correct_images = torchvision.utils.make_grid(correct_images_list, nrow=3, padding=1)
plt.subplot(122)
plt.title('correct')
imshow(correct_images)

print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

import torchvision

from torch import nn, optim

from torch.utils.data import DataLoader

from torchvision.datasets import ImageFolder

from torchvision import transforms

from tqdm import tqdm

import numpy as np

import matplotlib.pyplot as plt

import time

# 2. display image function.

# TRANSFER LEARNING TUTORIAL

# https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html

def imshow(inp, title=None):

"""Imshow for Tensor."""

inp = inp.numpy().transpose((1, 2, 0))

# mean = np.array([0.485, 0.456, 0.406])

# std = np.array([0.229, 0.224, 0.225])

# inp = std * inp + mean

# inp = np.clip(inp, 0, 1)

plt.axis('off')

plt.imshow(inp)

if title is not None:

plt.title(title)

# plt.pause(0.001) # pause a bit so that plots are updated

# 3. describe the model training function.

def eval_net(net, data_loader, device="cpu"):

～(略)～

# calculate prediction accuracy.

acc = (ys == ypreds).float().sum() / len(ys)

# a = [1, 2, 3, 4, 5]

# b = [1, 3, 4, 3, 5]

# c = [i for i, j in zip(a, b) if i == j]

# print(c) # [1, 5]

# [index, i, j] は, 画像のindex, 正解ラベル, 予測ラベルの意味.

correct, wrong = [], []

for index, (i, j) in enumerate(zip(ys, ypreds)):

if i == j:

correct.append([index, i, j])

else:

wrong.append([index, i, j])

return acc.item(), correct, wrong, len(correct), len(wrong)

def train_net(net, train_loader, test_loader, only_fc= True,

optimizer_cls = optim.Adam,

loss_fn = nn.CrossEntropyLoss(),

n_iter = 10, device = "cpu"):

～(略)～

correct_list, wrong_list = [], []

for epoch in range(n_iter):

～(略)～

e = eval_net(net, test_loader, device)

val_acc.append(e[0])

if epoch + 1 == n_iter:

correct_list.append(e[1])

wrong_list.append(e[2])

print(epoch, train_losses[-1], train_acc[-1], val_acc[-1], flush=True)

return correct_list, wrong_list, e[3], e[4]

～(略)～

# 5. Create DataLoader with a batch size of 128 respectively.

train_loader = DataLoader(train_imgs, batch_size=32, shuffle=True)

test_loader = DataLoader(test_imgs, batch_size=32, shuffle=False)

# https://github.com/andreh7/ecal-rechits-pytorch-training/blob/master/FlattenLayer.py

class FlattenLayer(nn.Module):

# a 'View' reshaping the input to dimension (minibatch, product of remaining dimensions)

# typically to be used after a convolutional network and before the dense layers

### def __init__(self):

### super(FlattenLayer, self).__init__()

def forward(self, x):

# see e.g. https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.py#L44

# https://pytorch.org/docs/stable/tensors.html

# the size -1 is inferred from other dimensions

# print(x.size()) # torch.Size([1, 128, 24, 24])

return x.view(x.size(0), -1)

def __repr__(self):

return self.__class__.__name__ + " ()"

# 定番のConvolutional Neural Networkをゼロから理解する.

# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in: torch.Size([1, 3, 224, 224])

# out: torch.Size([1, 128, 24, 24])

conv_net = nn.Sequential(

# 以下のように略記.

# H: image height, W: image width

# P: padding, KH: kernel height, KW: kernel weight

# SH: stride height, SW: stride weight

# in: dimension 3, out: dimension 32.

# 220 = {(H)224 + 2 * (P)0 - (KH)5} / (SH)1 + 1

nn.Conv2d(3, 32, 5),

# 110 = 220 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 32.

nn.BatchNorm2d(32),

# in: dimension 32, out: dimension 64.

# 106 = {(H)110 + 2 * (P)0 - (KH)5} / (SH)1 + 1

nn.Conv2d(32, 64, 5),

# 53 = 106 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 64.

nn.BatchNorm2d(64),

# in: dimension 64, out: dimension 128.

# 49 = {(H)53 + 2 * (P)0 - (KH)5} / (SH)1 + 1

nn.Conv2d(64, 128, 5),

# 24 = 49 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 128.

nn.BatchNorm2d(128),

# torch.Size([1, 128, 24, 24])

FlattenLayer()

)

～(略)～

# 8. execute training

start = time.time()

net.to("cuda:0")

correct_list, wrong_list, correct_count, wrong_count = train_net(net, train_loader, test_loader, only_fc = False, n_iter = 10, device = "cuda:0")

# 9. display processing time.

end = time.time()

images, labels = next(iter(test_loader))

fig = plt.figure(figsize=(12, 12))

print('--- display 9 wrong answers ------------------------------------------')

print('wrong answers: ' + str(wrong_count) + ' count')

# wrong_list[0][0:9][0]: <class 'list'>, wrong_list[0][0:9][0][1]: <class 'torch.Tensor'>

print(wrong_list[0][0:9])

indexes_for_wrong_list_image = [x[0] for x in wrong_list[0][0:9]]

print(str(indexes_for_wrong_list_image)) # ex. [30, 31, 32, 33, 34, 35, 36, 37, 38]

wrong_images_list = []

for i, v in enumerate(images):

if i in indexes_for_wrong_list_image:

# print(i)

# 検証用画像のサイズ(224 × 224)

# v[0].size(): torch.Size([224, 224])

# print(v[0].size())

# Adding a dimension to a tensor in PyTorch.

# http://blog.outcome.io/adding-a-dimension-to-a-tensor-in-pytorch/

# uv: torch.Size([224, 224]) -> torch.Size([1, 224, 224])

uv = v[0][None, :, :]

# print(uv.shape)

wrong_images_list.append(uv)

# How to turn a list of tensor to tensor?

# https://discuss.pytorch.org/t/how-to-turn-a-list-of-tensor-to-tensor/8868/4

# -> convert list to torch.Tensor by torch.stack.

wrong_images_list = torch.stack(wrong_images_list)

print(wrong_images_list.size()) # torch.Size([9, 3, 224, 224])

wrong_images = torchvision.utils.make_grid(wrong_images_list, nrow=3, padding=1)

plt.subplot(121)

plt.title('wrong')

imshow(wrong_images)

print('--- display 9 correct answers ----------------------------------------')

print('correct answers: ' + str(correct_count) + ' count')

print(correct_list[0][0:9])

indexes_for_correct_list_image = [x[0] for x in correct_list[0][0:9]]

print(str(indexes_for_correct_list_image)) # ex. [0, 1, 2, 3, 4, 5, 6, 7, 8]

correct_images_list = []

for i, v in enumerate(images):

if i in indexes_for_correct_list_image:

uv = v[0][None, :, :]

# print(uv.shape)

correct_images_list.append(uv)

correct_images_list = torch.stack(correct_images_list)

print(correct_images_list.size()) # torch.Size([9, 3, 224, 224])

correct_images = torchvision.utils.make_grid(correct_images_list, nrow=3, padding=1)

plt.subplot(122)

plt.title('correct')

imshow(correct_images)

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

■実行結果(書籍CNNモデル, batch size = 32, epoch = 10).

['burrito', 'taco']
--------------------------------------------------
{'burrito': 0, 'taco': 1}
--------------------------------------------------
100%|██████████| 23/23 [00:07<00:00,  4.46it/s]
0 2.479653466831554 0.5435393258426966 0.5
100%|██████████| 23/23 [00:05<00:00,  4.10it/s]
1 2.466307753866369 0.5814606741573034 0.6000000238418579
100%|██████████| 23/23 [00:05<00:00,  4.19it/s]
2 2.526581260291013 0.6151685393258427 0.6000000238418579
100%|██████████| 23/23 [00:05<00:00,  4.90it/s]
3 2.122632611881603 0.6587078651685393 0.6000000238418579
100%|██████████| 23/23 [00:05<00:00,  4.33it/s]
4 2.096345370466059 0.6320224719101124 0.6000000238418579
100%|██████████| 23/23 [00:05<00:00,  4.48it/s]
5 2.1521816036917945 0.6432584269662921 0.7250000238418579
100%|██████████| 23/23 [00:05<00:00,  4.36it/s]
6 2.21564337069338 0.625 0.6500000357627869
100%|██████████| 23/23 [00:05<00:00,  4.40it/s]
7 1.912211228500713 0.6615168539325843 0.6500000357627869
100%|██████████| 23/23 [00:05<00:00,  4.38it/s]
8 1.6763860231096095 0.6853932584269663 0.550000011920929
100%|██████████| 23/23 [00:05<00:00,  4.38it/s]
9 1.9310889487916774 0.6671348314606742 0.75
--- display 9 wrong answers ------------------------------------------
wrong answers: 10 count
[[6, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [15, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [23, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [25, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [29, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [31, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [32, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [34, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [37, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')]]
[6, 15, 23, 25, 29, 31, 32, 34, 37]
torch.Size([6, 1, 224, 224])
--- display 9 correct answers ----------------------------------------
correct answers: 30 count
[[0, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [1, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [2, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [3, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [4, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [5, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [7, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [8, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [9, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')]]
[0, 1, 2, 3, 4, 5, 7, 8, 9]
torch.Size([9, 1, 224, 224])
--------------------------------------------------
Elapsed Time: 59.16644787788391[sec]

['burrito', 'taco']

--------------------------------------------------

{'burrito': 0, 'taco': 1}

--------------------------------------------------

100%|██████████| 23/23 [00:07<00:00, 4.46it/s]

0 2.479653466831554 0.5435393258426966 0.5

100%|██████████| 23/23 [00:05<00:00, 4.10it/s]

1 2.466307753866369 0.5814606741573034 0.6000000238418579

100%|██████████| 23/23 [00:05<00:00, 4.19it/s]

2 2.526581260291013 0.6151685393258427 0.6000000238418579

100%|██████████| 23/23 [00:05<00:00, 4.90it/s]

3 2.122632611881603 0.6587078651685393 0.6000000238418579

100%|██████████| 23/23 [00:05<00:00, 4.33it/s]

4 2.096345370466059 0.6320224719101124 0.6000000238418579

100%|██████████| 23/23 [00:05<00:00, 4.48it/s]

5 2.1521816036917945 0.6432584269662921 0.7250000238418579

100%|██████████| 23/23 [00:05<00:00, 4.36it/s]

6 2.21564337069338 0.625 0.6500000357627869

100%|██████████| 23/23 [00:05<00:00, 4.40it/s]

7 1.912211228500713 0.6615168539325843 0.6500000357627869

100%|██████████| 23/23 [00:05<00:00, 4.38it/s]

8 1.6763860231096095 0.6853932584269663 0.550000011920929

100%|██████████| 23/23 [00:05<00:00, 4.38it/s]

9 1.9310889487916774 0.6671348314606742 0.75

--- display 9 wrong answers ------------------------------------------

wrong answers: 10 count

[[6, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [15, tensor(0, device='cuda:0'), tensor(1, device='cuda:0')], [23, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [25, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [29, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [31, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [32, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [34, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')], [37, tensor(1, device='cuda:0'), tensor(0, device='cuda:0')]]

[6, 15, 23, 25, 29, 31, 32, 34, 37]

torch.Size([6, 1, 224, 224])

--- display 9 correct answers ----------------------------------------

correct answers: 30 count

[[0, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [1, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [2, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [3, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [4, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [5, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [7, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [8, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')], [9, tensor(0, device='cuda:0'), tensor(0, device='cuda:0')]]

[0, 1, 2, 3, 4, 5, 7, 8, 9]

torch.Size([9, 1, 224, 224])

--------------------------------------------------

Elapsed Time: 59.16644787788391[sec]

■以上の実行結果から, 以下のことが分かった.

① GPUメモリに関するエラー(RuntimeError: CUDA error: out of memory).
自作CNNモデルで, バッチサイズを, 64に設定して, 3～4回実行してすると, 上記のようなエラーメッセージが出力された.
書籍CNNモデルでは, バッチサイズを, 64 に設定して実行すると, 上記エラーが出力されて動かせなかったので, 書籍通りに, バッチサイズ 32 で動作確認した.

② 出力画像に関すること.
・テスト画像は, 合計40枚(burrito: 20枚, taco: 20枚)で確認している.
・自作CNNモデルで, wrong の 一番右下が, 黒い正方形で出力されたが, 不正解だったテスト画像が, 8枚だったため, 9枚に満たなかったことによる出力結果と理解している.
・書籍CNNモデルで, wrong が, 6枚しか表示されてない理由として, バッチサイズ を 32 に設定したことによる出力結果([6, 15, 23, 25, 29, 31] の 6枚)と理解している.

③ 自作CNNモデルで, の テスト画像 の (index的に)39番目 について,
'burrito' と 予想(tensor(0, device='cuda:0')) したが, 'taco' が 正解(tensor(1, device='cuda:0')) との情報が得られた.

④ 書籍CNNモデルで, の テスト画像 の (index的に)6番目 について,
'taco' と 予想(tensor(1, device='cuda:0')) したが, 'burrito' が 正解(tensor(0, device='cuda:0')) との情報が得られた.

⑤ 転移学習の精度 と 正解数 との関係.
転移学習の精度が上がると, テスト画像の正解数が上がると予想される.
※直観的には, 正しく見えるが, 具体的なデータとして確認することが出来た.

[自作CNNモデル]
転移学習の精度:   約82%
テスト画像正解数: 40枚中, 32枚正解.
 
[書籍CNNモデル]
転移学習の精度:   約66%
テスト画像正解数: 40枚中, 30枚正解.

⑥ 転移学習の成否について.
自作CNNモデル, 書籍CNNモデルのいずれも, 何度も実行していると, 転移学習が上手くいかない場合が出てくる(体感として, 2割前後)ことがあったので, 技術的な今後の動向に着目したい.

① GPUメモリに関するエラー(RuntimeError: CUDA error: out of memory).

自作CNNモデルで, バッチサイズを, 64に設定して, 3～4回実行してすると, 上記のようなエラーメッセージが出力された.

書籍CNNモデルでは, バッチサイズを, 64 に設定して実行すると, 上記エラーが出力されて動かせなかったので, 書籍通りに, バッチサイズ 32 で動作確認した.

② 出力画像に関すること.

・テスト画像は, 合計40枚(burrito: 20枚, taco: 20枚)で確認している.

・自作CNNモデルで, wrong の一番右下が, 黒い正方形で出力されたが, 不正解だったテスト画像が, 8枚だったため, 9枚に満たなかったことによる出力結果と理解している.

・書籍CNNモデルで, wrong が, 6枚しか表示されてない理由として, バッチサイズを 32 に設定したことによる出力結果([6, 15, 23, 25, 29, 31] の 6枚)と理解している.

③ 自作CNNモデルで, のテスト画像の (index的に)39番目について,

'burrito' と予想(tensor(0, device='cuda:0')) したが, 'taco' が正解(tensor(1, device='cuda:0')) との情報が得られた.

④ 書籍CNNモデルで, のテスト画像の (index的に)6番目について,

'taco' と予想(tensor(1, device='cuda:0')) したが, 'burrito' が正解(tensor(0, device='cuda:0')) との情報が得られた.

⑤ 転移学習の精度と正解数との関係.

転移学習の精度が上がると, テスト画像の正解数が上がると予想される.

※直観的には, 正しく見えるが, 具体的なデータとして確認することが出来た.

[自作CNNモデル]

転移学習の精度: 約82%

テスト画像正解数: 40枚中, 32枚正解.

[書籍CNNモデル]

転移学習の精度: 約66%

テスト画像正解数: 40枚中, 30枚正解.

⑥ 転移学習の成否について.

自作CNNモデル, 書籍CNNモデルのいずれも, 何度も実行していると, 転移学習が上手くいかない場合が出てくる(体感として, 2割前後)ことがあったので, 技術的な今後の動向に着目したい.

■参照サイト
【参照URL①】定番のConvolutional Neural Networkをゼロから理解する.
【参照URL②】Adding a dimension to a tensor in PyTorch.
【参照URL③】How to turn a list of tensor to tensor?
【参照URL④】andreh7/ecal-rechits-pytorch-training
【参照URL⑤】TRANSFER LEARNING TUTORIAL

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年10月27日2018年10月27日

C++ の動作確認をしてみた（２９）

C++の練習を兼ねて, AtCoder Beginner Contest 058 の問題C（怪文書 / Dubious Document), 問題D（井井井 / ###) を解いてみた.

■感想.
1. 問題C, 問題D ともに, 時間はかかったもの(※特に, 問題D)の, 解説見ずに解けたので, 良かったと思う.
2. 問題D は, 最初, 同じ長方形を複数回カウントしてよいものと理解したが, 以下の入力値(本家のサイトにあるもの)で,
確認したところ, 誤答となったので, “同じ長方形は, ただ一度だけカウント” すると理解して, ロジックを組み直したものである.

[入力値]
6 5
-790013317 -192321079 95834122 418379342 586260100 802780784
-253230108 193944314 363756450 712662868 735867677

[出力値]
x方向: 802780784 - (-790013317) = 1592794101
y方向: 735867677 - (-253230108) = 989097785
-> 1575429117260166285
-> (x軸中央4本の選び方)2の4乗 × (y軸中央3本の選び方)2の3乗 = 128倍して, 201654927009301284480
-> MOD(1000000007) すると, 716805301
※正答は, 835067060 なので, 誤答である.

[入力値]

6 5

-790013317 -192321079 95834122 418379342 586260100 802780784

-253230108 193944314 363756450 712662868 735867677

[出力値]

x方向: 802780784 - (-790013317) = 1592794101

y方向: 735867677 - (-253230108) = 989097785

-> 1575429117260166285

-> (x軸中央4本の選び方)2の4乗 × (y軸中央3本の選び方)2の3乗 = 128倍して, 201654927009301284480

-> MOD(1000000007) すると, 716805301

※正答は, 835067060 なので, 誤答である.

本家のサイトABC058 / ARC071 解説をご覧下さい.

■C++版プログラム(問題C／AC版).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

int main() {
    
    // 1. 入力情報取得.
    int n;
    cin >> n;
    vector<map<char, int>> vm;
    FOR(i, 0, n) {
        string s;
        cin >> s;
        map<char, int> mp;
        FOR(j, 0, 26) mp['a' + j] = 0;
        FOR(j, 0, s.size()) mp[s[j]]++;
        vm.push_back(mp);
    }
    
    // 2. 条件を満たす最長の文字列のうち、辞書順で最小のものを作成.
    // 2-1. 各文字列で出現した a-z の最小回数を調べる必要がある.
    map<char, int> minMap;
    FOR(i, 0, 26) minMap['a' + i] = 9999;
    for(auto itr = vm.begin(); itr != vm.end(); ++itr) {
        for(auto &m : *itr) {
            auto k = m.first;
            auto v = m.second;
            // cout << k << " " << v << endl;
            if(minMap[k] > v) minMap[k] = v;
        }
    }
    // for(auto &p : minMap) cout << p.first << " " << p.second << endl;
    
    // 2-2. 1回以上出現した各文字を, a-z の順に結合.
    string ans;
    for(auto &p : minMap) {
        string s(p.second, p.first);
        ans += s;
    }
    
    // 3. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

int main() {

// 1. 入力情報取得.

int n;

cin >> n;

vector<map<char, int>> vm;

FOR(i, 0, n) {

string s;

cin >> s;

map<char, int> mp;

FOR(j, 0, 26) mp['a' + j] = 0;

FOR(j, 0, s.size()) mp[s[j]]++;

vm.push_back(mp);

}

// 2. 条件を満たす最長の文字列のうち、辞書順で最小のものを作成.

// 2-1. 各文字列で出現した a-z の最小回数を調べる必要がある.

map<char, int> minMap;

FOR(i, 0, 26) minMap['a' + i] = 9999;

for(auto itr = vm.begin(); itr != vm.end(); ++itr) {

for(auto &m : *itr) {

auto k = m.first;

auto v = m.second;

// cout << k << " " << v << endl;

if(minMap[k] > v) minMap[k] = v;

}

// for(auto &p : minMap) cout << p.first << " " << p.second << endl;

// 2-2. 1回以上出現した各文字を, a-z の順に結合.

string ans;

for(auto &p : minMap) {

string s(p.second, p.first);

ans += s;

}

// 3. 出力～後処理.

cout << ans << endl;

return 0;

}

■C++版プログラム(問題D／AC版).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

typedef long long LL;
 
const LL MOD = 1000000007;

int main() {

    // 1. 入力情報取得.
    LL N, M;
    cin >> N >> M;
    LL x[N + 1] = {};
    LL y[M + 1] = {};
    FOR(i, 1, N + 1) cin >> x[i];
    FOR(i, 1, M + 1) cin >> y[i];
    
    // 2. x, y軸方向で, 一行当たりの面積和を計算.
    // 例)
    // N = 7 の 場合, 区間[1, 7] における棒の置き方を確認する.
    // 長さ1 … 区間[1, 2], [2, 3], [3, 4], [4, 5], [5, 6], [6, 7] で, 6通り.
    // 長さ2 … 区間[1, 3], [2, 4], [3, 5], [4, 6], [5, 7]         で, 5通り.
    // 長さ3 … 区間[1, 4], [2, 5], [3, 6], [4, 7]                 で, 4通り.
    // 長さ4 … 区間[1, 5], [2, 6], [3, 7]                         で, 3通り.
    // 長さ5 … 区間[1, 6], [2, 7]                                 で, 2通り.
    // 長さ6 … 区間[1, 7]                                         で, 1通り.
    // 
    // -> 以上の棒の置き方から, 各区間に出現する棒の本数を数えることにする.
    // 区間[1, 2] …  6回 (DP[1]と置く)
    // 区間[2, 3] … 10回 (DP[2]と置く)
    // 区間[3, 4] … 12回 (DP[3]と置く)
    // 区間[4, 5] … 12回 (DP[4]と置く)
    // 区間[5, 6] … 10回 (DP[5]と置く)
    // 区間[6, 7] …  6回 (DP[6]と置く)
    //
    // -> 上記までの調査から, 以下の関係式が判明した.
    // DP[0] = 0, DP[i] = (N - i) + DP[i - 1] - (i - 1)
    
    // 2-1. x軸方向について, 一行当たりの面積和を計算.
    // 出現本数を保管.
    LL DPX[N + 1] = {};
    FOR(i, 1, N) {
        DPX[i] = (N - i) + DPX[i - 1] - (i - 1);
        DPX[i] %= MOD;
    }
    // FOR(i, 1, N) cout << DPX[i] << endl;

    // 面積和を保管.
    LL AreaX = 0;
    FOR(i, 2, N + 1) {
        AreaX += (x[i] - x[i - 1]) * DPX[i - 1];
        AreaX %= MOD;
    }
    // cout << AreaX << endl;
    
    // 2-2. y軸方向について, 一列当たりの面積和を計算.
    // 出現本数を保管.
    LL DPY[M + 1] = {};
    FOR(i, 1, M) {
        DPY[i] = (M - i) + DPY[i - 1] - (i - 1);
        DPY[i] %= MOD;
    }
    // FOR(i, 1, M) cout << DPY[i] << endl;

    // 面積和を保管.
    LL AreaY = 0;
    FOR(i, 2, M + 1) {
        AreaY += (y[i] - y[i - 1]) * DPY[i - 1];
        AreaY %= MOD;
    }
    // cout << AreaY << endl;
    
    // 3. すべての長方形についての面積の総和(MOD版)
    LL ans = AreaX;
    ans *= AreaY;
    ans %= MOD;
    
    // 4. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

typedef long long LL;

const LL MOD = 1000000007;

int main() {

// 1. 入力情報取得.

LL N, M;

cin >> N >> M;

LL x[N + 1] = {};

LL y[M + 1] = {};

FOR(i, 1, N + 1) cin >> x[i];

FOR(i, 1, M + 1) cin >> y[i];

// 2. x, y軸方向で, 一行当たりの面積和を計算.

// 例)

// N = 7 の場合, 区間[1, 7] における棒の置き方を確認する.

// 長さ1 … 区間[1, 2], [2, 3], [3, 4], [4, 5], [5, 6], [6, 7] で, 6通り.

// 長さ2 … 区間[1, 3], [2, 4], [3, 5], [4, 6], [5, 7] で, 5通り.

// 長さ3 … 区間[1, 4], [2, 5], [3, 6], [4, 7] で, 4通り.

// 長さ4 … 区間[1, 5], [2, 6], [3, 7] で, 3通り.

// 長さ5 … 区間[1, 6], [2, 7] で, 2通り.

// 長さ6 … 区間[1, 7] で, 1通り.

// -> 以上の棒の置き方から, 各区間に出現する棒の本数を数えることにする.

// 区間[1, 2] … 6回 (DP[1]と置く)

// 区間[2, 3] … 10回 (DP[2]と置く)

// 区間[3, 4] … 12回 (DP[3]と置く)

// 区間[4, 5] … 12回 (DP[4]と置く)

// 区間[5, 6] … 10回 (DP[5]と置く)

// 区間[6, 7] … 6回 (DP[6]と置く)

// -> 上記までの調査から, 以下の関係式が判明した.

// DP[0] = 0, DP[i] = (N - i) + DP[i - 1] - (i - 1)

// 2-1. x軸方向について, 一行当たりの面積和を計算.

// 出現本数を保管.

LL DPX[N + 1] = {};

FOR(i, 1, N) {

DPX[i] = (N - i) + DPX[i - 1] - (i - 1);

DPX[i] %= MOD;

}

// FOR(i, 1, N) cout << DPX[i] << endl;

// 面積和を保管.

LL AreaX = 0;

FOR(i, 2, N + 1) {

AreaX += (x[i] - x[i - 1]) * DPX[i - 1];

AreaX %= MOD;

}

// cout << AreaX << endl;

// 2-2. y軸方向について, 一列当たりの面積和を計算.

// 出現本数を保管.

LL DPY[M + 1] = {};

FOR(i, 1, M) {

DPY[i] = (M - i) + DPY[i - 1] - (i - 1);

DPY[i] %= MOD;

}

// FOR(i, 1, M) cout << DPY[i] << endl;

// 面積和を保管.

LL AreaY = 0;

FOR(i, 2, M + 1) {

AreaY += (y[i] - y[i - 1]) * DPY[i - 1];

AreaY %= MOD;

}

// cout << AreaY << endl;

// 3. すべての長方形についての面積の総和(MOD版)

LL ans = AreaX;

ans *= AreaY;

ans %= MOD;

// 4. 出力～後処理.

cout << ans << endl;

return 0;

}

■参照サイト
AtCoder Beginner Contest 058

2018年10月25日2018年10月25日

PyTorch の動作確認をしてみた（９）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

※1. プログラムの詳細は、書籍を参考(P.072 – P.082)にして下さい。
※2. CNN の理解をもう少し深めたかったので, 再度, 復習した.
※3. 前回と, 異なるCNNモデルを適当に構築して, 再度動作確認してみた.

■転移学習(書籍の一部を抜粋・改変).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import DataLoader
from torchvision.datasets import ImageFolder
from torchvision import transforms
from tqdm import tqdm
import time

～(略)～

# 定番のConvolutional Neural Networkをゼロから理解する.
# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in:  torch.Size([1, 3, 224, 224])
# out: torch.Size([1, 192, 3, 3])
conv_net = nn.Sequential(
    # 以下のように略記.
    # H: image height, W: image width
    # P: padding, KH: kernel height, KW: kernel weight
    # SH: stride height, SW: stride weight

    # in: dimension 3, out: dimension 32.
    # 111 = {(H)224 + 2 * (P)0 - (KH)4 / (SH)2} + 1
    nn.Conv2d(3, 32, 4, stride=2),
    # 37 = 111 / (KH)3
    nn.MaxPool2d(3),
    nn.ReLU(),
    # in: dimension 32.
    nn.BatchNorm2d(32),
    
    # in: dimension 32, out: dimension 96.
    # 18 = {(H)37 + 2 * (P)0 - (KH)3 / (SH)2} + 1
    nn.Conv2d(32, 96, 3, stride=2),
    # 9 = 18 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 96.
    nn.BatchNorm2d(96),
    
    # in: dimension 96, out: dimension 192.
    # 6 = {(H)9 + 2 * (P)0 - (KH)4 / (SH)1} + 1
    nn.Conv2d(96, 192, 4),
    # 3 = 6 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 192.
    nn.BatchNorm2d(192),
    
    # torch.Size([1, 192, 3, 3]) 
    FlattenLayer() 
)

# 5. Finally, by convolution, check what kind of size it is.
test_input = torch.ones(1, 3, 224, 224)
# tensor: torch.Size([1, 3, 224, 224])
# 1 × (RGB)3 × (image height)224 × (image weight)224
print('-test_input---------------------------------------')
print(test_input.size())
conv_output_size = conv_net(test_input).size()[-1]
print('-conv_net-----------------------------------------')
print(conv_net)
print('-conv_output_size---------------------------------')
print(conv_output_size) # 1728 = 1 * 192 * 3 * 3.

～(略)～

# 8. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import DataLoader

from torchvision.datasets import ImageFolder

from torchvision import transforms

from tqdm import tqdm

import time

～(略)～

# 定番のConvolutional Neural Networkをゼロから理解する.

# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in: torch.Size([1, 3, 224, 224])

# out: torch.Size([1, 192, 3, 3])

conv_net = nn.Sequential(

# 以下のように略記.

# H: image height, W: image width

# P: padding, KH: kernel height, KW: kernel weight

# SH: stride height, SW: stride weight

# in: dimension 3, out: dimension 32.

# 111 = {(H)224 + 2 * (P)0 - (KH)4 / (SH)2} + 1

nn.Conv2d(3, 32, 4, stride=2),

# 37 = 111 / (KH)3

nn.MaxPool2d(3),

nn.ReLU(),

# in: dimension 32.

nn.BatchNorm2d(32),

# in: dimension 32, out: dimension 96.

# 18 = {(H)37 + 2 * (P)0 - (KH)3 / (SH)2} + 1

nn.Conv2d(32, 96, 3, stride=2),

# 9 = 18 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 96.

nn.BatchNorm2d(96),

# in: dimension 96, out: dimension 192.

# 6 = {(H)9 + 2 * (P)0 - (KH)4 / (SH)1} + 1

nn.Conv2d(96, 192, 4),

# 3 = 6 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 192.

nn.BatchNorm2d(192),

# torch.Size([1, 192, 3, 3])

FlattenLayer()

)

# 5. Finally, by convolution, check what kind of size it is.

test_input = torch.ones(1, 3, 224, 224)

# tensor: torch.Size([1, 3, 224, 224])

# 1 × (RGB)3 × (image height)224 × (image weight)224

print('-test_input---------------------------------------')

print(test_input.size())

conv_output_size = conv_net(test_input).size()[-1]

print('-conv_net-----------------------------------------')

print(conv_net)

print('-conv_output_size---------------------------------')

print(conv_output_size) # 1728 = 1 * 192 * 3 * 3.

～(略)～

# 8. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

※上記ソースについて, 下記のようなコメントの読み替えが必要です.
nn.Conv2d(3, 32, 4, stride=2) … # 111 = {(H)224 + 2 * (P)0 – (KH)4} / (SH)2 + 1
nn.Conv2d(32, 96, 3, stride=2) … # 18 = {(H)37 + 2 * (P)0 – (KH)3} / (SH)2 + 1
nn.Conv2d(96, 192, 4) … # 6 = {(H)9 + 2 * (P)0 – (KH)4} / (SH)1 + 1

■実行結果(epoch = 10).

-test_input---------------------------------------
torch.Size([1, 3, 224, 224])
-conv_net-----------------------------------------
Sequential(
  (0): Conv2d(3, 32, kernel_size=(4, 4), stride=(2, 2))
  (1): MaxPool2d(kernel_size=3, stride=3, padding=0, dilation=1, ceil_mode=False)
  (2): ReLU()
  (3): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (4): Conv2d(32, 96, kernel_size=(3, 3), stride=(2, 2))
  (5): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (6): ReLU()
  (7): BatchNorm2d(96, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (8): Conv2d(96, 192, kernel_size=(4, 4), stride=(1, 1))
  (9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (10): ReLU()
  (11): BatchNorm2d(192, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (12): FlattenLayer ()
)
-conv_output_size---------------------------------
1728
100%|██████████| 23/23 [00:02<00:00,  8.88it/s]
0 0.7228032743388956 0.6460674157303371 0.5
100%|██████████| 23/23 [00:02<00:00,  9.15it/s]
1 0.6300705386833712 0.6938202247191011 0.5833333730697632
100%|██████████| 23/23 [00:02<00:00,  8.98it/s]
2 0.6060458611358296 0.7205056179775281 0.6833333969116211
100%|██████████| 23/23 [00:02<00:00,  8.75it/s]
3 0.528985005888072 0.7584269662921348 0.7166666984558105
100%|██████████| 23/23 [00:02<00:00,  8.63it/s]
4 0.4921892082149332 0.7696629213483146 0.8000000715255737
100%|██████████| 23/23 [00:02<00:00,  9.21it/s]
5 0.5014416643164374 0.7696629213483146 0.8000000715255737
100%|██████████| 23/23 [00:02<00:00,  9.08it/s]
6 0.45061514323407953 0.7907303370786517 0.8333333730697632
100%|██████████| 23/23 [00:02<00:00,  9.57it/s]
7 0.4644389802759344 0.7935393258426966 0.7500000596046448
100%|██████████| 23/23 [00:02<00:00,  9.75it/s]
8 0.4227466962554238 0.8132022471910112 0.7833333611488342
100%|██████████| 23/23 [00:02<00:00,  8.36it/s]
9 0.4435369643298062 0.8019662921348315 0.7833333611488342
--------------------------------------------------
Elapsed Time: 27.840532064437866[sec]

-test_input---------------------------------------

torch.Size([1, 3, 224, 224])

-conv_net-----------------------------------------

Sequential(

(0): Conv2d(3, 32, kernel_size=(4, 4), stride=(2, 2))

(1): MaxPool2d(kernel_size=3, stride=3, padding=0, dilation=1, ceil_mode=False)

(2): ReLU()

(3): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(4): Conv2d(32, 96, kernel_size=(3, 3), stride=(2, 2))

(5): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)

(6): ReLU()

(7): BatchNorm2d(96, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(8): Conv2d(96, 192, kernel_size=(4, 4), stride=(1, 1))

(9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)

(10): ReLU()

(11): BatchNorm2d(192, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(12): FlattenLayer ()

)

-conv_output_size---------------------------------

1728

100%|██████████| 23/23 [00:02<00:00, 8.88it/s]

0 0.7228032743388956 0.6460674157303371 0.5

100%|██████████| 23/23 [00:02<00:00, 9.15it/s]

1 0.6300705386833712 0.6938202247191011 0.5833333730697632

100%|██████████| 23/23 [00:02<00:00, 8.98it/s]

2 0.6060458611358296 0.7205056179775281 0.6833333969116211

100%|██████████| 23/23 [00:02<00:00, 8.75it/s]

3 0.528985005888072 0.7584269662921348 0.7166666984558105

100%|██████████| 23/23 [00:02<00:00, 8.63it/s]

4 0.4921892082149332 0.7696629213483146 0.8000000715255737

100%|██████████| 23/23 [00:02<00:00, 9.21it/s]

5 0.5014416643164374 0.7696629213483146 0.8000000715255737

100%|██████████| 23/23 [00:02<00:00, 9.08it/s]

6 0.45061514323407953 0.7907303370786517 0.8333333730697632

100%|██████████| 23/23 [00:02<00:00, 9.57it/s]

7 0.4644389802759344 0.7935393258426966 0.7500000596046448

100%|██████████| 23/23 [00:02<00:00, 9.75it/s]

8 0.4227466962554238 0.8132022471910112 0.7833333611488342

100%|██████████| 23/23 [00:02<00:00, 8.36it/s]

9 0.4435369643298062 0.8019662921348315 0.7833333611488342

--------------------------------------------------

Elapsed Time: 27.840532064437866[sec]

■以上の実行結果から, 以下のことが分かった.

① 実行時間について, 以下の改善が見られた.
-> stride = (2, 2) の設定を追加したことで, 処理の早い段階で, 情報量が大幅に削減されたため, と推測している.
[前回]
Elapsed Time: 56.54160785675049[sec]

[今回]
Elapsed Time: 27.840532064437866[sec]

② 精度について, 以下の改善が見られた(※理由は, 不明).
[前回]
約67%

[今回]
約80%

⑤ CNN の 構造 について, 理解を深めるため, 改めて, 以下のように追跡し, 参照URL① の 計算式を使って, 説明を追加した.
[入力値(test_input)]
画像: 1枚 × (RGBの)3種類 × (高)224px × (幅)224px
-> torch.Size([1, 3, 224, 224])

[Convolution Layer(その1)]
nn.Conv2d(3, 32, 4, stride=2) … in(第一引数): dimension 3, out(第二引数): dimension 32 の 設定.
-> 111 = {(H)224 + 2 * (P)0 - (KH)4} / (SH)2 + 1
※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)111px × (幅)111px に変換されるイメージ.

[Pooling Layer(その1)]
nn.MaxPool2d(3) … サイズが1/3となる.
-> 37 = 111 / (KH)3
※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)37px × (幅)37px に変換されるイメージ.

[Batch Normalization(その1)]
nn.BatchNorm2d(32) … サイズは, 変わらない, [Convolution Layer(その1)] の out(第二引数): dimension 32 を 引数とするらしい.

[Convolution Layer(その2)]
nn.Conv2d(32, 96, 3, stride=2) … in(第一引数): dimension 32, out(第二引数): dimension 96 の 設定.
-> 18 = {(H)37 + 2 * (P)0 - (KH)3} / (SH)2 + 1
※画像: 1枚 × (RGBのチャンネル???)96種類 × (高)18px × (幅)18px に変換されるイメージ.

[Pooling Layer(その2)]
nn.MaxPool2d(2) … サイズが1/2となる.
-> 9 = 18 / (KH)2
※画像: 1枚 × (RGBのチャンネル???)96種類 × (高)9px × (幅)9px に変換されるイメージ.

[Batch Normalization(その2)]
nn.BatchNorm2d(96) … サイズは, 変わらない, [Convolution Layer(その2)] の out(第二引数): dimension 96 を 引数とするらしい.

[Convolution Layer(その3)]
nn.Conv2d(96, 192, 4) … in(第一引数): dimension 96, out(第二引数): dimension 192 の 設定.
-> 6 = {(H)9 + 2 * (P)0 - (KH)4} / (SH)1 + 1
※画像: 1枚 × (RGBのチャンネル???)192種類 × (高)6px × (幅)6px に変換されるイメージ.

[Pooling Layer(その3)]
nn.MaxPool2d(2) … サイズが1/2となる.
-> 3 = 6 / (KH)2
※画像: 1枚 × (RGBのチャンネル???)192種類 × (高)3px × (幅)3px に変換されるイメージ.

[Batch Normalization(その3)]
nn.BatchNorm2d(192) … サイズは, 変わらない, [Convolution Layer(その3)] の out(第二引数): dimension 192 を 引数とするらしい.

[Flatten Layer]
FlattenLayer() … サイズは,  torch.Size([1, 192, 3, 3]) から, torch.Size([1, 1728]) に変換される.
※画像: 1枚 × (情報量)1728個 に変換されるイメージ.

[出力値(conv_output_size)]
※画像: (情報量)1728個 に変換されるイメージ.

① 実行時間について, 以下の改善が見られた.

-> stride = (2, 2) の設定を追加したことで, 処理の早い段階で, 情報量が大幅に削減されたため, と推測している.

[前回]

Elapsed Time: 56.54160785675049[sec]

[今回]

Elapsed Time: 27.840532064437866[sec]

② 精度について, 以下の改善が見られた(※理由は, 不明).

[前回]

約67%

[今回]

約80%

⑤ CNN の構造について, 理解を深めるため, 改めて, 以下のように追跡し, 参照URL① の計算式を使って, 説明を追加した.

[入力値(test_input)]

画像: 1枚 × (RGBの)3種類 × (高)224px × (幅)224px

-> torch.Size([1, 3, 224, 224])

[Convolution Layer(その1)]

nn.Conv2d(3, 32, 4, stride=2) … in(第一引数): dimension 3, out(第二引数): dimension 32 の設定.

-> 111 = {(H)224 + 2 * (P)0 - (KH)4} / (SH)2 + 1

※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)111px × (幅)111px に変換されるイメージ.

[Pooling Layer(その1)]

nn.MaxPool2d(3) … サイズが1/3となる.

-> 37 = 111 / (KH)3

※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)37px × (幅)37px に変換されるイメージ.

[Batch Normalization(その1)]

nn.BatchNorm2d(32) … サイズは, 変わらない, [Convolution Layer(その1)] の out(第二引数): dimension 32 を引数とするらしい.

[Convolution Layer(その2)]

nn.Conv2d(32, 96, 3, stride=2) … in(第一引数): dimension 32, out(第二引数): dimension 96 の設定.

-> 18 = {(H)37 + 2 * (P)0 - (KH)3} / (SH)2 + 1

※画像: 1枚 × (RGBのチャンネル???)96種類 × (高)18px × (幅)18px に変換されるイメージ.

[Pooling Layer(その2)]

nn.MaxPool2d(2) … サイズが1/2となる.

-> 9 = 18 / (KH)2

※画像: 1枚 × (RGBのチャンネル???)96種類 × (高)9px × (幅)9px に変換されるイメージ.

[Batch Normalization(その2)]

nn.BatchNorm2d(96) … サイズは, 変わらない, [Convolution Layer(その2)] の out(第二引数): dimension 96 を引数とするらしい.

[Convolution Layer(その3)]

nn.Conv2d(96, 192, 4) … in(第一引数): dimension 96, out(第二引数): dimension 192 の設定.

-> 6 = {(H)9 + 2 * (P)0 - (KH)4} / (SH)1 + 1

※画像: 1枚 × (RGBのチャンネル???)192種類 × (高)6px × (幅)6px に変換されるイメージ.

[Pooling Layer(その3)]

nn.MaxPool2d(2) … サイズが1/2となる.

-> 3 = 6 / (KH)2

※画像: 1枚 × (RGBのチャンネル???)192種類 × (高)3px × (幅)3px に変換されるイメージ.

[Batch Normalization(その3)]

nn.BatchNorm2d(192) … サイズは, 変わらない, [Convolution Layer(その3)] の out(第二引数): dimension 192 を引数とするらしい.

[Flatten Layer]

FlattenLayer() … サイズは, torch.Size([1, 192, 3, 3]) から, torch.Size([1, 1728]) に変換される.

※画像: 1枚 × (情報量)1728個に変換されるイメージ.

[出力値(conv_output_size)]

※画像: (情報量)1728個に変換されるイメージ.

■参照サイト
【参照URL①】定番のConvolutional Neural Networkをゼロから理解する.

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年10月25日2018年10月25日

PyTorch の動作確認をしてみた（８）

1. 環境は、Window 10 Home (64bit) 上で行った。

2. Anaconda3 (64bit) – Spyder上で、動作確認を行った。

3. python のバージョンは、python 3.7.0 である。

4. pytorch のバージョンは、pytorch 0.4.1 である。

5. GPU は, NVIDIA社の GeForce GTX 1050 である。

6. CPU は, Intel社の Core(TM) i7-7700HQ である。

※1. プログラムの詳細は、書籍を参考(P.072 – P.082)にして下さい。
※2. 転移学習の前に, CNN の理解が怪しかったので, 復習した.

■転移学習(書籍の一部を抜粋・改変).

# -*- coding: utf-8 -*-
# 1. library import.
from __future__ import print_function
import torch
from torch import nn, optim
from torch.utils.data import DataLoader
from torchvision.datasets import ImageFolder
from torchvision import transforms
from tqdm import tqdm
import time

～(略)～

# 3. make Dataset.
train_imgs = ImageFolder(
       # ".spyder-py3\\taco_and_burrito\\train\\", 
       # -> 以下のようなエラーが出力されたので, pathを修正.
       # FileNotFoundError: [WinError 3] 指定されたパスが見つかりません。: 
       #'.spyder-py3\\taco_and_burrito\\train\\'
        "taco_and_burrito\\train\\", 
        transform = transforms.Compose([
                transforms.RandomCrop(224),
                transforms.ToTensor()])
        )

～(略)～

# https://github.com/andreh7/ecal-rechits-pytorch-training/blob/master/FlattenLayer.py
class FlattenLayer(nn.Module):
    # a 'View' reshaping the input to dimension (minibatch, product of remaining dimensions)
    # typically to be used after a convolutional network and before the dense layers

    ### def __init__(self):
    ###     super(FlattenLayer, self).__init__()

    def forward(self, x):
        # see e.g. https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.py#L44
        # https://pytorch.org/docs/stable/tensors.html
        # the size -1 is inferred from other dimensions
        # print(x.size()) # torch.Size([1, 128, 24, 24])
        return x.view(x.size(0), -1)

    def __repr__(self):
        return self.__class__.__name__ + " ()"

# 定番のConvolutional Neural Networkをゼロから理解する.
# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in:  torch.Size([1, 3, 224, 224])
# out: torch.Size([1, 128, 24, 24])
conv_net = nn.Sequential(
    # 以下のように略記.
    # H: image height, W: image width
    # P: padding, KH: kernel height, KW: kernel weight
    # SH: stride height, SW: stride weight

    # in: dimension 3, out: dimension 32.
    # 220 = {(H)224 + 2 * (P)0 - (KH)5 / (SH)1} + 1
    nn.Conv2d(3, 32, 5),
    # 110 = 220 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 32.
    nn.BatchNorm2d(32),
    
    # in: dimension 32, out: dimension 64.
    # 106 = {(H)110 + 2 * (P)0 - (KH)5 / (SH)1} + 1
    nn.Conv2d(32, 64, 5),
    # 53 = 106 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 64.
    nn.BatchNorm2d(64),
    
    # in: dimension 64, out: dimension 128.
    # 49 = {(H)53 + 2 * (P)0 - (KH)5 / (SH)1} + 1
    nn.Conv2d(64, 128, 5),
    # 24 = 49 / (KH)2
    nn.MaxPool2d(2),
    nn.ReLU(),
    # in: dimension 128.
    nn.BatchNorm2d(128),
    
    # torch.Size([1, 128, 24, 24]) 
    FlattenLayer() 
)

# 5. Finally, by convolution, check what kind of size it is.
test_input = torch.ones(1, 3, 224, 224)
# tensor: torch.Size([1, 3, 224, 224])
# 1 × (RGB)3 × (image height)224 × (image weight)224
print('-test_input---------------------------------------')
print(test_input.size())
conv_output_size = conv_net(test_input).size()[-1]
print('-conv_net-----------------------------------------')
print(conv_net)
print('-conv_output_size---------------------------------')
print(conv_output_size) # 73728 = 1 * 128 * 24 * 24.

～(略)～

# 8. display processing time.
end = time.time()
print('--------------------------------------------------')
print('Elapsed Time: ' + str(end - start) + "[sec]")

100

101

102

103

104

105

# -*- coding: utf-8 -*-

# 1. library import.

from __future__ import print_function

import torch

from torch import nn, optim

from torch.utils.data import DataLoader

from torchvision.datasets import ImageFolder

from torchvision import transforms

from tqdm import tqdm

import time

～(略)～

# 3. make Dataset.

train_imgs = ImageFolder(

# ".spyder-py3\\taco_and_burrito\\train\\",

# -> 以下のようなエラーが出力されたので, pathを修正.

# FileNotFoundError: [WinError 3] 指定されたパスが見つかりません。:

#'.spyder-py3\\taco_and_burrito\\train\\'

"taco_and_burrito\\train\\",

transform = transforms.Compose([

transforms.RandomCrop(224),

transforms.ToTensor()])

)

～(略)～

# https://github.com/andreh7/ecal-rechits-pytorch-training/blob/master/FlattenLayer.py

class FlattenLayer(nn.Module):

# a 'View' reshaping the input to dimension (minibatch, product of remaining dimensions)

# typically to be used after a convolutional network and before the dense layers

### def __init__(self):

### super(FlattenLayer, self).__init__()

def forward(self, x):

# see e.g. https://github.com/pytorch/vision/blob/master/torchvision/models/alexnet.py#L44

# https://pytorch.org/docs/stable/tensors.html

# the size -1 is inferred from other dimensions

# print(x.size()) # torch.Size([1, 128, 24, 24])

return x.view(x.size(0), -1)

def __repr__(self):

return self.__class__.__name__ + " ()"

# 定番のConvolutional Neural Networkをゼロから理解する.

# https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

# in: torch.Size([1, 3, 224, 224])

# out: torch.Size([1, 128, 24, 24])

conv_net = nn.Sequential(

# 以下のように略記.

# H: image height, W: image width

# P: padding, KH: kernel height, KW: kernel weight

# SH: stride height, SW: stride weight

# in: dimension 3, out: dimension 32.

# 220 = {(H)224 + 2 * (P)0 - (KH)5 / (SH)1} + 1

nn.Conv2d(3, 32, 5),

# 110 = 220 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 32.

nn.BatchNorm2d(32),

# in: dimension 32, out: dimension 64.

# 106 = {(H)110 + 2 * (P)0 - (KH)5 / (SH)1} + 1

nn.Conv2d(32, 64, 5),

# 53 = 106 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 64.

nn.BatchNorm2d(64),

# in: dimension 64, out: dimension 128.

# 49 = {(H)53 + 2 * (P)0 - (KH)5 / (SH)1} + 1

nn.Conv2d(64, 128, 5),

# 24 = 49 / (KH)2

nn.MaxPool2d(2),

nn.ReLU(),

# in: dimension 128.

nn.BatchNorm2d(128),

# torch.Size([1, 128, 24, 24])

FlattenLayer()

)

# 5. Finally, by convolution, check what kind of size it is.

test_input = torch.ones(1, 3, 224, 224)

# tensor: torch.Size([1, 3, 224, 224])

# 1 × (RGB)3 × (image height)224 × (image weight)224

print('-test_input---------------------------------------')

print(test_input.size())

conv_output_size = conv_net(test_input).size()[-1]

print('-conv_net-----------------------------------------')

print(conv_net)

print('-conv_output_size---------------------------------')

print(conv_output_size) # 73728 = 1 * 128 * 24 * 24.

～(略)～

# 8. display processing time.

end = time.time()

print('--------------------------------------------------')

print('Elapsed Time: ' + str(end - start) + "[sec]")

※上記ソースについて, 下記のようなコメントの読み替えが必要です.
nn.Conv2d(3, 32, 5) … # 220 = {(H)224 + 2 * (P)0 – (KH)5} / (SH)1 + 1
nn.Conv2d(32, 64, 5) … # 106 = {(H)110 + 2 * (P)0 – (KH)5} / (SH)1 + 1
nn.Conv2d(64, 128, 5) … # 49 = {(H)53 + 2 * (P)0 – (KH)5} / (SH)1 + 1

■実行結果(epoch = 10).

-test_input---------------------------------------
torch.Size([1, 3, 224, 224])
-conv_net-----------------------------------------
Sequential(
  (0): Conv2d(3, 32, kernel_size=(5, 5), stride=(1, 1))
  (1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (2): ReLU()
  (3): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (4): Conv2d(32, 64, kernel_size=(5, 5), stride=(1, 1))
  (5): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (6): ReLU()
  (7): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (8): Conv2d(64, 128, kernel_size=(5, 5), stride=(1, 1))
  (9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (10): ReLU()
  (11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (12): FlattenLayer ()
)
-conv_output_size---------------------------------
73728
100%|██████████| 23/23 [00:05<00:00,  4.07it/s]
0 2.1239339912479576 0.5379213483146067 0.5166667103767395
100%|██████████| 23/23 [00:05<00:00,  4.06it/s]
1 2.9489047635685313 0.5912921348314607 0.6166666746139526
100%|██████████| 23/23 [00:05<00:00,  4.18it/s]
2 2.7068503390658987 0.6221910112359551 0.7000000476837158
100%|██████████| 23/23 [00:05<00:00,  4.26it/s]
3 3.0366936163468794 0.625 0.6166666746139526
100%|██████████| 23/23 [00:05<00:00,  5.11it/s]
4 2.7064651305025276 0.6165730337078652 0.6666666865348816
100%|██████████| 23/23 [00:05<00:00,  4.24it/s]
5 2.357206783511422 0.6573033707865169 0.6333333849906921
100%|██████████| 23/23 [00:05<00:00,  4.40it/s]
6 2.1463713212446733 0.6446629213483146 0.6666666865348816
100%|██████████| 23/23 [00:05<00:00,  4.37it/s]
7 1.9633805778893558 0.6741573033707865 0.6666666865348816
100%|██████████| 23/23 [00:05<00:00,  4.32it/s]
8 2.0187623500823975 0.6629213483146067 0.6666666865348816
100%|██████████| 23/23 [00:05<00:00,  4.35it/s]
9 1.9592277868227526 0.672752808988764 0.7500000596046448
--------------------------------------------------
Elapsed Time: 56.54160785675049[sec]

-test_input---------------------------------------

torch.Size([1, 3, 224, 224])

-conv_net-----------------------------------------

Sequential(

(0): Conv2d(3, 32, kernel_size=(5, 5), stride=(1, 1))

(1): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)

(2): ReLU()

(3): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(4): Conv2d(32, 64, kernel_size=(5, 5), stride=(1, 1))

(5): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)

(6): ReLU()

(7): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(8): Conv2d(64, 128, kernel_size=(5, 5), stride=(1, 1))

(9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)

(10): ReLU()

(11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

(12): FlattenLayer ()

)

-conv_output_size---------------------------------

73728

100%|██████████| 23/23 [00:05<00:00, 4.07it/s]

0 2.1239339912479576 0.5379213483146067 0.5166667103767395

100%|██████████| 23/23 [00:05<00:00, 4.06it/s]

1 2.9489047635685313 0.5912921348314607 0.6166666746139526

100%|██████████| 23/23 [00:05<00:00, 4.18it/s]

2 2.7068503390658987 0.6221910112359551 0.7000000476837158

100%|██████████| 23/23 [00:05<00:00, 4.26it/s]

3 3.0366936163468794 0.625 0.6166666746139526

100%|██████████| 23/23 [00:05<00:00, 5.11it/s]

4 2.7064651305025276 0.6165730337078652 0.6666666865348816

100%|██████████| 23/23 [00:05<00:00, 4.24it/s]

5 2.357206783511422 0.6573033707865169 0.6333333849906921

100%|██████████| 23/23 [00:05<00:00, 4.40it/s]

6 2.1463713212446733 0.6446629213483146 0.6666666865348816

100%|██████████| 23/23 [00:05<00:00, 4.37it/s]

7 1.9633805778893558 0.6741573033707865 0.6666666865348816

100%|██████████| 23/23 [00:05<00:00, 4.32it/s]

8 2.0187623500823975 0.6629213483146067 0.6666666865348816

100%|██████████| 23/23 [00:05<00:00, 4.35it/s]

9 1.9592277868227526 0.672752808988764 0.7500000596046448

--------------------------------------------------

Elapsed Time: 56.54160785675049[sec]

■以上の実行結果から, 以下のことが分かった.

① ImageFolderの使い方として, Spyderのホームフォルダである, [.spyder-py3]フォルダをトップとして, [.spyder-py3\\taco_and_burrito\\train\\]フォルダを指定すると,
FileNotFoundError: [WinError 3] 指定されたパスが見つかりません。: 
のようなエラーが出力されたため, 
Spyderのホームフォルダ内 の [taco_and_burrito\\train\\]フォルダ を 指定する形に修正したところ, 動作確認出来た.

② 書籍上(P.82)出てくる FlattenLayer層 について, 実装が見当たらなかったので, 下記, 参照URL③ から, そのままソースを持ってくる対応を行った.

③ epoch = 10 における精度は, おおよそ 67% 程度と判明した.

④ view の 引数に, -1 が出てきたので, 参照URL②(# the size -1 is inferred from other dimensions の 説明があった) を 確認した.

⑤ CNN の 構造 が, 理解できてなかったので, 以下のように追跡し, 参照URL① の 計算式を使って, 説明を追加した.
[入力値(test_input)]
画像: 1枚 × (RGBの)3種類 × (高)224px × (幅)224px
-> torch.Size([1, 3, 224, 224])

[Convolution Layer(その1)]
nn.Conv2d(3, 32, 5) … in(第一引数): dimension 3, out(第二引数): dimension 32 の 設定.
-> 220 = {(H)224 + 2 * (P)0 - (KH)5} / (SH)1 + 1
※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)220px × (幅)220px に変換されるイメージ.

[Pooling Layer(その1)]
nn.MaxPool2d(2) … サイズが1/2となる.
-> 110 = 220 / (KH)2
※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)110px × (幅)110px に変換されるイメージ.

[Batch Normalization(その1)]
nn.BatchNorm2d(32) … サイズは, 変わらない, [Convolution Layer(その1)] の out(第二引数): dimension 32 を 引数とするらしい.

[Convolution Layer(その2)]
nn.Conv2d(32, 64, 5) … in(第一引数): dimension 32, out(第二引数): dimension 64 の 設定.
-> 106 = {(H)110 + 2 * (P)0 - (KH)5} / (SH)1 + 1
※画像: 1枚 × (RGBのチャンネル???)64種類 × (高)106px × (幅)106px に変換されるイメージ.

[Pooling Layer(その2)]
nn.MaxPool2d(2) … サイズが1/2となる.
-> 53 = 106 / (KH)2
※画像: 1枚 × (RGBのチャンネル???)64種類 × (高)53px × (幅)53px に変換されるイメージ.

[Batch Normalization(その2)]
nn.BatchNorm2d(64) … サイズは, 変わらない, [Convolution Layer(その2)] の out(第二引数): dimension 64 を 引数とするらしい.

[Convolution Layer(その3)]
nn.Conv2d(64, 128, 5) … in(第一引数): dimension 64, out(第二引数): dimension 128 の 設定.
-> 49 = {(H)53 + 2 * (P)0 - (KH)5} / (SH)1 + 1
※画像: 1枚 × (RGBのチャンネル???)128種類 × (高)49px × (幅)49px に変換されるイメージ.

[Pooling Layer(その3)]
nn.MaxPool2d(2) … サイズが1/2となる.
-> 24 = 49 / (KH)2
※画像: 1枚 × (RGBのチャンネル???)128種類 × (高)24px × (幅)24px に変換されるイメージ.

[Batch Normalization(その3)]
nn.BatchNorm2d(128) … サイズは, 変わらない, [Convolution Layer(その3)] の out(第二引数): dimension 128 を 引数とするらしい.

[Flatten Layer]
FlattenLayer() … サイズは,  torch.Size([1, 128, 24, 24]) から, torch.Size([1, 73728]) に変換される.
※画像: 1枚 × (情報量)73728個 に変換されるイメージ.

[出力値(conv_output_size)]
※画像: (情報量)73728個 に変換されるイメージ.

① ImageFolderの使い方として, Spyderのホームフォルダである, [.spyder-py3]フォルダをトップとして, [.spyder-py3\\taco_and_burrito\\train\\]フォルダを指定すると,

FileNotFoundError: [WinError 3] 指定されたパスが見つかりません。:

のようなエラーが出力されたため,

Spyderのホームフォルダ内の [taco_and_burrito\\train\\]フォルダを指定する形に修正したところ, 動作確認出来た.

② 書籍上(P.82)出てくる FlattenLayer層について, 実装が見当たらなかったので, 下記, 参照URL③ から, そのままソースを持ってくる対応を行った.

③ epoch = 10 における精度は, おおよそ 67% 程度と判明した.

④ view の引数に, -1 が出てきたので, 参照URL②(# the size -1 is inferred from other dimensions の説明があった) を確認した.

⑤ CNN の構造が, 理解できてなかったので, 以下のように追跡し, 参照URL① の計算式を使って, 説明を追加した.

[入力値(test_input)]

画像: 1枚 × (RGBの)3種類 × (高)224px × (幅)224px

-> torch.Size([1, 3, 224, 224])

[Convolution Layer(その1)]

nn.Conv2d(3, 32, 5) … in(第一引数): dimension 3, out(第二引数): dimension 32 の設定.

-> 220 = {(H)224 + 2 * (P)0 - (KH)5} / (SH)1 + 1

※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)220px × (幅)220px に変換されるイメージ.

[Pooling Layer(その1)]

nn.MaxPool2d(2) … サイズが1/2となる.

-> 110 = 220 / (KH)2

※画像: 1枚 × (RGBのチャンネル???)32種類 × (高)110px × (幅)110px に変換されるイメージ.

[Batch Normalization(その1)]

nn.BatchNorm2d(32) … サイズは, 変わらない, [Convolution Layer(その1)] の out(第二引数): dimension 32 を引数とするらしい.

[Convolution Layer(その2)]

nn.Conv2d(32, 64, 5) … in(第一引数): dimension 32, out(第二引数): dimension 64 の設定.

-> 106 = {(H)110 + 2 * (P)0 - (KH)5} / (SH)1 + 1

※画像: 1枚 × (RGBのチャンネル???)64種類 × (高)106px × (幅)106px に変換されるイメージ.

[Pooling Layer(その2)]

nn.MaxPool2d(2) … サイズが1/2となる.

-> 53 = 106 / (KH)2

※画像: 1枚 × (RGBのチャンネル???)64種類 × (高)53px × (幅)53px に変換されるイメージ.

[Batch Normalization(その2)]

nn.BatchNorm2d(64) … サイズは, 変わらない, [Convolution Layer(その2)] の out(第二引数): dimension 64 を引数とするらしい.

[Convolution Layer(その3)]

nn.Conv2d(64, 128, 5) … in(第一引数): dimension 64, out(第二引数): dimension 128 の設定.

-> 49 = {(H)53 + 2 * (P)0 - (KH)5} / (SH)1 + 1

※画像: 1枚 × (RGBのチャンネル???)128種類 × (高)49px × (幅)49px に変換されるイメージ.

[Pooling Layer(その3)]

nn.MaxPool2d(2) … サイズが1/2となる.

-> 24 = 49 / (KH)2

※画像: 1枚 × (RGBのチャンネル???)128種類 × (高)24px × (幅)24px に変換されるイメージ.

[Batch Normalization(その3)]

nn.BatchNorm2d(128) … サイズは, 変わらない, [Convolution Layer(その3)] の out(第二引数): dimension 128 を引数とするらしい.

[Flatten Layer]

FlattenLayer() … サイズは, torch.Size([1, 128, 24, 24]) から, torch.Size([1, 73728]) に変換される.

※画像: 1枚 × (情報量)73728個に変換されるイメージ.

[出力値(conv_output_size)]

※画像: (情報量)73728個に変換されるイメージ.

■参照サイト
【参照URL①】定番のConvolutional Neural Networkをゼロから理解する.
【参照URL②】torch.Tensor
【参照URL③】andreh7/ecal-rechits-pytorch-training

■参考書籍
現場で使える! PyTorch開発入門深層学習モデルの作成とアプリケーションへの実装 (AI & TECHNOLOGY)

2018年10月24日2018年10月24日

C++ の動作確認をしてみた（２８）

C++の練習を兼ねて, AtCoder Beginner Contest 060 の問題C（Sentou), 問題D（Simple Knapsack) を解いてみた.

■感想.
1. 問題C は, 解答方針が, 見つかったので, 解答出来た.
2. 問題D は, 解答方針が見えなかったので, 解説を読んでから, その日本語を, プログラムに翻訳したが, なかなか大変だった(コンパクトに纏めることが出来なかった).

本家のサイトAtCoder Regular Contest 073 Editorialをご覧下さい.

■C++版プログラム(問題C／AC版).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

typedef long long LL;

int main() {
    
    // 1. 入力情報取得.
    LL N, T;
    cin >> N >> T;
    LL totalTime = T;
    
    // 2. お湯の出続ける時間をカウント.
    // 前回スイッチを押した時刻.
    LL bti = 0;
    FOR(i, 0, N) {
        // 今回スイッチを押した時刻.
        LL cti;
        cin >> cti;
        if(cti > bti) totalTime += min(cti - bti, T);
        bti = cti;
    }
    
    // 3. 出力 ～ 後処理.
    cout << totalTime << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

typedef long long LL;

int main() {

// 1. 入力情報取得.

LL N, T;

cin >> N >> T;

LL totalTime = T;

// 2. お湯の出続ける時間をカウント.

// 前回スイッチを押した時刻.

LL bti = 0;

FOR(i, 0, N) {

// 今回スイッチを押した時刻.

LL cti;

cin >> cti;

if(cti > bti) totalTime += min(cti - bti, T);

bti = cti;

}

// 3. 出力～後処理.

cout << totalTime << endl;

return 0;

}

■C++版プログラム(問題D／AC版).

// 解き直し.
// AtCoder Regular Contest 073 Editorial
// https://atcoder.jp/img/arc073/editorial.pdf
#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

int main() {

    // 1. 入力情報取得.
    LL N, W;
    cin >> N >> W;
    // 解説通り, 4種類の重さのものを, それぞれ, いくつ選ぶかを把握するために使う.
    vector<LL> v1, v2, v3, v4;
    // w1 記録用.
    LL w1 = 0;
    FOR(i, 0, N) {
        LL wi, vi;
        cin >> wi >> vi;
        if(i == 0) w1 = wi;
        if(wi == w1 + 0) v1.push_back(vi);
        if(wi == w1 + 1) v2.push_back(vi);
        if(wi == w1 + 2) v3.push_back(vi);
        if(wi == w1 + 3) v4.push_back(vi);
    }
    
    // 2. バッグの価値を降順sort.
    sort(v1.begin(), v1.end(), greater<LL>());
    sort(v2.begin(), v2.end(), greater<LL>());
    sort(v3.begin(), v3.end(), greater<LL>());
    sort(v4.begin(), v4.end(), greater<LL>());
    
    // 3. バッグの価値の累積和を作成.
    int l1, l2, l3, l4;
    l1 = v1.size();
    l2 = v2.size();
    l3 = v3.size();
    l4 = v4.size();
    // cout << l1 << " " << l2 << " " << l3 << " " << l4 << endl;
    
    LL a1[l1 + 1] = {};
    LL a2[l2 + 1] = {};
    LL a3[l3 + 1] = {};
    LL a4[l4 + 1] = {};
    a1[1] = (l1 > 0) ? v1[0] : 0;
    a2[1] = (l2 > 0) ? v2[0] : 0;
    a3[1] = (l3 > 0) ? v3[0] : 0;
    a4[1] = (l4 > 0) ? v4[0] : 0;
    FOR(i, 2, l1 + 1) a1[i] += (v1[i - 1] + a1[i - 1]);
    FOR(i, 2, l2 + 1) a2[i] += (v2[i - 1] + a2[i - 1]);
    FOR(i, 2, l3 + 1) a3[i] += (v3[i - 1] + a3[i - 1]);
    FOR(i, 2, l4 + 1) a4[i] += (v4[i - 1] + a4[i - 1]);
    
    // FOR(i, 0, l1 + 1) cout << a1[i] << " ";
    // FOR(i, 0, l2 + 1) cout << a2[i] << " ";
    // FOR(i, 0, l3 + 1) cout << a3[i] << " ";
    // FOR(i, 0, l4 + 1) cout << a4[i] << " ";
    
    // 4. バッグに入れた物の価値の総和を最大化するための試行錯誤.
    LL maxValue = 0;
    FOR(i1, 0, l1 + 1) {
        FOR(i2, 0, l2 + 1) {
            FOR(i3, 0, l3 + 1) {
                FOR(i4, 0, l4 + 1) {
                    // v1 から i1個, v2 から i2個, v3 から i3個, v4 から i4個 選んで,
                    // 重さの和が, W を 超えていたら, スキップ.
                    LL w = w1 * i1 + (w1 + 1) * i2 + (w1 + 2) * i3 + (w1 + 3) * i4;
                    // cout << i1 << " " << i2 << " " << i3 << " " << i4 << " " << w << endl;
                    if(w > W) continue;
                    
                    // 最大値更新.
                    LL v = a1[i1] + a2[i2] + a3[i3] + a4[i4];
                    if(maxValue < v) maxValue = v;
                }
            }
        }
    }
    
    // 5. 出力 ～ 後処理.
    cout << maxValue << endl;
    return 0;
    
}

// 解き直し.

// AtCoder Regular Contest 073 Editorial

// https://atcoder.jp/img/arc073/editorial.pdf

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

int main() {

// 1. 入力情報取得.

LL N, W;

cin >> N >> W;

// 解説通り, 4種類の重さのものを, それぞれ, いくつ選ぶかを把握するために使う.

vector<LL> v1, v2, v3, v4;

// w1 記録用.

LL w1 = 0;

FOR(i, 0, N) {

LL wi, vi;

cin >> wi >> vi;

if(i == 0) w1 = wi;

if(wi == w1 + 0) v1.push_back(vi);

if(wi == w1 + 1) v2.push_back(vi);

if(wi == w1 + 2) v3.push_back(vi);

if(wi == w1 + 3) v4.push_back(vi);

}

// 2. バッグの価値を降順sort.

sort(v1.begin(), v1.end(), greater<LL>());

sort(v2.begin(), v2.end(), greater<LL>());

sort(v3.begin(), v3.end(), greater<LL>());

sort(v4.begin(), v4.end(), greater<LL>());

// 3. バッグの価値の累積和を作成.

int l1, l2, l3, l4;

l1 = v1.size();

l2 = v2.size();

l3 = v3.size();

l4 = v4.size();

// cout << l1 << " " << l2 << " " << l3 << " " << l4 << endl;

LL a1[l1 + 1] = {};

LL a2[l2 + 1] = {};

LL a3[l3 + 1] = {};

LL a4[l4 + 1] = {};

a1[1] = (l1 > 0) ? v1[0] : 0;

a2[1] = (l2 > 0) ? v2[0] : 0;

a3[1] = (l3 > 0) ? v3[0] : 0;

a4[1] = (l4 > 0) ? v4[0] : 0;

FOR(i, 2, l1 + 1) a1[i] += (v1[i - 1] + a1[i - 1]);

FOR(i, 2, l2 + 1) a2[i] += (v2[i - 1] + a2[i - 1]);

FOR(i, 2, l3 + 1) a3[i] += (v3[i - 1] + a3[i - 1]);

FOR(i, 2, l4 + 1) a4[i] += (v4[i - 1] + a4[i - 1]);

// FOR(i, 0, l1 + 1) cout << a1[i] << " ";

// FOR(i, 0, l2 + 1) cout << a2[i] << " ";

// FOR(i, 0, l3 + 1) cout << a3[i] << " ";

// FOR(i, 0, l4 + 1) cout << a4[i] << " ";

// 4. バッグに入れた物の価値の総和を最大化するための試行錯誤.

LL maxValue = 0;

FOR(i1, 0, l1 + 1) {

FOR(i2, 0, l2 + 1) {

FOR(i3, 0, l3 + 1) {

FOR(i4, 0, l4 + 1) {

// v1 から i1個, v2 から i2個, v3 から i3個, v4 から i4個選んで,

// 重さの和が, W を超えていたら, スキップ.

LL w = w1 * i1 + (w1 + 1) * i2 + (w1 + 2) * i3 + (w1 + 3) * i4;

// cout << i1 << " " << i2 << " " << i3 << " " << i4 << " " << w << endl;

if(w > W) continue;

// 最大値更新.

LL v = a1[i1] + a2[i2] + a3[i3] + a4[i4];

if(maxValue < v) maxValue = v;

}

// 5. 出力～後処理.

cout << maxValue << endl;

return 0;

}

■参照サイト
AtCoder Beginner Contest 060

2018年10月20日

C++ の動作確認をしてみた（２７）

C++の練習を兼ねて, AtCoder Beginner Contest 062 の問題C（Chocolate Bar), 問題D（3N Numbers) を解いてみた.

■感想.
1. 両問題とも, 解答方針が間違えていたので, 解けなかった.
2. 問題C では, 長方形を, 同じ方向に3分割するパターンが, H or W が 3の倍数という先入観で解いたため, 正答に至らなかった.
-> 例として, [入力例] 5 13 に対し, WA版だと 8, AC版だと, 5 というように出力されるので, WA版のロジック誤りについて, 具体的に理解できた.
3. 問題D では, 中央N項の数列に着目して, 数列a’ の前半N要素の総和, 数列a’ の後半N要素の総和を考えてみたが, 上手く行かなかったので, 解答通りに実装し直した.
※LL ans = -99999999999; からスタートして, 最大値を計算しようとすると, 1_10.txt, 2_02.txt で, Wrong Answerとなるので, LL ans = -100000000000000; (10の5乗 × 10の9乗の符号をマイナスにした数)からスタートして, 最大値を計算する必要があるので注意.
4. 優先順位付きキュー std::priority_queue を使う練習が出来たと思われる(※存在を知らなかった(汗)).

本家のサイトABC #062 / ARC #074 Editorialをご覧下さい.

■C++版プログラム(問題C／WA版).

// 1_04.txt, 1_09.txt で, Wrong Answer となった.
#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)
#define abs(x) ((x > 0) ? x : (-(x)))

typedef long long LL;

int main() {
    
    // 1. 入力情報取得.
    LL H, W;
    cin >> H >> W;
    
    // 2. Smax - Smin を 計算.
    LL ans = 99999999999;
    
    // 2-1. H or W が 3 の倍数 なら, 0.
    if(H % 3 == 0 || W % 3 == 0) ans = 0;
    
    // 2-2. H and W が 3 の倍数でない なら, 以下のような分岐.
    if(H * W % 3 != 0) {
        if(H % 2 == 0) {
            FOR(i, 1, W) {
                LL Sa = H * i;              // H × i の 長方形.
                LL Sb = H / 2 * (W - i);    // (H / 2) × (W - i) の 長方形.
                ans = min(ans, abs(Sa - Sb));
            }
        }
        if(W % 2 == 0) {
            FOR(i, 1, H) {
                LL Sa = W * i;              // W × i の 長方形.
                LL Sb = W / 2 * (H - i);    // (W / 2) × (H - i) の 長方形.
                ans = min(ans, abs(Sa - Sb));
            }
        }
        // テストケース 1_04.txt, 1_09.txt 対応.
        if(H % 2 != 0 && W % 2 != 0) {
            FOR(i, 1, W) {
                LL Sa = H * i;                    // H × i の 長方形.
                LL Sb = H / 2 * (W - i);          // (H / 2) × (W - i) の 長方形.
                LL Sc = (H / 2 + 1) * (W - i);    // (H / 2 + 1) × (W - i) の 長方形.
                LL Smax = max(Sa, Sb);
                Smax = max(Smax, Sc);
                LL Smin = min(Sa, Sb);
                Smin = min(Smin, Sc);
                ans = min(ans, abs(Smax - Smin));
            }
            FOR(i, 1, H) {
                LL Sa = W * i;                    // W × i の 長方形.
                LL Sb = W / 2 * (H - i);          // (W / 2) × (H - i) の 長方形.
                LL Sc = (W / 2 + 1) * (H - i);    // (W / 2 + 1) × (H - i) の 長方形.
                LL Smax = max(Sa, Sb);
                Smax = max(Smax, Sc);
                LL Smin = min(Sa, Sb);
                Smin = min(Smin, Sc);
                ans = min(ans, abs(Smax - Smin));
            }
        }
    }

    // 4. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

// 1_04.txt, 1_09.txt で, Wrong Answer となった.

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

#define abs(x) ((x > 0) ? x : (-(x)))

typedef long long LL;

int main() {

// 1. 入力情報取得.

LL H, W;

cin >> H >> W;

// 2. Smax - Smin を計算.

LL ans = 99999999999;

// 2-1. H or W が 3 の倍数なら, 0.

if(H % 3 == 0 || W % 3 == 0) ans = 0;

// 2-2. H and W が 3 の倍数でないなら, 以下のような分岐.

if(H * W % 3 != 0) {

if(H % 2 == 0) {

FOR(i, 1, W) {

LL Sa = H * i; // H × i の長方形.

LL Sb = H / 2 * (W - i); // (H / 2) × (W - i) の長方形.

ans = min(ans, abs(Sa - Sb));

}

if(W % 2 == 0) {

FOR(i, 1, H) {

LL Sa = W * i; // W × i の長方形.

LL Sb = W / 2 * (H - i); // (W / 2) × (H - i) の長方形.

ans = min(ans, abs(Sa - Sb));

}

// テストケース 1_04.txt, 1_09.txt 対応.

if(H % 2 != 0 && W % 2 != 0) {

FOR(i, 1, W) {

LL Sa = H * i; // H × i の長方形.

LL Sb = H / 2 * (W - i); // (H / 2) × (W - i) の長方形.

LL Sc = (H / 2 + 1) * (W - i); // (H / 2 + 1) × (W - i) の長方形.

LL Smax = max(Sa, Sb);

Smax = max(Smax, Sc);

LL Smin = min(Sa, Sb);

Smin = min(Smin, Sc);

ans = min(ans, abs(Smax - Smin));

}

FOR(i, 1, H) {

LL Sa = W * i; // W × i の長方形.

LL Sb = W / 2 * (H - i); // (W / 2) × (H - i) の長方形.

LL Sc = (W / 2 + 1) * (H - i); // (W / 2 + 1) × (H - i) の長方形.

LL Smax = max(Sa, Sb);

Smax = max(Smax, Sc);

LL Smin = min(Sa, Sb);

Smin = min(Smin, Sc);

ans = min(ans, abs(Smax - Smin));

}

// 4. 出力～後処理.

cout << ans << endl;

return 0;

}

■C++版プログラム(問題C／AC版).

// 解き直し.
// ABC #062 / ARC #074 Editorial
// https://atcoder.jp/img/arc074/editorial.pdf
#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)
#define abs(x) ((x > 0) ? x : (-(x)))

typedef long long LL;

int main() {
    
    // 1. 入力情報取得.
    LL H, W;
    cin >> H >> W;
    
    // 2. Smax - Smin を 計算(4ケース確認).
    LL ans = 99999999999;
    
    // 2-1. 縦方向で, 3分割するパターン.
    FOR(ha, 1, H) {
        LL Sa = ha * W;          // ha × W の 長方形.
        LL hb = (H - ha) / 2;
        LL Sb = hb * W;          // hb × W の 長方形.
        LL hc = H - ha - hb;
        LL Sc = hc * W;          // hc × W の 長方形.
        LL Smax = max(Sa, Sb);
        Smax = max(Smax, Sc);
        LL Smin = min(Sa, Sb);
        Smin = min(Smin, Sc);
        ans = min(ans, abs(Smax - Smin));
    }
    
    // 2-2. 縦方向で, 2分割し, B, C を横方向で, 2分割するパターン.
    FOR(ha, 1, H) {
        LL Sa = ha * W;          // ha × W の 長方形.
        LL wb = W / 2;
        LL hbc = H - ha;
        LL Sb = hbc * wb;        // hbc × wb の 長方形.
        LL wc = W - wb;
        LL Sc = hbc * wc;        // hbc × wb の 長方形.
        LL Smax = max(Sa, Sb);
        Smax = max(Smax, Sc);
        LL Smin = min(Sa, Sb);
        Smin = min(Smin, Sc);
        ans = min(ans, abs(Smax - Smin));
    }
    
    // 2-3. 2-1. で 縦横入れ替えしたパターン.
    FOR(wa, 1, W) {
        LL Sa = H * wa;          // H × wa の 長方形.
        LL wb = (W - wa) / 2;
        LL Sb = H * wb;          // H × wb の 長方形.
        LL wc = W - wa - wb;
        LL Sc = H * wc;          // H × wc の 長方形.
        LL Smax = max(Sa, Sb);
        Smax = max(Smax, Sc);
        LL Smin = min(Sa, Sb);
        Smin = min(Smin, Sc);
        ans = min(ans, abs(Smax - Smin));
    }
    
    // 2-4. 2-2. で 縦横入れ替えしたパターン.
    FOR(wa, 1, W) {
        LL Sa = H * wa;          // H × wa の 長方形.
        LL hb = H / 2;
        LL wbc = W - wa;
        LL Sb = hb * wbc;        // hb × wbc の 長方形.
        LL hc = H - hb;
        LL Sc = hc * wbc;        // hc × wbc の 長方形.
        LL Smax = max(Sa, Sb);
        Smax = max(Smax, Sc);
        LL Smin = min(Sa, Sb);
        Smin = min(Smin, Sc);
        ans = min(ans, abs(Smax - Smin));
    }
    
    // 4. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

// 解き直し.

// ABC #062 / ARC #074 Editorial

// https://atcoder.jp/img/arc074/editorial.pdf

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

#define abs(x) ((x > 0) ? x : (-(x)))

typedef long long LL;

int main() {

// 1. 入力情報取得.

LL H, W;

cin >> H >> W;

// 2. Smax - Smin を計算(4ケース確認).

LL ans = 99999999999;

// 2-1. 縦方向で, 3分割するパターン.

FOR(ha, 1, H) {

LL Sa = ha * W; // ha × W の長方形.

LL hb = (H - ha) / 2;

LL Sb = hb * W; // hb × W の長方形.

LL hc = H - ha - hb;

LL Sc = hc * W; // hc × W の長方形.

LL Smax = max(Sa, Sb);

Smax = max(Smax, Sc);

LL Smin = min(Sa, Sb);

Smin = min(Smin, Sc);

ans = min(ans, abs(Smax - Smin));

}

// 2-2. 縦方向で, 2分割し, B, C を横方向で, 2分割するパターン.

FOR(ha, 1, H) {

LL Sa = ha * W; // ha × W の長方形.

LL wb = W / 2;

LL hbc = H - ha;

LL Sb = hbc * wb; // hbc × wb の長方形.

LL wc = W - wb;

LL Sc = hbc * wc; // hbc × wb の長方形.

LL Smax = max(Sa, Sb);

Smax = max(Smax, Sc);

LL Smin = min(Sa, Sb);

Smin = min(Smin, Sc);

ans = min(ans, abs(Smax - Smin));

}

// 2-3. 2-1. で縦横入れ替えしたパターン.

FOR(wa, 1, W) {

LL Sa = H * wa; // H × wa の長方形.

LL wb = (W - wa) / 2;

LL Sb = H * wb; // H × wb の長方形.

LL wc = W - wa - wb;

LL Sc = H * wc; // H × wc の長方形.

LL Smax = max(Sa, Sb);

Smax = max(Smax, Sc);

LL Smin = min(Sa, Sb);

Smin = min(Smin, Sc);

ans = min(ans, abs(Smax - Smin));

}

// 2-4. 2-2. で縦横入れ替えしたパターン.

FOR(wa, 1, W) {

LL Sa = H * wa; // H × wa の長方形.

LL hb = H / 2;

LL wbc = W - wa;

LL Sb = hb * wbc; // hb × wbc の長方形.

LL hc = H - hb;

LL Sc = hc * wbc; // hc × wbc の長方形.

LL Smax = max(Sa, Sb);

Smax = max(Smax, Sc);

LL Smin = min(Sa, Sb);

Smin = min(Smin, Sc);

ans = min(ans, abs(Smax - Smin));

}

// 4. 出力～後処理.

cout << ans << endl;

return 0;

}

■C++版プログラム(問題D／WA版).

// 1_03.txt, 1_05.txt, 1_10.txt - 1_11.txt, 1_13.txt, 1_16.txt - 1_23.txt, 2_02.txt - 2_03.txt 
// 2_05.txt, 2_08.txt - 2_15.txt で, Wrong Answer となった.
#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)
#define FORR(i, a, b) for(LL i = (a); i >= (b); --i)

int main() {

    // 1. 入力情報取得.
    LL N;
    cin >> N;
    LL As[N], Am[N], Ae[N];
    LL AsTotal[N + 1] = {};
    LL AeTotal[N + 1] = {};

    FOR(i, 0, N) {
        LL ai;
        cin >> ai;
        // 数列a の 前半N項.
        As[i] = ai;
        // 数列a の 前半N項の総和 を保存.
        AsTotal[0] += ai;
    }
    FOR(i, 0, N) cin >> Am[i];    // 数列a の 中央N項.
    FOR(i, 0, N) {
        LL ai;
        cin >> ai;
        // 数列a の 後半N項.
        Ae[i] = ai;
        // 数列a の 後半N項の総和 を保存.
        AeTotal[N] += ai;
    }
    
    // 2. sort.
    // As … 昇順sort.
    // Am … sort無し.
    // Ae … 降順sort.
    sort(As, As + N);
    sort(Ae, Ae + N, greater<LL>());
    // FOR(i, 0, N) cout << As[i] << " ";
    // FOR(i, 0, N) cout << Am[i] << " ";
    // FOR(i, 0, N) cout << Ae[i] << " ";
    
    // 3. 残った数列a'について, スコアを確認.
    // 3-1. 数列a' の前半N要素の総和を, 順次保存.
    LL minAs = As[0];
    FOR(i, 1, N + 1) {
        // Am[i - 1] が, minAs よりも大きいか確認.
        if(Am[i - 1] > minAs) {
            AsTotal[i] = AsTotal[i - 1] + Am[i - 1] - minAs;
            minAs = max(minAs, As[i]);
            minAs = min(minAs, Am[i - 1]);
        } else {
            AsTotal[i] = AsTotal[i - 1];
        }
        // cout << i << " " << Am[i - 1] << " " << minAs << " " << AsTotal[i - 1] << " -> " << AsTotal[i] << endl;
    }

    // 3-2. 数列a' の後半N要素の総和を, 順次保存.
    LL maxAe = Ae[0];
    FORR(i, N - 1, 0) {
        // Am[i] が, maxAe よりも小さいか確認.
        if(Am[i] < maxAe) {
            AeTotal[i] = AeTotal[i + 1] + Am[i] - maxAe;
            maxAe = min(maxAe, Ae[N - i]);
            maxAe = max(maxAe, Am[i]);
        } else {
            AeTotal[i] = AeTotal[i + 1];
        }
    }
    // FOR(i, 0, N + 1) cout << AsTotal[i] << " ";
    // FOR(i, 0, N + 1) cout << AeTotal[i] << " ";

    // 4. 出力 ～ 後処理.
    LL ans = -99999999999;
    FOR(i, 0, N) ans = max(ans, AsTotal[i] - AeTotal[i]);
    cout << ans << endl;
    return 0;
    
}

// 1_03.txt, 1_05.txt, 1_10.txt - 1_11.txt, 1_13.txt, 1_16.txt - 1_23.txt, 2_02.txt - 2_03.txt

// 2_05.txt, 2_08.txt - 2_15.txt で, Wrong Answer となった.

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

#define FORR(i, a, b) for(LL i = (a); i >= (b); --i)

int main() {

// 1. 入力情報取得.

LL N;

cin >> N;

LL As[N], Am[N], Ae[N];

LL AsTotal[N + 1] = {};

LL AeTotal[N + 1] = {};

FOR(i, 0, N) {

LL ai;

cin >> ai;

// 数列a の前半N項.

As[i] = ai;

// 数列a の前半N項の総和を保存.

AsTotal[0] += ai;

}

FOR(i, 0, N) cin >> Am[i]; // 数列a の中央N項.

FOR(i, 0, N) {

LL ai;

cin >> ai;

// 数列a の後半N項.

Ae[i] = ai;

// 数列a の後半N項の総和を保存.

AeTotal[N] += ai;

}

// 2. sort.

// As … 昇順sort.

// Am … sort無し.

// Ae … 降順sort.

sort(As, As + N);

sort(Ae, Ae + N, greater<LL>());

// FOR(i, 0, N) cout << As[i] << " ";

// FOR(i, 0, N) cout << Am[i] << " ";

// FOR(i, 0, N) cout << Ae[i] << " ";

// 3. 残った数列a'について, スコアを確認.

// 3-1. 数列a' の前半N要素の総和を, 順次保存.

LL minAs = As[0];

FOR(i, 1, N + 1) {

// Am[i - 1] が, minAs よりも大きいか確認.

if(Am[i - 1] > minAs) {

AsTotal[i] = AsTotal[i - 1] + Am[i - 1] - minAs;

minAs = max(minAs, As[i]);

minAs = min(minAs, Am[i - 1]);

} else {

AsTotal[i] = AsTotal[i - 1];

}

// cout << i << " " << Am[i - 1] << " " << minAs << " " << AsTotal[i - 1] << " -> " << AsTotal[i] << endl;

}

// 3-2. 数列a' の後半N要素の総和を, 順次保存.

LL maxAe = Ae[0];

FORR(i, N - 1, 0) {

// Am[i] が, maxAe よりも小さいか確認.

if(Am[i] < maxAe) {

AeTotal[i] = AeTotal[i + 1] + Am[i] - maxAe;

maxAe = min(maxAe, Ae[N - i]);

maxAe = max(maxAe, Am[i]);

} else {

AeTotal[i] = AeTotal[i + 1];

}

// FOR(i, 0, N + 1) cout << AsTotal[i] << " ";

// FOR(i, 0, N + 1) cout << AeTotal[i] << " ";

// 4. 出力～後処理.

LL ans = -99999999999;

FOR(i, 0, N) ans = max(ans, AsTotal[i] - AeTotal[i]);

cout << ans << endl;

return 0;

}

■C++版プログラム(問題D／AC版).

// 解き直し.
// ABC #062 / ARC #074 Editorial
// https://atcoder.jp/img/arc074/editorial.pdf
#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)
#define FORR(i, a, b) for(LL i = (a); i >= (b); --i)

int main() {

    // 1. 入力情報取得.
    LL N;
    cin >> N;
    // How can I create Min stl priority_queue?
    // https://stackoverflow.com/questions/2439283/how-can-i-create-min-stl-priority-queue
    priority_queue<LL, vector<LL>, greater<LL>> Qs;
    LL Am[N];
    priority_queue<LL> Qe;
    LL QsTotal[N + 1] = {};
    LL QeTotal[N + 1] = {};

    FOR(i, 0, N) {
        LL ai;
        cin >> ai;
        // 数列a の 前半N項.
        Qs.push(ai);
        // 数列a の 前半N項の総和 を保存.
        QsTotal[0] += ai;
    }
    FOR(i, 0, N) cin >> Am[i];    // 数列a の 中央N項.
    FOR(i, 0, N) {
        LL ai;
        cin >> ai;
        // 数列a の 後半N項.
        Qe.push(ai);
        // 数列a の 後半N項の総和 を保存.
        QeTotal[N] += ai;
    }

    // 2. 数列a の 中央N項 について, 順次確認.
    // 2-1. 数列a' の前半N要素の総和を, 順次保存.
    FOR(i, 0, N) {
        LL ai = Am[i];
        Qs.push(ai);
        QsTotal[i + 1] = QsTotal[i] + ai - Qs.top();
        Qs.pop();
    }
    
    // 2-2. 数列a' の後半N要素の総和を, 順次保存.
    FORR(i, N - 1, 0) {
        LL ai = Am[i];
        Qe.push(ai);
        QeTotal[i] = QeTotal[i + 1] + ai - Qe.top();
        Qe.pop();
    }
    
    // FOR(i, 0, N + 1) cout << QsTotal[i] << " ";
    // FOR(i, 0, N + 1) cout << QeTotal[i] << " ";

    // 3. 出力 ～ 後処理.
    // LL ans = -99999999999;    // 1_10.txt, 2_02.txt で, Wrong Answer.
    LL ans = -100000000000000;
    FOR(i, 0, N + 1) ans = max(ans, QsTotal[i] - QeTotal[i]);
    cout << ans << endl;
    return 0;
    
}

// 解き直し.

// ABC #062 / ARC #074 Editorial

// https://atcoder.jp/img/arc074/editorial.pdf

#include <bits/stdc++.h>

using namespace std;

typedef long long LL;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

#define FORR(i, a, b) for(LL i = (a); i >= (b); --i)

int main() {

// 1. 入力情報取得.

LL N;

cin >> N;

// How can I create Min stl priority_queue?

// https://stackoverflow.com/questions/2439283/how-can-i-create-min-stl-priority-queue

priority_queue<LL, vector<LL>, greater<LL>> Qs;

LL Am[N];

priority_queue<LL> Qe;

LL QsTotal[N + 1] = {};

LL QeTotal[N + 1] = {};

FOR(i, 0, N) {

LL ai;

cin >> ai;

// 数列a の前半N項.

Qs.push(ai);

// 数列a の前半N項の総和を保存.

QsTotal[0] += ai;

}

FOR(i, 0, N) cin >> Am[i]; // 数列a の中央N項.

FOR(i, 0, N) {

LL ai;

cin >> ai;

// 数列a の後半N項.

Qe.push(ai);

// 数列a の後半N項の総和を保存.

QeTotal[N] += ai;

}

// 2. 数列a の中央N項について, 順次確認.

// 2-1. 数列a' の前半N要素の総和を, 順次保存.

FOR(i, 0, N) {

LL ai = Am[i];

Qs.push(ai);

QsTotal[i + 1] = QsTotal[i] + ai - Qs.top();

Qs.pop();

}

// 2-2. 数列a' の後半N要素の総和を, 順次保存.

FORR(i, N - 1, 0) {

LL ai = Am[i];

Qe.push(ai);

QeTotal[i] = QeTotal[i + 1] + ai - Qe.top();

Qe.pop();

}

// FOR(i, 0, N + 1) cout << QsTotal[i] << " ";

// FOR(i, 0, N + 1) cout << QeTotal[i] << " ";

// 3. 出力～後処理.

// LL ans = -99999999999; // 1_10.txt, 2_02.txt で, Wrong Answer.

LL ans = -100000000000000;

FOR(i, 0, N + 1) ans = max(ans, QsTotal[i] - QeTotal[i]);

cout << ans << endl;

return 0;

}

■参照サイト
AtCoder Beginner Contest 062

2018年10月17日

C++ の動作確認をしてみた（２６）

C++の練習を兼ねて, AtCoder Beginner Contest 064 の問題D（Insertion) を解いてみた.

■感想.
1. 左括弧 ‘)’ を軸に考えてみたところ, 何とか解答できた.
2. 標準ライブラリ std::deque を使う練習が出来たと思われる.

本家のサイトAtCoder Beginner Contest 064 解説をご覧下さい.

■C++版プログラム(AC版).

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

int main() {

    // 1. 入力情報取得.
    int N;
    string S;
    cin >> N;
    cin >> S;
    
    // 2. 正しい括弧列を構成.
    // 文字列S を左から確認して, 
    // '(' なら, 左括弧のカウンターを +1 する.
    // ')' なら, 左括弧のカウンターを -1 するか, 右括弧を追加する.
    //
    deque<char> dq;
    int l = 0;    // '('カウンター(※左括弧が, どのくらい出現し過ぎているかチェック)
    FOR(i, 0, S.size()) {
        char c = S[i];
        dq.push_back(c);
        if(c == '(') l++;
        if(c == ')') {
            if(l == 0) dq.push_front('(');
            else       l--;
        }
    }
    
    // 3. 出力文字列を作成.
    // l が 0 より大きい場合に, 注意が必要.
    string ans;
    for(auto &c : dq) ans += c;
    FOR(i, 0, l) ans += ')';
    
    // 4. 出力 ～ 後処理.
    cout << ans << endl;
    return 0;
    
}

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(int i = (a); i < (b); ++i)

int main() {

// 1. 入力情報取得.

int N;

string S;

cin >> N;

cin >> S;

// 2. 正しい括弧列を構成.

// 文字列S を左から確認して,

// '(' なら, 左括弧のカウンターを +1 する.

// ')' なら, 左括弧のカウンターを -1 するか, 右括弧を追加する.

deque<char> dq;

int l = 0; // '('カウンター(※左括弧が, どのくらい出現し過ぎているかチェック)

FOR(i, 0, S.size()) {

char c = S[i];

dq.push_back(c);

if(c == '(') l++;

if(c == ')') {

if(l == 0) dq.push_front('(');

else l--;

}

// 3. 出力文字列を作成.

// l が 0 より大きい場合に, 注意が必要.

string ans;

for(auto &c : dq) ans += c;

FOR(i, 0, l) ans += ')';

// 4. 出力～後処理.

cout << ans << endl;

return 0;

}

■参照サイト
AtCoder Beginner Contest 064

2018年10月14日2018年10月27日

C++ の動作確認をしてみた（２５）

C++の練習を兼ねて, AtCoder Grand Contest 028 の問題B（Removing Blocks) を解いてみた.

■感想.
1. 時間内で, 解答方針が全く分からなかったので, コンテスト終了後に, 解答を確認して, コーディングしてみた.
2. ブロックの連結についての解説が, なるほどと感心したが, 実際に答案へ反映する作業は, かなり大変だった(汗).

本家のサイトAGC 028 解説をご覧下さい.

■C++版プログラム(AC版).

// 解き直し.
// AGC 028 解説.
// https://img.atcoder.jp/agc028/editorial.pdf
#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)
#define abs(x) ((x > 0) ? x : (-(x)))

typedef long long LL;

const LL MOD = 1000000007;

// Fermat's little theorem を 適用するため, 大きな冪乗の計算ができるようにする.
// @param a: べき乗したい正整数.
// @param b: 指数.
// @return:  べき乗した計算結果(mod版).
LL inverse(LL a, LL b){
    LL t = 1;
    while(b) {
        if(b & 1) t = (t * a) % MOD;
        a *= a;
        a %= MOD;
        b >>= 1;
    }
    return t % MOD;
}

int main() {
    
    // 1. 入力情報取得.
    LL N;
    cin >> N;
    LL A[N + 1] = {};
    FOR(i, 1, N + 1) cin >> A[i];
    
    // 解説通り.
    // ------------------------------------------------------------------------------------------
    // 2. 1/1, 1/2, 1/3, ... , 1/N の 累積和を保管.
    // Fermat's Little Theorem から, 1/x = x の (p - 2)乗 で 計算可能(※本問では, p = 1000000007).
    // 例) 1/2 = 500000004, 1/3 = 333333336, ..., 1/9 = 111111112, ...などと計算される.
    LL INV[100001] = {};
    FOR(i, 1, 100001) {
        INV[i] += INV[i - 1];
        INV[i] += inverse(i, MOD - 2) % MOD;
    }
    
    // 3. block[i] を取り除くとき, block[i], block[j] が連結である確率を, 
    // P(i, j) と置いて, P(j) = ΣP(i, j) を, 計算する.
    // P(i, j) は, P(i, j) = 1 / (abs(i - j) + 1) で, 計算可能とのこと.
    LL P[N + 1] = {};
    FOR(i, 1, N + 1) {
        LL r = abs(i - 1 + 1);    // 左端までの距離(1 ～ i).
        LL l = abs(N - i + 1);    // 右端までの距離(i ～ N).
        P[i] += INV[r];
        P[i] %= MOD;
        P[i] += INV[l];
        P[i] %= MOD;
        P[i] -= INV[1];
        P[i] %= MOD;
    }
    
    // 4. 総コスト = Σ(A[j] × P(j)) × N! で, N回の操作のコストの合計(期待値)を求める.
    LL total = 0;
    // 4-1. Σ(A[j] × P(j)) の 部分 を 計算.
    FOR(i, 1, N + 1) {
        total += A[i] * P[i];
        total %= MOD;
        // cout << i << " " << A[i] << " " << P[i] << endl;
    }
    
    // 4-2. × N! の 部分 を 計算.
    FOR(i, 1, N + 1) {
        total *= i;
        total %= MOD;
    }
    // ------------------------------------------------------------------------------------------
    
    // 5. 後処理.
    cout << total << endl;
    return 0;
    
}

// 解き直し.

// AGC 028 解説.

// https://img.atcoder.jp/agc028/editorial.pdf

#include <bits/stdc++.h>

using namespace std;

#define FOR(i, a, b) for(LL i = (a); i < (b); ++i)

#define abs(x) ((x > 0) ? x : (-(x)))

typedef long long LL;

const LL MOD = 1000000007;

// Fermat's little theorem を適用するため, 大きな冪乗の計算ができるようにする.

// @param a: べき乗したい正整数.

// @param b: 指数.

// @return: べき乗した計算結果(mod版).

LL inverse(LL a, LL b){

LL t = 1;

while(b) {

if(b & 1) t = (t * a) % MOD;

a *= a;

a %= MOD;

b >>= 1;

}

return t % MOD;

}

int main() {

// 1. 入力情報取得.

LL N;

cin >> N;

LL A[N + 1] = {};

FOR(i, 1, N + 1) cin >> A[i];

// 解説通り.

// ------------------------------------------------------------------------------------------

// 2. 1/1, 1/2, 1/3, ... , 1/N の累積和を保管.

// Fermat's Little Theorem から, 1/x = x の (p - 2)乗で計算可能(※本問では, p = 1000000007).

// 例) 1/2 = 500000004, 1/3 = 333333336, ..., 1/9 = 111111112, ...などと計算される.

LL INV[100001] = {};

FOR(i, 1, 100001) {

INV[i] += INV[i - 1];

INV[i] += inverse(i, MOD - 2) % MOD;

}

// 3. block[i] を取り除くとき, block[i], block[j] が連結である確率を,

// P(i, j) と置いて, P(j) = ΣP(i, j) を, 計算する.

// P(i, j) は, P(i, j) = 1 / (abs(i - j) + 1) で, 計算可能とのこと.

LL P[N + 1] = {};

FOR(i, 1, N + 1) {

LL r = abs(i - 1 + 1); // 左端までの距離(1 ～ i).

LL l = abs(N - i + 1); // 右端までの距離(i ～ N).

P[i] += INV[r];

P[i] %= MOD;

P[i] += INV[l];

P[i] %= MOD;

P[i] -= INV[1];

P[i] %= MOD;

}

// 4. 総コスト = Σ(A[j] × P(j)) × N! で, N回の操作のコストの合計(期待値)を求める.

LL total = 0;

// 4-1. Σ(A[j] × P(j)) の部分を計算.

FOR(i, 1, N + 1) {

total += A[i] * P[i];

total %= MOD;

// cout << i << " " << A[i] << " " << P[i] << endl;

}

// 4-2. × N! の部分を計算.

FOR(i, 1, N + 1) {

total *= i;

total %= MOD;

}

// ------------------------------------------------------------------------------------------

// 5. 後処理.

cout << total << endl;

return 0;

}

■入力／出力例

[入力例]
2
1 2

[総コスト]
ブロック1: 1/1 + 1/2 = 3/2
ブロック2: 1/2 + 1/1 = 3/2
-> 各操作に関するコストの期待値: 3/2 * 1 + 3/2 * 2 = 9/2
-> 2!倍すると, 総コスト9 となる.

[入力例]
4
1 1 1 1

[総コスト]
ブロック1: 1/1 + 1/2 + 1/3 + 1/4 = 25/12
ブロック2: 1/2 + 1/1 + 1/2 + 1/3 = 7/3
ブロック3: 1/3 + 1/2 + 1/1 + 1/2 = 7/3
ブロック4: 1/4 + 1/3 + 1/2 + 1/1 = 25/12
-> 各操作に関するコストの期待値: 25/12 * 1 + 7/3 * 1 + 7/3 * 1 + 25/12 * 1 = 53 / 6
-> 4!倍すると, 総コスト212 となる.

[入力例]
5
3 4 5 2 1

[総コスト]
ブロック1: 1/1 + 1/2 + 1/3 + 1/4 + 1/5 = 137/60
ブロック2: 1/2 + 1/1 + 1/2 + 1/3 + 1/4 = 31/12
ブロック3: 1/3 + 1/2 + 1/1 + 1/2 + 1/3 = 8/3
ブロック4: 1/4 + 1/3 + 1/2 + 1/1 + 1/2 = 31/12
ブロック5: 1/5 + 1/4 + 1/3 + 1/2 + 1/1 = 137/60
-> 各操作に関するコストの期待値: 137/60 * 3 + 31/12 * 4 + 8/3 * 5 + 31/12 * 2 + 137/60 * 1 = 1139 / 30
-> 5!倍すると, 総コスト4556 となる.

[入力例]
10
1 2 4 8 16 32 64 128 256 512

[出力例]
880971923

[入力例]

1 2

[総コスト]

ブロック1: 1/1 + 1/2 = 3/2

ブロック2: 1/2 + 1/1 = 3/2

-> 各操作に関するコストの期待値: 3/2 * 1 + 3/2 * 2 = 9/2

-> 2!倍すると, 総コスト9 となる.

[入力例]

1 1 1 1

[総コスト]

ブロック1: 1/1 + 1/2 + 1/3 + 1/4 = 25/12

ブロック2: 1/2 + 1/1 + 1/2 + 1/3 = 7/3

ブロック3: 1/3 + 1/2 + 1/1 + 1/2 = 7/3

ブロック4: 1/4 + 1/3 + 1/2 + 1/1 = 25/12

-> 各操作に関するコストの期待値: 25/12 * 1 + 7/3 * 1 + 7/3 * 1 + 25/12 * 1 = 53 / 6

-> 4!倍すると, 総コスト212 となる.

[入力例]

3 4 5 2 1

[総コスト]

ブロック1: 1/1 + 1/2 + 1/3 + 1/4 + 1/5 = 137/60

ブロック2: 1/2 + 1/1 + 1/2 + 1/3 + 1/4 = 31/12

ブロック3: 1/3 + 1/2 + 1/1 + 1/2 + 1/3 = 8/3

ブロック4: 1/4 + 1/3 + 1/2 + 1/1 + 1/2 = 31/12

ブロック5: 1/5 + 1/4 + 1/3 + 1/2 + 1/1 = 137/60

-> 各操作に関するコストの期待値: 137/60 * 3 + 31/12 * 4 + 8/3 * 5 + 31/12 * 2 + 137/60 * 1 = 1139 / 30

-> 5!倍すると, 総コスト4556 となる.

[入力例]

1 2 4 8 16 32 64 128 256 512

[出力例]

880971923

■参照サイト
AtCoder Grand Contest 028

C++の練習を兼ねて, AtCoder Beginner Contest 055 の 問題C（Scc Puzzle), 問題D（Menagerie) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 058 の 問題C（怪文書 / Dubious Document), 問題D（井井井 / ###) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 060 の 問題C（Sentou), 問題D（Simple Knapsack) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 062 の 問題C（Chocolate Bar), 問題D（3N Numbers) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 064 の 問題D（Insertion) を解いてみた.

C++の練習を兼ねて, AtCoder Grand Contest 028 の 問題B（Removing Blocks) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 055 の問題C（Scc Puzzle), 問題D（Menagerie) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 058 の問題C（怪文書 / Dubious Document), 問題D（井井井 / ###) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 060 の問題C（Sentou), 問題D（Simple Knapsack) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 062 の問題C（Chocolate Bar), 問題D（3N Numbers) を解いてみた.

C++の練習を兼ねて, AtCoder Beginner Contest 064 の問題D（Insertion) を解いてみた.

C++の練習を兼ねて, AtCoder Grand Contest 028 の問題B（Removing Blocks) を解いてみた.