Разбор букав Python

Lunatrius_ · 4 Фев 2020

Продолжение темы.

Для начала импортируем библиотеки, включая модель нейросети.

Python:

from tensorflow.keras.utils import Sequence
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, Flatten, Dense, MaxPool2D, GlobalAveragePooling2D
from tensorflow.keras.callbacks import ModelCheckpoint
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from skimage.util import random_noise
from os import listdir
from PIL import Image
import numpy as np
import matplotlib.pyplot as plt

После задаем константы для обучения.

Python:

train_data = 'C:/...' #наши рукописные буквы
valid_data = 'C:/...' #наши валиды
check_data = 'C:/...' #наши данные для теста модели
CLASS = 32  # Количество классов
EPOCH = 100  # Количество эпох
COUNT_TRAIN_IMAGE = 1000  # картинки для тренеровки
COUNT_VALID_IMAGE = 100 # валиды
COUNT_CHECK_IMAGE = 100  # тест

Создаем класс для выдачи рандомной картинки с переводом в array.

Python:

class RandGen(Sequence):
    def __init__(self):
        self.Y = np.eye(COUNT_CLASS)

    def __len__(self):
        return COUNT_TRAIN_IMAGE

    def __getitem__(self, index):
        index += 1
        list_array_images = []
        list_file = listdir(train_data)
        for file in list_file:
            im = Image.open(f'{train_data}\\{file}\\{file} ({index}).png')
            list_array_images.append(np.array(im))
        return np.array(list_array_images, dtype=np.float32)[..., None], self.Y

#Тоже самое для валида

class RandGenVal(Sequence):
def __init__(self):
self.Y = np.eye(COUNT_CLASS)

def __len__(self):

return COUNT_VALID_IMAGE

def __getitem__(self, index):
index += 1
list_array_images = []
list_file = listdir(valid_data)
for file in list_file:
im = Image.open(f'{tvalid_data}\\{file}\\{file} ({index}).png')
list_array_images.append(np.array(im))
return np.array(list_array_images, dtype=np.float32)[..., None], self.Y

#Ну и для тестирования

class RandGenCheck(Sequence):
def __init__(self):
self.Y = np.eye(COUNT_CLASS)

def __len__(self):
return COUNT_CHECK_IMAGE

def __getitem__(self, index):
index += 1
list_array_images = []
list_file = listdir(check_data)
for file in list_file:
im = Image.open(f'{check_data}\\{file}\\{file} ({index}).png')
list_array_images.append(np.array(im))
return np.array(list_array_images, dtype=np.float32)[..., None], self.Y[/CODE]

После делаем функцию для создания моделей с разной "обучаемостью"

Python:

def ModelCreator():
    
    # создание модели
    model = Sequential()

    # добавляем слои
    model.add(Conv2D(32, kernel_size=3, strides=3, activation='relu', input_shape=(145, 145, 1)))
    model.add(Conv2D(128, kernel_size=3, strides=3, activation='relu'))

    model.add(MaxPool2D((2, 2)))

    model.add(Conv2D(512, kernel_size=3, activation='relu'))

    model.add(Flatten())
    model.add(Dense(32, activation='softmax'))
    
    # вывод информации архитектуры
    model.summary()

    # компиляция
    model.compile('adam', 'categorical_crossentropy', metrics=['accuracy'])

    # ген изображений
    gen = RandGen()
    
    valgen = RandGenVal()

    # Загрузка данных для обучения
    model.fit_generator(gen, epochs=EPOCH, validation_data=valgen, steps_per_epoch=COUNT_TRAIN_IMAGE,
                            shuffle=True, callbacks=[ModelCheckpoint('models\\Model1.h5', save_best_only=True)])

    return model

После вызываем создание модели.
proper =ModelCreator()

На этом создание нашей модели окончено.
Перейдем к использованию.

Python:

#импорт классов
from tensorflow.keras.models import load_model #загрузка нашей модели
from PIL import Image #работа с изображением через PIL
from os import listdir #получение и открытие директории
import numpy as np #математическая библиотека

Для повышения точности распознования букв, мы переводим ее в черно-белое изображение, а после распознаем как букву.

Python:

def detect(path):

    image = Image.open(path) #получаем картинку
    image = convert_image(image) #конвертируем
    array_image = np.asarray(image) #разбиваем* картинку
    array_image = np.array(array_image, dtype=np.float32)[..., None] #^
    array_image = array_image.reshape(-1, 145, 145, 1)
    letter = model.predict(array_image) #предсказываем букву с помощью нашей модели.
    
    return letter #возвращаем букву

Черно-белый

Python:

def dark(image):
    image = image.resize((145, 145))
    image = image.convert('L')
    
    return image

Получаем весь русский алфавит

Python:

a = ord('а')
alphabet = []
for i in range(a,a+32):
    alphabet.append(chr(i))

Ну и наконец используем модель.

Python:

#загрузка модели
model = load_model('models\\Model1.h5')
link = input("Введите ссылку на букву: ")
print(alphabet[detect(link).argmax(1)[0]])