Кто живет надеждой, рискует умереть голодной смертью (Б. Франклин).

TensorFlow — Обучение многослойного персептрона

Главное меню » TensorFlow — Машинное обучение » TensorFlow — Обучение многослойного персептрона

(1 оценок, среднее: 5,00 из 5)

Загрузка...

05.08.2019

Многослойный персептрон определяет наиболее сложную архитектуру искусственных нейронных сетей. Он в основном состоит из нескольких слоев персептрона.

Схематическое представление многослойного обучения персептрона показано ниже:

Сети MLP обычно используются в контролируемом формате обучения. Типичный алгоритм обучения для сетей MLP также называется алгоритмом обратного распространения.

Теперь мы сосредоточимся на реализации с MLP для проблемы классификации изображений.

# Импорт данных MINST
from tensorflow.examples.tutorials.mnist import input_data 
mnist = input_data.read_data_sets("/tmp/data/", one_hot = True) 

import tensorflow as tf 
import matplotlib.pyplot as plt 

# Параметры
learning_rate = 0.001 
training_epochs = 20 
batch_size = 100 
display_step = 1 

# Параметры сети
n_hidden_1 = 256 

# 1-й слой характеристик
n_hidden_2 = 256 # 2-й слой характеристик
n_input = 784 
# MNIST ввод данных (img shape: 28*28) 
n_classes = 10 
# MNIST всего классов (0-9 digits) 

# входной сигнал диаграммы tf 
x = tf.placeholder("float", [None, n_input]) 
y = tf.placeholder("float", [None, n_classes]) 

# вес слоя 1
h = tf.Variable(tf.random_normal([n_input, n_hidden_1])) # bias layer 1 
bias_layer_1 = tf.Variable(tf.random_normal([n_hidden_1])) 
# layer 1 layer_1 = tf.nn.sigmoid(tf.add(tf.matmul(x, h), bias_layer_1)) 

# вес слоя 2
w = tf.Variable(tf.random_normal([n_hidden_1, n_hidden_2])) 

# смещение слоя 2
bias_layer_2 = tf.Variable(tf.random_normal([n_hidden_2])) 

# слой 2 
layer_2 = tf.nn.sigmoid(tf.add(tf.matmul(layer_1, w), bias_layer_2)) 

# Вес выходного слоя
output = tf.Variable(tf.random_normal([n_hidden_2, n_classes])) 

# выходной слой bias
bias_output = tf.Variable(tf.random_normal([n_classes])) 
# выходной слой
output_layer = tf.matmul(layer_2, output) + bias_output

# функция стоимости
cost = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(
   logits = output_layer, labels = y)) 

#cost = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(output_layer, y)) 
# оптимизатор
optimizer = tf.train.AdamOptimizer(learning_rate = learning_rate).minimize(cost) 

# optimizer = tf.train.GradientDescentOptimizer(
   learning_rate = learning_rate).minimize(cost) 

# Настройки участка
avg_set = [] 
epoch_set = [] 

# Инициализация переменных
init = tf.global_variables_initializer() 

# Запуск на графике 
with tf.Session() as sess: 
   sess.run(init) 
   
   # Тренировочный цикл
   for epoch in range(training_epochs): 
      avg_cost = 0. 
      total_batch = int(mnist.train.num_examples / batch_size) 
      
      # Цикл по всем партиям
      for i in range(total_batch): 
         batch_xs, batch_ys = mnist.train.next_batch(batch_size) 
         # Подгонка обучения с использованием пакетных данных sess.run(optimizer, feed_dict = {
            x: batch_xs, y: batch_ys}) 
         # Вычислить среднюю потерю 
         avg_cost += sess.run(cost, feed_dict = {x: batch_xs, y: batch_ys}) / total_batch
      # Отображение журналов на шаг epoch
      if epoch % display_step == 0: 
         print 
         Epoch:", '%04d' % (epoch + 1), "cost=", "{:.9f}".format(avg_cost)
      avg_set.append(avg_cost) 
      epoch_set.append(epoch + 1)
   print 
   "Этап обучения завершен" 
   
   plt.plot(epoch_set, avg_set, 'o', label = 'Этап подготовки MLP') 
   plt.ylabel('cost') 
   plt.xlabel('epoch') 
   plt.legend() 
   plt.show() 
   
   # Тестовая модель 
   correct_prediction = tf.equal(tf.argmax(output_layer, 1), tf.argmax(y, 1)) 
   
   # Расчет точности
   accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float")) 
   print 
   "Точность Модели:", accuracy.eval({x: mnist.test.images, y: mnist.test.labels})

Читать Ускорители и блоки нейронной обработки (NPU)

Выше строка кода генерирует следующий вывод: