IEEE Power & Energy Magazine - Spanish - May/June 2022 - 56

Podemos concluir que el control del DDPG puede resolver
efectivamente entornos físicos nunca antes vistos y proporcionar
una estrategia de control de HVAC eficiente y flexible luego de su
entrenamiento fuera de línea.
Es importante para evaluar el rendimiento del entrenamiento
del algoritmo de la DQN. Durante el entrenamiento,
Comparación de costos según el día
8
7
6
5
4
3
2
1
Costo de referencia
Costo de AR
Día
Referencia
US$ 60.24 US$ 40.81 (32.25 %↓)
AR
figura 5. Una comparación de costo diaria del control de
HVAC basado en la DQN con el punto de ajuste fijo de
referencia para el 1-20 de diciembre de 2019.
tabla 1. El nivel de confort diario del usuario.
Periodo
Nivel de confort
del usuario: límite
inferior (°C)
Nivel de confort
del usuario: límite
superior (°C)
0:00-
6:00
18
20
6:00-
12:00
17
19
12:00-
18:00
18
20
18:00-
24:00
19
21
hacemos un seguimiento de la recompensa promedio episódica,
el costo total de la electricidad por operar HVAC usando
la DQN durante tres meses, y las infracciones al confort que
cuentan los minutos durante los cuales la temperatura interior
infringió el nivel de confort del usuario. La recompensa promedio,
el costo de operación y los minutos por fuera del nivel
de confort del usuario durante el entrenamiento se muestran
en la figura 3. En la figura 3(a), la recompensa acumulativa
episódica aumenta gradualmente a medida que avanza el
entrenamiento y se estabiliza hacia el final. Se observa una
reducción de costo del 23 % al final de la sesión de entrenamiento
en la figura 3(b). Los minutos por fuera del nivel de
confort también evidencian una tendencia decreciente y se
mantienen en cero al final de la sesión de entrenamiento en
la figura 3(c). Estas observaciones confirman la convergencia
del control de HAVC basado en la DQN.
El rendimiento de control del algoritmo de la DQN previamente
entrenado recibe mayor validación en escenarios
nunca antes vistos: dos conjuntos de datos de medio mes de
TMY de Knoxville de 1-20 de diciembre de 2019 y 11-31
de marzo de 2020, que no se usaron durante la etapa de
entrenamiento. Una estrategia de control del punto de ajuste
fijo es diseñada como un caso de referencia para establecer
comparaciones con la estrategia de control de HVAC basada
en la DQN. En ese caso de referencia, el punto de ajuste de la
calefacción se mantiene siempre en 20 °C.
En pos de la brevedad, presentamos las variaciones de
tabla 2. Una comparación del rendimiento de tres
abordajes de control de HVAC.
Abordaje de control
Costo total de energía (US$)
Minutos por fuera del nivel de
confort del usuario
Infracción de confort
promedio (°C)
56
ieee power & energy magazine
DDPG
55.21
48
0.13
Basado
en
reglas
39.08
2,617
1.85
Punto de
ajuste
fijo
71.48
la temperatura interior para operar el controlador de HVAC
basado en la DQN entrenado previamente el 14-15 de
diciembre en la figura 4. Una observación importante es que
el control de la DQN ha aprendido una estrategia de precalentamiento.
El control de la DQN precalentaba las zonas
antes del precio máximo. Esto resultó beneficioso durante
las primeras horas del periodo de carga máxima en el que el
consumo de energía era cero, como se muestra en el gráfico
de consumo de energía en la figura 4. De esta manera el
control de la DQN logró ahorrar en costos. En la figura 5 se
muestra la comparación de costos asociados de la energía
diarios entre el control de la DQN y los casos de referencia
para el 1-20 de diciembre. Observamos que el abordaje de la
DQN logró un ahorro de costos > 32 % durante el punto de
ajuste fijo de referencia para los datos del 1-20 de diciembre
y el 11-31 de marzo. No se grafican los detalles completos
de la duración total del 1-20 de diciembre y el 11-31 de
marzo por cuestiones de espacio.
mayo/junio 2022
Costo diario (US$)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
IEEE Power & Energy Magazine - Spanish - May/June 2022

Table of Contents for the Digital Edition of IEEE Power & Energy Magazine - Spanish - May/June 2022
