REINFORCEMENT LEARNING FOR STRATEGIC BIDDING IN DAY-AHEAD ELECTRICITY MARKET

Б. Азибек; C. Буганова; A. Курмаш; A. Кулманов; Н. Жакиев

doi:10.66941/3106-9037/2026/iss3pp17-31

Авторы

Б. Азибек Astana IT University, Астана, Казахстан https://orcid.org/0000-0001-7389-7777
C. Буганова Казахская головная архитектурно-строительная академия (КазГАСА), Алматы, Казахстан https://orcid.org/0000-0003-2005-3305
A. Курмаш Astana IT University, Астана, Казахстан
A. Кулманов Международная образовательная корпорация, Алматы, Казахстан
Н. Жакиев Казахская головная архитектурно-строительная академия (КазГАСА), Алматы, Казахстан https://orcid.org/0000-0002-4904-2047

DOI:

https://doi.org/10.66941/3106-9037/2026/iss3pp17-31

Аннотация

Обучение с подкреплением может улучшить стратегическую подачу заявок на электроэнергетических рынках, однако многие исследования используют стилизованные или синтетические среды. Исследование оценивает обучение с подкреплением на основе данных заявок Казахстанского оператора рынка электрической энергии и мощности (KOREM) за июль 2023 - ноябрь 2025 года. Задачи включают воспроизведение эндогенного формирования единой равновесной цены посредством ранжирования заявок, моделирование одного стратегического генератора при пассивном поведении остальных исторических участников и вневыборочную оценку эффективности. Предельные издержки оцениваются по 10-му процентилю исторических цен заявок каждого генератора. Двойное Q-обучение заменяет классическое Q обучение для устранения нестабильности, связанной с завышением оценок; ограниченные ценовые надбавки и реалистичные рыночные ограничения обеспечивают экономическую правдоподобность поведения. Хронологическое разделение данных на обучающую и тестовую выборки в соотношении 80/20 показывает увеличение прибыли приблизительно на 0,37% относительно заявок на основе издержек без искажения распределений равновесных цен и внутрисуточной динамики. Стабилизированное обучение с подкреплением позволяет умеренно улучшить стратегическую подачу заявок на эмпирически обоснованном рынке, сохраняя основные свойства ценообразования.

Ключевые слова:

рынок электроэнергии «на сутки вперёд»; агентное моделирование; обучение с подкреплением; Q-обучение; двойное Q-обучение; стратегическая подача заявок; рыночная власть

Биография автора

Н. Жакиев, Казахская головная архитектурно-строительная академия (КазГАСА), Алматы, Казахстан

Нурхат Жакиев, профессор, Казахская головная архитектурно-строительная академия (КазГАСА), Алматы, Казахстан.
E-mail: n.zhakiyev@kazgasa.kz, ORCID: https://orcid.org/0000-0002-4904-2047.

Библиографические ссылки

Azibek, B., Zhakiyev, N., Kushekkaliyev, A., Zhalgas, A., & Mukatov, B. (2024). Optimal allocation of storage capacity in distribution network for renewable energy expansion. Electric Power Components and Systems, 52(10), 1749–1762. https://doi.org/10.1080/15325008.2023.2276835

Baíllo, A., Ventosa, M., Ramos, A., Rivier, M., & Canseco, A. (2001). Strategic unit commitment for generation in deregulated electricity markets. In B. F. Hobbs, M. H. Rothkopf, R. P. O’Neill, & H.-P. Chao (Eds.), The next generation of electric power unit commitment models (pp. 227–248). Springer. https://doi.org/10.1007/0-306-47663-0_13

Biggar, D. R., & Hesamzadeh, M. R. (2014). The economics of electricity markets. John Wiley & Sons. https://doi.org/10.1002/9781118775745

Bower, J., & Bunn, D. W. (2000). Model-based comparisons of pool and bilateral markets for electricity. The Energy Journal, 21(3), 1–29. https://doi.org/10.5547/ISSN0195-6574-EJ-Vol21-No3-1

Contreras, J., Klusch, M., & Krawczyk, J. B. (2004). Numerical solutions to Nash–Cournot equilibria in coupled constraint electricity markets. IEEE Transactions on Power Systems, 19(1), 195–206. https://doi.org/10.1109/TPWRS.2003.820692

Dehghanpour, K., Nehrir, M. H., Sheppard, J. W., & Kelly, N. C. (2016). Agent-based modeling in electrical energy markets using dynamic Bayesian networks. IEEE Transactions on Power Systems, 31(6), 4744–4754. https://doi.org/10.1109/TPWRS.2016.2524678

Di Persio, L., Garbelli, M., & Giordano, L. M. (2025). Reinforcement learning for bidding strategy optimization in day-ahead energy market. Energy Economics, 149, Article 108673. https://doi.org/10.1016/j.eneco.2025.108673

Du, Y., Li, F., Zandi, H., & Xue, Y. (2021). Approximating Nash equilibrium in day-ahead electricity market bidding with multi-agent deep reinforcement learning. Journal of Modern Power Systems and Clean Energy, 9(3), 534–544. https://doi.org/10.35833/MPCE.2020.000502

Guerci, E., Rastegar, M. A., & Cincotti, S. (2010). Agent-based modeling and simulation of competitive wholesale electricity markets. In S. Rebennack, P. M. Pardalos, M. V. F. Pereira, & N. A. Iliadis (Eds.), Handbook of power systems II (pp. 241–286). Springer. https://doi.org/10.1007/978-3-642-12686-4_9

Jain, P., & Saxena, A. (2023). A multi-agent based simulator for strategic bidding in day-ahead energy market. Sustainable Energy, Grids and Networks, 33, Article 100979. https://doi.org/10.1016/j.segan.2022.100979

Kabdygali, S., Omirgaliyev, R., Tursynbayev, T., Kayisli, K., & Zhakiyev, N. (2023). Deep recurrent neural networks in energy demand forecasting: A case study of Kazakhstan’s electrical consumption. Scientific Journal of Astana IT University, 16, 16–29. https://doi.org/10.37943/16YIKA8050

Khamzina, A., Ten, A., Mukatov, B., Assylkhan, A., Omirgaliyev, R., Mankovska, N., & Zhakiyev, N. (2025). Critical analysis of tariff policy and legislative measures for renewable energy development: Medium-term challenges and prospects of Kazakhstan. ES Energy and Environment, 28, Article 1560. https://doi.org/10.30919/ee1560

Li, H., & Tesfatsion, L. (2009). The AMES wholesale power market test bed: A computational laboratory for research, teaching, and training. In 2009 IEEE Power & Energy Society General Meeting (pp. 1–8). IEEE. https://doi.org/10.1109/PES.2009.5275969

Nicolaisen, J., Petrov, V., & Tesfatsion, L. (2001). Market power and efficiency in a computational electricity market with discriminatory double-auction pricing. IEEE Transactions on Evolutionary Computation, 5(5), 504–523. https://doi.org/10.1109/4235.956714

Pinto, T., Praça, I., Vale, Z., Morais, H., & Sousa, T. M. (2013). Strategic bidding in electricity markets: An agent-based simulator with game theory for scenario analysis. Integrated Computer-Aided Engineering, 20(4), 335–346. https://doi.org/10.3233/ICA-130438

Schimeczek, C., Nienhaus, K., Frey, U., Sperber, E., Sarfarazi, S., Nitsch, F., Kochems, J., & El Ghazi, A. A. (2023). AMIRIS: Agent-based Market model for the Investigation of Renewable and Integrated energy Systems. Journal of Open Source Software, 8(84), Article 5041. https://doi.org/10.21105/joss.05041

Stanojev, O., Mitridati, L., Prata, R. D. N. D., & Hug, G. (2023). Safe reinforcement learning for strategic bidding of virtual power plants in day-ahead markets. In 2023 IEEE International Conference on Communications, Control, and Computing Technologies for Smart Grids (SmartGridComm) (pp. 1–7). IEEE. https://doi.org/10.1109/SmartGridComm57358.2023.10333971

Sun, J., & Tesfatsion, L. (2007). Dynamic testing of wholesale power market designs: An open-source agent-based framework. Computational Economics, 30(3), 291–327. https://doi.org/10.1007/s10614-007-9095-1

Tesfatsion, L. (2002). Agent-based computational economics: Growing economies from the bottom up. Artificial Life, 8(1), 55–82. https://doi.org/10.1162/106454602753694765

Tesfatsion, L. (2003). Agent-based computational economics: Modeling economies as complex adaptive systems. Information Sciences, 149(4), 262–268. https://doi.org/10.1016/S0020-0255(02)00280-3

van Hasselt, H. (2010). Double Q-learning. In J. Lafferty, C. K. I. Williams, J. Shawe-Taylor, R. S. Zemel, & A. Culotta (Eds.), Advances in neural information processing systems 23 (pp. 2613–2621). Curran Associates. https://papers.nips.cc/paper/3964-double-q-learning.pdf

Ventosa, M., Baíllo, A., Ramos, A., & Rivier, M. (2005). Electricity market modeling trends. Energy Policy, 33(7), 897–913. https://doi.org/10.1016/j.enpol.2003.10.013

Weidlich, A., & Veit, D. (2008). A critical survey of agent-based wholesale electricity market models. Energy Economics, 30(4), 1728–1759. https://doi.org/10.1016/j.eneco.2008.01.003

Xiong, G., Hashiyama, T., & Okuma, S. (2002). An electricity supplier bidding strategy through Q-learning. In 2002 IEEE Power Engineering Society Summer Meeting (Vol. 3, pp. 1516–1521). IEEE. https://doi.org/10.1109/PESS.2002.1043645

Ye, Y., Qiu, D., Sun, M., Papadaskalopoulos, D., & Strbac, G. (2020). Deep reinforcement learning for strategic bidding in electricity markets. IEEE Transactions on Smart Grid, 11(2), 1343–1353. https://doi.org/10.1109/TSG.2019.2936142