search

virtualdj / pun_sensor

Prezzi PUN del mese - Home Assistant Integration
MIT License
78 stars 13 forks source link

Problemi di accesso al sito www.mercatoelettrico.org #34

Closed andreacocci95 closed 5 months ago

andreacocci95 commented 5 months ago

Ciao,

ho problemi nello scaricare i dati aggiornati del PUN a causa di errore nella connessione al sito www.mercatoelettrico.org Ho provato anche dal mio PC ma comunque non riesco a collegarmi. Solamente tramite connessione dati riesco. A qualcuno può venire in mente per quale motivo il sito non è raggiungibile? Il server DNS che utilizzo è quello di Cloudflare (1.1.1.1).

Allego log:

2024-01-31 10:58:58.077 WARNING (MainThread) [custom_components.pun_sensor] Errore durante l'aggiornamento via web, nuovo tentativo tra 1 minuto.
Traceback (most recent call last):
  File "/usr/local/lib/python3.11/site-packages/aiohttp/connector.py", line 992, in _wrap_create_connection
    return await self._loop.create_connection(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/asyncio/base_events.py", line 1085, in create_connection
    raise exceptions[0]
  File "/usr/local/lib/python3.11/asyncio/base_events.py", line 1069, in create_connection
    sock = await self._connect_sock(
           ^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/asyncio/base_events.py", line 973, in _connect_sock
    await self.sock_connect(sock, address)
  File "/usr/local/lib/python3.11/asyncio/selector_events.py", line 628, in sock_connect
    return await fut
           ^^^^^^^^^
  File "/usr/local/lib/python3.11/asyncio/selector_events.py", line 668, in _sock_connect_cb
    raise OSError(err, f'Connect call failed {address}')
TimeoutError: [Errno 110] Connect call failed ('192.188.248.14', 443)

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/config/custom_components/pun_sensor/__init__.py", line 308, in update_pun
    await self._async_update_data()
  File "/config/custom_components/pun_sensor/__init__.py", line 165, in _async_update_data
    async with self.session.get(LOGIN_URL) as response:
  File "/usr/local/lib/python3.11/site-packages/aiohttp/client.py", line 1187, in __aenter__
    self._resp = await self._coro
                 ^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/aiohttp/client.py", line 574, in _request
    conn = await self._connector.connect(
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/aiohttp/connector.py", line 544, in connect
    proto = await self._create_connection(req, traces, timeout)
            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/aiohttp/connector.py", line 911, in _create_connection
    _, proto = await self._create_direct_connection(req, traces, timeout)
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/aiohttp/connector.py", line 1235, in _create_direct_connection
    raise last_exc
  File "/usr/local/lib/python3.11/site-packages/aiohttp/connector.py", line 1204, in _create_direct_connection
    transp, proto = await self._wrap_create_connection(
                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/aiohttp/connector.py", line 1000, in _wrap_create_connection
    raise client_error(req.connection_key, exc) from exc
aiohttp.client_exceptions.ClientConnectorError: Cannot connect to host www.mercatoelettrico.org:443 ssl:default [Connect call failed ('192.188.248.14', 443)]
2024-01-31 10:59:43.375 ERROR (MainThread) [homeassistant.components.emulated_hue.hue_api] Entity not found: light.balcone
2024-01-31 11:00:10.366 WARNING (Recorder) [homeassistant.components.sensor.recorder] The unit of sensor.consumo_energia_giornaliero (kWh) cannot be converted to the unit of previously compiled statistics (None). Generation of long term statistics will be suppressed unless the unit changes back to None or a compatible unit. Go to https://my.home-assistant.io/redirect/developer_statistics to fix this
2024-01-31 11:00:28.250 ERROR (MainThread) [homeassistant.components.emulated_hue.hue_api] Entity not found: light.comodino_porta
2024-01-31 11:01:03.360 ERROR (MainThread) [homeassistant.components.emulated_hue.hue_api] Entity not found: light.scale
2024-01-31 11:02:02.361 ERROR (MainThread) [homeassistant.components.emulated_hue.hue_api] Entity not found: light.comodino_porta
2024-01-31 11:02:08.318 ERROR (MainThread) [homeassistant.components.emulated_hue.hue_api] Entity not found: light.comodino_finestra
2024-01-31 11:02:08.541 WARNING (MainThread) [custom_components.pun_sensor] Errore durante l'aggiornamento via web, nuovo tentativo tra 10 minuti.
Traceback (most recent call last):
  File "/usr/local/lib/python3.11/site-packages/aiohttp/connector.py", line 992, in _wrap_create_connection
    return await self._loop.create_connection(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/asyncio/base_events.py", line 1085, in create_connection
    raise exceptions[0]
  File "/usr/local/lib/python3.11/asyncio/base_events.py", line 1069, in create_connection
    sock = await self._connect_sock(
           ^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/asyncio/base_events.py", line 973, in _connect_sock
    await self.sock_connect(sock, address)
  File "/usr/local/lib/python3.11/asyncio/selector_events.py", line 628, in sock_connect
    return await fut
           ^^^^^^^^^
  File "/usr/local/lib/python3.11/asyncio/selector_events.py", line 668, in _sock_connect_cb
    raise OSError(err, f'Connect call failed {address}')
TimeoutError: [Errno 110] Connect call failed ('192.188.248.14', 443)

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/config/custom_components/pun_sensor/__init__.py", line 308, in update_pun
    await self._async_update_data()
  File "/config/custom_components/pun_sensor/__init__.py", line 165, in _async_update_data
    async with self.session.get(LOGIN_URL) as response:
  File "/usr/local/lib/python3.11/site-packages/aiohttp/client.py", line 1187, in __aenter__
    self._resp = await self._coro
                 ^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/aiohttp/client.py", line 574, in _request
    conn = await self._connector.connect(
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/aiohttp/connector.py", line 544, in connect
    proto = await self._create_connection(req, traces, timeout)
            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/aiohttp/connector.py", line 911, in _create_connection
    _, proto = await self._create_direct_connection(req, traces, timeout)
               ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/aiohttp/connector.py", line 1235, in _create_direct_connection
    raise last_exc
  File "/usr/local/lib/python3.11/site-packages/aiohttp/connector.py", line 1204, in _create_direct_connection
    transp, proto = await self._wrap_create_connection(
                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/site-packages/aiohttp/connector.py", line 1000, in _wrap_create_connection
    raise client_error(req.connection_key, exc) from exc
aiohttp.client_exceptions.ClientConnectorError: Cannot connect to host www.mercatoelettrico.org:443 ssl:default [Connect call failed ('192.188.248.14', 443)]
schematt commented 5 months ago

appena installato non scarica i dati, penso per lo stesso problema di connettività

virtualdj commented 5 months ago

Connessione TIM fisso entrambi? Anche a me non va, mentre da mobile (Vodafone) sì. È comunque un problema di rete, perché l'URL non si apre neppure da browser.

schematt commented 5 months ago

Io sono su openfiber ma confermo che non si apre nemmeno dal browser.

virtualdj commented 5 months ago

Ora però si è aperto... riprovate please.

EDIT: No, sembrava andasse e invece non scarica.

andreacocci95 commented 5 months ago

Anche io sono su openfiber. Ancora non va.

virtualdj commented 5 months ago

Ora pare risolto.

2024-01-31 22:10:02.823 DEBUG (MainThread) [custom_components.pun_sensor] Connessione a URL login.
2024-01-31 22:10:03.474 DEBUG (MainThread) [custom_components.pun_sensor] Invio credenziali a URL login.
2024-01-31 22:10:04.322 DEBUG (MainThread) [custom_components.pun_sensor] Inizio download file ZIP con XML.
2024-01-31 22:10:05.064 DEBUG (MainThread) [custom_components.pun_sensor] 31 file trovati nell'archivio (20240101MGPPrezzi.xml, 20240102MGPPrezzi.xml, 20240103MGPPrezzi.xml, 20240104MGPPrezzi.xml, 20240105MGPPrezzi.xml, 20240106MGPPrezzi.xml, 20240107MGPPrezzi.xml, 20240108MGPPrezzi.xml, 20240109MGPPrezzi.xml, 20240110MGPPrezzi.xml, 20240111MGPPrezzi.xml, 20240112MGPPrezzi.xml, 20240113MGPPrezzi.xml, 20240114MGPPrezzi.xml, 20240115MGPPrezzi.xml, 20240116MGPPrezzi.xml, 20240117MGPPrezzi.xml, 20240118MGPPrezzi.xml, 20240119MGPPrezzi.xml, 20240120MGPPrezzi.xml, 20240121MGPPrezzi.xml, 20240122MGPPrezzi.xml, 20240123MGPPrezzi.xml, 20240124MGPPrezzi.xml, 20240125MGPPrezzi.xml, 20240126MGPPrezzi.xml, 20240127MGPPrezzi.xml, 20240128MGPPrezzi.xml, 20240129MGPPrezzi.xml, 20240130MGPPrezzi.xml, 20240131MGPPrezzi.xml).
2024-01-31 22:10:05.112 DEBUG (MainThread) [custom_components.pun_sensor] Numero di dati: 744, 242, 158, 344, 502
2024-01-31 22:10:05.112 DEBUG (MainThread) [custom_components.pun_sensor] Valori PUN: 0.09915712434139785, 0.10965328661157024, 0.10507063462025316, 0.08905710720930232, 0.09642332981833972
2024-01-31 22:10:05.112 DEBUG (MainThread) [custom_components.pun_sensor] Manually updated pun_sensor data
2024-01-31 22:10:05.113 DEBUG (MainThread) [custom_components.pun_sensor] Prossimo aggiornamento web: 01/02/2024 22:00:00 +0100
andreacocci95 commented 5 months ago

A me continua a non andare purtroppo.

schematt commented 5 months ago

Anche a me non scarica i dati

schematt commented 5 months ago

rimosso e reinstallato ma nessun segno di vita, anche da browser adesso non è raggiungibile.

virtualdj commented 5 months ago

Se non è raggiungibile da browser purtroppo io non posso fare miracoli, semplicemente andrà in errore. 😢 Posso dire che il mio HA principale stanotte alle 3 si è aggiornato correttamente, ma è sicuramente un tentativo fortunato.

Stato sensore

Anche l'altro sistema di sviluppo, che ho appena avviato, si è aggiornato. Probabilmente dipende dai provider?

2024-02-01 18:13:00.169 DEBUG (MainThread) [custom_components.pun_sensor] Coordinator inizializzato (con 'usa dati reali' = False).
2024-02-01 18:13:00.170 DEBUG (MainThread) [custom_components.pun_sensor] Ora corrente sistema: Thu 01/02/2024 18:13:00 +0100
2024-02-01 18:13:00.170 DEBUG (MainThread) [custom_components.pun_sensor] Ora corrente fuso orario italiano: Thu 01/02/2024 18:13:00 +0100
2024-02-01 18:13:00.399 INFO (MainThread) [custom_components.pun_sensor] Nuova fascia corrente: F1 (prossima: Thu 01/02/2024 19:00:00 +0100)
2024-02-01 18:13:00.399 DEBUG (MainThread) [custom_components.pun_sensor] Manually updated pun_sensor data
2024-02-01 18:13:10.842 DEBUG (MainThread) [custom_components.pun_sensor] Connessione a URL login.
2024-02-01 18:13:11.319 DEBUG (MainThread) [custom_components.pun_sensor] Invio credenziali a URL login.
2024-02-01 18:13:12.273 DEBUG (MainThread) [custom_components.pun_sensor] Inizio download file ZIP con XML.
2024-02-01 18:13:12.466 DEBUG (MainThread) [custom_components.pun_sensor] 4 file trovati nell'archivio (20240129MGPPrezzi.xml, 20240130MGPPrezzi.xml, 20240131MGPPrezzi.xml, 20240201MGPPrezzi.xml).
2024-02-01 18:13:12.477 DEBUG (MainThread) [custom_components.pun_sensor] Numero di dati: 96, 44, 20, 32, 52
2024-02-01 18:13:12.477 DEBUG (MainThread) [custom_components.pun_sensor] Valori PUN: 0.0984700678125, 0.103646885, 0.1062606785, 0.0864828125, 0.09558063086000002
2024-02-01 18:13:12.478 DEBUG (MainThread) [custom_components.pun_sensor] Manually updated pun_sensor data
schematt commented 5 months ago

Se non è raggiungibile da browser purtroppo io non posso fare miracoli, semplicemente andrà in errore. 😢 Posso dire che il mio HA principale stanotte alle 3 si è aggiornato correttamente, ma è sicuramente un tentativo fortunato.

Stato sensore

Anche l'altro sistema di sviluppo, che ho appena avviato, si è aggiornato. Probabilmente dipende dai provider?

2024-02-01 18:13:00.169 DEBUG (MainThread) [custom_components.pun_sensor] Coordinator inizializzato (con 'usa dati reali' = False).
2024-02-01 18:13:00.170 DEBUG (MainThread) [custom_components.pun_sensor] Ora corrente sistema: Thu 01/02/2024 18:13:00 +0100
2024-02-01 18:13:00.170 DEBUG (MainThread) [custom_components.pun_sensor] Ora corrente fuso orario italiano: Thu 01/02/2024 18:13:00 +0100
2024-02-01 18:13:00.399 INFO (MainThread) [custom_components.pun_sensor] Nuova fascia corrente: F1 (prossima: Thu 01/02/2024 19:00:00 +0100)
2024-02-01 18:13:00.399 DEBUG (MainThread) [custom_components.pun_sensor] Manually updated pun_sensor data
2024-02-01 18:13:10.842 DEBUG (MainThread) [custom_components.pun_sensor] Connessione a URL login.
2024-02-01 18:13:11.319 DEBUG (MainThread) [custom_components.pun_sensor] Invio credenziali a URL login.
2024-02-01 18:13:12.273 DEBUG (MainThread) [custom_components.pun_sensor] Inizio download file ZIP con XML.
2024-02-01 18:13:12.466 DEBUG (MainThread) [custom_components.pun_sensor] 4 file trovati nell'archivio (20240129MGPPrezzi.xml, 20240130MGPPrezzi.xml, 20240131MGPPrezzi.xml, 20240201MGPPrezzi.xml).
2024-02-01 18:13:12.477 DEBUG (MainThread) [custom_components.pun_sensor] Numero di dati: 96, 44, 20, 32, 52
2024-02-01 18:13:12.477 DEBUG (MainThread) [custom_components.pun_sensor] Valori PUN: 0.0984700678125, 0.103646885, 0.1062606785, 0.0864828125, 0.09558063086000002
2024-02-01 18:13:12.478 DEBUG (MainThread) [custom_components.pun_sensor] Manually updated pun_sensor data

ovviamente non dipende da te!

virtualdj commented 5 months ago

Miglioramenti oggi? Mi pare che il sito risponda più velocemente di prima nel browser.

andreacocci95 commented 5 months ago

No. Purtroppo mi viene da pensare che openfiber per qualche motivo abbia bloccato il dominio

virtualdj commented 5 months ago

@andreacocci95 E se provi con l'IP diretto funziona?

EDIT: In effetti guardando i tuo log di apertura sembrerebbe di no:

TimeoutError: [Errno 110] Connect call failed ('192.188.248.14', 443)

dato che l'errore di connessione è proprio verso l'IP, non di risoluzione del DNS. OpenFiber non ha un sistema per segnalare queste cose? Magari il Piracy Shield ha già fatto la prima vittima incolpevole 😄

andreacocci95 commented 5 months ago

Con l'IP diretto non va nemmeno con la rete dati vodafone (dove di solito mi funziona). Servirebbe una sorta di proxy o un job che salvi da qualche altra parte i file zip di cui ha bisogno l'addon

From: virtualdj @.> Sent: Saturday, February 3, 2024 9:35:08 AM To: virtualdj/pun_sensor @.> Cc: andreacocci95 @.>; Mention @.> Subject: Re: [virtualdj/pun_sensor] Problemi di accesso al sito www.mercatoelettrico.org (Issue #34)

@andreacocci95https://github.com/andreacocci95 E se provi con l'IP direttohttps://192.188.248.14/It/download/DownloadDati.aspx?val=MGP_Prezzi funziona?

— Reply to this email directly, view it on GitHubhttps://github.com/virtualdj/pun_sensor/issues/34#issuecomment-1925217528, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AFJGACP6W7UFNW6V5DT4UQTYRXZDZAVCNFSM6AAAAABCS35RUSVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTSMRVGIYTONJSHA. You are receiving this because you were mentioned.Message ID: @.***>

andreacocci95 commented 5 months ago

Ho risolto! Ho riavviato il router facendo in modo che mi cambiasse l'IP pubblico finché non ho trovato un IP che mi permettesse di accedere al sito. Ora funziona anche l'addon! Grazie per il supporto 😁

virtualdj commented 5 months ago

Con l'IP diretto non va nemmeno con la rete dati vodafone

@andreacocci95 Il mistero si infittisce. Da browser ho provato su rete dati Vodafone e mi funziona sia col dominio che con l'IP (in quest'ultimo caso ovviamente mi fallisce il check del certificato, ma se si procede ugualmente la pagina si carica).

Ho risolto! Ho riavviato il router facendo in modo che mi cambiasse l'IP pubblico finché non ho trovato un IP che mi permettesse di accedere al sito

Ah ecco! Quindi sembra più una regola impostata dal provider (o da MercatoElettrico?) che blocchi la connessione verso/da quell'IP...

virtualdj commented 5 months ago

@schematt Prova a vedere se la stessa soluzione si applica anche nel tuo caso.

schematt commented 5 months ago

@schematt Prova a vedere se la stessa soluzione si applica anche nel tuo caso.

al terzo ip ha funzionato. Grazie