search

jens-maus / RaspberryMatic

:house: A feature-rich but lightweight, buildroot-based Linux operating system alternative for your CloudFree CCU3/ELV-Charly 'homematicIP CCU' IoT smarthome central. Running as a pure virtual appliance (ProxmoxVE, Home Assistant, LXC, Docker/OCI, Kubernetes/K8s, etc.) on a dedicated embedded device (RaspberryPi, etc.) or generic x86/ARM hardware.
https://raspberrymatic.de
Apache License 2.0
1.55k stars 190 forks source link

Nach Update auf 3.41.11.20181126 werden nicht alle Geräte angezeigt #516

Closed bkrautter closed 5 years ago

bkrautter commented 5 years ago

Nach Update auf 3.41.11.20181126 werden unter "Status und Bedienung -> Geräte" nicht alle Geräte angezeigt. Es fehlen z.B. alle Heizkörperthermostate HM-CC-RT-DN und HM-LC-Sw2-FM. Seltsamerweise werden unter "Einstellungen -> Geräte " alle angezeigt.!!

libertyx82 commented 5 years ago

Ist bei den Geräten in den Einstellungen "Bedienbar" aktiviert?

bkrautter commented 5 years ago

Über "Einstellungen -> Geräte" können die Geräte nicht administriert werden. Das Feld "Bedienbar" war zumindest in der Version 3.37.x bei allen Heizkörper HM-CC-RT-DN angekreuzt. Wegen Dringlichkeit gehe ich auf diese Version 3.37.8.20180929 zurück.

libertyx82 commented 5 years ago

So ist dann aber kein Debugging möglich.

Was heißt "können nicht administriert werden"?

Vom Typ HM-LC-Sw2-FM habe ich 2 die ohne Probleme laufen und vom Typ HM-CC-RT-DN 3 die ebenfalls laufen, also kann es nur etwas individuelles bei dir sein.

bkrautter commented 5 years ago

Richtig. Beim administrieren können die Geräteeinstellungen geändert werden. Das ist bei mir nicht der Fall. So wie es sich darstellt werden bei allen BidCos Geräte die Einstellungen mit dem Hinweis "Das Gerät mit der Seriennummer 'x' vom Interface 'y' konnte nicht abgefragt werden!

bkrautter commented 5 years ago

Nach meiner Einschätzung kommt der Fehler durch eine Migration von Homematic-CCU2 nach Raspberry-Matic3. Durch Rücksichern der CCU2 Datensicherung werden natürlich die RaspberryMatic3 Einstellungen wieder überschrieben. Eine nachträgliche Interface Änderung ist notwendig! Aber wie ??

libertyx82 commented 5 years ago

Ich bin auch von einer CCU2 migriert und habe die Probleme nicht.

Das gehört auch ins HM-Forum https://homematic-forum.de/forum/viewforum.php?f=65

HMside commented 5 years ago

Sind die verschwundenen Geräte vielleicht einem LAN-Gateway zugewiesen, welches nicht verbunden ist?

bkrautter commented 5 years ago

Nein, ich habe das Lan-Gateway komplett entfernt und verwende nur das HM-MOD-RPI. Es ist nach wie vor nicht möglich die BidCos Geräte zu administrieren und die Einstellungen zu ändern!: Fehlermeldung: "Das Gerät mit der Seriennummer 'MEQxxxxxxx' vom Interface 'BidCoS-RF' konnte nicht abgefragt werden!".

libertyx82 commented 5 years ago

Dann musst du in der LAN-Gateway Konfiguration, die Gateway Einstellungen der Geräte entsprechend anpassen.

bkrautter commented 5 years ago

Sorry, aber alle Geräte zeigen schon auf das Gateway bzw. S/N des HM-MOD-RPI. Die Geräte können ja auch bedient werden. Der Aufruf der Einstellungen verursacht den Fehler.

bkrautter commented 5 years ago

Aha. Jetzt fällt mir auf dass in "Einstellung->Systemsteuerung->Lan-Gatway-Konfiguration" kein Eintrag für das Interface besteht!!?? In der Geräteliste wird dann aber die CCU gelistet und es werden auch alle Geräte konnektiert und steuerbar. Was ist denn dass? Muß der Eintrag vorhanden sein?? Kann er nachträglich eingepfelgt werden? Muß neu angelernt werden? Fragen über Fragen. Mit freundlicher Bitte um Antwort.

libertyx82 commented 5 years ago

Du musst da die CCU als Interface auswählen wenn du dein LAN Gateway entfernt hast!

bkrautter commented 5 years ago

Verstanden. Aber ich habe keinen Interface-Eintrag den ich zuordnen könnte!! Kann ich den wieder produzieren? ohne neues Anlernen und Theater??

libertyx82 commented 5 years ago

Bitte einmal einen ScreenShot der LAN-Gateway Konfigurationsseite und einen nach dem Klick auf "Einstellen" unter Aktion.

bkrautter commented 5 years ago

grafik

bkrautter commented 5 years ago

nach meinem technischen Verständnis kommt dieser Missmatch aus der /etc/config/Homematic.regadom als zentrales Geräteverzeichnis. Aber was ist da verbogen?

bkrautter commented 5 years ago

grafik

jens-maus commented 5 years ago

@bkrautter Hattest du mal ganz ursprünglich eine CCU1 bzw. einen Wired-Gateway?

bkrautter commented 5 years ago

Ich bin auf Basis orginal Homematic CCU2 ca. 2015 eingestiegen und habe immer brav die Firmware Updates gemacht. In ca. 08.2018 bin ich auf RaspberryMatic 3.2x umgestiegen. Dann habe ich auf RaspberryMatic brav die Firmware-Updates ausgeführt. Mit Update auf die 3.41.11 tritt diese Problematik wahrscheinlich erst zu Tage. Nach meiner Einschätzung liegt es an der "verbogenen" Regadom, die bei der Migration die Interface-Einstellungen nicht ausreichend berücksichtigt. Vermutlich entsteht hier der Missmatch. Aber wie lässt sich das reparieren? Vor einer Neu-Installation und Anlernen habe ich richtig Respekt. Derzeit mache ich einen Vergleich zu einem anderen nackten RaspberryMatic 3.37.8.

bkrautter commented 5 years ago

Wir haben die CCU2, Lan-Gateway, CFG-Lan Adapter, CFG-USB-Stick und Raspberry-Pi3 und jede Menge Erfahrung zur Verfügung .

jens-maus commented 5 years ago

@bkrautter Lese ich das richtih, du hast kein Funkmodul sondern lediglich ein HM-CFG-USB stick als Funklösung am RaspberryPi3?

HMside commented 5 years ago

Kannst Du den manuellen Anlernmodus HM starten, laufen dort die 60 Sekunden ab, oder kommt dort eine Fehlermeldung?

Hast Du ggf. noch alte Addon Versionen am laufen (CUxD, Homegear)?

bkrautter commented 5 years ago

Den manuellen Anlernmodus kann ich starten und der CountDown-Zähler läuft. CUxd habe ich auf der aktuellen Version 2.2.0. Hardware: Raspberry-Pi3 mit hm-mod-rpi-pcb und Funk Gateway HM-LGW-O-TW-W-EU. Das CFG-Lan und den CFG-USB Stick verwende ich nicht!

bkrautter commented 5 years ago

image

jens-maus commented 5 years ago

Dann zeig mal den Inhalt deine /etc/config/InterfaceList.xml und /etc/config/rfd.conf

bkrautter commented 5 years ago

/etc/config/InterfaceList.xml

<?xml version="1.0" encoding="utf-8" ?> 
<interfaces v="1.0">
    <ipc>
        <name>BidCos-RF</name>
        <url>xmlrpc_bin://127.0.0.1:2001</url> 
        <info>BidCos-RF</info> 
    </ipc>
    <ipc>
        <name>VirtualDevices</name>
        <url>xmlrpc://127.0.0.1:9292/groups</url> 
        <info>Virtual Devices</info> 
    </ipc>
    <ipc>
        <name>HmIP-RF</name>
        <url>xmlrpc://127.0.0.1:2010</url> 
        <info>HmIP-RF</info> 
    </ipc>
    <ipc>
        <name>CUxD</name>
        <url>xmlrpc_bin://127.0.0.1:8701</url> 
        <info>CUxD</info> 
    </ipc>
</interfaces>

/etc/config/rfd.conf

# This File was automatically generated
# TCP Port for XmlRpc connections
Listen Port = 2001

Log Destination = Syslog
Log Identifier = rfd

Persist Keys = 1

#PID File = /var/rfd.pid
#UDS File = /var/socket_rfd

Device Description Dir = /firmware/rftypes
Device Files Dir = /etc/config/rfd
Address File = /etc/config/ids
Key File = /etc/config/keys
Firmware Dir = /firmware
Replacemap File = /firmware/rftypes/replaceMap/rfReplaceMap.xml

Improved Coprocessor Initialization = true

[Interface 0]
Type = CCU2
Description = CCU2-Coprocessor
ComPortFile = /dev/mmd_bidcos
AccessFile = /dev/null
ResetFile = /dev/null

[Interface 1]
Type = HMLGW2
Name = FUNK LAN GATEWAY
Serial Number = KEQ1067007
Encryption Key = XXX
IP Address = 192.168.1.41
bkrautter commented 5 years ago

sorry. Ist das richtig angekommen??

jens-maus commented 5 years ago

Schau dir an wie ich dein Posting modifiziert habe (hinzufügen von drei `)

Welche Version von RaspberryMatic hast du denn genau da am laufen? Und zeig noch den Inhalt der /var/etc/rfd.conf Datei.

bkrautter commented 5 years ago

RaspberryMatic Firmware Version: 3.37.8.20180929

Im Verzeichnis /var/etc/ gibt es keine Datei mit rfd.conf!!

Hier das Bild: image

bkrautter commented 5 years ago

Ich habe die Datei /etc/config/rfd.conf nach /var/etc/rfd.conf kopiert. Keine Änderung der Situation. Nach dem Neustart ist die Datei wieder weg!. Muss den die Datei auch nach einem Neustart im Verzeichnis vorhanden sein?

jens-maus commented 5 years ago

@bkrautter Hat auch niemand gesagt das du das machen solltest ;) Und nen screenshot zu posten war auch nicht notwendig. So schön ist windows nicht und glauben tue ich es dir trotzdem :)

Es hilft allerdings nichts ein debugging hier auf einer älteren Version durchzuführen. Du solltest schon auf die neueste Version gehen und da die entsprechenden Dateien posten.

Wie bist du denn von der 3.41.11.xxxx zurück zur 3.37.x gegangen? Ich hoffe via einspielen eines Backups oder hast du direkt einfach ein firmware downgrade gemacht? Das sollte man nämlich tunlichst vermeiden.

Meines Erachtens bleibt jetzt nur der Weg mir ein Backup deiner Installation zuzusenden und dann versuche ich das hier alles nachzustellen. Das kann allerdings dauern.

bkrautter commented 5 years ago

Ich habe generell den Weg nur über die Sicherung/Rücksicherung genommen. Aktuell habe ich wieder den Update auf die Firmware-Version 3.41.11.20181126 durchgeführt. Mit dem Problem dass nicht alle Geräte einstellbar/bedienbar sind. Der Interface Eintrag ist nach wie vor nicht vorhanden.

bkrautter commented 5 years ago

Muss der Interface Eintrag vorhanden sein?

bkrautter commented 5 years ago

Ich bin jetzt notgedrungen auf die Version 3.37.8 zurückgegangen. Bei allen BidCos Geräte kommt der Fehler mit "Das Gerät mit der Seriennummer 'x' vom Interface 'BidCoS-RF' konnte nicht abgefragt werden! Mit dem Homematic Konfigurator sind zumindest alle Einstellungen weiterhin machbar. Sobald ich den Update auf 3.41.11 mache habe ich nur Probleme. Vielen Dank für die Mitarbeit.

jens-maus commented 5 years ago

@bkrautter Es scheint so das wir hier wohl nicht weiterkommen. Die müsstest mir mal zu Testzwecken wohl ein Backup deiner Installation geben damit ich da gewissen Plausibilitätchecks machen kann und ggf. mal schauen kann ob ich da ein offensichtliches Problem erkennen kann.

bkrautter commented 5 years ago

Die Sicherung hat ~96MB. Wie soll ich das transferieren?

jens-maus commented 5 years ago

In irgendein Cloud Service legen von dem ich es dann sicher runterladen kann?

bkrautter commented 5 years ago

Hallo, ich habe einen Download-Link versendet. Nochmals vielen herzlichen Dank für die Mitarbeit.

jens-maus commented 5 years ago

@bkrautter Schon runtergeladen (kannst du von dort wieder löschen).

Hab es mir gerad mal auf die schnelle angeschaut, und da ist in der Tat irgendwas in deiner homematic.regadom komisch/murky. Du hast da nämlich zwei "BidCos-RF" Einträge. Siehe:

$ grep "<ifc-" homematic.regadom
<ifc-info>BidCos-RF</ifc-info>
<ifc-url>xmlrpc_bin://127.0.0.1:2001</ifc-url>
<ifc-info>Virtual Devices</ifc-info>
<ifc-url>xmlrpc://127.0.0.1:9292/groups</ifc-url>
<ifc-info>CUxD</ifc-info>
<ifc-url>xmlrpc_bin://127.0.0.1:8701</ifc-url>
<ifc-info>BidCos-RF</ifc-info>
<ifc-url>xmlrpc_bin://127.0.0.1:2001</ifc-url>
<ifc-info>HmIP-RF</ifc-info>
<ifc-url>xmlrpc://127.0.0.1:2010</ifc-url>

Jedes Interface sollte da in der Tat nur 1x auftauchen. Keine Ahnung wie du dir die beiden da eingefangen hast, aber das wird erklären warum er hier ein Problem bei dir hat weil er dann mit dem Update auf die 3.41.x nur für eins der beiden den Port, etc. anpasst wenn du mit der 3.41. hochfährst. Schaue mir das später noch einmal an und kann dir ggf. einen ReGa Skript an die Hand geben um das Problem zu lösen (muss mir das mit mehr Zeit nochmal anschauen) – aber der Fehler scheint aus der Richtung zu kommen.

Was ich auch nicht verstehe ist woher diese UCC2-HM-RCV-50 Einträge da in deiner Geräteliste kommen (siehe https://github.com/jens-maus/RaspberryMatic/issues/516#issuecomment-446641705)

jens-maus commented 5 years ago

@bkrautter Achja, und dann erklär mir mal bitte was es sich mit diesem ominösen /usr/local/addons/bksys auf sich hat?

EDIT: Ah, das ist von dir selber wohl (siehe http://bksys-systemplanung.de/index.php?id=3) Hoffen wir mal das du dir damit nicht das Ei in die regadom gelegt hast ;-)

bkrautter commented 5 years ago

Ok. OK. In /usr/local/addons/bksys sind meine eigenen scripte und meine wunder-programme :) Die Einträge mit UCC2* haben wir bereits überall ersetzt mit BidCos-RF. Sofern wir den 2.ten Interface Eintrag löschen können, wäre das ja wunderbar. Das Problem mit dem 2.ten Eintrag kommt sicherlich noch von der CCU2 und dann die Migration.

bkrautter commented 5 years ago

Danke für den Hinweis mit doppelten Einträge in der /etc/config/homematic.regadom. Wir haben den Murks beseitigt und es funktioniert soweit alles wieder. Vielleicht haben andere Anwender auch diese Probleme und wir können helfen diese zu verhindern.

jens-maus commented 5 years ago

@bkrautter Dann bitte hier eine kurzen Hinweis positionieren wie genau (mit welcher art skripte) die doppelten Einträge beseitigt wurden.

bkrautter commented 5 years ago

Wir haben mit Notepad++ die homematic.regadom (XML-Datei) geöffnet und die mit der Ersetzen Funktion die XML Strukturen mit den doppelten Einträge gefunden und ersetzt. Echte Ingenieurleistung!!. Wichtig ist den rfd Dienst zu stoppen "/etc/init.d/S61rfd stop" und nach der Änderung den Raspberry einfach stromlos machen, so dass die regadom nicht wieder überschrieben werden kann. Nach Neustart ist ggfs. ein Dateisystemfehler vorhanden den man durch "fsck /dev/sda1 " beheben kann.

libertyx82 commented 5 years ago

Gibt das kein Problem mit den ID´s in der regadom, wenn man da so einfach Einträge entfernt ohne die ID´s anzupassen?

jens-maus commented 5 years ago

Das ist wirklich die hardcore Variante. Einfacher wäre es gegangen einen entsprechende ReGa-Skript zu bauen der die Geräte die dem doppelten Interface zugeordnet sind dem anderen zuordnet und dann das übrig gebliebene Interface löscht. Müsste ein 10 Zeiler oder so sein.

Und es ist auch nicht richtig den rfd zu stoppen sondern ReGaHss weil das ist der Prozess der mit der regadom zu tun hat. rfd hat damit gar nichts am hut. Und deshalb hattest du auch die Probleme mit dem dateisystemfehler. Insgesamt muss man sagen ist das was du da jetzt gemacht hast ganz schöne Brechstangenarbeit gewesen und mich würde nicht wundern wenn jetzt an anderen Stellen andere Probleme existieren. Ergo würde ich empfehlen ggf. mal eine komplette frische Installation einzuplanen!

jens-maus commented 5 years ago

@libertyx82 Da kann es suchreichend Probleme geben und ich würde davon abraten das was @bkrautter da beschreibt nachzuahmen/nachzumachen. Vmtl. hat er sich so auch schon das ursprüngliche Problem eines doppelten Interface-Eintrages eingefangen. Zusammenfassend lässt sich allerdings sagen das das hier definitiv kein bug ist oder war und ich schliesse daher dieses Ticket als reines User problem...