corona-warn-app / cwa-wishlist

Central repository to collect community feature requests and improvements. The CWA development ends on May 31, 2023. You still can warn other users until April 30, 2023. More information:
https://coronawarn.app/en/faq/#ramp_down
Apache License 2.0
105 stars 14 forks source link

Discussion about the app's efficiency | Diskussion über die Effizienz der App #150

Closed Tho-Mat closed 2 years ago

Tho-Mat commented 4 years ago

Zahlen:

  1. ca. 20% der Bevölkerung haben sich die App heruntergeladen. (16 Mil/80 Mil)
  2. ca. 3-5% der Infizierten übermitteln dies aktuell mit der App. (281/6012)
  3. ca. 20% der angefragten TANs werden nicht genutzt. (800/1050)
  4. an ca. 2-3 Tage der maximalen Anzahl von 13 Tagen war die Risiko Ermittlung bei den Infizierten nicht aktiv. (ca. 20%)

Nimmt man alles zusammen ergibt sich, dass von 30.000 Infizierten statt 390.000 Schlüssel nur ca. 11.000 übermittelt wurden.

Damit liegt die aktuelle Nutzung der App bei ca. 2,8%.

Ich finde das sehr traurig und frage mich wo die Ursachen liegen und wie man dies ändern kann.

image


P.S. Da es nichts mit dem Code der CWA App zu tun hat, habe ich hier in Deutsch geschrieben.


Internal Tracking ID: EXPOSUREAPP-4916

Sundie1 commented 4 years ago

Warum nicht die Nutzer für die Übermittlung der Testergebnisse belohnen? Nach Eintragung eines positiven Ergebnises könnte ein Amazon, hello fresh, edeka, rewe, lieferando Gutschein generiert werden. So könnte die Charantäne sogar noch angenehmer ausgehalten werden. Sozusagen eine Win-Win Situation für alle Seiten.

ghost commented 4 years ago

Hello @Tho-Mat,

thank you for sharing your thoughts. I will leave this issue open that it can be discussed by the community. For the moment there is no feature request included in your description, therefore I won't be able to assign it to one of our responsible development teams. Please share the sources of your statistics and I will take it into the discussion with one of our leads.

Thank you, LMM

Corona-Warn-App Open Source Team

Tho-Mat commented 4 years ago

@GPclips Hier meine Auswertung:

Leider sind mir bei der Berechnung 2 logische Fehler unterlaufen, auf die ich erst bei Erstellung der Tabelle gekommen bin:

  1. Die RKI Werte der ersten Tage (nach App-Start) dürfen nicht mit 13 multipliziert werten. Sondern nur mit der Anzahl Tage seit App-Start.
  2. Es dürfen nur Tage berücksichtigt werden, die schon 13 Schlüssel haben können. Damit ändert sich die Effizienz geringfügig von 2,8% zu 3,1%. 9151 übermittelte zu 292349 mögliche Schlüssel.

Auswertung Effizienz.xlsx

Die Werte ergeben sich aus: https://github.com/Tho-Mat/corona-stuff/blob/master/%C3%BCberblick.xlsx

gusowski1 commented 4 years ago

Eine statistische Analyse der täglichen Diagnoseschlüssel findet sich auch hier: https://micb25.github.io/dka/

Tho-Mat commented 4 years ago

Ich möchte noch einmal deutlich machen, dass es mir nicht um die Analyse der Schlüssel oder die App an sich geht. Jede Analyse ist mit vielen Unsicherheiten behaftet und kann nur einen Trend aufzeigen.

Es geht mir darum, dass die App einfach zu wenig genutzt wird. Bei 16Mil Downloads sollte man 15-20% Effizienz erwarten.

Aus meiner Sicht gibt es hier Handlungsbedarf Seitens der Regierung und Medien.

Mögliche Ursachen -viele wollen die App aus diversen Gründen nicht installieren -App Nutzung erhöht den Stromverbrauch -App hatte zu Beginn einige Fehler -Viele wissen nicht was die App macht -In einigen Fällen scheint die App erst 1-2 Tage vor Übermittlung der Daten genutzt zu werden, das legt nahe, dass diese Anwender sich erst bei Feststellung von Symptomen Gedanken über die App machen

Natürlich sollte sichergestellt werden, dass die App ohne Zutun der Anwender einfach läuft. Was leider auch nicht immer der Fall war. Aber hier war so weit ich das sehe nie die das Versenden und Empfangen von Schlüsseln ein Problem sonder nur die Überprüfung des Risikos.

daimpi commented 4 years ago

One more data point to mention (via @micb25): To get from the number of downloads to the number of active users we might have to cut the number approximately in half: https://twitter.com/theochemiker/status/1293958645206659073

At least if we assume a similar pattern as we observe for the Swiss app: https://www.experimental.bfs.admin.ch/expstat/de/home/innovative-methoden/swisscovid-app-monitoring.html

Which would leave us currently with ~8.5m active users.

From this we would expect more like ~10% of positive tests entering CWA (which we're still underperforming by large margin though).

micb25 commented 4 years ago
3. ca. 20% der angefragten TANs werden nicht genutzt. (800/1050)

Ein interessantes kleines Detail dazu:

Am Dienstag wurden 268 neue teleTANs berichtet laut RKI-Kennzahlen. Im selben Zeitraum wurden auf meinem Dashboard 267 Personen, die ihre Schlüssel teilten, geschätzt (Hinweis: die RKI-Woche geht bis Montag; Dienstag gibt es die Kennzahlen). Das Verhältnis von geschätzten Personen zu teleTANs beträgt diese Woche damit erstmalig nahezu 100%, in den Vorwochen lag dieses Verhältnis eher bei 80-85% (anders gesagt: 20% werden nicht genutzt).

Ich schlussfolgere daraus, dass es inzwischen signifikant mehr Meldungen via QR-Code gibt und bin auf die nächsten Zahlen gespannt. Sollte das Verhältnis dann über 100% liegen, wäre das ein sehr starkes Indiz für eine vermehrte Meldung via QR-Code. Die Notwendigkeit eines Hotlineanrufs, um eine teleTAN zu erfragen, mag ein weiterer Faktor für die bisherige geringe Effizienz sein.

AdrianStuttgart1 commented 4 years ago

Warum nicht die Nutzer für die Übermittlung der Testergebnisse belohnen? Nach Eintragung eines positiven Ergebnises könnte ein Amazon, hello fresh, edeka, rewe, lieferando Gutschein generiert werden. So könnte die Charantäne sogar noch angenehmer ausgehalten werden. Sozusagen eine Win-Win Situation für alle Seiten.

Wie wär's mit einem Gutschein für ein Bestattungsinstitut?

AdrianStuttgart1 commented 4 years ago

Könnte zum Öffnen der App nicht eine Startverzweigung eingebaut werden: Positv getestet Ja/Nein. Den Zweig der Risikoermittlung braucht ein Infizierter ja nicht mehr. Dagegen spricht, dass ein positiv Getesteter auch keinen Sinn mehr sieht, die App für den eigenen Schutz überhaupt noch zu benutzen.

AdrianStuttgart1 commented 4 years ago

Mit einer umfänglichen Infiziertenbegleitung bliebe die App im Bewusstsein und in Verwendung. Positv Getestete fragen sich zuallererst, an welche Stelle sie sich wenden sollen. Hier könnte die App durch eine Erweiterung Hilfestellung geben. Bei leichten Beschwerden dürfte die Telefonnummer des zuständigen Gesundheitsamtes wichtig sein. Was tun, wenn dort keiner ans Telefon geht? Wie als Single die Quarantäne managen? Bei schweren Beschwerden Notarzt anrufen. Jedenfalls haben auf einen Schlag Dinge Priorität, die das Einscannen des Testergebnisses in den Hintergrund rücken.

Sundie1 commented 4 years ago

Aus diesem Grund bin ich für eine Belohnung des einscannens. Denn wird die quote schlagartig erhöht.

AdrianStuttgart1 commented 4 years ago

Aus diesem Grund bin ich für eine Belohnung des einscannens. Denn wird die quote schlagartig erhöht.

Wunschdenken, politisch und ethisch zweifelhaft.

ChristophBausch commented 4 years ago

Warum wird die App denn nicht automatisch bei Testergebnissen upgedated? Gibt es denn hier Dataprivacy Bedenken? Sollte das verbindliche update nicht moeglich sein halte ich die Pandemillion als eine gute Idee. Die zu erwartende Effizienz beim Tracing sowie den geringeren Kosten von Quarantaene / Lockdown sind Grund genug Preise fuer erfolgreiches update zu vertailen. Kenne die Architektur und den Prozessflow nicht gut genug also hoffe auf nette Einfuehrung.

cutec-chris commented 4 years ago

Es wird meiner Meinung nach zuwenig getan, um menschen die App shcmackhaft zu machen. z.B. https://github.com/corona-warn-app/cwa-wishlist/issues/138, ist eine Super Idee die scheinbar im 2 tage Rythmus neue Menschen haben. Und die echt das Potential hat die App weiter zu verbreiten, aber seitens SAP und Telekom hört man erstaunlich wenig in der Issue. Die wird ins interne Jira gespiegelt und dann dort weiter diskutiert statt vernünftig mit der Community zusammenzuarbeiten.

Beispiel, Kommunikation bei den Fehlern. jeder Messenger hat das Problem mit aggressiven Energiesparmaßnahmen von Telefonen. Und auch wenn das auf Technischem Weg nicht gut Lösbar ist, hätt man dem Nutzer ja ne Anleitung bauen können wie er die App für die Energiesparmaßnahmen blacklistet. Hat mich für Conversations tatsächlich 2h suchen gekostet rauszufinden wie das bei nem S7 geht. Aber bei der kohle die vom Bund an die Firmen fliesst, sollten da 50 MA Vollzeit dran arbeiten können.

Ich bin echt entäuscht wie da Geld verschleudert wird und man mit der Verabntwortung in einer Pandemie umgeht. Zum schluss noch ein wenig positives: Es ist schön das zumindest hier loswerden zu können. Das die App OSS ist, ist ja mal nen Schritt der bei anderen Verwaltungsangelegenheiten auch seit 20 jahren überfällig ist.

Ein-Tim commented 4 years ago

Es wird meiner Meinung nach zuwenig getan, um menschen die App shcmackhaft zu machen. z.B. https://github.com/corona-warn-app/cwa-wishlist/issues/138, ist eine Super Idee die scheinbar im 2 tage Rythmus neue Menschen haben. Und die echt das Potential hat die App weiter zu verbreiten, aber seitens SAP und Telekom hört man erstaunlich wenig in der Issue. Die wird ins interne Jira gespiegelt und dann dort weiter diskutiert statt vernünftig mit der Community zusammenzuarbeiten.

Ich glaube das Problem bei diesen Feature Requests ist immer noch die Deutsche Bürokratie. Es funktioniert ja nicht einfach so das SAP & Telekom darüber entscheiden was in die App kommt und was nicht, das macht das RKI. Somit müssten diese Sachen alle immer an das RKI herangetragen werden (von diesem dann vielleicht sogar noch ans Gesundheitsministerium) und so weiter. Beide (sowohl RKI als auch Gesundheitsministerium) haben momentan auch noch viele andere Dinge (die mit Corona zusammenhängen) zu tun, deswegen werden solche Dinge höchstwahrscheinlich erstmal intern diskutiert, ein konkreter Vorschlag inkl. Umsetzung und Co. wird ausgearbeitet und erst dann wird das ans RKI weitergegeben.

Wo ich dir @cutec-chris aber Recht gebe, ist das es klarer für die GitHub Community werden muss was in den internet JIRA Issues diskutiert wird. Dazu gibt es hier einen offenen Issue.

Beispiel, Kommunikation bei den Fehlern. jeder Messenger hat das Problem mit aggressiven Energiesparmaßnahmen von Telefonen. Und auch wenn das auf Technischem Weg nicht gut Lösbar ist, hätt man dem Nutzer ja ne Anleitung bauen können wie er die App für die Energiesparmaßnahmen blacklistet.

Hier bin ich anderer Meinung, es würde nur zu noch mehr Verunsicherung führen wenn Anleitungen herausgegeben würden, außerdem macht man sich zum Gespött ("50 Millionen und der Nutzer muss selber nachbessern") Außerdem scheinen die Probleme ja größtenteils Technisch gelöst worden zu sein, oder nicht?

thomasaugsten commented 4 years ago

Danke für dein Feedback wir nehmen such die Vorschläge aus der Community ernst, aber diese App hat hohe Datenschutzvorgaben die es erschweren das persönliche Daten mit der App verknüpft werden damit die Akzeptanz der App nicht verringert werden. Die hier genannten Zahlen muss man auch im Verhältnis der Installationen und der kompatiblen Smartphones in Deutschland sehen

Wir haben auch mit Apple und Google eine Lösung (ohne Push Notification wie es die Messenger machen) erarbeitet die eine manuelle Einstellung von Seiten des Users für eine Hintergrundaktualisierung nicht mehr notwendig macht.

alanrick commented 4 years ago

Have I understood correctly that only 3% of Covid cases were entered into the CWA system and propagated to only 20% of the German population? Very disappointing 😢 But it implies that the focus should be on encouraging users to enter the results or encouraging laboratories to support CWA-compatible qrcodes.

I was recently tested and surprised at the crude way the results where accessed and presented so my biggest disappointment is that the health authorities are putting so little effort into supporting the labs and test-centers and lack of national coordination on this. IMHO a prerequisite for an effective CWA.

thomasaugsten commented 4 years ago

Hi the number of 3% is an old number related to all citizens regardless if there using the app or has a compatible smartphone. We are working together with the labs to get a 100% coverage but with the tests on airports and autobahnen their a lot of new labs which need a certain onboarding time.

Tho-Mat commented 4 years ago

The 3% is not the number of infected persons that report their infections via CWA. At 20.08 ca. 1700 of ca 43000 infected persons report their infection via CWA. But a lot of the CWA reporters do not report 13 keys. Some only report 1 or 2 keys. This reduces the efficiency.
At 06.08 from ca. 395730 possible keys only 13009 were reported. That leads to 3,3%

cutec-chris commented 4 years ago

Ich glaube das Problem bei diesen Feature Requests ist immer noch die Deutsche Bürokratie. Es funktioniert ja nicht einfach so das SAP & Telekom darüber entscheiden was in die App kommt und was nicht, das macht das > RKI.

Das stimmt, da hab ich wohl den wichtigsten Player vergessen. Aber auch hier wäre Transparenz hilfreich. Warum nicht die Anforderung ans RKI und deren Reaktionen öffentlich ? Schliesslich wird das ganze auch aus Öffentlichen geldern finanziert.

Hier bin ich anderer Meinung, es würde nur zu noch mehr Verunsicherung führen wenn Anleitungen herausgegeben würden, > außerdem macht man sich zum Gespött ("50 Millionen und der Nutzer muss selber nachbessern") Außerdem scheinen die Probleme ja größtenteils Technisch gelöst worden zu sein, oder nicht?

Das kann ich nicht nachvollziehen. Wenn auf einem 7 Jahre alten S7 das nicht mehr geupdatet wird, die Stromsparmaßnahmen für die App deaktiviert werden müssen find ich das dem Nutzer durchaus zu erklären. Das Problem ist mit einem einleitenden Satz verständlich zu machen. An anderer Stelle wird von jedem Hansel im Supermarkt erwartet zu wissen was E325 ist. Ich bin zwar auch hier nicht der selben Meinung wie gerichte und Verbraucherschutzministerien, aber wenn es (noch) keine Technische Lösung gibt kann man den benutzer durchaus vernünfig führen.

Ich hab mit das Wochenlang auf eminem S7 angeguckt und wusste von anderen Apps was Phase ist. Hab zufälligerweise mit nem Hotline Mitabeiter der für die CWA abgestellt ist beim klettern darüber gesprochen. Selbst da wusste man von nix. 2 Tage später haben die Medien das ganze breitgetreten. Das hat zu viel merh Verunsicherung geführt als Transparent darüber zu informieren (mindestens wenn die Leute schon an der Hotline gelandet sind...)

Ein-Tim commented 4 years ago

Das stimmt, da hab ich wohl den wichtigsten Player vergessen. Aber auch hier wäre Transparenz hilfreich. Warum nicht die Anforderung ans RKI und deren Reaktionen öffentlich ? Schliesslich wird das ganze auch aus Öffentlichen geldern finanziert.

Das wäre sicherlich gut, aber wenn diese Sachen ans RKI herangetragen werden und es sollte abgelehnt werden, wird das ja hier begründet. Mehr Transparenz geht in Deutschland nicht 😉

Das kann ich nicht nachvollziehen. Wenn auf einem 7 Jahre alten S7 das nicht mehr geupdatet wird, die Stromsparmaßnahmen für die App deaktiviert werden müssen find ich das dem Nutzer durchaus zu erklären.

Ich gebe dir recht, vielleicht ist es in einigen Fällen Sinnvoll den Nutzern Erklärungen, etc. bereitzustellen, aber dann m.M.n nur für Probleme die nur durch den Nutzer gelöst werden können und nicht durch Updates, etc.

Ich hab mit das Wochenlang auf eminem S7 angeguckt und wusste von anderen Apps was Phase ist. Hab zufälligerweise mit nem Hotline Mitabeiter der für die CWA abgestellt ist beim klettern darüber gesprochen. Selbst da wusste man von nix. 2 Tage später haben die Medien das ganze breitgetreten. Das hat zu viel merh Verunsicherung geführt als Transparent darüber zu informieren (mindestens wenn die Leute schon an der Hotline gelandet sind...)

Dazu kann ich nicht mehr sagen als: Ich gebe dir Recht, man hätte bei den Problemen mit der nicht erfolgreichen Hintergrundaktualisierung schneller und transparenter reagieren müssen. Allerdings sind diese jetzt gelöst, ich hoffe SAP und Co. haben daraus gelernt und falls es nochmal zu so etwas kommen sollte (hoffentlich nicht) wird anders & schneller reagiert.

alanrick commented 4 years ago

Distribution of QRcodes My Corona test was performed at the beginning of August and I've followed up with the lab to determine why it did not include a qr-code. It turns out that the effort is negligible (10C and OEGD forms), but the roll-out was very late. At the end off June the Kassenärztliche BundesVereinigung planned the availability of the 10C form for sometime in July. In addition there's a lag while the doctors order the new forms or their software is updated.

I wrote to my own doctor suggesting they use the new forms but this is not scalable. The laboratory I contacted in BW had escalated the matter as early as April but whoever is responsible (Ministerium?) appears to have reacted slowly, if at all.

Is the effectivity monitored? I'm sure it's now above 3.3%, but has it reached 10%?

micb25 commented 4 years ago

Distribution of QRcodes My Corona test was performed at the beginning of August and I've followed up with the lab to determine why it did not include a qr-code. It turns out that the effort is negligible (10C and OEGD forms), but the roll-out was very late. At the end off June the Kassenärztliche BundesVereinigung planned the availability of the 10C form for sometime in July. In addition there's a lag while the doctors order the new forms or their software is updated.

Regarding the QR codes: I really doubt that the diagnosis key upload via QR codes is working properly right now. My dashboard depicts the number of estimated people that shared their diagnosis key with the CWA server. But you can also see the number of issued teleTANs by the telephone hotline (reported by RKI once a week). By comparing these two numbers on a weekly basis, it seems like for the majority of the cases people upload their diagnosis keys via an issued teleTAN. Otherwise the estimated number people sharing their diagnosis key should be much higher as compared to the issued teleTANs.

Ein-Tim commented 4 years ago

@micb25 If you haven't done so yet, you could comment your assumption here 👍

svengabr commented 4 years ago

@micb25 If you haven't done so yet, you could comment your assumption here 👍

I share the opinion of @Ein-Tim and the dashboard of @micb25 looks really interesting to me. The QR code issue is currently one of our number 1 priorities and we hope we can give an official update on this issue in https://github.com/corona-warn-app/cwa-documentation/issues/400 soon.

Best regards, SG

Corona-Warn-App Open Source Team

alanrick commented 4 years ago

My doctor confirmed the lag between the availability of the 10c/OEGD forms, and the software-update at the doctor's surgery that is necessary to support this. Hopefully the QR code situation will improve by October.

@micb25 's dashboard is very illuminating. My interpretation is that currently the maximum efficiency of the app is ~5% (i.e. those who use the app will have a ~5% chance of being informed, because ~95% of those tested positive haven't entered this into the CWA ecosystem). But the aggregate efficiency is ~1%, because only ~20% have the CWA installed.

Marco2907 commented 4 years ago

Hello @Tho-Mat ,

thanks again for sharing your content. At the moment we are still clarifying this topic with the community. I will come back as soon as I can to give you an update.

Thank you, MP

Corona-Warn-App Open Source Team

cfritzsche commented 4 years ago

I think this issue gives a nice umbrella around why other wishlist items are being posted. @daimpi wrote:

One more data point to mention (via @micb25): To get from the number of downloads to the number of active users we might have to cut the number approximately in half: https://twitter.com/theochemiker/status/1293958645206659073

At least if we assume a similar pattern as we observe for the Swiss app: https://www.experimental.bfs.admin.ch/expstat/de/home/innovative-methoden/swisscovid-app-monitoring.html

Which would leave us currently with ~8.5m active users.

From this we would expect more like ~10% of positive tests entering CWA (which we're still underperforming by large margin though).

Based on this new data point of 14 million active apps, I make the following calculations:

Since this issue was a combination of different factors, I think we can point out these areas that could improve:

  1. Obviously more people should download CWA. 80% of the population are old enough. Estimates suggest 60% of the population have the technical prerequisites to download CWA. So here we have a potential to increase usage of 35% of the population.
  2. As stated above, about 80% of the downloaded CWAs are active, that is about 5% of the population with inactive CWAs.
  3. Of the active CWAs of infected people, roughly 50% don't upload their keys.
  4. Lastly of the people downloading, not all have a 13 day record.

I think for 3. the main reason is the as-of-yet not really working QR code connection and retrieval of the test that is being worked on. For 1. and 2., I suggest that continued marketing pushes would be required along with a debate of other forms of usage. For example any kind of voluntary QR code scan or room beacon solution for restaurant, event or office visit within the app would help reduce paperwork, use the decentral architecture and motivate the app. @svengabr It would be really good to get some kind of information where RKI and SAP want to go with this app. In the backlog repo we are mainly looking at speed, documentation and QR code improvements along with interoperability. Is there any discussion beyond that? How are the clients looking at the coming fall and winter with increased indoor activity that does not relate well to the current BLE approach of "more than x meters away can be ignored"?

This idea has come up a lot:

It would be nice to get feedback if you or the clients think this is interesting or planned, since this is currently occupying lots of people in the community.

daimpi commented 4 years ago

Interesting press conference from the Swiss team, where they talk about how many codes they distribute, how many ppl with SwissCovid get tested, what the reasons are for ppl to use the app (protecting others), why they don't use the app (many diffuse reasons) and what would increase the likelihood for non-users to adopt the app (increasing case numbers 😅) worth a watch (German): https://www.srf.ch/play/tv/tagesschau-spezial/video/medienkonferenz-des-bundesamts-fuer-gesundheit-bag?id=6af1ebc6-485c-4b4c-96eb-26626a09e4be
h/t @pdehaye

micb25 commented 4 years ago

Interesting press conference from the Swiss team, where they talk about how many codes they distribute, how many ppl with SwissCovid get tested, what the reasons are for ppl to use the app (protecting others), why they don't use the app (many diffuse reasons) and what would increase the likelihood for non-users to adopt the app (increasing case numbers sweat_smile) worth a watch (German): https://www.srf.ch/play/tv/tagesschau-spezial/video/medienkonferenz-des-bundesamts-fuer-gesundheit-bag?id=6af1ebc6-485c-4b4c-96eb-26626a09e4be

The Swiss study including SwissCovid aspects can be found here (German).

Tho-Mat commented 4 years ago

AppUser-7-Tage Effizienz

Tho-Mat commented 4 years ago

Wie meine aktuellen Auswertungen zeigen, steigt sowohl der % Satz der Neu-infizierten, die ihre Schlüssel teilen als auch deren Effizienz (3,5%). Allerdings nur sehr langsam. Die Hauptursache der Differenz zwischen Effizienz und Prozentsatz liegt in darin, dass viele Anwender die App erst installieren, wenn sie Symptome zeigen bzw. wenn sie einen Test machen. Sie übermitteln nur ca. 1-3 Schlüssel für die letzten Tage.

Mann sollte den zweiten Aspekt -App wird installiert, wenn man einen Test macht- nicht unterschätzen. Es mag auf den ersten Blick negativ klingen, aber: Nicht nur die Infizierten wollen ihren Test mit der App abholen, auch die nicht-Infizierten. Je mehr Tests also mit einem QR-Code durchgeführt werden, desto mehr Anwender haben die App anschließend installiert, und hoffentlich auch aktiviert.

daimpi commented 4 years ago

If you look at @janpf's dashboard, there is a detailed interactive overview on the development of keys/user and how many ppl uploaded a certain number of keys each day, over time. By a large margin the majority of ppl actually upload the maximum of 13 keys per day. It is true that there has been a slight downward trend in the avg. keys/user over the last month, but the number seems to have stabilized now 🙂. visualization(1)

pdehaye commented 4 years ago

In CWA, do people have the choice of how many keys they upload? Is that upload tied to some individual information about when they were symptomatic? Is that symptoms date tied then to a risk level?

daimpi commented 4 years ago

In CWA, do people have the choice of how many keys they upload?

I don't think so. The only choice is between 0 keys (i.e. don't upload) and all the keys stored in ENF (up to 13) afaik.

Is that upload tied to some individual information about when they were symptomatic? Is that symptoms date tied then to a risk level?

There is a risk estimation model, which tries to correct for delays, but there is currently no individual information on e.g. symptom onset incorporated, see here.

Tho-Mat commented 4 years ago

Update Effizienz image

and 7-day average (1. time over 10%) image

daimpi commented 4 years ago

Interesting survey in Germany: https://ai_society.mpib.dev/Wave_3_analysis/covid_tracking_ger_wave3.html

Twitter thread: https://twitter.com/AnaSKozyreva/status/1311303919449014275

To quote one part:

36% of participants in our sample downloaded the app. Main reasons to download: to protect one’s health or health of others. 48% say they will not download the app. Main reasons not to download: belief that it’s not effective & privacy

alanrick commented 4 years ago

And they’re right about effectivity, unless more people download the app because of a personal incentive. Looking at the release notes of recent releases I can’t see much development focus on increasing the personal incentive.

What is encouraging is that the UK app download count is doing well despite its catastrophic rollout so personal incentives are possible. Perhaps the venue check-in feature of the UK app is one such missing incentive.

mrs1959 commented 4 years ago

How can we improve the amount of infected people that add their information to the app? One issue was stated very well bei @cfritzsche (see some messages above) "main reason is the as-of-yet not really working QR code connection and retrieval of the test that is being worked on."

Another issue is the fact on the default behavior that people have when they get the message that they are tested positive. Their first thoughts are definitly not about adding the QR code to the app but on what it means for them, their friends, the people they live with, how to handle the next days, what about my kids.

The question must be: How can we generate more value for a user in adding QR code? Some of you believe in a gift - i believe more in modifying the process when receiving the QR codes.

I'm not a IT developer, but if we would have the chance to generate an ID by the app once you add your QR code, and this ID is a guarantee that you added a (not the!) QR code to the app, we could use this ID as an indicator for correct transfer of the code to the app (and as such warning all others via the app).

Once we have such an ID, we could change the process of receiving the QR code: Instead of mail, printing etc., those that provide the QR codes (board of health/laboratory) should ask (!) for the ID (I'm not familar with all processes but at our region the health institute is contacting us by phone in case of positives).

If you dont have the app installed as of not able to, thats ok - it's not mandatory. But it directly advice you, once you receive the code, to add it to the app. Think of the psychological aspect: The receiptor is asked directly for an indicator that he has feeded the app with the code. And again: It is not mandatory that the receiver has installed the App.

Regarding data privacy: The ID doesnt identify you, the ID is only an indicator that you added the code to the app. (and for sure it is all times a different ID, generated by the device and identifying the app, not the device).

Let's not emphasize on technology but on usability and process optimization!!

ndegendogo commented 4 years ago

@mrs1959 Hmm ... I am not sure that I get your idea ...

mrs1959 commented 4 years ago

Hi @ndegendogo. The idea is that you get a receipt back from the application once you add the information that you have been tested positive (regardless your adding it via TAN or QR code). As such the receipt acts as an evidence.

ndegendogo commented 4 years ago

@mrs1959 so, I scan my QR code and get a receipt. And now? The idea / purpose of the QR code is that (1) I can use it to access my lab result from a database, so I get the reult faster. And (2) iirc I can use it to upload my keys and warn my contacts, in case I have been tested positive. What is the idea / purpose of this receipt?

mrs1959 commented 4 years ago

What happens if you receive a positive result? Unlikkely only a very few people think about warning their contacts first.

But at least in here (I have to admit that i dont know about this process in general) you get a call by a health care site (your local doctor / health care institute) by phone - so someone is calling you to inform you about next steps.

The caller asks for the receipt. Now you are not only reminded to warn your contacts but forced to do so.

ndegendogo commented 4 years ago

What happens if you receive a positive result? Unlikkely only a very few people think about warning their contacts first.

Agreed.

so someone is calling you to inform you about next steps.

well, actually I also don't know the details. But, yes, I assume either I call them or they call me.

The caller asks for the receipt. Now you are not only reminded to warn your contacts but forced to do so.

Here the current process is different. Currently: 1) having the app installed is completely voluntary. Not even everybody has a smartphone that is sufficient modern to support this. So, all they can do, is asking me if I am using the app; and if yes, they can mention the receipt. As a friendly reminder, not more. 2) Also the decision to upload my keys is again completely voluntary. So, no base for any 'force' on their side.

mrs1959 commented 4 years ago
So, all they can do, is asking me if I am using the app; and if yes, they can mention the receipt. As a friendly reminder, not more.

That's exactly what i mean. By asking me about whether I have the app installed and if yes, whether i can provide the receipt the following happens:

  1. I get a reminder about warning others via the app
  2. I want to be suportive and do it during the call, as I was asked for the receipt

All of this is voluntary still - no doubt! And there will be an amount of "non supportive" people as well as people that dont have the app installed (for whatever reason). But it would encourage definitly more users that have the app installed to warn others than we have users doing this at the moment.

So, no base for any 'force' on their side

Pardon my french - it's not my native language - replace forced to do so with encouraged to do so

ndegendogo commented 4 years ago

@mrs1959 ok, understood. Thanks for taking your time for these detailed explanations.

mrs1959 commented 4 years ago

and thank you for taking the time to discuss it!

alanrick commented 4 years ago

Karl Lauterbach criticizes that so few positive positive-test results are fed back into the app where they could be used to warn contacts. @micb25 ‘s dashboard confirms this low figure.

0BA59DBC-3480-4A42-8CF1-AB88B24DEE7C

But is the low figure a result of the tested not confirming the result in the app as Lauterbach suggests, or is it the result of doctors completing the OEGD/10C Form without marking checkbox 9? E2601512-966F-4586-9EF8-B8CFEEE7956E

IMHO checkbox 9 is unnecessary and if it is responsible for the poor app performance then following Lauterbach‘s Code-improvement suggestion would bring no improvement.

cfritzsche commented 4 years ago

You have to consider that only about 18 million people run the app. Of those about half seem to opt for upload. The checkbox seems to play a part. I remember in a press conference the executives said the share of People uploading after getting a teleTAN is higher than the share of people going via QR test result.

ndegendogo commented 4 years ago

share of People uploading after getting a teleTAN is higher than the share of people going via QR test result.

This I believe at once. The teleTAN serves only one purpose: to allow the upload of my keys; and it is an explicit action from a user to obtain such a teleTAN. Whereas the QR code serves two purposes (getting lab result and/or sharing DK), each being voluntary on its own.

So I guess the number of teleTANs shows already the fraction of users that have installed the app and are using it, and are willing to share their keys, although the QR did not work for them for whatever reason (missing checkbox 9, lab not yet integrated, whatever).