Teacher's email notification on submission errors should be sent only when the grading fails to complete after automatic retries

[markkuriekkinen]

When a student's submission can not be sent to the grader due to some error, the teacher receives an error email notification. However, with the automatic retries of incomplete grading jobs (#1035 and #1060), the notification should be only sent if the grading can not be automatically completed after retries. The teacher should only receive email if he/she should really manually check the situation of the submission.

---

Old description in Finnish:

Juha S. muistutti, että A+ lähettää (tai pitäisi lähettää) emailia opettajalle, kun tehtävän lataus tai arviointiin lähettäminen epäonnistuvat (kun yhteys pätkii tms.). Jos palautus arvioidaan automaattisesti uudelleen hetken kuluttua (#1035), niin Juha opettajana ei halua turhaan email-ilmoituksia, jos hänen ei tarvitse käsin itse reagoida mitenkään.

Huomioita:

• automaattinen regrade saisi reagoida nopeasti, kun peruskurssilla normaali arviointi valmistuu n. 2 minuutissa. Joillain kursseilla arviointi kestää kauemmin -> pitääkö tehtävän tai kurssin asetuksissa määritellä, kauanko arvioinnin pitäisi kestää? (oletuksena yleinen peruskurssien lyhyt aika, 5 min?)
• jos automaattinen uudelleenarviointi ei myöskään toimi, Juha haluaisi ilmoituksen, jotta osaa tutkia tarkemmin tehtävää.
• Juha haluaa keskustella sposti-ilmoituksen yksityiskohdista joskus sopivaan aikaan

[markkuriekkinen]

@PasiSa was pondering:

Tuota pitää vähän miettiä. Kuinka pitkän yrittelyn jälkeen halutaan lähettää mailia? Ja koska jumiutuneita tehtäviä voi siinä vaiheessa olla useita, niin varmaan halutaan yksi maili per kurssi, tms.?

When could the email be sent? After how long time? Should multiple submission errors be combined in one email?

Note: Juha S. wanted to discuss such details before anything is decided.

[jkotimak]

@jsorva Any new thoughts?

[jsorva]

I guess the main thing is that I’d love to hear the details once there is some kind of plan of what will get implemented. Details such as these:

• Does exercise type (and expected grading speed) affect how/when/whether auto-resubmits are made?
• Does it affect how/when/whether notifications are sent?
• Can teachers customize the above on a course-by-course basis and/or by exercise type if they don’t like the defaults?

[jsorva]

Above, it says that "peruskurssilla normaali arviointi valmistuu n. 2 minuutissa". That’s a pretty pessimistic estimate, especially now that our graders (for Scala) are faster than a couple years ago. But yeah, I suppose 2 mins might be something like an upper limit for how long a regular O1 exercise should take in grading.

[jsorva]

Above, it says that "peruskurssilla normaali arviointi valmistuu n. 2 minuutissa". That’s a pretty pessimistic estimate, especially now that our graders (for Scala) are faster than a couple years ago. But yeah, I suppose 2 mins might be something like an upper limit for how long a regular O1 exercise should take in grading.

[jsorva]

Reflecting on this quickly, it seems to me that there are at least five different kinds of assignments that might(?) be treated differently.

• Programming assignments that are auto-graded "quickly" (under 1 min nearly 100% of the time). This would be most assignments in O1 and Y1, for example.
• Programming assignments that are expected to take a long time in resource-intensive grading. (I don’t have any of these myself.)
• Manually graded assignments (where the only point is to get the submission in).
• Instantaneously auto-gradable assignments, such as multiple-choice questionnaires.
• ”Assignments” that are feedback forms. (E.g. Jutut forms).