GES-mpalermo
commented
2 years ago @GES-lbabetto prova a vedere se funziona!
Invece di dare in pasto a JobDispatcher una lista di funzioni, bisogna dargli una lista di oggetti Job.
from jobdispatcher import JobDispatcher, Job
def test_function(a, text="sometext"):
print(f"I run, {a}, {text}")
jobs = [Job(function=test_function, arguments=[5]) for i in range(2)]
jobs[0].keyword_arguments = {"text": "bau"}
jd = JobDispatcher(jobs)
results = jd.run()Nel caso la funzione che vogliamo usare è un metodo di un oggetto, abbiamo visto che purtroppo eventuali modifiche all'oggetto non si propagano perché multiprocessing lavora su una copia del processo python. Un workaround easy può essere di wrappare le operazioni dell'oggetto in una funzione che ritorna l'oggetto modificato!
from jobdispatcher import JobDispatcher, Job
class Person:
def __init__(self, name, age):
self.name = name
self.age = age
def __repr__(self):
return str(self.age)+str(self.name)
def test_function(person):
person.name += "_mod"
person.age += 1
return person
newperson1 = Person("Paolo", 34)
newperson2 = Person("Giacomo", 27)
people = [newperson1, newperson2]
jobs = [ Job(function=test_function, arguments=[person]) for person in people ]
jd = JobDispatcher(jobs)
results = jd.run()
lbabetto
Also introduced some checks on the requested number of cores and added a cleanup phase before running job to kill zombie processes from RunTime errors.