Vastra-Gotalandsregionen / oppna-program-icc

Automatically exported from code.google.com/p/oppna-program-icc
0 stars 3 forks source link

ProductCatalogImporter: Polling logic #17

Open GoogleCodeExporter opened 9 years ago

GoogleCodeExporter commented 9 years ago
eHandel läser katalogen och letar efter alla filar för att hantera det (Alla 
som passar bra med file pattern). Om flera filar ligger i katalogen, väntar 
komponenten till nästa "polling time" för att läsa en till.

PROBLEMET: Om vi konfigurerar polling time "en gång x24 timmer" och vi har 10 
filar ska ta det 10 timmar att hantera alla. Det funkar inte.

TODO:
- SFTP_POLL_INTERVAL_EXPRESSION: Om vi vill använda högra tid values 
milliseconds passar inte bra. Use Cron expression i stället.

- LOGIC: 
 a) Komponenten lätar i katalogen efter filar.
 b) Filtrerar de som passar bra och hantera ALLA innan nästa polling triggers.
 OBS: Det kan vara problematic med minnet om vi läser många stora filar på samma tid. Hur kan vi fixa det?
Maybe?: 
Steg 1: Scan folder
Steg 2: Skapa en array med filenamnen
Steg 3: Filter filar med pattern.
Steg 4: For varje file i array -> Hantera file

Original issue reported on code.google.com by israel.a...@gmail.com on 26 Mar 2012 at 2:07

GoogleCodeExporter commented 9 years ago

Original comment by israel.a...@gmail.com on 26 Mar 2012 at 2:08