Legacy Syrup Component Cleanup

kacurez commented 8 years ago

Tady je soupis všech syrup komponent a co je s nima potřeba udělat.

Deprecated komponent s novou docker runner verzí

U tehle komponent jenom stačí dotlačit uživatele k migraci a jakmile je nikdo nebude používat můžou se smazat.

[x] wr-google-drive - pozor spouštího i tde-exporter (Tableau writer)
- [x] tde-exporter + google drive integrace - chce vyřešit jinak https://github.com/keboola/tde-exporter/issues/3 + https://github.com/keboola/docker-bundle/issues/175
[x] ex-fb-ads
[x] ex-facebook
[x] ex-google-drive
[x] ex-zendesk
[x] sapi-importer - použito na posledních 3 projektech, poslal jsem jim tickety, pak se to vyhodi.
[x] wr-db
[x] ex-salesforce - Nemá migrační tool, používá ale jenom pár projektů

Nemají zatím náhradu

Staré komponenty které pořád nabízíme a je možné je založit. Je potřeba vyřešit co s nima. Bud je zkusit nahodit genericem, naimplementovat znovu pro docker runner nebo je uplne zavrhnout.

[x] ex-getstat - Používá jeden projekt. Mrknem jestli půjde použít generic https://keboolaglobal.slack.com/archives/C5CDKU5DK/p1505812750000071 Projekt který to používal je vypnutej
[x] ex-magento - Používá jeden projekt, jde o starou verzi Magento 1, pokud neupgradují budueme muset asi zabalit do dockeru. Nebo začít tahat data přímo z db? https://keboolaglobal.slack.com/archives/C5CDKU5DK/p1505812750000071
[x] ag-forecastio - https://keboola.slack.com/archives/C6AHFV89W/p1505905062000028 Mame ready novou verzi, jenom jsme byli kously na tom kdo doda credentials. Updatnu aby uzivatel zadaval jeho token a releasneme. Udelam to ja.
[x] ex-youtube - používá to pět projektů. bude potřeba nový extractor. Kdo ho napíše? Mohl by udělat někdo externí? Zároven bude asi potřeba posbírat co by to mělo u mět a k čemu se to používá
[x] pigeon - Napsat ASAP novou verzi https://keboola.productboard.com/feature-board/6271-planning/features/38038 Myslím že tohle bysme mohli napsat my, tak jak to najlos vymyslel to bude jednoduchý.
[x] restbox - nahradí ho S3 extractor + procesory. Zbývá podpora mulit-rows konfigurace - připravuje @ondrejhlavacek
[x] rt-lucky-guess - https://github.com/keboola/app-luckyguess je připravena nová verze ale ještě není public. tohle je na @odinuv

Aktuální používání extractorů je vidět tady https://keboola.looker.com/dashboards/5

Speciální komponenty které by měly zmizet

[x] table-importer - s největší pravděpodobností používá jenom pigeon, nedá se to ale moc ověřit. První bude teda potřeba zmigrovat pigeon a pak se uvidí jestli něco zbyde nebo ne.
[x] oauth - zmigrovat komponenty které ho používají a pak se může vyhodit
- [x] wr-dropbox - používá jenom jeden projekt (976), je to ale už v dockeru a udělat novou verzi z oauth-2 a migrací by neměl být problém https://github.com/keboola/dropbox-writer
[x] timeout - vyhodíme, postará se o to @ErikZigo

Komponenty které zatím necháme tak jak jsou

Co s nima dál je nastřeleno tady https://github.com/keboola/connection/wiki/Infrastructure-&-Architecture-Roadmap#komponenty-docker-runner--syrup

oauth-v2
queue
orchestrator
docker
transformation
gooddata-writer
provisioning

Halama commented 8 years ago

Udělal jsem skriptik který vypíše všechny syrup komponenty a počet jejich použití za posledních 30 dní:

➜  syrup-check php check.php
Components usage in last 30 days 
gooddata-writer - 47884
transformation - 20717
orchestrator - 19475
docker - 14082
pigeon - 4556
ex-google-drive - 4104
ex-db - 4044
wr-google-drive - 3882
restbox - 3211
ex-google-analytics - 3173
ag-geocoding - 1072
ex-salesforce - 994
ex-twitter - 500
ex-gooddata - 426
ex-fb-ads - 410
ex-facebook - 372
wr-db - 309
table-importer - 289
ex-zendesk - 281
shinyapps - 202
ex-youtube - 163
rt-lucky-guess - 141
ex-generic - 120
ex-adwords - 71
ex-magento - 60
ex-doubleclick - 48
ex-getstat - 43
ag-forecastio - 34
ex-instagram - 30
ex-appannie - 27
ex-linkdex - 0
ex-mandrill - 0
ex-sklik - 0
ex-currency - 0
ex-elasticsearch - 0
ex-marketo - 0
ex-telfa - 0
ex-google-bigquery - 0
rt-split - 0
wr-elasticsearch - 0

Vynechává to synchronní věci jako provisioning apod. Vše kromě transformací, gooddata-writer, docker a queue by mělo zmizet.

Halama commented 8 years ago

ex-instagram a ex-appannie jsou taky na vypnuti, mel je v projektu jen kachna

Halama commented 8 years ago

ex-generic

Halama commented 8 years ago

Tyhle byly skryté, nikdo je nepoužíval, jdu je teď odstranit z provisioningu syrupu:

wr-elasticsearch
rt-split
ex-telfa
ex-marketo
ex-elasticsearch
ex-currency
ex-sklik
ex-linkdex
ex-generic

Halama commented 8 years ago

Komponenty výše odstraněny ze syrupu i connection. Aktuálně to vypadá:

Components usage in last 30 days 
gooddata-writer - 47979
transformation - 20725
orchestrator - 19489
docker - 14114
pigeon - 4549
ex-google-drive - 4099
ex-db - 4043
wr-google-drive - 3891
restbox - 3205
ex-google-analytics - 3173
ag-geocoding - 1078
ex-salesforce - 997
ex-twitter - 499
ex-gooddata - 425
ex-fb-ads - 405
ex-facebook - 372
wr-db - 313
table-importer - 286
ex-zendesk - 281
shinyapps - 202
ex-youtube - 163
rt-lucky-guess - 140
ex-generic - 120
ex-adwords - 71
ex-magento - 60
ex-doubleclick - 48
ex-getstat - 43
ag-forecastio - 34
ex-instagram - 30
ex-appannie - 27
ex-mandrill - 0
ex-google-bigquery - 0

ondrejhlavacek commented 8 years ago

ex-salesforce a ex-facebook mám v productboardu, zkusil bych je nejdřív pomocí genericu a pak teprv jako samostatný komponenty

Halama commented 8 years ago

jo tehle postup plati pro vsechno:) Super ale je ze docker v poctu jobu uz je na 4. miste ...

kacurez commented 8 years ago

aha shit som zabudol ze syrup ma tiez index :), nedala by sa ta statistika(Components usage in last 30 days ) vytiahnut tiez z shared konfigu?

Halama commented 8 years ago

jo dala

Halama commented 8 years ago

jenom tam chybi ten seznam co je v syrupu https://syrup.keboola.com/ ale ten by vlastne asi sel stahnout genericem:)

Halama commented 8 years ago

to jsem vlastne jednou uz zkousel a ten format neni uplne idealni protoze to zalozi jeden radek a pro kazdou komponentu jeden sloupec, protoze to neni pole

ondrejhlavacek commented 8 years ago

stáhnout jako string a zpracovat ve snowflake :-)

kacurez commented 8 years ago

upravil som ten zoznam vyssie podla Martinovho, btw som zistil ze ex-facebook-ads/ex-fb-ads su rozdielne id na connection/syrup indexu.

odinuv commented 8 years ago

Orchestrator a Luckyguess chceme taky prepisovat do dockeru?

Halama commented 8 years ago

jo nektery extraktory jsou takhle blbe zaregistrovany, pak u nich v jobech nevidis jmeno apod.

Halama commented 8 years ago

@odinuv zatim asi ne, na ty jsem zapomnel

Halama commented 8 years ago

do luckyguessu teda vubec nevidim tak nevim jestli potrebuje byt jako komponenta nebo by bezel v dockeru

Halama commented 8 years ago

Smazano:

Instagram
App Annie
Mandrill

odinuv commented 8 years ago

LG pouziva primy pristup k Redshiftu, takze ani moc nevim jak to do dockeru strcit

Halama commented 8 years ago

Aktualne:

Components usage in last 30 days 
gooddata-writer - 33785
transformation - 19840
docker - 18895
orchestrator - 15806
wr-google-drive - 4524
pigeon - 4458
ex-google-drive - 3952
restbox - 3387
ex-google-analytics - 3081
ex-db - 1640
ex-salesforce - 887
ex-zendesk - 803
ex-gooddata - 443
ex-fb-ads - 414
table-importer - 264
wr-db - 245
ex-facebook - 243
ex-youtube - 222
ex-twitter - 178
ag-forecastio - 76
ex-getstat - 52
rt-lucky-guess - 49
ag-geocoding - 36
shinyapps - 33
ex-magento - 30
ex-doubleclick - 7
ex-google-bigquery - 3

Halama commented 8 years ago

pro ex-db bude chtit nove nejak zaprudit z migraci, nebo rict termin kdy to zmigrujeme automaticky.

Halama commented 8 years ago

Update:

Components usage in last 30 days 
gooddata-writer - 31572
transformation - 18884
docker - 17473
orchestrator - 14444
pigeon - 4489
ex-google-drive - 3924
restbox - 3627
wr-google-drive - 3178
ex-google-analytics - 3039
ex-db - 1381
ex-salesforce - 609
ex-zendesk - 545
ex-fb-ads - 508
ex-gooddata - 469
wr-db - 272
table-importer - 264
ex-facebook - 254
ex-youtube - 237
ex-twitter - 135
ag-forecastio - 74
ag-geocoding - 58
rt-lucky-guess - 57
ex-getstat - 53
shinyapps - 52
ex-magento - 30
ex-doubleclick - 4
ex-google-bigquery - 3