Closed kacurez closed 5 years ago
Udělal jsem skriptik který vypíše všechny syrup komponenty a počet jejich použití za posledních 30 dní:
➜ syrup-check php check.php
Components usage in last 30 days
gooddata-writer - 47884
transformation - 20717
orchestrator - 19475
docker - 14082
pigeon - 4556
ex-google-drive - 4104
ex-db - 4044
wr-google-drive - 3882
restbox - 3211
ex-google-analytics - 3173
ag-geocoding - 1072
ex-salesforce - 994
ex-twitter - 500
ex-gooddata - 426
ex-fb-ads - 410
ex-facebook - 372
wr-db - 309
table-importer - 289
ex-zendesk - 281
shinyapps - 202
ex-youtube - 163
rt-lucky-guess - 141
ex-generic - 120
ex-adwords - 71
ex-magento - 60
ex-doubleclick - 48
ex-getstat - 43
ag-forecastio - 34
ex-instagram - 30
ex-appannie - 27
ex-linkdex - 0
ex-mandrill - 0
ex-sklik - 0
ex-currency - 0
ex-elasticsearch - 0
ex-marketo - 0
ex-telfa - 0
ex-google-bigquery - 0
rt-split - 0
wr-elasticsearch - 0
Vynechává to synchronní věci jako provisioning
apod. Vše kromě transformací, gooddata-writer, docker a queue by mělo zmizet.
ex-instagram a ex-appannie jsou taky na vypnuti, mel je v projektu jen kachna
ex-generic
Tyhle byly skryté, nikdo je nepoužíval, jdu je teď odstranit z provisioningu syrupu:
Komponenty výše odstraněny ze syrupu i connection. Aktuálně to vypadá:
Components usage in last 30 days
gooddata-writer - 47979
transformation - 20725
orchestrator - 19489
docker - 14114
pigeon - 4549
ex-google-drive - 4099
ex-db - 4043
wr-google-drive - 3891
restbox - 3205
ex-google-analytics - 3173
ag-geocoding - 1078
ex-salesforce - 997
ex-twitter - 499
ex-gooddata - 425
ex-fb-ads - 405
ex-facebook - 372
wr-db - 313
table-importer - 286
ex-zendesk - 281
shinyapps - 202
ex-youtube - 163
rt-lucky-guess - 140
ex-generic - 120
ex-adwords - 71
ex-magento - 60
ex-doubleclick - 48
ex-getstat - 43
ag-forecastio - 34
ex-instagram - 30
ex-appannie - 27
ex-mandrill - 0
ex-google-bigquery - 0
ex-salesforce a ex-facebook mám v productboardu, zkusil bych je nejdřív pomocí genericu a pak teprv jako samostatný komponenty
jo tehle postup plati pro vsechno:) Super ale je ze docker v poctu jobu uz je na 4. miste ...
aha shit som zabudol ze syrup ma tiez index :), nedala by sa ta statistika(Components usage in last 30 days ) vytiahnut tiez z shared konfigu?
jo dala
jenom tam chybi ten seznam co je v syrupu https://syrup.keboola.com/ ale ten by vlastne asi sel stahnout genericem:)
to jsem vlastne jednou uz zkousel a ten format neni uplne idealni protoze to zalozi jeden radek a pro kazdou komponentu jeden sloupec, protoze to neni pole
stáhnout jako string a zpracovat ve snowflake :-)
upravil som ten zoznam vyssie podla Martinovho, btw som zistil ze ex-facebook-ads/ex-fb-ads su rozdielne id na connection/syrup indexu.
Orchestrator a Luckyguess chceme taky prepisovat do dockeru?
jo nektery extraktory jsou takhle blbe zaregistrovany, pak u nich v jobech nevidis jmeno apod.
@odinuv zatim asi ne, na ty jsem zapomnel
do luckyguessu teda vubec nevidim tak nevim jestli potrebuje byt jako komponenta nebo by bezel v dockeru
Smazano:
LG pouziva primy pristup k Redshiftu, takze ani moc nevim jak to do dockeru strcit
Aktualne:
Components usage in last 30 days
gooddata-writer - 33785
transformation - 19840
docker - 18895
orchestrator - 15806
wr-google-drive - 4524
pigeon - 4458
ex-google-drive - 3952
restbox - 3387
ex-google-analytics - 3081
ex-db - 1640
ex-salesforce - 887
ex-zendesk - 803
ex-gooddata - 443
ex-fb-ads - 414
table-importer - 264
wr-db - 245
ex-facebook - 243
ex-youtube - 222
ex-twitter - 178
ag-forecastio - 76
ex-getstat - 52
rt-lucky-guess - 49
ag-geocoding - 36
shinyapps - 33
ex-magento - 30
ex-doubleclick - 7
ex-google-bigquery - 3
pro ex-db
bude chtit nove nejak zaprudit z migraci, nebo rict termin kdy to zmigrujeme automaticky.
Update:
Components usage in last 30 days
gooddata-writer - 31572
transformation - 18884
docker - 17473
orchestrator - 14444
pigeon - 4489
ex-google-drive - 3924
restbox - 3627
wr-google-drive - 3178
ex-google-analytics - 3039
ex-db - 1381
ex-salesforce - 609
ex-zendesk - 545
ex-fb-ads - 508
ex-gooddata - 469
wr-db - 272
table-importer - 264
ex-facebook - 254
ex-youtube - 237
ex-twitter - 135
ag-forecastio - 74
ag-geocoding - 58
rt-lucky-guess - 57
ex-getstat - 53
shinyapps - 52
ex-magento - 30
ex-doubleclick - 4
ex-google-bigquery - 3
Tady je transformace která vyplivne používání legacy komponent https://connection.keboola.com/admin/projects/258/transformations/bucket/301257118/transformation/301257187
Tři projekty používají stále starý importer který měl být vypnutý v prosinci 2016. http://status.keboola.com/new-storage-api-importer Přemýšlím jestli jim ještě zkusit dát vědět nebo to prostě vypnout?
jsem myslel, ze jsme vsem poslali tickety pres zendesk?
to byl synchronní export https://github.com/keboola/connection/issues/911#issuecomment-328489287 :) tohle jej ještě starší věc. Posílám jim to ted taky přes zendesk.
jo importer, uz to vidim, jsem taky mimo
Připravena čistka nepoužívaných deprecated syrup komponent, zítra nahodím:
Odstraněny komponenty:
Getstat + Magento https://keboolaglobal.slack.com/archives/C5CDKU5DK/p1505812750000071
Náš legacy Salesforce deprecated a nabízíme už jenom nový od HTNS:
Magento taky tady https://keboola.zendesk.com/agent/tickets/7274
ex-gooddata se porad nabizi jako novy
ex-gooddata skrytý.
Magento které nabízíme je stará verze jedna, z nabídky jsem ho skryl. Extraktor pro aktuální verzi 2 připravuje Leo. Staré Magento zatím musíme nechat běžet.
getstats API jsem nalinkoval tady https://github.com/keboola/getstat-extractor-bundle/tree/master uz umi json tak by mozna mohlo jit genericem, hodil jsem to vokurkovi.
Forecast.io se řeší tady https://keboola.productboard.com/feature-board/6271-planning/features/41744
Youtube - reporting ex https://github.com/blueskydigital/keboola-ex-youtube-reporting umi jenom neco. Stary pracuje s Data a Analytics API - bude potreba teda udelat novy.
Používání deprecated komponent po projektech https://keboola.looker.com/dashboards/5?Date=14%20days&Project%20ID=&filter_config=%7B%22Date%22:%5B%7B%22type%22:%22past%22,%22values%22:%5B%7B%22constant%22:%2214%22,%22unit%22:%22day%22%7D%5D,%22id%22:2%7D%5D,%22Project%20ID%22:%5B%7B%22type%22:%22%3D%22,%22values%22:%5B%7B%22constant%22:%22%22%7D,%7B%7D%5D,%22id%22:5%7D%5D%7D
Jde to ofiltrovat i na komponentu:
wr-db je ready na smazani, je v poslednim projektu kde od 29.8 konci chybou smaszane sys tabulky https://keboola.slack.com/archives/C02CGK5CL/p1505899383000296
Ještě jsem narazil že Tableau writer pracuje ze starým google drive deprecate writerem!
table-importer
s největší pravděpodobností používá jenom pigeon, nedá se to ale moc ověřit. První bude teda potřeba zmigrovat pigeon a pak se uvidí jestli něco zbyde nebo ne.
Starý ouath
používají:
ex-adwords-v2
- jedno spuštění za poslední měsíc. Vypadá to že stejně používal už oauth-v2
https://github.com/keboola/adwords-extractor/blob/2.4.3/src/run.phpex-dropbox
- komponenta je skrytá, používá ji jeden projekt a pro běh oauth nepotřebuje. UI to ale zřejmě tahá - měli by zmigrovat.keboola.wr-vizable
- prevlečenej wr-dropbox
, nikdo nepoužívá ale nabízíme to. Byl nefunkční vyhodil jsem ho.wr-dropbox
- používá jenom jeden projekt (976), je to ale už v dockeru a udělat novou verzi z oauth-2 a migrací by neměl být problém https://github.com/keboola/dropbox-writer
Tady je soupis všech syrup komponent a co je s nima potřeba udělat.
Deprecated komponent s novou docker runner verzí
U tehle komponent jenom stačí dotlačit uživatele k migraci a jakmile je nikdo nebude používat můžou se smazat.
Nemají zatím náhradu
Staré komponenty které pořád nabízíme a je možné je založit. Je potřeba vyřešit co s nima. Bud je zkusit nahodit genericem, naimplementovat znovu pro docker runner nebo je uplne zavrhnout.
Aktuální používání extractorů je vidět tady https://keboola.looker.com/dashboards/5
Speciální komponenty které by měly zmizet
[x] table-importer - s největší pravděpodobností používá jenom pigeon, nedá se to ale moc ověřit. První bude teda potřeba zmigrovat pigeon a pak se uvidí jestli něco zbyde nebo ne.
[x] oauth - zmigrovat komponenty které ho používají a pak se může vyhodit
[x] timeout - vyhodíme, postará se o to @ErikZigo
Komponenty které zatím necháme tak jak jsou
Co s nima dál je nastřeleno tady https://github.com/keboola/connection/wiki/Infrastructure-&-Architecture-Roadmap#komponenty-docker-runner--syrup