Bot zakupowy - realizacja

[marcinlawnik]

1. Poszukać działających programów/stron które to robią.
2. Sporządzić listę stron z których będziemy sprawdzać (wstępna lista, modułowa architektura)
3. W jaki sposób informacja trafia do użytkownika (mail/messenger/powiadomienia na telefon/coś innego)? (android notifications chrome/messenger bot)
4. Autentykacja maili, SPF, DKIM, spam testing.
5. Biblioteki do web scrapingu
6. Czy strona ma API?

[marcinlawnik]

7. Propozycje języków i frameworków
   • Java i Spring
   • PHP i Laravel
   • Python i Django
   • Python i Flask
   • Ruby on Rails
   • node.js (frameworki?)
   • Golang (frameworki? https://github.com/avelino/awesome-go#web-frameworks)

[tobiaszciesielski]

Bardzo fajny pomysł na historię cenową produktu który szukamy. I ogólnie dashboard

---

API:

• ceneo ma płate api :/
• google shopping api
• amazon api
• shopify?

• best ecommerce api's To wszystko poza granicami naszego pięknego kraju więc uważam, że jak celujemy w PLNy to w webscraping mocno.

  Artykuły:

• Ultimate Guide to Build a Competitor Price Monitor Dashboard
• Web scrapping using Python - Amazon price tracker

• Web scraping guide & Best Practices & frameworks

  Tech stack

Google podpowiada, że python :D Tutaj biblioteki do węża scrapinghub i tutaj też gimmemore

Na razie to tyle, jak będę miał czas to podłubie coś więcej a co do powiadomień to myślę, że chatbot na messengerze albo mail z powiadomieniem. No a na tym "Autentykacja maili, SPF, DKIM, spam testing." to się nie znam więc się nie wypowiem :/

[dawids21]

API:

• API skąpiec (podobne do ceneo), bezpłatne, wymaga przystąpienia do programu partnerskiego i umieszczenia reklamy

Technologia: Co do języka to według mnie web scraperów w Pythonie powstało już bardzo dużo (tona poradników na googlu, wielu z nas i tak uczy się pythona na studiach) i wydaje mi się, że ciekawym wyborem mogłoby okazać się Go, które jest bardzo szybkie, jest częstym wyborem przy coraz popularniejszym cloud computingu. Moglibyśmy np. napisać web scraper w Go, odpalać ten program co jakiś czas, zbierać wyniki w bazie danych i korzystając z zupełnie innej technologii wizualizować dane o produkcie. Pozwoliło by to liznąć zarówno trochę backendu jak i frontendu

• Przykład tworzenia web scrapera zarówno w Pythonie jak i w Go
• Biblioteka do web scrapingu w Go
• Porównanie Go i Pythona
• Golang i Colly
• Kolejny przykład Golang i Colly

Powiadomienia:

• Powiadomienia messenger/telegram - wystarczą proste zapytania HTTP, w ten sam sposób obsługujemy komputery i urządzenia mobilne, pozwala umieszczać linki i wysłać więcej informacji niż jest w stanie zmieścić się w zwykłym powiadomieniu
• Firebase Cloud Messaging - pozwala wysyłać powiadomienia korzystając z funkcji przeglądarki (działa na PC, Androidzie, iOs), powiadomienie mogłoby kierować na stronę z ładnym dashboardem pokazującym informacje o produkcie, sam Firebase wydaje się ciekawym narzędziem i dobrze by było je trochę poznać - przykład 1, przykład 2
• Web push notifications - ciekawy post z wieloma linkami dotyczący powiadomień wysyłanych do przeglądarki.
• Email - według mnie rozwiązanie wymagające zbyt dużo zachodu, łatwiej jest wysłać wiadomość na messengerze, gdzie nie trzeba martwić się o wylądowanie w spamie.

[tobiaszciesielski]

Może się na PWA z SSR ?

• https://stackoverflow.com/questions/50600448/how-does-ssr-go-with-pwa
• https://medium.com/@baphemot/whats-server-side-rendering-and-do-i-need-it-cb42dc059b38
• https://auroracreation.pl/blog/co-to-pwa-i-jak-dziala/
• https://kiwilab.pl/pwa-w-praktyce/

Moim zdaniem to może być ciekawe doświadczenie. Do frontendu sugeruję Reacta. https://medium.com/better-programming/build-a-realtime-pwa-with-react-99e7b0fd3270

Golang i firebase bardzo spoko. Jestem za.