+- Praca w domu - Dodatkowa Praca - Zarabianie przez Internet (https://zarabiam.com)
+-- Dział: Off-Topic (/Forum-Off-Topic-9)
+--- Dział: Programowanie (/Forum-Programowanie-364)
+--- Wątek: Scrapowanie elementów strony (/Temat-Scrapowanie-elementow-strony-139565)
Scrapowanie elementów strony - radek0389 - 20-10-2016 12:02
Witajcie, ktoś może podpowiedzieć/nakierować na narzędzie/rozwiązanie/skrypt, dzięki którym będę mógł scrapować elementy strony, linki, które nie są "widoczne" w źródle strony, czyli wyświetlają się w przeglądarce po wywołaniu skryptu np. javascript.
Chciałbym aby zescrapowane linki zapisywały się do pliku.
Ps. jeśli ktoś podpowie, rozwiąże mój problem, możemy się dogadać za określoną zapłatę
.
RE: Scrapowanie elementów strony - coffee - 23-10-2016 20:12
Słowa kluczowe:
Parsowanie HTML
HtmlAgilityPack
xPath
Napisz co potrzebujesz zrobić a zrobię to za darmo
RE: Scrapowanie elementów strony - flown - 24-10-2016 18:04
Python + scrapy
https://scrapy.org/
RE: Scrapowanie elementów strony - coffee - 25-10-2016 14:17
Aż znudów napisałem sobie prosty scraper:
![[Obrazek: b4849c827b.gif]](https://puu.sh/rV386/b4849c827b.gif)
W tym przypadku do każdego linku scrapuje 6 podobnych filmów.
RE: Scrapowanie elementów strony - lyczkul - 25-10-2016 20:56
Czy przypadkiem Chrome nie ma wtyczki Web Scraper ?
RE: Scrapowanie elementów strony - radek0389 - 26-10-2016 18:48
Nie chodzi mi o żadne wtyczki do przeglądarek czy inne programy deskoptowe, potrzebuję aby skrypt działał na stronie, podczas wejścia na witrynę w tle scrapował określone elementy, które są generowane dynamicznie poprzez skrypt javascript i zapisywał je do pliku txt tymczasowego znajdującego się na serwerze.
Postawię w najbliższych dniach stronę i podeślę użytkownikom zainteresowanym pomocą czy dadzą radę ogarnąć temat, jak tak, to się dogadamy
.