+- Praca w domu - Dodatkowa Praca - Zarabianie przez Internet (https://zarabiam.com)
+-- Dział: Zarabianie przez Internet (/Forum-Zarabianie-przez-Internet-33)
+--- Dział: Dyskusja o Zarabianiu (/Forum-Dyskusja-o-Zarabianiu-248)
+--- Wątek: Niezwykłe wyzwanie związane ze stroną www (/Temat-Niezwykle-wyzwanie-zwiazane-ze-strona-www-151989)
Niezwykłe wyzwanie związane ze stroną www - danielek654 - 01-11-2017 22:14
Witam
Mam takie pytanko, chodzi mi o serwis chomikuj. Czy istnieje możliwość znalezienia tylko i wyłącznie plików które mają komentarz? Teoretycznie powinno to być możliwe jednak ja i mój kolega dość zdolny informatyk nie umiemy wyszukać tylko takich plików. Każdy komu uda się odnaleźć takie posty, może liczyć ode mnie na reputa a nawet wynagrodzenie $$. Także do dzieła, bo ja już się chyba poddaję...
RE: Niezwykłe wyzwanie związane ze stroną www - Liromir - 02-11-2017 00:36
Może szukać po klasie ?
<p class="comment fileCommentsAction">
<a href="#" rel="nofollow" title="2 komentarze"><span class="bold">2</span> komentarze</a></p>
RE: Niezwykłe wyzwanie związane ze stroną www - PawelC - 02-11-2017 08:24
I o jakie wyszukiwanie chodzi ? Szukanie szukajką ? Czy Przejscie po wynikach wyszukiwania (wejsce na kazdy plik i sprawdzenie komenta) ?
W drugim przypadku pomysł liromira i prosty crawler sie sprawdzi jak najbardziej . W Pierwszej będzie to raczej nie możliwe.
RE: Niezwykłe wyzwanie związane ze stroną www - danielek654 - 02-11-2017 15:09
Jest mi to w sumie obojętne chce tylko znaleźć pliki z komentarzami, lub takie które są często przeglądane. Jak dokładnie działa sposób liromira jeśli mogę spytać?
RE: Niezwykłe wyzwanie związane ze stroną www - PawelC - 02-11-2017 19:50
Piszesz crawler który wejdzie na strone i sprawdzi ci w kodzie html ile masz komentarzy lub wejść (o ile gdzies cos takiego jest ).
Wszystko jest robione na selektorach .
Do crawlera można użyć wielu rzeczy . Zwykły curl i parser dokumentów DOM o ile komentarze nie są doładowywane dynamicznie.
Jest kilka bibliotek w wielu językach które to wspiera.
RE: Niezwykłe wyzwanie związane ze stroną www - sebau - 03-11-2017 08:36
curl bylby najszybszy ale jak nie czujesz sie w programowaniu, to mozesz zzrobic bota w zennoposter. Który sprawdzi wszystkie strony i wyciagnie te gdzie masz komentarz. Działąlby jenak wolniej niż prosty crawler z wyciągnięciem zrodla i szukaniem regexpem.
RE: Niezwykłe wyzwanie związane ze stroną www - smagalaz - 03-11-2017 09:57
Mi w tej chwili przychodzi do głowy taki pomysł:
Przeskanować chomikuj jednym z dodatków do Scrapeboxa (jest taki, ale wyleciał mi z głowy - jak chcesz wiedzieć to pisz priv i Ci za 4 godziny wyślę), później Page Scannerem określić poszukiwane frazy (np. "1 komentarz", 2 komentarze itd) i jak fraza będzie znajdować się na stronie, to Page Scanner da Ci o tym znać. Używam takiego rozwiązania do trochę innego celu.
RE: Niezwykłe wyzwanie związane ze stroną www - cezar78 - 03-11-2017 21:43
To przecież proste jak drut jeśli masz scrapeboxa, zbierasz nim listę plikow z google w ten sposób:
twoje słowo kluczowe "5 komentarzy" site:chomikuj.pl
twoje słowo kluczowe "6 komentarzy" site:chomikuj.pl
twoje słowo kluczowe "7 komentarzy" site:chomikuj.pl
i tak dalej. Najlepiej użyć do tego w scrapeboxie wyszukiwarki google 24h lub google week żeby otrzymac linki do plików ostatnio dodanych z duża ilością komentarzy czyli po prostu popularnych
Jeśli twój kolega informatyk nie umie programować to pozostaje ci wydać te 47$ na scrapeboxa, który przyda się i tak pózniej do miliona innych rzeczy, bo to zaje..sty program
RE: Niezwykłe wyzwanie związane ze stroną www - smagalaz - 04-11-2017 08:27
@up Tak też można - moje rozwiązanie jest bardziej czasochłonne, ale nie wymaga proxy
