Wybierz Styl:
Forum o zarabianiu przez Internet !
Witaj serdecznie forum o zarabianiu Zarabiam.com

Witaj, nie przypadkiem odwiedziłeś największe w Polsce Forum o Zarabianiu przez internet! Jednoczymy ludzi pragnących zarabiać przez internet, nauczysz się tutaj czym jest praca w domu. Wielu ludzi, zwłaszcza młodego pokolenia, poszukuje źródła zarobku w sieci. Dlatego też praca w domu przez internet może się okazać bardzo dobrym i wygodnym źródłem dochodu. W czasach, gdy trudno jest o jakąkolwiek pracę nawet dla ludzi z wyższym wykształceniem, zarabianie przez internet stało się poważną alternatywą. Z tego też powodu praca przez internet staje się coraz większą częścią rynku, dlatego też każdy, kto zastanawia się jak łatwo zarobić pieniądze, jest w tym przypadku niejako automatycznie nakierowywany na poszukiwanie w sieci, gdzie wyciągamy pomocną dłoń.

Zarejestruj się bezpłatnie na forum dyskusyjnym! Oto niektóre z przywilejów:

  • Zakładaj nowe wątki oraz aktywnie w nich uczestnicz,
  • Odblokuj możliwość pisania na Shoutboxie (czat),
  • Ogranicz ilość wyświetlanych reklam,
  • Zdobywaj odznaczenia oraz reputacje,
  • Odblokuj dostęp do ukrytych działów, tematów i linków,
  • Uzyskaj dostęp do galerii zdjęć i filmów z wygranymi nagrodami,
  • Spersonalizuj swój prywatny profil,
  • Uczestnicz w forumowych konkursach,
  • Zdobądź doświadczenie w zarabianiu przez internet - pomoże Ci w tym społeczność zarabiająca w sieci od lat,
  • Porównaj stopy procentowe na kontach oszczędnościowych, dowiesz się więcej o ePłatnościach,
  • Wykorzystaj wiedzę merytoryczną zawartą w tematach Naszych użytkowników, aby zarabianie w domu stało się nadzwyczajnie proste,
  • Korzystaj z darmowej pomocy prawnej,
  • Dowiedz się gdzie otrzymasz darmowe upominki, gadżety oraz próbki.
  • Pamiętaj to nic nie kosztuje, zarabiam.com to darmowe forum internetowe w którym zasięgniesz informacji "jak zarabiać przez internet".
Praca w domu? Teraz to możliwe! Zarejestruj się, a dowiesz się na czym polega zarabianie przez internet!



Zapraszamy na Nasze Serwery Minecraft oraz Serwer Minecraft


Odpowiedz 
 
Ocena wątku:
  • 0 Głosów - 0 Średnio
  • 1
  • 2
  • 3
  • 4
  • 5
[POMOCY] C# Scrapowanie z wielu stron jednocześnie
Autor Wiadomość
Ando Offline
Stały Bywalec
*

Liczba postów: 703
Dołączył: Sep 2014
Reputacja: 303 +

Galeria Wygranych: Tutaj
Forum Gold: 227.00
Post: #1
[POMOCY] C# Scrapowanie z wielu stron jednocześnie
Cześć,
Szukam sposobu na wydobycie pewnych danych z wielu stron na raz. Na każdej stronie potrzebne dane są z tych samych wyrażeń XPATH. Używam HtmlAgilityPack.
Jakieś propozycje?
Dodam, że tych stron będzie koło 500 i baza będzie się zwiększać więc ręczne wpisywanie adresów odpada (odczytywanie adresów z pliku txt lub xls lub bezpośrednio z richTextBox'a będzie spoko).
Może jakieś wykonywanie skryptu w pętli ze zmianą adresu? Jak to zadeklarować?

.
(Ten post był ostatnio modyfikowany: 05-06-2017 21:55 przez Ando.)
05-06-2017 21:54
Znajdź wszystkie posty użytkownika Odpowiedz cytując ten post
Ania Online
Forumowy Maniak


Liczba postów: 1241
Dolaczyl: Jan 2012
Reputacja: 1712

Poziom ostrzezen: 0%
Forum Gold: 215.61 [Dotacja]

A ja polecam sprawdzić:
xOceanFirex Offline
Bywalec
*

Liczba postów: 337
Dołączył: Nov 2011
Reputacja: 172 +

Forum Gold: 60.00
Post: #2
RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie
Tworzysz klase NetConnection

Kod:
using System;
using System.Net;

namespace pl.kmagdziarz
{
    class NetConnection : WebClient
    {
        private CookieContainer cookie = new CookieContainer();

        protected override WebRequest GetWebRequest(Uri address)
        {
            WebRequest request = base.GetWebRequest(address);

            if (request is HttpWebRequest)
            {
                (request as HttpWebRequest).CookieContainer = cookie;
                //(request as HttpWebRequest).AllowAutoRedirect = false;
            }
            return request;
        }
    }
}

Potem

Kod:
NetConnection connect = new NetConnection();
connect.DownloadString("adres");

O mnie

Kup Linki
Glosy: Ando (+1)
05-06-2017 22:18
Znajdź wszystkie posty użytkownika Odpowiedz cytując ten post
coffee Offline
Aktywny
*

Liczba postów: 235
Dołączył: Jan 2016
Reputacja: 52 +

Forum Gold: 10.00
Post: #3
RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie
(05-06-2017 22:18)xOceanFirex napisał(a):  Tworzysz klase NetConnection

Kod:
using System;
using System.Net;

namespace pl.kmagdziarz
{
    class NetConnection : WebClient
    {
        private CookieContainer cookie = new CookieContainer();

        protected override WebRequest GetWebRequest(Uri address)
        {
            WebRequest request = base.GetWebRequest(address);

            if (request is HttpWebRequest)
            {
                (request as HttpWebRequest).CookieContainer = cookie;
                //(request as HttpWebRequest).AllowAutoRedirect = false;
            }
            return request;
        }
    }
}

Potem

Kod:
NetConnection connect = new NetConnection();
connect.DownloadString("adres");

Przecież on nic nie pisał o tym, że ciasteczka muszą też być zaktualizowane..

To jest cały kod potrzebny do zrobienia tego, co zrobić chce autor. Jeśli faktycznie żeby scrapować musi być gdzieś zalogowany, lub aktualizować ciasteczka to można wykorzystać proste biblioteki np. RestSharp.
Kod:
HtmlWeb web = new HtmlWeb();
HtmlDocument doc = new HtmlDocument();
string[] urls = File.ReadAllLines("linki.txt");
string xPath = "//input[@type='foo']";

foreach (string url in urls) {
    try {
        doc = web.Load(url);
        File.AppendAllText($"results.txt", $"{url};{doc.DocumentNode.SelectSingleNode(xPath).GetAttributeValue("value","")}" + Environment.NewLine);
    }
    catch {
        File.AppendAllText($"results.txt", $"{url};ERROR" + Environment.NewLine);
    }
}


Kiedyś też wstawiałem na forum coś takiego:
(10-25-2016 14:17)coffee napisał(a):  [Obrazek: b4849c827b.gif]
W tym przypadku do każdego linku scrapuje 6 podobnych filmów.

coffee, dumny członek http://zarabiam.com od Jan 2016.
(Ten post był ostatnio modyfikowany: 05-08-2017 11:35 przez coffee.)
Glosy: Ando (+1)
05-07-2017 15:41
Odwiedź stronę użytkownika Znajdź wszystkie posty użytkownika Odpowiedz cytując ten post
xOceanFirex Offline
Bywalec
*

Liczba postów: 337
Dołączył: Nov 2011
Reputacja: 172 +

Forum Gold: 60.00
Post: #4
RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie
Lepiej było dodać mu z ciasteczkami, niż by miał pisać z prośbą o to.

O mnie

Kup Linki
Glosy: Ando (+1)
05-07-2017 16:25
Znajdź wszystkie posty użytkownika Odpowiedz cytując ten post
TechByte Offline
Stały Bywalec
*

Liczba postów: 533
Dołączył: Nov 2013
Reputacja: 167 +

Forum Gold: 31.00
Post: #5
RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie
ma 500 stron i z każdej strony ma sobie skopiowac cookisy? xD

Sent from my SM-N7505 using Tapatalk

[Obrazek: hizWg3C.png]
Glosy: Ando (+1)
05-08-2017 08:53
Znajdź wszystkie posty użytkownika Odpowiedz cytując ten post
Ando Offline
Stały Bywalec
*

Liczba postów: 703
Dołączył: Sep 2014
Reputacja: 303 +

Galeria Wygranych: Tutaj
Forum Gold: 227.00
Post: #6
RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie
Dzięki wielkie wszystkim za pomoc.
coffee dzięki Tobie udało mi się napisać to co chciałem Smile

.
05-08-2017 11:16
Znajdź wszystkie posty użytkownika Odpowiedz cytując ten post
Odpowiedz 


Podobne wątki
Wątek: Autor Odpowiedzi: Wyświetleń: Ostatni post
Question [szukam] skrypt do tworzenia miniatur stron - screenów rachman 2 418 10-15-2017 10:49
Ostatni post: surfer0700
  Tworzenie stron internetowych www - HTML 5, PHP, JavaScript ray111 2 456 06-18-2017 20:57
Ostatni post: lakerr
  [Pomocy] Arduino html js myself93 2 477 06-08-2017 07:15
Ostatni post: myself93
  Projekty graficzne stron przeCinek19 5 559 05-10-2017 15:51
Ostatni post: suchy07
  Scrapowanie elementów strony radek0389 5 1,164 10-26-2016 18:48
Ostatni post: radek0389

Skocz do:


Użytkownicy przeglądający ten wątek:



This forum uses Lukasz Tkacz MyBB addons.