Witaj gościu! Zaloguj się lub Zarejestruj aby móc korzystać ze wszystkich funkcjonalności jakie oferuje to forum! Rozpocznij zarabianie przez internet, poznaj korzysci pracy w domu! Rejestracja i korzystanie z forum jest całkowicie darmowe!
Wybierz Styl: Aktywuj czarny styl Aktywuj jasny styl Aktywuj mobilny styl
Forum o zarabianiu przez Internet !
praca w domu Witaj serdecznie forum o zarabianiu Zarabiam.com
forum o zarabianiu przez internet

Witaj! Nie bez powodu trafiłeś na największe w Polsce Forum o Zarabianiu przez internet! Tutaj gromadzimy pasjonatów zdobywania pieniędzy online i dajemy możliwość poznania tajników pracy w domu. Coraz więcej osób poszukuje sposobów na zarabianie w sieci, co sprawia, że praca w domu przez internet staje się atrakcyjnym źródłem dochodu. W dzisiejszych czasach, zarabianie online to nie tylko alternatywa, ale często również znakomita opcja do tradycyjnej pracy na etacie. Czy zastanawiasz się, jak łatwo zarobić pieniądze? Jeśli tak, to właściwe miejsce! Internet jest pełen możliwości, a my jesteśmy tutaj, aby Ci pomóc, dzieląc się wiedzą i doświadczeniami.

Rejestracja na naszym forum jest całkowicie darmowa i niesie ze sobą wiele korzyści:

  • Zakładaj nowe wątki i bierz udział w dyskusjach,
  • Odblokuj dostęp do czatu (Shoutbox),
  • Ogranicz liczbę wyświetlanych reklam,
  • Zdobywaj odznaczenia i reputację,
  • Zyskaj dostęp do ukrytych działów, tematów i linków,
  • Przeglądaj galerię zdjęć i filmów z wygranymi nagrodami,
  • Dostosuj swój prywatny profil,
  • Weź udział w konkursach organizowanych na forum,
  • Skorzystaj z doświadczenia społeczności zarabiającej online od lat,
  • Porównaj stopy procentowe na kontach oszczędnościowych,
  • Wykorzystaj merytoryczną wiedzę naszych użytkowników, by zarabianie w domu stało się łatwiejsze niż kiedykolwiek,
  • Dowiedz się, gdzie zdobyć darmowe upominki, gadżety i próbki.
  • Pamiętaj to nic nie kosztuje, zarabiam.com to darmowe forum internetowe w którym zasięgniesz informacji "jak zarabiać przez internet".
I co najważniejsze, wszystko to jest zupełnie za darmo! Zarabiam.com to internetowe forum, które udzieli Ci odpowiedzi na pytanie "jak zarabiać przez internet". Teraz praca w domu staje się możliwa! Zarejestruj się już teraz, a dowiesz się wszystkiego o zarabianiu przez internet!

praca w domu


Zapraszamy na Nasze Serwery Minecraft oraz Serwer Minecraft



Odpowiedz 
 
Ocena wątku:
  • 0 Głosów - 0 Średnio
  • 1
  • 2
  • 3
  • 4
  • 5
[POMOCY] C# Scrapowanie z wielu stron jednocześnie

Autor Wiadomość
Ando Offline
Stały Bywalec
*

Liczba postów: 766
Dołączył: Sep 2014
Reputacja: 317 +

Galeria Wygranych: Tutaj
Forum Gold: 767.00
Post: #1
[POMOCY] C# Scrapowanie z wielu stron jednocześnie
Sprawdź:
Cześć,
Szukam sposobu na wydobycie pewnych danych z wielu stron na raz. Na każdej stronie potrzebne dane są z tych samych wyrażeń XPATH. Używam HtmlAgilityPack.
Jakieś propozycje?
Dodam, że tych stron będzie koło 500 i baza będzie się zwiększać więc ręczne wpisywanie adresów odpada (odczytywanie adresów z pliku txt lub xls lub bezpośrednio z richTextBox'a będzie spoko).
Może jakieś wykonywanie skryptu w pętli ze zmianą adresu? Jak to zadeklarować?
(Ten post był ostatnio modyfikowany: 06-05-2017 21:55 przez Ando.)
06-05-2017 21:54
Znajdź wszystkie posty użytkownika Odpowiedz cytując ten post
Ania Online
Forumowy Maniak


Liczba postów: 1241
Dolaczyl: Jan 2012
Reputacja: 1712

Poziom ostrzezen: 0%
Forum Gold: 215.61 [Dotacja]

Warto sprawdzić:
xOceanFirex Offline
Banned
*

Liczba postów: 334
Dołączył: Nov 2011
Forum Gold: 0.00
Post: #2
RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie
Tworzysz klase NetConnection

Kod:
using System;
using System.Net;

namespace pl.xxx
{
    class NetConnection : WebClient
    {
        private CookieContainer cookie = new CookieContainer();

        protected override WebRequest GetWebRequest(Uri address)
        {
            WebRequest request = base.GetWebRequest(address);

            if (request is HttpWebRequest)
            {
                (request as HttpWebRequest).CookieContainer = cookie;
                //(request as HttpWebRequest).AllowAutoRedirect = false;
            }
            return request;
        }
    }
}

Potem

Kod:
NetConnection connect = new NetConnection();
connect.DownloadString("adres");
Glosy: Ando (+1)
06-05-2017 22:18
Znajdź wszystkie posty użytkownika Odpowiedz cytując ten post
coffee Offline
Bywalec
*

Liczba postów: 258
Dołączył: Jan 2016
Reputacja: 53 +

Forum Gold: 10.00
Post: #3
RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie
(06-05-2017 22:18)xOceanFirex napisał(a):  Tworzysz klase NetConnection

Kod:
using System;
using System.Net;

namespace pl.xxx
{
    class NetConnection : WebClient
    {
        private CookieContainer cookie = new CookieContainer();

        protected override WebRequest GetWebRequest(Uri address)
        {
            WebRequest request = base.GetWebRequest(address);

            if (request is HttpWebRequest)
            {
                (request as HttpWebRequest).CookieContainer = cookie;
                //(request as HttpWebRequest).AllowAutoRedirect = false;
            }
            return request;
        }
    }
}

Potem

Kod:
NetConnection connect = new NetConnection();
connect.DownloadString("adres");

Przecież on nic nie pisał o tym, że ciasteczka muszą też być zaktualizowane..

To jest cały kod potrzebny do zrobienia tego, co zrobić chce autor. Jeśli faktycznie żeby scrapować musi być gdzieś zalogowany, lub aktualizować ciasteczka to można wykorzystać proste biblioteki np. RestSharp.
Kod:
HtmlWeb web = new HtmlWeb();
HtmlDocument doc = new HtmlDocument();
string[] urls = File.ReadAllLines("linki.txt");
string xPath = "//input[@type='foo']";

foreach (string url in urls) {
    try {
        doc = web.Load(url);
        File.AppendAllText($"results.txt", $"{url};{doc.DocumentNode.SelectSingleNode(xPath).GetAttributeValue("value","")}" + Environment.NewLine);
    }
    catch {
        File.AppendAllText($"results.txt", $"{url};ERROR" + Environment.NewLine);
    }
}


Kiedyś też wstawiałem na forum coś takiego:
(25-10-2016 14:17)coffee napisał(a):  [Obrazek: b4849c827b.gif]
W tym przypadku do każdego linku scrapuje 6 podobnych filmów.

coffee, dumny członek http://zarabiam.com od Jan 2016.
(Ten post był ostatnio modyfikowany: 08-05-2017 11:35 przez coffee.)
Glosy: Ando (+1)
07-05-2017 15:41
Odwiedź stronę użytkownika Znajdź wszystkie posty użytkownika Odpowiedz cytując ten post
xOceanFirex Offline
Banned
*

Liczba postów: 334
Dołączył: Nov 2011
Forum Gold: 0.00
Post: #4
RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie
Lepiej było dodać mu z ciasteczkami, niż by miał pisać z prośbą o to.
Glosy: Ando (+1)
07-05-2017 16:25
Znajdź wszystkie posty użytkownika Odpowiedz cytując ten post
TechByte Offline
Stały Bywalec
*

Liczba postów: 533
Dołączył: Nov 2013
Reputacja: 167 +

Forum Gold: 31.00
Post: #5
RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie
ma 500 stron i z każdej strony ma sobie skopiowac cookisy? xD

Sent from my SM-N7505 using Tapatalk
Glosy: Ando (+1)
08-05-2017 08:53
Znajdź wszystkie posty użytkownika Odpowiedz cytując ten post
Ando Offline
Stały Bywalec
*

Liczba postów: 766
Dołączył: Sep 2014
Reputacja: 317 +

Galeria Wygranych: Tutaj
Forum Gold: 767.00
Post: #6
RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie
Dzięki wielkie wszystkim za pomoc.
coffee dzięki Tobie udało mi się napisać to co chciałem Smile
08-05-2017 11:16
Znajdź wszystkie posty użytkownika Odpowiedz cytując ten post
Odpowiedz 


Podobne wątki
Wątek: Autor Odpowiedzi: Wyświetleń: Ostatni post
  Zarabianie na projektowaniu stron artur1000 8 8,146 08-03-2019 18:54
Ostatni post: rachman
  Pomocy! c++ Grabek04 3 5,080 27-07-2018 10:25
Ostatni post: twardy
Question [szukam] skrypt do tworzenia miniatur stron - screenów rachman 2 6,362 15-10-2017 10:49
Ostatni post: surfer0700
  Tworzenie stron internetowych www - HTML 5, PHP, JavaScript ray111 2 5,112 18-06-2017 20:57
Ostatni post: lakerr
  [Pomocy] Arduino html js myself93 2 4,747 08-06-2017 07:15
Ostatni post: myself93

Skocz do:


Użytkownicy przeglądający ten wątek: