Praca w domu - Dodatkowa Praca - Zarabianie przez Internet. Dołącz do Największego w Polsce forum o tematyce Zarabiania przez Internet. Praca w domu stała się bardzo popularna.

Ando · 06-05-2017 21:54

Cześć,
Szukam sposobu na wydobycie pewnych danych z wielu stron na raz. Na każdej stronie potrzebne dane są z tych samych wyrażeń XPATH. Używam HtmlAgilityPack.
Jakieś propozycje?
Dodam, że tych stron będzie koło 500 i baza będzie się zwiększać więc ręczne wpisywanie adresów odpada (odczytywanie adresów z pliku txt lub xls lub bezpośrednio z richTextBox'a będzie spoko).
Może jakieś wykonywanie skryptu w pętli ze zmianą adresu? Jak to zadeklarować?

~~xOceanFirex~~ · 06-05-2017 22:18

Tworzysz klase NetConnection

Kod:

using System;

using System.Net;

namespace pl.xxx

{

    class NetConnection : WebClient

    {

        private CookieContainer cookie = new CookieContainer();

        protected override WebRequest GetWebRequest(Uri address)

        {

            WebRequest request = base.GetWebRequest(address);

            if (request is HttpWebRequest)

            {

                (request as HttpWebRequest).CookieContainer = cookie;

                //(request as HttpWebRequest).AllowAutoRedirect = false;

            }

            return request;

        }

    }

}

Potem

Kod:

NetConnection connect = new NetConnection();

connect.DownloadString("adres");

coffee · 07-05-2017 15:41

(06-05-2017 22:18)xOceanFirex napisał(a): Tworzysz klase NetConnection

Kod:

using System; using System.Net; namespace pl.xxx { class NetConnection : WebClient { private CookieContainer cookie = new CookieContainer(); protected override WebRequest GetWebRequest(Uri address) { WebRequest request = base.GetWebRequest(address); if (request is HttpWebRequest) { (request as HttpWebRequest).CookieContainer = cookie; //(request as HttpWebRequest).AllowAutoRedirect = false; } return request; } } }

Potem

Kod:

NetConnection connect = new NetConnection(); connect.DownloadString("adres");

Przecież on nic nie pisał o tym, że ciasteczka muszą też być zaktualizowane..

To jest cały kod potrzebny do zrobienia tego, co zrobić chce autor. Jeśli faktycznie żeby scrapować musi być gdzieś zalogowany, lub aktualizować ciasteczka to można wykorzystać proste biblioteki np. RestSharp.

Kod:

HtmlWeb web = new HtmlWeb();

HtmlDocument doc = new HtmlDocument();

string[] urls = File.ReadAllLines("linki.txt");

string xPath = "//input[@type='foo']";

foreach (string url in urls) {

    try {

        doc = web.Load(url);

        File.AppendAllText($"results.txt", $"{url};{doc.DocumentNode.SelectSingleNode(xPath).GetAttributeValue("value","")}" + Environment.NewLine);

    }

    catch {

        File.AppendAllText($"results.txt", $"{url};ERROR" + Environment.NewLine);

    }

}

Kiedyś też wstawiałem na forum coś takiego:

(25-10-2016 14:17)coffee napisał(a):
W tym przypadku do każdego linku scrapuje 6 podobnych filmów.

~~xOceanFirex~~ · 07-05-2017 16:25

Lepiej było dodać mu z ciasteczkami, niż by miał pisać z prośbą o to.

TechByte · 08-05-2017 08:53

ma 500 stron i z każdej strony ma sobie skopiowac cookisy? xD

Sent from my SM-N7505 using Tapatalk

Ando · 08-05-2017 11:16

Dzięki wielkie wszystkim za pomoc.
coffee dzięki Tobie udało mi się napisać to co chciałem Smile

Podobne wątki
Wątek:		Autor	Odpowiedzi:	Wyświetleń:	Ostatni post
	Zarabianie na projektowaniu stron	artur1000	8	8,286	08-03-2019 18:54 Ostatni post: rachman
	Pomocy! c++	Grabek04	3	5,222	27-07-2018 10:25 Ostatni post: twardy
	[szukam] skrypt do tworzenia miniatur stron - screenów	rachman	2	6,480	15-10-2017 10:49 Ostatni post: surfer0700
	Tworzenie stron internetowych www - HTML 5, PHP, JavaScript	ray111	2	5,320	18-06-2017 20:57 Ostatni post: lakerr
	[Pomocy] Arduino html js	myself93	2	4,862	08-06-2017 07:15 Ostatni post: myself93

Tryb drzewa \| Tryb normalny [POMOCY] C# Scrapowanie z wielu stron jednocześnie
Autor	Wiadomość