Tryb drzewa | Tryb normalny

Ando · 06-05-2017 21:54

Sprawdź:

Cześć,
Szukam sposobu na wydobycie pewnych danych z wielu stron na raz. Na każdej stronie potrzebne dane są z tych samych wyrażeń XPATH. Używam HtmlAgilityPack.
Jakieś propozycje?
Dodam, że tych stron będzie koło 500 i baza będzie się zwiększać więc ręczne wpisywanie adresów odpada (odczytywanie adresów z pliku txt lub xls lub bezpośrednio z richTextBox'a będzie spoko).
Może jakieś wykonywanie skryptu w pętli ze zmianą adresu? Jak to zadeklarować?

~~xOceanFirex~~ · 06-05-2017 22:18

Tworzysz klase NetConnection

Kod:

using System;

using System.Net;

namespace pl.xxx

{

    class NetConnection : WebClient

    {

        private CookieContainer cookie = new CookieContainer();

        protected override WebRequest GetWebRequest(Uri address)

        {

            WebRequest request = base.GetWebRequest(address);

            if (request is HttpWebRequest)

            {

                (request as HttpWebRequest).CookieContainer = cookie;

                //(request as HttpWebRequest).AllowAutoRedirect = false;

            }

            return request;

        }

    }

}

Potem

Kod:

NetConnection connect = new NetConnection();

connect.DownloadString("adres");

coffee · 07-05-2017 15:41

(06-05-2017 22:18)xOceanFirex napisał(a): Tworzysz klase NetConnection

Kod:

using System; using System.Net; namespace pl.xxx { class NetConnection : WebClient { private CookieContainer cookie = new CookieContainer(); protected override WebRequest GetWebRequest(Uri address) { WebRequest request = base.GetWebRequest(address); if (request is HttpWebRequest) { (request as HttpWebRequest).CookieContainer = cookie; //(request as HttpWebRequest).AllowAutoRedirect = false; } return request; } } }

Potem

Kod:

NetConnection connect = new NetConnection(); connect.DownloadString("adres");

Przecież on nic nie pisał o tym, że ciasteczka muszą też być zaktualizowane..

To jest cały kod potrzebny do zrobienia tego, co zrobić chce autor. Jeśli faktycznie żeby scrapować musi być gdzieś zalogowany, lub aktualizować ciasteczka to można wykorzystać proste biblioteki np. RestSharp.

Kod:

HtmlWeb web = new HtmlWeb();

HtmlDocument doc = new HtmlDocument();

string[] urls = File.ReadAllLines("linki.txt");

string xPath = "//input[@type='foo']";

foreach (string url in urls) {

    try {

        doc = web.Load(url);

        File.AppendAllText($"results.txt", $"{url};{doc.DocumentNode.SelectSingleNode(xPath).GetAttributeValue("value","")}" + Environment.NewLine);

    }

    catch {

        File.AppendAllText($"results.txt", $"{url};ERROR" + Environment.NewLine);

    }

}

Kiedyś też wstawiałem na forum coś takiego:

(25-10-2016 14:17)coffee napisał(a):
W tym przypadku do każdego linku scrapuje 6 podobnych filmów.

~~xOceanFirex~~ · 07-05-2017 16:25

Lepiej było dodać mu z ciasteczkami, niż by miał pisać z prośbą o to.

TechByte · 08-05-2017 08:53

ma 500 stron i z każdej strony ma sobie skopiowac cookisy? xD

Sent from my SM-N7505 using Tapatalk

Ando · 08-05-2017 11:16

Dzięki wielkie wszystkim za pomoc.
coffee dzięki Tobie udało mi się napisać to co chciałem Smile

~~xOceanFirex~~ Banned Liczba postów: 333 Dołączył: Nov 2011 Forum Gold: 0.00	Post: #2 RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie Tworzysz klase NetConnection Kod: using System; using System.Net; namespace pl.xxx { class NetConnection : WebClient { private CookieContainer cookie = new CookieContainer(); protected override WebRequest GetWebRequest(Uri address) { WebRequest request = base.GetWebRequest(address); if (request is HttpWebRequest) { (request as HttpWebRequest).CookieContainer = cookie; //(request as HttpWebRequest).AllowAutoRedirect = false; } return request; } } } Potem Kod: `NetConnection connect = new NetConnection(); connect.DownloadString("adres");`
Glosy:	Ando (+1)
06-05-2017 22:18

coffee Bywalec Liczba postów: 259 Dołączył: Jan 2016 Reputacja: 53 Forum Gold: 10.00	Post: #3 RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie (06-05-2017 22:18)xOceanFirex napisał(a): Tworzysz klase NetConnection Kod: using System; using System.Net; namespace pl.xxx { class NetConnection : WebClient { private CookieContainer cookie = new CookieContainer(); protected override WebRequest GetWebRequest(Uri address) { WebRequest request = base.GetWebRequest(address); if (request is HttpWebRequest) { (request as HttpWebRequest).CookieContainer = cookie; //(request as HttpWebRequest).AllowAutoRedirect = false; } return request; } } } Potem Kod: `NetConnection connect = new NetConnection(); connect.DownloadString("adres");` Przecież on nic nie pisał o tym, że ciasteczka muszą też być zaktualizowane.. To jest cały kod potrzebny do zrobienia tego, co zrobić chce autor. Jeśli faktycznie żeby scrapować musi być gdzieś zalogowany, lub aktualizować ciasteczka to można wykorzystać proste biblioteki np. RestSharp. Kod: HtmlWeb web = new HtmlWeb(); HtmlDocument doc = new HtmlDocument(); string[] urls = File.ReadAllLines("linki.txt"); string xPath = "//input[@type='foo']"; foreach (string url in urls) { try { doc = web.Load(url); File.AppendAllText($"results.txt", $"{url};{doc.DocumentNode.SelectSingleNode(xPath).GetAttributeValue("value","")}" + Environment.NewLine); } catch { File.AppendAllText($"results.txt", $"{url};ERROR" + Environment.NewLine); } } Kiedyś też wstawiałem na forum coś takiego: (25-10-2016 14:17)coffee napisał(a): W tym przypadku do każdego linku scrapuje 6 podobnych filmów. coffee, dumny członek http://zarabiam.com od Jan 2016. (Ten post był ostatnio modyfikowany: 08-05-2017 11:35 przez coffee.)
Glosy:	Ando (+1)
07-05-2017 15:41

~~xOceanFirex~~ Banned Liczba postów: 333 Dołączył: Nov 2011 Forum Gold: 0.00	Post: #4 RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie Lepiej było dodać mu z ciasteczkami, niż by miał pisać z prośbą o to.
Glosy:	Ando (+1)
07-05-2017 16:25

TechByte Stały Bywalec Liczba postów: 533 Dołączył: Nov 2013 Reputacja: 167 Forum Gold: 31.00	Post: #5 RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie ma 500 stron i z każdej strony ma sobie skopiowac cookisy? xD Sent from my SM-N7505 using Tapatalk
Glosy:	Ando (+1)
08-05-2017 08:53

Ando Stały Bywalec Liczba postów: 759 Dołączył: Sep 2014 Reputacja: 317 Galeria Wygranych: Tutaj Forum Gold: 767.00	Post: #6 RE: [POMOCY] C# Scrapowanie z wielu stron jednocześnie Dzięki wielkie wszystkim za pomoc. coffee dzięki Tobie udało mi się napisać to co chciałem
Glosy:
08-05-2017 11:16

Tryb drzewa \| Tryb normalny [POMOCY] C# Scrapowanie z wielu stron jednocześnie
Autor	Wiadomość

Podobne wątki
Wątek:		Autor	Odpowiedzi:	Wyświetleń:	Ostatni post
	Zarabianie na projektowaniu stron	artur1000	8	9,016	08-03-2019 18:54 Ostatni post: rachman
	Pomocy! c++	Grabek04	3	5,708	27-07-2018 10:25 Ostatni post: twardy
	[szukam] skrypt do tworzenia miniatur stron - screenów	rachman	2	6,903	15-10-2017 10:49 Ostatni post: surfer0700
	Tworzenie stron internetowych www - HTML 5, PHP, JavaScript	ray111	2	5,812	18-06-2017 20:57 Ostatni post: lakerr
	[Pomocy] Arduino html js	myself93	2	5,304	08-06-2017 07:15 Ostatni post: myself93