Efekt weekendowego harvestowania blogów – Gscrapler

Tym razem coś na temat dotyczący harvestowania nowych blogów do Scrapebox-a. Postanowiłem zrobić test i odpalić harvestowanie blogów na cały weekend aby sprawdzić jaką ilość blogów jestem w stanie wyharverstować przez cały ten okres.

Do tego zabiegu użyłem serwera najtańszego serwera VPS z Windows na V-Net.pro oraz GScraplera za 49zł/mc.
Do harvestowania użyłem oko 180 adresów publicznych proxy odpytujących Google pobranych z forum BHW natomiast co do footprintów to użyłem najpopularniejszych głównie angielskich footprintów.

Projekt został odpalony w piątek ok godziny 15.30 natomiast efekt widoczny poniżej jest z poniedziałku z godziny 11.

Przez weekend udało się wyharvestować ponad 26 i pół miliona blogów co jak mi się wydaje jest dobrym rezultatem biorąc pod uwagę to iż publiczne proxy nie zawsze są tak efektywne jak prywatne.

Opinie na temat szybkości pozostawiam Wam. natomiast poniżej przedstawiam screen z harvestowania.:

Aktualizacja. 12 maj 2014

Na liście już mieści się 31 milionów 300k linków.  Plik ma ponad 4GB. Niestety nie jestem z niego usunąć duplikatów gdyż GScrapler nie otworzu tak dużego pliku natomiast Scrapebox tym bardziej. Pobrałem więc dodatkowy program do dzielenia plików na mniejsze. Znajdziecie go tutaj a wygląda on następująco:

Podzieliłem więc sobie wyharwestowaną listę blogów 4GB na 8 mniejszych list gdzie każda ważyła 514 MB.