BÄSTA "webb-sugar-programmet"?

Well, du måste komma åt wikipedias MySQL-databas, sedan hela deras directory från webben, vilket är lättare sagt än gjort, troligen omöjligt också, då databasen är skyddad..

All artikeltext på sv.wikipedia.org är i komprimerat format endast 61,7 MiB och kan laddas ner från http://download.wikimedia.org/svwiki/20060302/ (välj filen pages-articles.xml.bz2).

[Mer info]

Vilka har du testat då så vi inte sitter här och ger samma tips.

...över detta men har inte testat.

http://www.maxprog.com/WebDumper.html

Jonny

File Juicer är annars galet bra - testa (i dess meny) Browser Cache...

http://www.macupdate.com/info.php/id/16101

Bara för det så behövde jag också suga hem en sida och tänkte därför testa mitt eget tips om webb-dumper.
Fick tyvärr samma fel som du, invalid adress.
Testade supportsidans tips om att reseta till factory settings och nu så startade dammsugaren...

Jonny

Häromdagen byggde jag en snutt Applescript som via Safari plockade hem ca 500 produktbeskrivningar från en av mina leverantöreras webbsiter och petade in dessa i en FileMaker Pro-databas. Sedan plockades vissa bitar ur källkoden för sidan ut och stoppades in i vissa fält (priser, lagersaldon mm). Coolt om jag får säga det själv.

Inte speciellt snabbt tyvärr. Kanske kan man göra det snabbare om man skippar Safari och använder URL Access direkt? Får fundera på det.

Att vidareutveckla detta borde gå för att göra det xtimmyx vill.

Men jag tror mera på att ladda hem en fil med hela innehållet och sedan processa den. Plockar man en sida i taget (säg 1-2 sekunder per sida), så talar vi om 88 timmar i alla fall, kanske lite länge att vänta.

Öh, wget eller curl kanske skulle fungera? Curl finns i din terminal och wget kan du få via t.ex. http://www.gnu.org/software/wget/

Å andra sidan så tror jag det är denna lilla fil som stoppar er. Ja robots.txt som definerar vad du får ta ner. Du kan å andra sidan gå förbi den men då bör du ha koll på vad du gör annars kan du få bannor.

# robots.txt for http://www.wikipedia.org/ and friends
#
# Please note: There are a lot of pages on this site, and there are
# some misbehaved spiders out there that go _way_ too fast. If you're
# irresponsible, your access to the site may be blocked.

.........
# Some bots are known to be trouble, particularly those designed to copy
# entire sites. Please obey robots.txt.
User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: Zealbot
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebStripper
Disallow: /

Alltså att göra detta över webb låter i mina öron som en dålig ide.

Det finns ju en XML-fil att ladda hem och ett verktyg som kan konvertera den till SQL för att stoppa in det hela i MySQL. Därifrån kan man hämta alt till tex text, html, FileMaker, Excel, Word eller vad man nu vill ha.

Hade jag tid så skulle jag göra det bara för att visa att det går, vore coolt med Wikipedia i en egen FM-databas.