Script som laster ned meldingene dine på terrengsykkelforumet

[ventle]

Hepp,

Nå som gammelforumet nærmer seg stengetid er det kanskje flere som kunne tenkt seg å laste ned alle personlige meldinger man har sendt og mottatt i årenes løp. For de av oss som har noen hundre meldinger er det ganske tidkrevende, så jeg har laget et python-script som gjør det automatisk.

Scriptet krever bittelitt teknisk kunnskap, men ikke mye, og jeg har prøvd etter beste evne å beskrive prosessen i Readme-filen. Siden det er kort tid til forumet stenger så har jeg sluppet koden selv om den ikke er omfattende testet, men den fungerer i hvertfall på macOS 10.14, macOS 12.3 og Ubuntu 22.04. Skal prøve å få testet den på Windows snarest.

Skriv gjerne her i tråden om du ikke får det til å fungere (etter å ha fulgt Readme-filen til punkt og prikke). Ingen spørsmål er for dumme 🙂

Scriptet finnes her: https://github.com/helgelangen/ts_inbox_downloader
Om du har git på pc'en er det enkleste å bare klone repoet (husk å oppdatere submoduler). Har du ikke git kan du trykke på "Release 0.1" på høyre side og laste ned koden i zip-filen ts_inbox_downloader_0.1.zip.

Meldingene blir lastet ned både som rå HTML, og parset til json for de som er litt mer nerdete. Om jeg får tid kanskje jeg lager et nytt script som kan prosessere json-filen, men da må du ha kjørt scriptet som laster ned meldingene før forumet stenger 🙂

[ventle]

Da har jeg testet på Windows 11 og funnet en bug med tegnsett som ikke opptrer på macOS eller Linux. Feilen er rettet og koden er oppdatert.

Litt om diskplass og tiden det tar å laste ned:
I min innboks har jeg 210 meldingstråder med totalt 1004 meldinger. Dette tar 50 sekunder for scriptet å laste ned, og de rå HTML-filene opptar ca 21 MB med diskplass. JSON-filen (med alle meldinger og metadata) derimot tar bare 754 kB.

[ventle]

Da er forumet altså stengt for nye tråder og innlegg, men det er fortsatt mulig å logge inn og få tilgang til meldingene sine. De har lagt til en ny cookie for å sikre at alle ser infoskjermen en gang til, så jeg har måttet oppdatere scriptet for å ta hensyn til dette, men med den endringen fungerer scriptet fortsatt. Man kan altså fortsatt bruke scriptet til å laste ned alle sine innboks-meldinger.

[mroek]

Takk for det. Jeg hadde ikke så allverdens mye meldinger, men siden du har gjort det så enkelt å hente dem ned i et strukturert format, så var det like greit å bare gjøre det før det forsvinner for godt.