Jump to content

Script som laster ned meldingene dine på terrengsykkelforumet


Recommended Posts

Hepp,

Nå som gammelforumet nærmer seg stengetid er det kanskje flere som kunne tenkt seg å laste ned alle personlige meldinger man har sendt og mottatt i årenes løp. For de av oss som har noen hundre meldinger er det ganske tidkrevende, så jeg har laget et python-script som gjør det automatisk.

Scriptet krever bittelitt teknisk kunnskap, men ikke mye, og jeg har prøvd etter beste evne å beskrive prosessen i Readme-filen. Siden det er kort tid til forumet stenger så har jeg sluppet koden selv om den ikke er omfattende testet, men den fungerer i hvertfall på macOS 10.14, macOS 12.3 og Ubuntu 22.04. Skal prøve å få testet den på Windows snarest.

Skriv gjerne her i tråden om du ikke får det til å fungere (etter å ha fulgt Readme-filen til punkt og prikke). Ingen spørsmål er for dumme 🙂

Scriptet finnes her: https://github.com/helgelangen/ts_inbox_downloader
Om du har git på pc'en er det enkleste å bare klone repoet (husk å oppdatere submoduler). Har du ikke git kan du trykke på "Release 0.1" på høyre side og laste ned koden i zip-filen ts_inbox_downloader_0.1.zip.

Meldingene blir lastet ned både som rå HTML, og parset til json for de som er litt mer nerdete. Om jeg får tid kanskje jeg lager et nytt script som kan prosessere json-filen, men da må du ha kjørt scriptet som laster ned meldingene før forumet stenger 🙂

  • Like 3
Link to comment
Share on other sites

Da har jeg testet på Windows 11 og funnet en bug med tegnsett som ikke opptrer på macOS eller Linux. Feilen er rettet og koden er oppdatert.

Litt om diskplass og tiden det tar å laste ned:
I min innboks har jeg 210 meldingstråder med totalt 1004 meldinger. Dette tar 50 sekunder for scriptet å laste ned, og de rå HTML-filene opptar ca 21 MB med diskplass. JSON-filen (med alle meldinger og metadata) derimot tar bare 754 kB.

Link to comment
Share on other sites

Da er forumet altså stengt for nye tråder og innlegg, men det er fortsatt mulig å logge inn og få tilgang til meldingene sine. De har lagt til en ny cookie for å sikre at alle ser infoskjermen en gang til, så jeg har måttet oppdatere scriptet for å ta hensyn til dette, men med den endringen fungerer scriptet fortsatt. Man kan altså fortsatt bruke scriptet til å laste ned alle sine innboks-meldinger.

Link to comment
Share on other sites

Takk for det. Jeg hadde ikke så allverdens mye meldinger, men siden du har gjort det så enkelt å hente dem ned i et strukturert format, så var det like greit å bare gjøre det før det forsvinner for godt.

 

  • Like 1
Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...