Luie Journalist
Met deze 110 tools kun jij een luie (lees: efficiënte, doelgerichte en innovatieve) journalist worden
Tools: Zoekmachines • Email & Telefoon • Usernames • Websites & Domeinen • Sociale Media: Facebook • Instagram • Telegram • YouTube • TikTok • Reddit • Discord • X (voorheen Twitter) • LinkedIn • Mastodon • Bluesky • Threads • Verificatie • Archiveren • Data: Verzamelen • Bewerken • Visualiseren • AI • Crypto • Overig
“Ken je nog een tooltje voor…”, is een van de meest gestelde vragen onder journalisten, onderzoekers en iedereen die nieuwsgierig is. Iedereen wil meer, beter en efficiënter onderzoek doen. Eigenlijk moet je jezelf de vraag stellen: “Hoe kan ik een luie journalist worden?”
Nee, natuurlijk zijn journalisten niet lui. Maar we kunnen wel iets leren van luie mensen. Hoe kun je iemand – of in dit geval, iets – anders het zware werk laten doen? Deze site helpt je daarbij. Hieronder vind je websites, scripts en apps die technisch ingewikkeld en tijdrovend werk voor je kunnen opknappen.
Reminder: tools zijn niets waard zonder te begrijpen hoe ze werken. Het is enkel een shortcut voor handmatig werk. Dus vertrouw de resultaten uit zo’n tool niet zonder te snappen wat er onder de motorkap plaatsvindt. En onthoud: don't be evil. Je kunt alle tools inzetten voor goede, maar ook voor kwade bedoelingen.
Luiejournalist.nl is gemaakt door data- en onderzoeksjournalist Jerry Vermanen. Heb je een goede toevoeging aan deze site? Of wil je een bedankje sturen? Check onderaan deze pagina hoe je met mij in contact kunt komen ⬇
Zoekmachines
Je bent natuurlijk allang bekend met alle grote zoekmachines, zoals Google, Bing, Yandex en DuckDuckGo. Met onderstaande gespecialiseerde zoekmachines kun je nog dieper in het web duiken.
E-justice Business Register | Website
In dit register kun je internationaal zoeken in de Kamers Van Koophandel van alle EU-landen. Toegegeven, deze site is waanzinnig traag. Maar het is nog altijd beter dan je weg proberen te vinden op de Poolse KVK-site.
HaveIBeenPownd | Website
Op deze site kun je checken of een emailadres in een datalek voorkomt. Handig om je eigen digitale veiligheid te checken, maar ook om te controleren of een mailadres daadwerkelijk gebruikt wordt. Voor telefoonnummers kun je checken of ze in de Facebook Data Breach hebben gestaan.
Shodan | Website
Shodan is de zoekmachine voor apparaten die aan het internet zijn verbonden: het zogeheten Internet of Things (IoT). Check ook deze pagina om slimme zoekopdrachten (dorks) te formuleren.
SocialSearcher | Website
SocialSearcher is een zoekmachine waarmee je o.a. in de openbare comments van Reddit, YouTube, Facebook en VKontakte kunt zoeken.
Email & Telefoon
Het startpunt van veel online onderzoeken: een anoniem mailadres of telefoonnummer. Meestal wil je weten wie zich daarachter verschuilt. Deze tools kunnen je daarbij helpen.
Epieos | Website
Op Epieos kun je checken waar specifieke telefoonnummers en mailadressen worden gebruikt. Vooral handig als je een Google-accounts wil onderzoeken. Een groot deel van de tools zit verborgen achter een betaalde versie, maar via de gratis optie vind je ook veel aanknopingspunten.
Holehe | Script
Met Holehe kun je checken of een emailadres is geregistreerd op meer dan 50 websites. Bij sommige sites krijg je ook info over het account zelf.
Moriarty | Script
Met Moriarty kun je checken of een telefoonnummer bekend staat als dubieus. Ook wordt gezocht of er socialmedia-accounts aan dit nummer zijn gekoppeld.
OSINT.industries | Website
Op OSINT.Industries kun je (grotendeels betaald) rondzoeken op welke websites specifieke mailadressen en telefoonnummers staan geregistreerd. Onderzoeksjournalisten kunnen een gratis account aanvragen.
PhoneInfoga | Script
Met PhoneInfoga kun je opzoeken of een telefoonnummer bestaat en welke basisgegevens daarover te vinden zijn. Ook kun je checken aan welke accounts dat nummer is gekoppeld.
Poastal | Script
Met Poastal lanceer je een zoekmachine in je browser waarmee je kunt uitzoeken of een mailadres geregistreerd staat bij specifieke sociale media. Daarnaast kun je uitzoeken of een mailadres überhaupt bestaat, mail kan ontvangen en bekendstaat als spam.
Temp Mail | Website
Voor sommige researchklussen wil je niet je echte mailadres gebruiken. Je moet een verificatiecode krijgen voor een dubieuze site of moet snel een anonieme mail sturen. Kijk dan zeker even naar Temp Mail. Op deze site kun je tijdelijke mailadressen genereren. Ze bieden ook een service aan genaamd Temp Number voor een telefoonnummer, maar die kost geld.
Usernames
Stel, je komt tijdens je onderzoek het anonieme account droge_poepsteek
tegen. Loopt het spoor dan dood? Met deze tools kun je alsnog aanknopingspunten vinden.
Maigret | Script
Met Maigret kun je opzoeken of een username op een websites is geregistreerd. Het is een zeer uitgebreide versie van Sherlock (hieronder te vinden), maar daardoor ook een stuk trager. Je kunt Maigret ook gebruiken in Telegram via het account @osint_maigret_bot.
Sherlock | Script
Met Sherlock kun je checken of een username op bepaalde sites is geregistreerd. Een snellere, maar ook iets minder uitgebreide versie van Maigret.
WhatsMyName | Website
Op WhatsMyName.app kun je snel op bijna 600 websites zoeken of die username staat geregistreerd. Je kunt het resultaat direct exporteren als csv-bestand.
Websites & Domeinen
Online websites, de digitale snelweg, het wereldwijde web: je komt er nog eens wat tegen. Zodra je onderzoek moet doen naar een website of domeinnaam, dan kun je onderstaande tools goed gebruiken.
Analyze ID | Website
Met Analyze ID kun je onderzoeken welke websites van dezelfde eigenaar zijn op basis van email, Facebook ID’s, Adsense, Google Analytics en IP-adres.
Blacklight | Website
Met Blacklight van The Markup kun je analyseren hoe je op diverse websites wordt gevolgd door cookies, ad trackers, Google Ads, etc.
BuildWith | Website
Met BuildWith kun je snel checken wat de onderliggende techniek van een website is.
Carbon Dating The Web | Website
Carbon Dating The Web is een website waarmee je een redelijke schatting kunt maken wanneer een website is gemaakt.
DNSlytics | Website
Met DNSlytics kun je snel een overzicht krijgen van alle kenmerken van een website: IP, servers, mailservers, redirects, etc.
SpyOnWeb | Website
Met SpyOnWeb kun je zien welke tracking codes (advertenties bijvoorbeeld) een website gebruikt, en welke sites je daarmee aan elkaar kunt linken.
ViewDNS | Website
Op ViewDNS staan verschillende modules waarmee je websites kunt analyseren. Het meest nuttig zijn:
- Reverse IP Lookup → Staan op dit domein / IP meerdere websites gehost?
- Reverse WHOIS Lookup → Staan op dit mailadres nog meer websites geregistreerd?
Visualping | Website
Als je wil weten wanneer een website verandert, dan kun je dat op Visualping in de gaten houden. Je krijgt een alert via de mail wanneer de website is gewijzigd.
WebsiteInformer | Website
Op Website Informer kun je snel zien wie de eigenaar van een website is. Deze dienst lijkt ook veel resultaten uit het verleden te geven.
Well-Known | Website
Op Well-Known kun je zoeken naar de ads.txt op een website: het overzicht van advertenties dat op die site wordt vertoond. Zodra je inlogt, kun je verder zoeken op de directe adverteerders en websites die dezelfde Google Ads-codes gebruiken.
WHOIS History | Website
Via deze site kun je in historische WHOIS-registraties zoeken naar de eigenaar van een domeinnaam. Heeft wel een limiet, dus spaarzaam gebruiken.
Whoxy | Website
Op Whoxy kun je zoeken op welke naam of mailadres een website staat geregistreerd.
Sociale Media
Grote kans dat elk online onderzoek op een gegeven moment uitkomt bij een sociaal medium. Hieronder vind je de grootste, bekendste of opkomende platforms.
Facebook doet al jarenlang zijn best om allerlei ontwikkelde tools voor onderzoekers en journalisten onbruikbaar te maken. Ondanks dat zijn er genoeg mogelijkheden om de stroom aan mis- en desinformatie op deze site te onderzoeken.
Facebook Friend List Scraper | Scraper
Met de FB Friend List Scraper kun je de vrienden van openbare Facebookprofielen scrapen.
FDown | Website
Met FDown kun je snel openbare Facebook-video’s downloaden.
Lookup ID | Website
Met Lookup.id kun je de ID-code van een Facebook-profiel vinden. Voor sommige andere zoekdiensten (die staan hieronder vermeld) kan die ID-code handig zijn.
SowSearch | Website
Met SowSearch kun je grotendeels zoeken zoals je dat eerder kon met Graph Search. Vooral handig als je complexe zoekopdrachten wil formuleren.
Who Posted What | Website
Met WhoPostedWhat kun je uitgebreid zoeken in openbare posts op Facebook. Hiervoor heb je vaak een ID-code nodig (zie hierboven bij Lookup ID).
Heb je een bloedhekel aan Facebook, maar wil je wel dat ome Zuckerberg jouw privacy schendt? Dan kun je altijd nog een Instagram-account aanmaken.
IMGinn | Website
Op IMGinn kun je de profielnaam van een openbaar profiel opgeven en direct de afbeeldingen en video’s downloaden.
InstagramOSINT | Scraper
Met deze tool kun je een specifiek Instagram-account volledig analyseren en scrapen.
Instaloader | Scraper
Met dit script kun je een volledig Instagram-profiel (inclusief comments, hashtags, captions, etc.) downloaden.
SnapInsta | Website
Met SnapInsta kun je vrij eenvoudig video’s, reels, foto’s, stories en IGTV downloaden.
Toutatis | Script
Met Toutatis kun je meer informatie vinden over het (gedeeltelijke) telefoonnummer en emailadres dat is gebruikt om een Instagram-account aan te maken.
Telegram
Ook wel het ‘Whatsapp van Oost-Europa’ genoemd. De afgelopen jaren duiken steeds meer dubieuze groepen op in Telegram. Dat maakt het voor journalisten en onderzoekers een perfecte grabbelton voor nieuwe onderwerpen.
Bellingcat Phonenumber Check | Script
Met dit script (geschreven door Bellingcat) kun je checken of een telefoonnummer is gekoppeld aan een Telegram-account.
MadelineProto | Scraper
Script om de Telegram-API mee aan te spreken. Handig om scrapers mee te maken, maar je moet nog wel zelf flink wat programmeren.
Save Telegram Chat History | Plugin
Met deze Chrome-plugin kun je de volledige geschiedenis van een kanaal of groep downloaden. Je moet echter wel de oude interface van Telegram gebruiken. Om dat te doen, voeg je ?legacy=1
achter de url web.telegram.org. Het is niet ideaal (duurt lang, en veel moderne mediaberichten worden niet binnengehaald), maar voor tekstanalyse is het uitstekend.
Tampermonkey + Download Users | Plugin
Tampermonkey is een browser-plugin waarin je zelf code kunt toevoegen nieuwe functionaliteit in je browser mogelijk te maken. En met dit script krijg je voor de webversie van Telegram een downloadknop om de leden van Telegram-groepen en -kanalen te downloaden. Hiervoor moet je wel in de oude versie van Telegram werken. Om dat te doen, voeg je ?legacy=1
achter de url web.telegram.org.
Telegram zoekmachines | Website
Op deze sites kun je door gearchiveerde Telegram-groepen en -kanalen zoeken. Handig om onderwerpen in te vinden. Je kunt door de volgende sites struinen:
YouTube
Ooit, lang geleden, was YouTube nog een site waar korte vlogs en kattenfilmpjes werden gepost. Nu kun je er urenlange podcasts, uitgebreide documentaires en de brainfarts van je geradicaliseerde buurjongen vinden.
Amnesty YouTube Dataviewer | Website
Met de Amnesty YouTube Dataviewer kun je reversed Image Search uitvoeren op YouTube-video’s om foto’s, video’s en audio te vinden. Het is niet 100% accuraat, maar kan verrassende resultaten opleveren.
Watch Frame By Frame | Website
Met Watch Frame By Frame kun je YouTube-video’s per frame bekijken. Erg handig als je een specifiek frame nodig hebt voor je onderzoek.
YouTube Comment Downloader | Scraper
Met deze scraper kun je de comments van een YouTube-video downloader, inclusief alle metadata daar omheen (datum, aantal duimpjes omhoog, profielnaam, link naar profielfoto, etc.).
YouTube Transcript / Subtitle API | Scraper
Met dit script kun je de transcripten (inclusief vertalingen) van YouTube-video’s scrapen.
YouTube Word Searcher | Plugin
Met deze Chrome plugin kun je zoeken naar specifieke woorden in een YouTube-video. Je kunt gelijk naar de tijdcode scrollen waarop dat woord wordt gezegd. Werkt alleen zodra er een ondertitelbestand is toegevoegd aan de video.
YouTube-dl | Scraper
Met YouTube-dl kun je binnen no-time via de terminal YouTube-video’s downloaden.
TikTok
Een oneindige feed vol korte video’s: TikTok is extreem verslavend en enorm interessant om te onderzoeken. Er zijn helaas nog niet veel tools die (blijven) werken voor dit platform.
TikTok Creative Center | Website
Eigenlijk is het TikTok Creative Center voor adverteerders bedoeld om te zien wat trending is. Maar journalisten kunnen hier ook gebruik van maken om te zien welke onderwerpen er op het platform spelen.
TikTok Downloader | Website
Met de TikTok Downloader kun je TikTok-video’s snel en zonder watermerk downloaden. Ze hebben zelfs een handige Chrome plugin als je nog eenvoudiger video’s wil binnenhalen.
Een van de weinige online forums waar je intelligente en doordachte gesprekken kunt aantreffen. En natuurlijk veel kattenmemes.
F5Bot | Website
Met F5Bot kun je custom alerts opzetten voor Reddit. Laat jezelf mailen zodra een specifiek steekwoord wordt gepost.
Karma Decay | Website
Reversed Image Search om gelijksoortige of identieke afbeeldingen op Reddit te vinden.
Mostly Harmless | Plugin
Mostly Harmless is een browser plugin waarmee je kunt zien of een url al op Reddit is gedeeld. Zo ja, dan kun je direct het gesprek rondom dat artikel bekijken. Via de site moet je de instructies op de download-pagina volgen, omdat de plugin uit de Chrome Store is verwijderd.
Reddit User Analyser | Website
Met Reddit User Analyser kun je alle statistieken van een Reddit-account bekijken.
Resavr | Website
Op Resavr kun je veel verwijderde comments op Reddit weer terugvinden.
Universal Reddit Scraper | Scraper
Universal Reddit Scraper (URS) heeft een uitgebreide interface waarin je kunt aangeven wat je precies van Reddit wil binnenhalen. Je kunt subreddits, accounts en comments scrapen.
Discord
Discord begon als dienst om te voicechatten tijdens games. Tegenwoordig kun je hier veel verschillende communities vinden. De voiceberichten maken het misschien wat lastig om te onderzoeken, maar op Discord kun je ook veel geschreven berichten vinden.
Disboard | Website
Via deze site kun je zoeken naar openbare Discord-servers. Een handig beginpunt als je nog nooit eerder op Discord bent geweest.
Discord History Checker | Software
Met deze software kun je de volledige gespreksgeschiedenis van servers, groepen en DM’s downloaden.
Discord ID Creation Date Checker | Website
Met deze site kun je checken op welke datum een Discord-account is aangemaakt.
DiscordLeaks | Website
Zoek in 100 duizenden gelekte extremistische Discord-gesprekken.
Voor de onderstaande sociale media zijn tools onbruikbaar geworden of nog niet ontwikkeld. Heb je toch data nodig van deze websites? Mogelijk vind je nog iets nuttigs in de sectie Data Verzamelen.
X (voorheen Twitter)
Sinds Elon Musk de baas werd, zijn bijna alle tools onbruikbaar geworden. Toch houd ik deze sectie op de site. Waarschijnlijk tegen beter weten in.
Ooit begonnen als online CV-site, momenteel een slappe feed vol ‘inspirerende’ ervaringen van saaie mensen. Alsnog een goede bron van informatie, maar ik ken geen nuttige websites of tools voor LinkedIn.
Mastodon
Een Mastodon-account maken is een intens twijfelachtig proces: begrijp maar eens op welke server je je moet aanmelden. Vervolgens kom je op een platform waar - voor zover ik weet - nog geen nuttige tools voor zijn ontwikkeld.
Bluesky
Op Bluesky ervaar je het Twitter-gevoel voordat Twitter een platform voor misinformatie, extremisten en blaaskaken werd. Voor zover ik weet, zijn er nog geen tools voor Bluesky ontwikkeld.
Threads
Mark Zuckerberg heeft een nieuwe manier gevonden waarmee hij democratieën wil ondermijnen: Threads. Op dit moment is het nog gezellig en vriendelijk op deze Twitter-kloon, maar zoals alle sociale media is het slechts een kwestie van tijd voordat het he-le-maal misgaat. Op dit moment ken ik nog geen goede tools om Threads te onderzoeken.
Verificatie
Spoiler: niet alles wat je online vindt, is waar. Wil je weten of een video authentiek is of een persoon wel echt bestaat? Onderstaande tools kunnen je daarbij helpen.
Am I Real | Website
Door de website ThisPersonDoesNotExist zwermen er talloze nepfoto’s van personen over het internet. Met deze site kun je checken of ze van die site afkomstig zijn.
Amazon Rekognition | Website
Hoeveel lijken twee gezichten op elkaar? Handig als je een persoon zoekt en twee foto’s met elkaar moet vergelijken.
Facecheck.id | Website
Facecheck.id zoekt met gezichtherkenning waar een persoon nog meer voorkomt. Helaas moet je sinds 1 maart 2024 betalen voor deze service (maar je krijgt wel 5 gratis searches).
Geospy | Website
Voordat je urenlang op Google Maps gaat rondspeuren om de exacte locatie van een foto te verifiëren, kun je een snelle zoektocht doen met Geospy. Deze site kijkt naar de unieke contouren en gebouwen op je afbeelding en zoekt door talloze services om je (inclusief een onzekerheidsmarge) de coördinaten te geven.
Google Factcheck Explorer | Website
Dagelijks zijn duizenden factcheckers bezig om afbeeldingen en artikelen te controleren. Dus zodra je iets moet verifiëren, dan kun je het beste eerst even in de Google Factcheck Explorer rondzoeken. Grote kans dat iemand je al is voorgeweest. Op deze pagina van Google vind je overigens nog meer manieren waarop je kunt checken of een foto is gemanipuleerd.
Image Verification Assistant | Website
Met de Image Verification Assistant kun je analyseren of beeldmateriaal is gemanipuleerd. Ook zijn er talloze voorbeelden te vinden van gemanipuleerde afbeeldingen.
InVID WeVerify | Plugin
Enorm handige plugin waarmee je direct via Google, Yandex en Baidu Reversed Image Search kunt doen. Inclusief een aantal handige tools om fotomanipulatie mee te analyseren.
Metadata2Go | Website
Op Metadata2Go kun je snel de metadata van je afbeeldingen analyseren.
Overpass Turbo | Website
Met Overpass Turbo kun je een zoekopdracht maken om specifieke landmarks op kaarten te ontdekken. Voorbeeld: vind alle onbewaakte spoorwegovergangen in een straal van 500 meter van een windmolen. Erg handig als je OSINT doet: zodra je specifieke aanwijzingen op een afbeelding ziet staan, dan kun je het aantal locaties snel beperken. Overpass Turbo vraagt wel om een zoekopdracht in een hele specifieke taal, maar ChatGPT kan je daar goed mee helpen. Je kunt al je gevonden landmarks exporteren om verder te analyseren in andere software.
Met Overpass Turbo kun je snel een query maken van specifieke landmarks op kaarten. Handig als je OSINT moet doen en specifieke dingen ziet waar je op kunt zoeken. Werkt erg handig als je je query in ChatGPT formuleert. Vervolgens kun je op de kaart zoeken of de locatie overeenkomt met wat je op de foto ziet. Een andere mogelijkheid is het exporteren van de objecten die je via de query hebt gevonden. Kan handig zijn als je in QGIS of R een analyse wil doen.
Peakfinder | Website
Met Peakfinder kun je foto’s geolocaten als daar een heuvel of berg in staat. Zodra je een vermoeden hebt waar het kan zijn, dan kun je die foto op die locatie uploaden en de omtrek van het landschap matchen met je afbeelding.
PimEyes | Website
Met PimEyes kun je zoeken op dezelfde persoon d.m.v. biometrische gelijkenissen. Let op: dit is een betaalde service.
Archiveren
Ze zeggen dat als iets eenmaal online staat, je het nooit meer verwijderd krijgt. Zul je net zien dat wat jij gisteren hebt gevonden tijdens je onderzoek wèl is verdwenen. Daarom is het belangrijk om al je materiaal te archiveren. Hieronder vind je een aantal tools om dat voor elkaar te krijgen.
Archive.today | Website
Tijdens je onderzoek kom je online ongelooflijk vaak informatie tegen die op elk moment kan worden verwijderd. Daarom is het een goede gewoonte om die sites op te slaan met een archiveerdienst. Archive.today is een van de beste diensten op dat gebied. Als alternatief kun je ook de Wayback Machine van Archive.org gebruiken. Tip: je kunt ook eerder opgeslagen versies van een website doorzoeken. En let op: deze diensten slaan geen video’s op.
CachedView | Website
Via archiefdiensten kun je niet alleen websites opslaan, maar ook zoeken naar eerder opgeslagen versies van websites. Op Cachedview kun je via 6 verschillende diensten tegelijk zoeken en een screenshot van die website opvragen. Kan enorm veel tijd schelen.
Forensic OSINT | Plugin
Archiveren betekent ook heel veel screenshots maken. Dan wordt het al snel een onoverzichtelijke bende op je computer. Met deze Chrome-pluging Forensic OSINT kun je screenshots overzichtelijk in allerlei mappen verzamelen. Je bestanden worden ook nog eens automatisch aangevuld met datums, webadressen, etc. Het enige nadeel is dat je moet betalen voor sommige functies.
Fireshot | Plugin
Een goed alternatief voor Forensic OSINT is de Fireshot plugin. Hiermee kun je screenshots maken van volledige webpagina’s. Handig als je een website wil archiveren of als beeldmateriaal nodig hebt. De website probeert je over te halen om de betaalde pro-versie te nemen, maar met de gratis plugin (voor praktisch elke browser beschikbaar) kom je ook al een heel eind.
Video Screenshot | Plugin
Op veel streamingsdiensten kun je geen screenshot maken. Superirritant als je dat beeld nodig hebt voor je onderzoek. Met deze plugin (alleen voor Chrome) krijg je op NPO Start, YouTube, Netflix, etc. een extra icoontje te zien waarmee je alsnog een screenshot kunt maken.
Data
Datajournalistiek: het allermooiste beroep ter wereld (is mijn geheel objectieve, neutrale en ongekleurde mening). Hier vind je een aantal tools die je kunt gebruiken om next level te gaan.
Verzamelen
Zonder data geen datajournalistiek (duh), dus hieronder een aantal websites en plugins waarmee je moeilijk te verkrijgen gegevens alsnog kunt verzamelen.
Cometdocs | Website
Met Cometdocs kun je een eenvoudige tabel uit een PDF-document snel omzetten naar Excel of CSV.
CSVJSON | Website
Met CSVJSON kun je CSV naar JSON omzetten, en vice versa. Ook kun je JSON beautifyen (leesbaar) maken. Je gegevens worden niet naar een andere server gestuurd.
Instant Data Scraper | Scraper
Met deze browser plugin voor Chrome kun je eenvoudig data scrapen. De plugin kan zelf inschatten welke gegevens kunnen worden verzameld. Met de autoscoll-functie kun je vervolgens de scraper oneindig laten draaien. Erg handige noodoplossing voor sociale media waar andere scrapers niet (meer) werken, zoals X/Twitter en Bluesky.
snscrape | Scraper
Dit script zegt data te kunnen scrapen van de volgende websites:
- Facebook: user profiles, groups, and communities (aka visitor posts)
- Instagram: user profiles, hashtags, and locations
- Mastodon: user profiles and toots (single or thread)
- Reddit: users, subreddits, and searches (via Pushshift)
- Telegram: Channels
Twitter: users, user profiles, hashtags, searches (live tweets, top tweets, and users), tweets (single or surrounding thread), list posts, communities, and trends- VKontakte: user profiles
- Weibo (Sina Weibo): user profiles
Omdat dit een tool is die meerdere sociale media zegt te kunnen scrapen, kan het ook eerder stukgaan.
Tabula | Software
Tabula is erg handig zodra je PDF’s met datatabellen erin krijgt. Je kunt visueel aangeven waar de tabel zit, en Tabula doet een goede poging om die gegevens netjes in een CSV te zetten.
Tesseract | Script
Met Tesseract kun je tekst in afbeeldingen omzetten naar machine-leesbare tekst. Werkt ook voor PDF-bestanden. Met Tesseract zijn inmiddels meerdere toepassingen gemaakt, waaronder een package in R.
Zeeschuimer + Zeeschuimer Decoder | Scraper
Zeeschuimer is een Firefox browser plugin waarmee je tijdens het scrollen op sociale media (Tiktok, Instagram, Twitter, LinkedIn, etc.) data verzamelt. Met de Zeeschuimer Decoder kun je die data omzetten naar een csv-bestand.
Bewerken
Met een spreadsheet kom je een heel eind, maar soms heb je nét een beetje extra nodig om je analyse uit te voeren.
Open Refine | Software
Met Open Refine kun je je data opschonen. Een van de handigste functies in Open Refine is het clusteren van data op naam: bijvoorbeeld bedrijfsnamen die op verschillende manieren worden geschreven.
R + RStudio | Software
Verreweg de beste software om data mee te analyseren. Je kunt in R werken, maar de handigste interface is RStudio. Volg het stappenplan op de website om alles in de juiste volgorde te installeren. Codecademy biedt een uitstekende beginnerscursus R aan om de programmeertaal onder de knie te krijgen.
Regular Expressions | Script
Soms zoek je hele specifieke gegevens (telefoonnummers, mailadressen, Bitcoin wallets, etc.) in grote lappen tekst. Dan zijn Regular Expressions (ook wel Regex genoemd) erg handig. Het is toepasbaar in meerdere programmeertalen, maar wel erg lastig te begrijpen. Daarom vind je in deze cheatsheet wat hulp. Op I Hate Regex kun je werkende Regex vinden die je kunt aanpassen voor jouw specifieke zoekopdracht. En op Regex101 kun je je RegEx testen
Visualiseren
Ten slotte wil je je data mooi presenteren. Dit zijn een aantal websites die ik aanraad om visualisaties mee te maken.
LocalFocus | Website
Met LocalFocus kun je eenvoudige kaarten en grafieken maken. Ook enorm handig: de functionaliteit om gemeentenamen te corrigeren.
Datawrapper | Website
Met Datawrapper kun je kaarten, grafieken en tabellen maken. In vergelijking met LocalFocus iets meer mogelijkheden, maar daardoor ook iets ingewikkelder voor leken.
Flourish | Website
Met Flourish kun je kaarten, grafieken en zogeheten ‘data stories’ (meerdere grafieken achter elkaar met begeleidende tekst) maken. Tussen LocalFocus en Datawrapper de meest uitgebreide, maar ook meest ingewikkelde keuze voor visualisatie.
AI
Ik geef toe dat Terminator en The Matrix niet direct de meest positieve voorbeelden zijn van Kunstmatige Intelligentie. Deze films maken in ieder geval duidelijk dat zelfs kwaadaardige AI enorm slim, efficiënt en tijdbesparend kan zijn. Daarom kunnen onderstaande tools jouw werk eenvoudiger maken.
ChatGPT | Website
ChatGPT is eigenlijk een chatbot die antwoorden genereert op basis van externe informatie. Je kunt hier onwijs veel nuttige dingen mee doen. Voor mij zijn de volgende zaken het nuttigst:
- Queries maken voor Overpass Turbo
- Suggesties voor nieuwskoppen maken
- Teksten voor socialmedia-berichten herschrijven
- Invalshoeken voor onderzoek genereren
- Delen Python-code schrijven voor scrapers
Cleanup Pictures | Website
Met Cleanup Pictures kun je foto’s opschonen en objecten verwijderen. Kan handig zijn vlak voordat je een Reversed Image Search doet.
DeepL | Website
DeepL is de beste manier om tekst te vertalen. Zeker in deze volgorde: eerst tekst vertalen via DeepL Translator en daarna de tekst grammaticaal verbeteren (of zelfs naar een andere schrijfstijl omzetten) met DeepL Write.
Hugging Face | Website
Hugging Face is dé plek waar je AI-modellen kunt vinden. In sommige gevallen wordt de trainingsdata meegeleverd.
Lobe.ai | Script
Met Lobe.ai kun je kunstmatige intelligentie trainen om beeldmateriaal te herkennen en te categoriseren. Had eerst een desktop-app, maar is nu alleen nog beschikbaar als script. Voor Pointer heb ik Lobe.ai ooit gebruikt bij een onderzoek naar nepprofielen op Tinder (hier lees je hoe ik dat heb gedaan).
MacWhisper | Software
Met MacWhisper (voor Macbooks) kun je hele goede transcripties maken van je audiobestanden, inclusief tijdcodes. Alle data blijft op je lokale machine staan. Helaas (nog) geen automatische sprekersherkenning. Ik raad aan om de Pro-versie voor 29 euro te nemen: de taalmodellen die hierin worden gebruikt zijn nagenoeg foutloos. Journalisten kunnen 50 procent korting krijgen. Ga naar de site en vermeld kortingscode LUIEJOURNALIST
bij het afrekenen.
Midjourney | Website
Simpelweg de beste methode om AI-gegenereerde afbeeldingen mee te maken. Via de Discord-server van Midjourney kun je (zowel betaald als gratis) afbeeldingen maken via tekstprompts. Alternatieven voor Midjourney zijn Ideogram en Adobe Firefly.
Remini | Website
Met Remini kun je foto’s van slechte kwaliteit met AI verbeteren. Let op: als je dit wil gebruiken om beeldmateriaal via te Reversed Image Searchen of verifiëren, dan is het resultaat dus iets onbetrouwbaarder.
RemoveBG | Website
Met RemoveBG (lees: Remove Background) kun je snel en eenvoudig de achtergrond van afbeeldingen verwijderen.
Simon Says | Website
Een van de beste manieren om beeldmateriaal mee te transcriberen. Je transcript wordt ook nog eens met het beeld gesynchroniseerd. Je kunt zelfs ruwe montages maken als je de getranscribeerde tekst gaat editten. Je krijgt gratis credits om beeldmateriaal te transcriberen, maar die zijn snel op.
Crypto
Ah, de toekomst van ons betalingsverkeer: gedecentraliseerd, gepseudonimiseerd en encrypted. En vooral gebruikt door crypto-bro’s en georganiseerde misdaad. Daarom zijn onderstaande tools handig om zulke dubieuze transacties inzichtelijk te maken.
Blockcypher | Website
Met Blockcypher kun je snel overzicht krijgen in allerlei crypto-transacties.
ChainAbuse | Website
Op ChainAbuse kun je checken of een wallet of transactie bekend staat als dubieus.
Crystal Blockchain | Website
Met Crystal Blockchain kun je een uitgebreide analyse krijgen van cryptotransacties. Is een betaalde service, maar werkt mogelijk met gratis trials of pro bono.
Elliptic | Website
Het bedrijf Elliptic houdt een database bij van transacties die als dubieus zijn gemarkeerd. Is een betaalde service, maar werkt mogelijk met gratis trials of pro bono.
Mycelium Wallet | App
Een cryptowallet die door experts wordt aangeraden, omdat het eenvoudig en veilig in gebruik is.
WalletExplorer | Website
Met WalletExplorer kun je snel overzicht krijgen in allerlei crypto-transacties. Deze site doet ook clustering van transacties: het samenvoegen van transacties die uit dezelfde wallets komen. Let op: in het verleden heeft de politie de ip-adressen verzameld van personen die op WalletExplorer naar dubieuze transacties hebben gezocht. Gebruik dus altijd een VPN als je dit soort onderzoeken doet.
Overig
Alle tools die niet netjes in een van bovenstaande hokjes passen, heb ik hieronder verzameld.
Bron.live | Website
De Nederlandse overheid en toegankelijke informatie: het zou vanzelfsprekend moeten zijn, maar dat is het helaas niet. Zodra je documenten zoekt over een specifiek onderwerp, dan bgaat het je never nooit lukken met de officiële websites (of het zit ergens verstopt, zoals je iets verderop leest). Gelukkig worden er wel diensten zoals Bron.live aangeboden. Hier kun je zoeken op verschillende plekken en mailalerts aanmaken.
Convertio | Website
Je hebt een XLS-bestand nodig, maar ontvangt een ODS: het tragische leven van een datajournalist in een notendop. Met Convertio kun je gelukkig veel bestanden van het ene naar het andere type overzetten. En de bestandslimiet is 100MB. Dat scheelt toch weer een berg stress.
Diffchecker | Website
Zoek je de verschillen tussen twee teksten? Op Diffchecker kun je die teksten invoeren en zie je met handige kleuren waar de verschillen zijn. Voortaan weet je dus exact zien wat je eindredacteur heeft gewijzigd, of wat een ministerie heeft veranderd in de concept- en definitieve versie van een rapport. Werkt ook voor afbeeldingen en documenten.
Notion | Software
Notion is mijn persoonlijke voorkeur voor een app om notities mee te maken. Het grote voordeel van Notion is dat je databases kunt maken in je notities.
oTranscribe | Website
Geen behoefte aan geautomatiseerde transcriptie? Dan is oTranscribe misschien wel iets voor je. In deze interface kun je je audiobestand langzaam afspelen en alle tekst meeschrijven. Ook handig als je wijzigingen in je bestaande transcripten wil doorvoeren.
Screenflick | Software
Met Screenflick kun je schermopnamen maken op je Macbook, inclusief het geluid dat via je laptop wordt afgespeeld (geloof me, dit kan erg frustrerend zijn). Ook kun je na je opname de beelden nog bewerken en in verschillende formats exporteren. Screenflick kost eenmalig 35 dollar.
Spiderfoot | Script
Spiderfoot is een opensource casemanager voor OSINT-onderzoeken. Je kunt meerdere scripts aanzetten om automatische searches uit te voeren.
TinyWow | Website
Op TinyWow vind je meerdere kleine tools waarmee je bewerkingen kunt uitvoeren op documenten of bestanden. PDF’s samenvoegen, afbeeldingen converteren, video’s downloaden: je vindt het allemaal op deze site.
Woo-generator | Website
Met de Woo-generator van de VVOJ (Vereniging van Onderzoeksjournalisten) kun je snel een blauwdruk (altijd even dubbelchecken) voor je Woo-verzoek genereren.
De Woo-knop | Website
Met de Woo-generator kun je een Woo-verzoek opstellen, maar waar dien je die vervolgens in? En hoe houd je bij of een ministerie zich aan de wettelijke termijnen houdt? De Woo-knop helpt je daarbij. Alle Woo-verzoeken worden direct op de site gepubliceerd, dus je kunt hier ook terecht voor inspiratie voor jouw volgende verzoek.
Deze website is gemaakt door Jerry Vermanen, data- en onderzoeksjournalist bij Pointer (KRO-NCRV). Uiteraard heb ik deze tools met veel liefde en aandacht op een rijtje gezet, maar een fout zit in een klein hoekje. Of misschien ontbreekt er wel een tool?
Ik doe mijn best om deze website regelmatig te updaten. Dat kan ook met jouw suggestie. Belangrijk daarbij is:
- dat deze tool (of een variant daarop) nog niet op deze site staat;
- dat je die tool recent nog hebt gebruikt;
- dat je daar tijd, moeite of geld mee bespaart;
- dat die tool gratis of goedkoop is;
- en dat het specifiek voor journalisten nuttig is.
Op dit moment ontbreken nog een aantal nuttige tools, zoals:
- Een scraper en zoektools voor Bluesky
- Een scraper en zoektools voor Mastodon
- Een scraper en zoektools voor LinkedIn
- Een scraper en zoektools voor Threads
- Een goede scraper voor Telegram
- Een profielscraper voor Tiktok
- Een lijst met nuttige prompts in ChatGPT voor journalisten
Dus heb je nog een toevoeging of correctie? Mail me dan.
Al die tools zijn leuk en aardig, maar het wordt pas interessant zodra je ze voor een onderzoek kunt inzetten. Wil je op de hoogte blijven van de allerbeste data- en onderzoeksjournalistiek? Volg dan mijn nieuwsbrief Klikdinges.
En als deze website nuttig vindt, overweeg dan ook eens om via deze link het Handboek Internetresearch & Datajournalistiek te bestellen. Met deze referral krijgen wij als makers van dat handboek een iets hoger percentage per verkocht exemplaar. Dit is de beste manier om me een bedankje te sturen. En je doet jezelf er ook nog eens een groot plezier mee ❤️
- Deze site is gemaakt in Jekyll + Good Clean Read
- Changelog