Führen Sie visionäre Webforschungsstudien mit Deep Web Data und Excel Web Queries durch

Werbung

Was würden Sie sagen, wenn ich Ihnen sagen würde, dass Sie über die Werkzeuge verfügen, um bahnbrechende, erderschütternde Forschung zu betreiben? Nun ja, und ich werde Ihnen zeigen, wie.

Regierungen, akademische Einrichtungen und gemeinnützige Forschungseinrichtungen veröffentlichen Tabellen voller Daten für die Öffentlichkeit. Ohne dass jemand diese Informationen verwendet, wird sein wahrer Wert niemals bekannt sein. Leider haben nur wenige Menschen die Einsicht, die Fähigkeiten oder die Werkzeuge, um die Daten zu erfassen und interessante Korrelationen zwischen scheinbar nicht zusammenhängenden Informationen herzustellen.

Hintergrund

Bei vielen Recherchen, die ich für meinen eigenen Blog mache, geht es darum, das zu durchsuchen, was als "bekannt" bezeichnet wird unsichtbares Web Die 12 besten Suchmaschinen zur Erkundung des unsichtbaren WebsGoogle oder Bing können nicht nach allem suchen. Um das unsichtbare Web zu erkunden, müssen Sie diese speziellen Suchmaschinen verwenden. Weiterlesen

, um Daten aufzudecken, die für die Öffentlichkeit freigegeben, aber verborgen wurden Suchmaschinen Die 5 fortschrittlichsten Suchmaschinen im Web Weiterlesen in einer Online-Datenbank. Dies ist das Deep Web TorSearch will das Google für das Deep Web seinTor ist ein versteckter Dienst und Teil des Deep Web. TorSearch ist eine neue anonyme Suchmaschine, die ihr Gründer Chris MacNaughton zum „Google of Tor“ machen möchte. Weiterlesen und es gibt viele wertvolle Daten. Sehr oft stoße ich auf Webseiten, die nur mit einigen der wertvollsten Daten zu Themen gefüllt sind, die von Volkszählungsdaten bis zu epidemiologischen Studien zu seltenen Krankheiten reichen. Ich habe ständig neue Ideen, wie ich versuchen kann, diese unterschiedlichen Datenquellen mithilfe verschiedener zu korrelieren Tools - und eines der wertvollsten Tools, die ich gefunden habe, ist die Webanfrage in Microsoft Excel.

Interessante Datenkorrelationen finden

Was ich Ihnen heute zeigen werde, ist ein Beispiel dafür, wie Sie Excel-Webabfragen verwenden können, um Daten abzurufen verschiedene Websites, und stellen Sie sie gegeneinander, um nach möglichen Korrelationen zwischen den zu suchen Daten.

Der Weg, um eine solche Übung zu beginnen, besteht darin, eine interessante Hypothese aufzustellen. Zum Beispiel - um die Dinge hier interessant zu halten - werde ich zufällig die explodierenden Autismusraten in den USA postulieren werden entweder durch Impfstoffimpfungen oder durch das zunehmende Vorhandensein elektromagnetischer Felder in und um Kinder wie Zellen verursacht Telefone. Es ist eine verrückte Hypothese, wie sie auf den meisten Websites zur Verschwörungstheorie zu finden ist, aber genau das macht Spaß. Also fangen wir an, sollen wir?

Öffnen Sie zunächst Excel, gehen Sie zum Datenmenüpunkt und suchen Sie das Symbol "Aus Web" in der Menüleiste.

Auf diese Weise importieren Sie die verschiedenen Datentabellen von den zahlreichen Websites, auf denen sie veröffentlicht wurden.

Importieren von Webdaten in Excel

Früher mussten Sie also versuchen, die Daten aus dieser Tabelle auf einer Webseite zu kopieren, in Excel einzufügen und sich dann mit all den verrückten Formatierungsproblemen zu befassen, die damit verbunden sind. Totaler Ärger, und oft ist es die Kopfschmerzen einfach nicht wert. Mit Excel Web Queries sind diese Zeiten vorbei. Bevor Sie die Daten importieren können, müssen Sie sich natürlich im Web googeln, um die benötigten Daten im Tabellenformat zu finden. In meinem Fall fand ich eine Website, auf der die Statistiken des Bildungsministeriums für die Anzahl der US-amerikanischen Schüler veröffentlicht wurden, bei denen Autismus festgestellt wurde. Ein schöner Tisch dort lieferte Zahlen von 1994 bis 2006.

Klicken Sie einfach auf "Aus dem Web", fügen Sie die Webseiten-URL in das Feld "Abfrageadresse" ein und scrollen Sie dann auf der Seite nach unten, bis Sie den gelben Pfeil neben der Tabelle mit den Daten sehen, die Sie importieren möchten.

Klicken Sie auf den Pfeil, damit er zu einem grünen Häkchen wird.

Teilen Sie Excel schließlich mit, in welches Feld Sie die Tabellendaten in Ihre neue Tabelle einfügen möchten.

Dann - Voila! Die Daten fließen automatisch direkt in Ihre Tabelle.

Angesichts des Trends der Autismusraten an öffentlichen Schulen von 1996 bis 2006 ist es an der Zeit, auch nach Trends bei der Impfung und der Nutzung von Mobiltelefonen zu suchen.

Glücklicherweise fand ich von 1985 bis 2012 schnell Trends für Mobiltelefonabonnenten in den USA. Hervorragende Daten für diese spezielle Studie. Wieder habe ich das Excel Web Query-Tool verwendet, um diese Tabelle zu importieren.

Ich habe diese Tabelle in ein sauberes, neues Blatt importiert. Dann entdeckte ich Impftrends für den Prozentsatz der Schulkinder, die gegen verschiedene Krankheiten geimpft wurden. Ich habe diese Tabelle mit dem Web Query-Tool in ein drittes Blatt importiert. Schließlich hatte ich drei Blätter mit den drei Tabellen, die mit den scheinbar nicht verbundenen Daten gefüllt waren, die ich im Web entdeckt hatte.

Der nächste Schritt besteht darin, die Daten mithilfe von Excel zu analysieren und Korrelationen zu identifizieren. Hier kommt eines meiner bevorzugten Datenanalysetools ins Spiel - die PivotTable.

Analysieren von Daten in Excel mit der PivotTable

Am besten erstellen Sie Ihre PivotTable in einem brandneuen, leeren Blatt. Sie möchten den Assistenten für Ihre Aufgaben verwenden. Um den PivotTable-Assistenten in Excel zu aktivieren, müssen Sie gleichzeitig Alt-D drücken, bis ein Benachrichtigungsfenster angezeigt wird. Lassen Sie dann diese Tasten los und drücken Sie die Taste „P“. Dann wird der Assistent angezeigt.

Im ersten Fenster des Assistenten möchten Sie "Mehrere Konsolidierungsbereiche" auswählen, mit denen Sie die Daten aus allen von Ihnen importierten Blättern auswählen können. Auf diese Weise können Sie all diese scheinbar nicht zusammenhängenden Daten in einem leistungsstarken Pivottable zusammenfassen. In einigen Fällen müssen Sie möglicherweise einige Daten massieren. Zum Beispiel musste ich das Feld "Jahr" in der Autismustabelle so korrigieren, dass "1994" statt "1994" angezeigt wurde "1994-95" - damit passt es besser zu den Tabellen auf den anderen Blättern, die ebenfalls das erste Jahr hatten Feld.

Dieses gemeinsame Feld zwischen Daten ist das, was Sie benötigen, um Informationen zu korrelieren. Denken Sie also daran, wenn Sie im Web nach Ihren Daten suchen.

Sobald die PivotTable fertig ist und Sie alle verschiedenen Datenwerte in einer Tabelle angezeigt haben, ist es Zeit, eine visuelle Analyse durchzuführen, um festzustellen, ob eine offensichtliche Verbindung besteht, die Sie anspricht.

Die Visualisierung von Daten ist der Schlüssel

Eine Reihe von Zahlen in einer Tabelle zu haben, ist großartig, wenn Sie ein Ökonom sind, aber der schnellste und einfachste Weg, dies zu tun das "Aha!" Der Moment, in dem Sie versuchen, Verbindungen wie eine Nadel im Heuhaufen zu finden, erfolgt über Diagramme und Grafiken. Sobald Sie Ihr PivotChart mit allen von Ihnen gesammelten Datensätzen eingerichtet haben, ist es Zeit, Ihr Diagramm zu erstellen. Normalerweise ist ein Liniendiagramm am besten geeignet, hängt jedoch von den Daten ab. Es gibt Zeiten, in denen ein Balkendiagramm viel besser funktioniert. Versuchen Sie zu verstehen, welche Art von Daten Sie betrachten und welche Formvergleiche am besten funktionieren.

In diesem Fall betrachte ich Daten im Zeitverlauf. Ein Liniendiagramm ist also der beste Weg, um Trends im Laufe der Jahre zu erkennen. Darstellung der Autismusraten (grün) gegen reduzierte Impfraten (dunkelblau), Windpockenimpfstoffe (hellblau) Bei der Verwendung von Mobiltelefonen (lila) trat plötzlich eine merkwürdige Korrelation in diesem Beispieldatensatz auf, den ich spielte mit.

Seltsamerweise entsprach der Trend bei der Nutzung von Mobiltelefonen von 1994 bis 2006 fast perfekt dem Anstieg der Autismusraten im gleichen Zeitraum. Obwohl das Muster völlig unerwartet war, ist es ein perfektes Beispiel dafür, wie das Zusammenführen interessanter Daten faszinierende Hinweise aufzeigen kann - Sie erhalten mehr Einblicke und Motivation, um weiter voranzukommen und nach mehr Daten zu suchen, die Ihre Daten weiter stärken können Hypothese.

Eine solche Korrelation oben beweist nichts. Es gibt viele Trends, die im Laufe der Zeit zunehmen - das Muster könnte Zufall sein, aber es könnte auch ein wichtiger Hinweis auf Ihre ständige Suche nach mehr Daten im Internet sein. Zum Glück haben Sie ein leistungsstarkes Tool namens Excel Web Queries, das diese Suche ein wenig einfacher macht.

Fotokredit: Kevin Dooley über Photopincc