Fragebogen. Ein Arbeits(erleichterungs)buch.

Vor der Datendokumentation steht die Erhebung. Für diese Erhebung braucht es Fragen. Fragen werden in der Regel nicht von den Datenproduzenten sondern von den in unserem Kreis als „inhaltlichen Forschern“ bezeichneten Kollegen geschrieben.

Die Aufgabe der Fragebogen-Verantwortlichen ist es dann, die vorgelegten Fragen in einen Fragebogen zusammenzustellen und befragbar zu machen. Dabei ist es nicht immer einfach, die „Inhaltlichen“ von der Notwendigkeit von Änderungen zu überzeugen. Doch hier kann ein kleines Büchlein helfen.

Der GESIS-Kollege Rolf Porst hat sein gesammeltes Wissen und seine Erfahrung aus der Durchsicht von unzähligen Fragebögen in ein Buch zusammengeschrieben: Fragebogen. Ein Arbeitsbuch. Nicht erst gestern sondern schon 2008 aber ich finde, es verdient (noch) mehr Aufmerksamkeit. 

Das Arbeitsbuch ist genau das, eine Handreichung zum praktischen Gebrauch bei der Fragebogengestaltung. Es stehen sehr viele wichtige und ewige Wahrheiten darin, dazu ist es gut lesbar und mit unter 10€ ein echtes Schnäppchen. Zitiert wird es selten, aber das ist der Fluch von Lehrbüchern, die mehr Wert auf Praxistauglichkeit als Autorität legen.

Es eignet sich hervorragen für Nicht-Surveymethodologen und hier kommen wir wieder zur anfänglichen Themenstellung: Wer inhaltlichen Forschern zeigen möchte, was beim Entwurf einer Frage zu beachten ist der kann dieses Buch empfehlen. Oder eine Handvoll kaufen und bei Projektbeginn gleich den Kollegen in die Hand drücken. So kann man schneller zu einer gemeinsamen Arbeitsgrundlage kommen, die inhaltlichen Forscher sehen, dass wir uns die auferlegten Restriktionen nicht zur Schikane ausdenken und Messfehler real sind.

 

Total Survey Error Call: Einreichung noch bis zum 26. Februar 2017

 

aus Groves und Lyberg (2010)

Der Call for Abstracts für den International Total Survey Error Workshop 2017 läuft noch bis zum 26. Februar. Oberthema dieses Jahr ist Total Survey Error: Combined data products from a TSE perspective, oder etwas spezifischer:

In addition to traditional TSE topics, we are encouraging contributions on:

  • Total error frameworks for Big Data, integrated data sets and products
  • “Total statistical uncertainty” frameworks for estimates derived from nonprobability samples
  • Statistical disclosure limitation error
  • Uses of administrative data to reduce TSE
  • Methods for addressing specification errors in integrated data sets
  • Illuminating the Big Data ETL process black box

Wer also (schon wieder) ins schöne Nürnberg zum IAB fahren möchte kann das vom 12. bis 14. Juni tun. Genaue Infos gibt es hier:

https://www.xing-events.com/itsew2017.html

Ich würde mich freuen die eine oder den anderen aus unserem Kreis da zu treffen. Schließlich müssen wir ja die Fahne für den Processing Error hochhalten. Ich habe manchmal den Eindruck der ist ein wenig das Stiefkind des TSE-Konzepts 😉

Big Data: DataFest Germany zum dritten

Nach den Erfolgen der ersten beiden DataFeste (2015 und 2016) ziehen die Big Data-affinen Studenten zum 3. DataFest Germany vom 7. bis 9. April 2017 wieder nach Mannheim.

Hier die Beschreibung der Veranstalter:

Das DataFest ist Wettbewerb und interdisziplinäreres Team Event zugleich, bei dem ihr die einzigartige Möglichkeit habt, große Datenmengen zu bearbeiten und nach euren Ideen auszuwerten. Außerdem könnt ihr ganz ungezwungen mit führenden Köpfen der Statistik sowie Unternehmen in Kontakt treten.

DataFest 2017 ist bereits das dritte DataFest in Deutschland und wird von einem Konsortium bestehend aus dem Lehrstuhl für Statistik und sozialwissenschaftliche Methodenlehre an der Universität Mannheim, dem Institut für Statistik der LMU München und der P3 Group organisiert.

Unter dem Dach der American Statistical Association finden viele weitere DataFeste in den USA statt. In den vergangenen Jahren haben wir und unsere amerikanischen Partneruniversitäten bereits sehr gute Erfahrungen gemacht.

WAS WIRD DIE AUFGABE SEIN?

Die bereitgestellten Daten sollen eine Überraschung sein und werden erst beim DataFest bekannt gegeben. Soviel sei aber verraten: Geplant ist ein riesiger Datensatz von einem unserer Partner aus der Wirtschaft. In der Vergangenheit wurden beispielsweise Daten vom Los Angeles Police Department daraufhin ausgewertet, wie sich Kriminalität reduzieren lässt. Oder die Daten einer Dating-Website wurden daraufhin untersucht, nach welchen Merkmalen Leute sich ihre künftigen Dates aussuchen. Während der Arbeit kannst du kommen und gehen wie du möchtest. Allerdings ist es nicht erlaubt außerhalb des Veranstaltungsraums am Projekt zu arbeiten. Mindestens zwei Teammitglieder müssen zu Veranstaltungsbeginn anwesend sein.

Präsentiert die Ergebnisse in einer sehr kurzen Präsentation einer bunt gemischten Jury, die sich aus Experten aus verschiedenen Berufsfeldern zusammensetzt. Gewinnen kann man in den Kategorien:

  • Best Insight
  • Best Visualization
  • Best Use of Outside Data

Weitere Details zu Anreise, Anmeldung, Unterkunft und ähnlichem gibt es unter:

http://datafest.de/

RWX: Top Impact Publications from the Last 20 Years

Im aktuellen Newsletter DDI DIRECTIONS der DDI Alliance, der insbesondere über die Mailingliste [DDI-users] versandt wird, ist wieder die Kolumne Read-Write-Execute (RWX) erschienen, die auf wissenschaftliche Publikationen aus dem Bereich Metadaten hinweisen will:

DDI DIRECTIONS: Logo of the DDI Alliance’s Newsletter

The DDI Community has produced a rich store of DDI and metadata-related publications. Read-Write-Execute (RWX) will highlight some of these existing publications as well as new work as it is produced. The first column featured some of the foundations of DDI in scientific literature. This second column will revisit some of the top impact publications related to DDI from the last 20 years.

It is not surprising that the DDI publications with many citations cover more high level discussions rather than specific technical details. But revisiting conceptual fundamentals or policy goals, comparing standards, and evaluating approaches should also be done if one is currently planning the next project. So, let’s take a look at some of the top cited DDI publications over the last 20 years.

When Ryssevik and Musgrave (2001) write about their social science dream machine, they were thinking about the distributed NESSTAR system, which is based on DDI. But there is nothing wrong with the idea of an “integrated resource discovery gateway and search system to identify and locate these resources” which consists of not less than “all existing empirical data” (what is today called federated search). And being able to convert an “extensive amount of metadata … totally integrated with the data as such” to a number of formats and copy them to a local machine is a reasonable wish. The same holds true with “an efficient feedback system to the body of metadata, allowing the user to add to the collecting memory of a data set”. Even “The FAIR Guiding Principles for scientific data management and stewardship” (doi:10.1038/sdata.2016.18) from 2016, which are considered to be state of the art, do not cover the range of features Ryssevik and Musgrave describe.

The most cited publication in 2004 contains an important reminder: “Technology itself, however, will not fulfill the promise of e-science, Information and communication technologies provide the physical infrastructure. It is up to national governments, international agencies, research institutions, and scientists themselves to ensure the institutional, financial and economic, legal, and cultural and behavioural aspects of data sharing are taken into account.” (Arzberger et al. 2004: 137) The use of DDI, especially at ICPSR, serves as a use case for the technological domain where access and usability and multiple use of the data must be assured by interoperability.

While Arzberger et al. look at use cases from different disciplines in the different identified domains, Willis, Greenberg and White (2012) compare nine metadata standards in order to understand similarities and differences. They consider DDI as the standard to describe social science statistical data from experimental, observational, and statistical studies. The objective to cover the whole data lifecycle is unique to DDI. DDI is one of two standards which “are intended to be comprehensive, yet support instances of description using a minimal number of required elements.” They conclude that metadata scheme creation depends more on the goals than on the discipline or type of data described (p.1517). At the same time the common discipline specific approach contributes “to artificial boundaries between disciplines and impede interdisciplinary and transdisciplinary reuse” (p. 1516).

For Jeffrey et al. (2014), who describe the CERIF approach to design a research information management system, domain specific metadata standards build the lowest of three levels of information. The first level consists of information on research output (organized by flat metadata like Dublin Core similar to a catalogue card). The second level is built by contextual metadata, which can generate the discovery metadata of level one and point to the domain metadata of level three (which could be DDI). The contextual metadata hold information about base entities (e.g., persons and publications) and connect them using a semantic layer with flexible link entities, which can express roles (defined by a term which captures the semantics and a controlled vocabulary to which the term belongs (p. 10) and have a start and end date). Using this semantic layer a publication can have an author, a publication date, and even a country of publication (using so called localisation entities).

This small list of four top publications related to DDI:

  • shows us that looking more than 15 years back might yield new insights into new products from old ideas,
  • reminds us that technology does not solve social problems,
  • reveals different perspectives on the discipline specific fragmentation of metadata standards,
  • and gives an insight into a concept of a flexible and expressive linking mechanism.
References

(also available at Bibsonomy)

Arzberger, P., Schroeder, P., Beaulieu, A., Bowker, G., Casey, K., Laaksonen, L., Moorman, D., Uhlir, P. & Wouters, P. (2004). Promoting Access to Public Research Data for Scientific, Economic, and Social Development. Data Science Journal, 3, 135-152. doi:10.2481/dsj.3.135

Jeffery, K., Houssos, N., Jörg, B. & Asserson, A. (2014). Research Information management: the CERIF approach. International Journal of Metadata, Semantics and Ontologies, 9, 5-14. doi:10.1504/ijmso.2014.059142

Ryssevik, J. & Musgrave, S. (2001). The Social Science Dream Machine: Resource Discovery, Analysis, and Delivery on the Web. Social Science Computer Review, 19, 163-174. doi:10.1177/089443930101900203

Willis, C., Greenberg, J. & White, H. (2012). Analysis and Synthesis of Metadata Goals for Scientific Data. Journal of the American Society for Information Science and Technology, 63, 1505–1520. doi:10.1002/asi.22683

A bibliography of DDI articles, working papers, and presentations is being built and is available at Bibsonomy.org with easily reusable bibliographic metadata. This metadata will also be made available on the DDI Alliance website. Suggestions for papers and topics for RWX, or the bibliography, are appreciated and can be sent to: Knut Wenzig, kwenzig@diw.de