Jano: Verfahrensvorschlag zur Erstellung eines Assessmentkatalogs:
1 P: Assessment-Ziele definieren (bzw. Problemraum, im Bestfall wäre das ein transparent konsensierter (formaler) Minimalkonsens)
2a D: Topics sammeln nach verschiedenen (individuellen/zweckorientierten) Schemata und Merkmalskategorien ausdifferenzieren, die es dazu gibt; auf Eindeutigkeit achten, möglichst kurz halten - ist besser zu kategorisieren/zu sortieren
2b D: Topics in Qualitätsaspekte zur Struktur-, Prozess- und Ergebnisqualität einteilen oder direkt daraus generieren
2c D: Erhebungsmethode festlegen (Screening Diskussionssysteme, Manualsichtung, Usabilitystudien etc., Entwicklerfragebogen, Test)
3 S: Sortieren nach Qualität und Erhebungsmethode, daraus ergeben sich z.B. Topicblöcke, z.B. für Entwicklerfragebogen + Screeningleitfaden
4 A: Abstimmung; Rangfolge bilden via aufsummierter Einzelbewertungen zur Wichtigkeit/Relevanz (z.B. +++), um Arbeitsaufwand/Fragebogenlänge im Verhältnis zum Nutzen/zur Zumutbarkeit zu halten
w.z.b.w. (Stationenkonzept)
Anmerkung zum Vorgehen:
Besser ginge das Einteilen der Topics via interaktiver Tabellenkalkulation (zB google docs) zu bearbeiten, wie am Anfang vorgeschlagen, weil man dann nicht immer alles wieder neu manuell sortieren muss, was wiederum Zeit klaut. So kann hinter jedem Topic bzgl. der Programmbewertung eine Einteilung in Qualitätsaspekt und Erhebungsmethode erfolgen, ggf. können Unstimmigkeiten übersichtlich festgehalten werden und man kann das dann in der Sortierphase jeweils nach gewünschten Aspekten sortieren. Am Ende der Sortierung wäre dann auch klar, welche Aspekte z.B. in einem strukturierten Screeningleitfaden oder welche in möglichst eindeutig formulierte Fragen mit möglichst gegenstandsnahen Antwortkategorien umgewandelt werden müssen, weil sie im Rahmen der geplanten standardisierten Entwicklerbefragung erhoben werden. Ggf. sollten bestimmte Aspekte mit jeweils anderen Methoden oder durch Zweitbeurteiler im Assessmentprozess gegengeprüft werden.
Formalen Minimalkonsens für den Ziel-/Problemraum konsensieren?
***************************************************************************************************************************
1. Zieldefinition
***************************************************************************************************************************
- bloxx
- 1. Gemeinsamkeiten und Unterschiede der Tools aufzeigen mit dem Ziel, einen Überblick über die Aufgaben und Herausforderungen für eine verbindende Ontologie zu bekommen.++
- 2. (erst, wenn die Prototypen laufen) Abgleich von Theorien und Vorhersagen über die Diskussionsmoral mit den praktischen Erfahrungen aus d!sco und den Prototypen
- 3. Vergleich und Spezifikation der Fälle, für die die Tools ausgelegt sind (=Funktionsebenen von Jano? ja, dein Punkt impliziert aber m.M.n. auch noch die Herausarbeitung von kontextspezifischen Unterschieden zwischen den Verfahren++:)
- -> für die Integration in eine "Workflow"-Ontologie (oder anders bezeichnet), die Tools mit verschiedenen Bereichen verknüpft
- z.B. große/kleine Gruppen, Brainstorming, Argument Mapping, Dokumenterstellung, ...
- Aber eher keine Bewertung, wie gut die Tools diese Fälle tatsächlich erledigen - das wäre Aufgabe von (2.)
- Nicht fragen: Was ist das beste Diskussionssystem?++ ...sondern fragen: welche Diskussionssysteme ermöglichen nicht nur Energievernichtung, sondern auch wirksame Ergebnisse... nun ja, aus meiner Sicht sollte sich das vor allem durch die Evolution der Tools klären
- Jano:
- struktur-/funktions- und userorientiertes Screening von Diskussionssystemen (disco ist nicht nur ein "Fragenkatalog" - besser ist Assessmentkatalog über Qualitätsaspekte bzw. ein Assessentsystem mit mehreren Erhebungsmethoden, z.B. Beobachtung, exp. Probe, Fragebogen, Integrationsdiskurs)
- funktionsorientierte Typenbildung
- Profil von Diskussionssystemen
- externe/interne Usabilityforschung
- Integration von Diskussionssystemen in übergreifendes Gesamtkonzept eines umfassenden Konvergenzverfahrens (workflow-ontology)
- Zusammenstellung von Diskussionssystemen und Prototypen, die Gesamtprozess abdecken
- Diskussionssystem auf gleicher Funktionsebene ergeben modulare Variabilität
- Fehlerscreening bzw. Erkennen offener Entwicklungsfragen
- Qualitätssicherung
- Das sind alles relevante Aspekte. Aber ich sehe mich außer Stande zu unterscheiden, was davon operativ zu realisieren ist - denn vieles scheint mir eher "metatheoretisch". Meine Bitte an Jana: wie sollen die ersten Schritte konkret aussehen?
- /:
- Standardisierte, klare konzeptuelle Profilierung von beliebigen Diskussionssystemen zwecks Erleichterung ihrer Vernetzung mit anderen Diskussionssystemen – vom Groben in's Detailierte gehend
- Sorge bzgl. Input der Diskussionssystem-Entwickler:
- 1. Das große An-einander-Vorbeisprechen
- 2. Das große Schönreden der einzelnen Diskussionssysteme seitens der jeweiligen Entwickler
- Schlüsse:
- Super einfache, allgemeinverständliche Sprache
- Wolfgang
- Vergleichbare Beschreibung der relevanten Tools mit Zielstellung Entwicklung "gemeinsam Politik verändern".
DISKUSSION:
***************************************************************************************************************************
2a Topicsammlung
***************************************************************************************************************************
- Welchen Kontext verlangt das Tool? -> Bitte "Kontext" konkretisieren !
- z.B.:
- Was muss zuvor geschehen sein?
- Welche Informationen muss der User zu Gesicht bekommen, um die gewünschte Qualität zu erreichen?
- Also: Welche "Raum- und Zeitumgebung" wird für die Qualitätssicherung etc. benötigt? -> Bsp-Antwort ?
- Was ist das Ergebnis des Diskussionsprozesses?
- Dokument?
- Argument-Map?
- ...?
- Welche Anforderungen werden an einen Post gestellt?
- Muss ein Titel vorhanden sein?
- Welche Art von Rating wird verwendet?
- Gibt es strukturelle Anforderungen, um Moderation oder Trollbekämpfung zu ermöglichen?
- Läuft die Diskussion zu einem Thema X innerhalb des Diskussionssystems ewig, oder gibt es bei der Diskussion zu einem Thema X innerhalb des Diskussionssystem eine Deadline, die den Diskussionsstand endgültig fixiert und es unmöglich macht, das Thema X weiter zu diskutieren ?
- Ist das Diskussionssystem eher auf Handhabung von geschlossenen Fragen ("Ja/Nein"-Fragen) ausgerichtet oder auf Handhabung von offenen Fragen ("Wie"-Fragen; Fragen nach Vorschlägen; "offene Frage"-Systeme können immer auch direkt ohne Umwege geschlossene Fragen handhaben) ausgerichtet ?
- Sind Diskussionsbeiträge von Nutzern eher einzelne Stichpunkte, oder sind Diskussionsbeiträge von Nutzern ausschließlich Freitexte, die inhaltlich auch mehrere Stichpunkte umfassen können ?
- Können Diskussionsbeiträge bewertet werden ?
- Sind alle Benutzer gleichberechtigt, oder können manche – Administratoren ausgenommen – mehr machen (gibt's beispielsweise Moderatoren, oder haben Thread-Ersteller mehr Rechte als andere Diskussionsteilnehmer) ?
- Welche Technologien kommen zum Einsatz? Welche Programmiersprachen? Welche Datenbanksysteme?
- Welche Systemarchitektur (C/S, P2P) wird verwendet?
- Ist das Tool web-basiert? Werden mobile Endgeräte unterstützt?
- Welche Standards werden unterstützt/genutzt?
- Gibt es einen "offline" Modus?
- Gibt es Schnittstellen für den Im-/Export von Diskussionsdaten? Welche Formate werden unterstützt?
- Werden die Diskussionsdaten durch eine Ontologie beschrieben?
- Welche Entitäten gibt es (Post, PostReference, Tag, Rating, User, Group, usw.)?
- Gibt es ein Berechtigungskonzept?
- Wird ein Gruppenkonzept unterstützt?
- Wie groß ist das Projekt Team? Wie viele Entwickler?
- Wie viele Registrierte Benutzer hat das System? Wie viele davon sind aktiv?
- Seit wann läuft das Projekt?
- In welchem Stadium (Konzept, Studie, Prototype, Alpha, Beta, RTM) befindet sich das Projekt?
- Ist das Tool Open Source? Wo gehostet?
- Welche Form von Diskursen (strukturiert, unstrukturiert, chaotisch) werden unterstützt?
- Was wird im Tool diskutiert (offene/geschlossene Fragen, ganze/anteilige Textdokumente)?
- Welche Abstimmungsprinzipien (Konsens, Konsent, Mehrheit) werden unterstützt?
- Welche Bewertungsmethoden (Like, Like/Dislike, n-wertige Skalen, usw.) werden unterstützt?
- Besteht Klarnamen-Pflicht im Tool?
- Unterstützt das Tool einen korruptions-, herrschafts- und hierarchiefreien Diskurs?
- Orientiert das Tool auf eine Diskussionskultur?
- Ist eine „Nettiquette“ definiert?
- Ist ein Umgang mit inhaltsfremden Beiträgen definiert?
- Werden alle Moderatoraktionen automatisch dokumentiert?
- Ist definiert, wo Kritik an Moderatoraktionen abgelegt und wiedergefunden werden kann?
- Haben Teilnehmer die Möglichkeit, bei unüberbrückbarem Dissens mit dem Moderator von einem bestimmten Punkt an einen einen parallelen Diskurs zu eröffnen?
- Sind Vorkehrungen gegen eine Überlastung der Moderatoren bzw. Aggregatoren getroffen?
- Wird das Konzept/Tool tatsächlich programmiert?
- Wird das Tool als Web-Applikation realisiert?
- Wird die Toolentwicklung von einem Unternehmen getragen?
- Wird das Tool ehrenamtlich bearbeitet?
- Wird ein d!sco-kompatibles Betriebssystem verwendet?
- Werden d!sco-kompatible Programmiersprachen verwendet?
- Wird eine d!sco-kompatible Programmierumgebung verwendet?
- Ist das Konzept/Tool für unterschiedliche Teilnehmerzahlen geeignet?
- Ist eine horizontale Lastskalierung möglich?
- Ist eine strukturelle Skalierbarkeit vorgesehen?
- Ist das Tool für unterschiedliche Textumfänge angelegt?
- Ist auch bei verteilter Speicherung der Texte ein akzeptabler Suchaufwand gesichert?
- Ist das Tool OpenSource? Wo gehostet?
- Werden die Diskussionsdaten durch eine Ontologie beschrieben?
- Welche Entitäten (Post, PostReference, Tag, Rating, User, Group, usw.) sind in der Ontologie definiert?
- Sind die diskutierten Texte in irgendeiner Weise strukturiert?
- Sind die Posts einzeln ansprechbar ?
- Sind die Posts untereinander verknüpft ?
- Werden bestimmte logische Verknüpfungen unterstützt? (Wenn ja, siehe 4. Logik!) Kann die Herkunft von Posts gespeichert werden?
- Wird bei Ableitung eines Post aus einem anderen die Herkunft automatisch gespeichert?
- Können Posts anderen Posts als Sekundärinformation zugeordnet werden?
- Können Posts anderen Posts als detailliertere Information untergeordnet werden?
- Wird die durch solche Unterordnungen entstehende Hierarchie als Baum visualisiert?
- Können inhaltlich zusammengehörige Posts zu einem Ergebnisdokument zusammengefasst werden?
- Sammelt das Tool statistische Daten über die Bewertung ( Zustimmung und Ablehnung) zu den diskutierten Texten?
- Wird die Bewertung nach mindestens 4 Stufen graduiert erfasst?
- Können als wichtig deklarierte Posts einzel/separat bewertet werden?
- Können auch die Diskussionsbeiträge mit like/dislike hoch- bzw. down-gevotet werden?
- Werden neben Zustimmung und Ablehnung auch andere Bewertungen förmlich erfasst? (Wichtigkeit, Sprachliche Prägnanz, Neuheitswert ...)
- Werden die Nutzeraktivitäten statistisch erfasst? (Anzahl Besuche, Anzahl Beiträge, Anzahl Verwarnungen ...)
- Gibt es Regeln, wie die Statistik den Fortgang des Diskurses beeinflussen kann?
- Ist das Tool für Einsteiger sofort nutzbar?
- Begrüßt das Tool die Teilnehmer ansprechend?
- Sind die Schriftarten gut lesbar?
- Sind die Farben harmonisch gewählt?
- Sind Animationen eingebaut?
- Sind die Animationen hilfreich?
- Sind Aha-Effekte eingebaut?
- Animiert das Tool die Teilnehmer zu eigener Aktivität?
- Ist das Tool seinem Wesen nach ein Informationssystem? Das Tool kann gleichzeitig auch Diskussions- und Beschlusssystem sein.
- Ist das Tool seinem Wesen nach ein Beschlusssystem? Das Tool kann gleichzeitig auch Informations- und Diskussionssystem sein.
- Ist das Tool seinem Wesen nach ein Diskussionssystem? (Das Tool kann gleichzeitig auch Informations- und Beschlusssystem sein.)
- Beruht das Tool auf einer definierten Diskussionsmethodik?
- Arbeitet das Tool generell oder vorrangig mit JA/NEIN-Fragen?
- Arbeitet das Tool generell oder vorrangig mit offenen Fragen?
- Ist das Tool konzeptionell mit d!sco kompatibel?
- Ist das Tool programmierungstechnisch mit d!sco kompatibel?
- Kann die Diskussion durch eine Deadline terminiert werden?
- Wird eine Authentifikation der Nutzer unterstützt?
- Unterstützt das Tool ein Rollenkonzept?
- Sind Vorkehrungen für Störfälle enthalten?
- Sind die Informationen gegen technische Störungen und Ausfälle gesichert?
- Werden die Nutzereingaben gegen Verluste durch Fehlbedienung geschützt?
- Gibt es ein Berechtigungskonzept?
- Ist Authentifikation der Nutzer vorgesehen?
- Sind speziell definierte Nutzer-Rollen vorgesehen?
- Wird ein Gruppenkonzept unterstützt?
- Ist Vertraulichkeit für Nutzergruppen vorgesehen?
- Ist eine Rückverfolgung aller Aktionen möglich?
- Ist ein verschlüsselter Datenverkehr vorgesehen?
- Sind Audits für eine ständige Gewährleistung der Informationssicherheit vorgesehen?
- Besteht Klarnamen-Pflicht für bestimmte Rollen, oder generell?
- Ist das Tool zur Diskussion politischer Fragestellungen geeignet?
- Können konträre Positionen explizit gegenübergestellt werden?
- Können Texte von den Teilnehmern bewertet werden?
- Kann Zustimmung und Ablehnung graduiert ausgedrückt werden?
- Können bestimmte Textteile (Kernaussagen) einzeln bewertet und diskutiert werden?
- Ist eine Einarbeitung der Ergebnisse von Bewertung und Diskussion in die Texte gefordert und unterstützt?
- Liefert das Tool zu jedem Diskurs ein Ergebnisdokument?
- Bietet das Tool Optionen, um das Ergebnis des Diskurses nebst Kontexten in unterschiedlicher Ausführlichkeit zu dokumentieren?
- Bietet das Tool die Möglichkeit, die Ergebnisse konkurrierender Diskurse zu einem Ergebnisdokument zu vereinigen?
- Ist das Tool für „Normalverbraucher“ intuitiv benutzbar?
- Bietet das Tool für unterschiedliche Nutzerkategorien unterschiedliche Funktionalitäten?
- Bietet das Tool einen Expertenmodus mit zusätzlichen Funktionalitäten?
- Bietet das Tool Tooltips für Einsteiger?
- Können die einzelnen Posts formal-logische Prädikate enthalten?
- Werden die formal-logischen Prädikate durch Symbole visualisiert??
- Werden formal-logische Verknüpfungen zwischen Aussagen systematisch dargestellt??
- Werden formal-logische Verknüpfungen zwischen Aussagen grafisch visualisiert??
- Darstellungs-/Skalierungsarten für Problemraum, Lösungsraum, Diskussionsverlauf, Qualitätskriterien, Rubikon-State, Konsensmaßstäbe etc. sammeln
- gibt es usability-studien?
- benutzerfreundliche Oberfläche/Funktionalität?
- selbsterklärend? Manual oder ähnliches?
- Möglichkeiten zur Darstellung der Beziehungen von Einstellungsobjekten in Problem- oder Lösungsräumen (z.B. interaktives Mindmapping, Debate Graph etc)
- anteilig: Information, Diskussion, Beschlusssystem
- Zielstellungen
- integrierte Bewertungsverfahren und Problemarten, phasenspezifisch
- Wird das Tool noch weiterentwickelt
- Erreichbarkeit/Kooperationsbereitschaft des jeweilgen Entwicklerteams
- ermöglicht eine transparente, nachvollziehbare und fortführbare Entscheidungsfindung
- methodische Standards
- deskriptive und inferenzstatistische Verwertbarkeit der erhobenen qualitativen und quantitativen Daten
- Umgang mit Daten
***************************************************************************************************************************
2b Einteilung in Qualitätsaspekte der formativen (Struktur- und Prozessqualität) und der summativen Evaluation (Ergebnisqualität)
***************************************************************************************************************************
- >> bloxx: Was ist mit qualitätsunabhängigen Fragen? Anforderungen? Kompatibilitäten? Warum? Das sind doch auch wichtige Qualitäten. Diese Einteilung hier ist aber im Grunde qualitätsunabhängig, da universal. Hier passen zB auch die Einteilung nach Informations-/Diskussions-/Abstimmungssystem nach Struktur und Prozess rein, aber auch die Evaluation von Maßnahmen und Programmen im Allgemeinen.
FORMATIVE EVA
- 1. Strukturqualität
- technische Details,
- Konstruktionshintergrund,
- Konsensdefinition,
- Format
- Darstellung/Aufbereitung des Ergebnisses,
- Zielgruppe, moderiert, strukturiert/unstrkuturiert,
- mit/ohne Entscheidungsverfahren,
- Integrierbarkeit in Gesamtprozess etc.
- ...
- 2. Prozessqualität
- Eignung/Praktikabilität,
- händelbare Gruppengröße,
- Usability,
- Zufriedenheit,
- technische Probleme/Störungen im Betriebsablauf,
- Ansprechbarkeit der Entwickler,
- Adaptierbarkeit, wie lange braucht das Tool Leute heranzuführen die Sachkenntnisse mitbringen,
- wie viele Beiträge der Diskussion werden gebraucht um einen Konsens zu finden. wie lange dauert eine Diskussion bis das Endergebnis angenehrt wurde.
- Störanfälligkeit
- Trolling
***
SUMMATIVE EVA
- 3. Ergebnisqualität (Wirksamkeit), z.B.
- Diskussionsqualität,
- Diskussiongeschwindigkeit,
- Arbeitsaufwand,
- Skaliebarkeit,
- Entscheidungsqualität,
- Endscheidungsgeschwindigkeit,
- Nutzungsdichte/Einzugsbereich,
- Zufriedenheit,
- Abgleich mit entstandenen Daten aus d!sco und bestehenen Theorien / Vorhersagen?
- Alleinstellungsmerkmale der Tools?!!
- Diskussionsqualität, z.B. Häufigkeit von Todschlagargumenten
***************************************************************************************************************************
2c. Erhebungsmethode zur Erfassung relevanter Infos zur Struktur- und Prozessqualität festlegen
***************************************************************************************************************************
Anmerkung: die Ergebnisqualität (summative Eva) ist methodisch und zeitlich von der formativen Eva zur Struktur- und Prozessqualität zu trennen. Disco Delta ist also im Grunde ein Assesmentverfahren zur formativen Evaluation von Diskussionssystemen. Die Ergebnisqualität wird in der Regel mit spezifischen experimentellen Versuchsplänen nach der Implementierung und der formativen Evaluation untersucht.
Screening Diskussionssysteme (externe Usability-Studie)
Manualsichtung, interne Usability-Studien? etc.
Entwicklerfragebogen
Test