Checkliste: Anforderungen GUI-Testtool für Java und/oder - QF-Test

Checkliste: Anforderungen GUI-Testtool für Java und/oder Web
Anforderungen
Gewichtung
Vergleichstool Vergleichstool Vergleichstool
Regressions- und Lasttests für Java und Web Ihr Eindruck
GUIs
1
2
3
Features
Unterstützte Technologien
Java: Swing, JavaFX, AWT, SWT, Eclipse PlugIns, RCP, Applets, JavaWebStart, RIA, ULC,
CaptainCasa.
Web: Internet Explorer, Firefox, Chrome, Safari,
Edge (HTML 5, AJAX: ExtGWT/GXT, ExtJS,
GWT, ICEfaces, jQuery UI, jQuery EasyUI,
Kendo UI, PrimeFaces, Qooxdoo, RAP,
RichFaces, Vaadin, ZK.). Weitere Toolkits können
bei Bedarf mit geringem Aufwand integriert
werden, z.B. SAPUI5, Siebel Open UI, Smart
GWT, Wicket, Angular JS und AngularDart.
Mehrere GUI Technologien in
einem System
Geeignet für hybride Systeme mit mehreren GUI
Technologien wie auch eingebettete BrowserKomponenten (JavaFX, WebView, JXBrowser,
SWT-Browser…über "generische Komponenten").
Unterstützte Betriebssysteme
Swing und JavaFX: Windows, Linux, Unix,
macOS.
SWT: Windows, Linux-GTK; Solaris-GTK auf
Anfrage.
Web: Windows, Linux, macOS.
Capture/Replay für schnelle Testerstellung:
umfangreiche Möglichkeiten für Ablaufsteuerung,
Modularisierung und erweitertes Skripting.
Testprinzip
Teststrukturierug
Checkliste_QF-Test
Klar und übersichtlich dank graphischer
Darstellung des Testablaufs in Baumstruktur.
Schichtenarchitektur von Testsuiten ermöglicht
modularen Aufbau bei umfangreichen Tests.
1
Komponenten-wiedererkennung.
Robustheit der Tests
Variabel, beherrscht komplexe Elemente wie
dynamische Bäume und Tabellen. Ausgereifter,
parametrierbarer Algorithmus sorgt für hohe
Wiedererkennung, besonders bei
Namensvergabe. Tests tolerant gegenüber
Änderungen am GUI.
Wiederverwendbarkeit,
Wartungsaufwand
Hohe Wiederverwendbarkeit (stabile
Komponentenwiedererkennung). Automatische
Erstellung von Basisprozeduren zum
Komponentenzugriff und modularer Aufbau
resultieren in geringem Wartungsaufwand.
Datengetriebenes Testen
Datentreiber erlauben flexibles Einbinden interner
und externer Testdaten z.B. aus CSV, Excel
Dateien oder Datenbankzugriff. Über
Skripterweiterung können beliebige andere
Quellen eingebunden werden. Testfall so mit
mehreren Testdatenvarianten ausführbar.
Schlüsselwort getriebenes
Testen/ Behavior-driven Testing
Ausführung von Testfällen aus einem
Planungsdokument oder der Spezifikation, z.B.
Excel oder einem Testmanagementtool
(Testerstellung nicht direkt in QF-Test).
Flexibel auf Knopfdruck oder durch Aufruf über
die Kommandozeile. Detaillierte Protokolle mit
allen Informationen zur effektiven Fehlersuche
(inkl. Screenshots der Fehlersituation).
Übersichtsreports in HTML und XML.
Detailliertes Protokoll. Debuggerfunktionalität
inklusive Breakpoints und Variablenanalyse.
Eingebettetes Jython und Groovy inkl.
umfangreicher Bibliotheken ermöglichen auch
Zugriff auf das Java API, dadurch
Funktionserweiterungen und komplexere
Prüfungen/akitonen realisierbar. Über ScriptingAPI voller Zugriff auf alle Objekte der Anwendung
(SUT). Ausführung eigener Java Codes bzw.
JavaScript Codes direkt im Browser.
Protokolle, Testdokumentation
und Reports
Fehleranalyse
Erweiterbarkeit / Skripting
Checkliste_QF-Test
2
Testmanagement
Continuous Integration
Reifegrad
Pragmatische Lösung für kleinere Projekte in QFTest enthalten. Spezielle Integrationen verfügbar:
HP ALM - QualityCenter, Imbus TestBench,
Qmetry, SQS-TEST/Professional, Klaros (von
Verit) und Testlink (Open-Source).
Flexible Integration in Build-Tools: Ant, Maven,
Hudson, Jenkins, CruiseControl, CVS, SVN,
Subversion, ClearCase, Git, Mercurial, JIRA,
Bugzilla, ClearQuest, TestTrack Pro, Mantis…
(Eigenes Plugin für Jenkins verfügbar).
Ausgereift, seit 2001 auf dem Markt verfügbar.
Bei über 1.000 Kunden weltweit mit über 7.000
Lizenzen im Einsatz.
Benutzerfreundlichkeit
Zugang zum Produkt
Installation
Einarbeitungszeit
Benötigte Vorkenntnisse
Bedienkomfort
Dokumentation
Checkliste_QF-Test
Freie Demoversion anonym zum Download. gratis
Evaluationslizenz auch verlängerbar inkl. freiem
Support und Webinar. Upgrade zur Kaufversion
via Lizenzdatei.
Sehr schnell, kleine Downloaddateien für
Windows und Unix-Systeme verfügbar.
Demoversion ohne Lizenzregistrierung lauffähig.
Gutes und klar strukturiertes SelbststarterTutorial, schon ab etwa einer Stunde erste Tests
durchführbar.
Für Standardnutzung keine
Programmierkenntnisse erforderlich, jedoch für
fortgeschrittene Skripterstellung
(Standardskriptsprachen Jython und Groovy)
hilfreich.
Einfach zu bedienen, sehr intuitiv. Klar
strukturierte Baumansicht für bequemes
Bearbeiten der Testfälle, z.B. Copy/Paste und
Drag&Drop. Capture/Replay für einen schnellen
Start.
Ausführliches Handbuch, Selbststarter-Tutorial,
Videos, Standardprozeduren,
Volltextsuchfunktionen, Online-Hilfe per
Rechtsklick in QF-Test, allgemeine und
technische FAQ.
3
Testdurchführung
Testvorbereitung
Testfallvorbereitung
Testskripte
Verifikationspunkte
Bildvergleiche
Object mapping
Tests im Batch-Betrieb
Entfernte Ausführung
Fehlerbehandlung
Anpassung von Tests
Checkliste_QF-Test
Der Schnellstart-Wizard erledigt eine nur bei
Anwendungen mit SWT Komponenten nötige
Instrumentierung automatisch, AJAX-Toolkit wird
automatisch erkannt, keine Browser Plug-Ins
nötig.
Abhängigkeitsmanagement für Testvorbereitung
für unabhänging lauffähige Testfälle, inklusive
automatischer Fehlerbehandlung.
Übersichtlich,gut nachvollziehbar, leicht
erweiterbar - sogar während des Debuggens.
Wiederkehrende Aktionen in Prozeduren
modularisierbar, auch parametrisierbar.
Wartbarkeit vereinfacht, Anpassungen nur in
Prozeduren notwendig. Strukturierung der Tests
in verschiedene Testfälle. Zusammenfügen zu
Testfallsätzen und Konstruktion in verschiedene
Testszenarien möglich.
Direktes Aufnehmen von Standard-Checks,
kundenspezifische Checks über Skripting.
Zahlreiche Algorithmen auch für unscharfe
Bildvergleiche - komfortabler Diff-View zur
Kontrolle bei Abweichungen.
Komponenteninformationen während der
Aufnahme gespeichert in einem eigenen Bereich
in der Testsuite, jederzeit editierbar.
Mechanismen für automatisches Update.
Ja, umfangreiche Konfigurationsoptionen per
Kommandozeilenparameter und Einbinden in
Build-Umgebungen. Einleiten weiterer Schritte
nach einem Testlauf über Rückgabewerte.
Testausführung auch auf entfernten Rechnern im
Daemon-Modus.
Automatische Fehlerbehandlung garantiert das
Fortführen der Gesamttests.
Tests voll editierbar an beliebiger Stelle zu
ergänzen oder zu ändern. Test-Debugger hier
hilfreich.
4
Teamarbeit
Formate und
Versionsmanagement
Generische Komponenten
Lizenzen und Preise
Produktvarianten
Lizenztypen
Konfliktfrei durch modularen Aufbau von Tests
und Importmechanismus für die
Komponenteninformation.
Testsuiten wie Protokolle als XML Dateien und
gut geeignet für z.B. Versionsverwaltung.
Erkennung technischer Komponenten (Buttons,
Textfelder…) ist stark abstrahiert, erlaubt die
Wiederverwendung von Tests über Technologien
hinweg sowie den Einsatz von allgemein gültigen
Aktionen ohne jedes einzelne Feld erfassen zu
müssen.
QF-Test ist in verschiedenen Produktvarianten
aus den vier GUIs erhältlich (Swing, FX, SWT,
Web). Es können genau die Technologien
gewählt werden, die man benötigt.
Entwickler und Runtime-Lizenzen: alle Lizenzen
sind floating (d.h. frei im Projekt übertragbar) und
zeitlich unbegrenzt. Kauf, Miete und Upgrading
möglich. Lizenzserver für netzwerkübergreifende
Nutzung.
Lizenzpreise
Entwicklerlizenz ab 1.995 EUR, Runtime-Lizenz
ab 995 EUR. Preisnachlässe bei Kauf mehrerer
Lizenzen/Technologien und späterem Zukauf.
Lizenzserver
Verfügbar oder denzentrales Lizenzmanagement.
Support und Service
Sprachen
Support
Während Evaluation
Support mit Wartungsvertrag
(kommerziell)
Checkliste_QF-Test
Komplett auf Deutsch und Englisch
(Dokumentation, Videos, Schulung, Support).
Direkt von den Entwicklern und Testern von QFTest.
Freier Support per Telefon / E-Mail, aktive
Kontaktaufnahme und Supportangebot, freies
Evaluations-Webinar.
Pflegevertrag (Support + Upgrades) auf jährlicher
Basis: sehr kurze Antwortzeiten - individueller
Support per E-Mail, Telefon, Webinar.
5
Schulung, Beratung
Community / Diskussionsforum
Gesamtergebnis
Checkliste_QF-Test
Beim Kunden vor Ort oder als regelmäßige
Schulungen bei QFS: alle Angebote auch als
Webinar.
(Englische) Mailing-Liste, kurze Antwortzeiten,
auch von QF-Test Entwicklern - umfangreiches
Listenarchiv mit Suche.
6