Analogy-based software cost estimation: improving explicability, effectiveness and efficiency

Abstract

Softwarekostenschätzung ist eine fundamentale Aufgabe im Management von Softwareprojektportfolios, etwa bei Ressourceneinteilung oder Bieten. Allerdings gestaltet sich die Schätzung komplex durch die Einbeziehung verschiedenen Projektteilhaber, die schwer nachvollziehbare Erzeugung der Schätzungen, Softwaremessprobleme etc.<br />Diese Arbeit schlägt Methoden vor um drei Hauptqualitätskriterien von einer Schätzmethode, der Analogie-basierten Schätzung, signifikant zu verbessern: Schätzgenauigkeit, Transparenz der Schätzung, und Schätzeffizienz. Um höhere Schätzgenauigkeit zu erzielen wird der Fokus auf die Erzeugung des Schätzvorschlags gelegt. Die Analogie-basierte Schätzungsmethode wird erweitert durch Einbeziehung des unterschiedlichen Einflusses von historischen Projekteigenschaften auf die Schätzung. Um die Transparenz der Schätzung zu erhöhen werden Erzeugung und Evaluierung verbessert. Bei der Erzeugung bewirken die optimalen Gewichtungen der Projekteigenschaften ein weit weniger volatiles Schätzmodell; bei der Evaluierung erleichtert eine grafische Darstellung historischer Projektanalogien ein intuitives Verständnis der Schätzqualität.<br />Um eine höhere Effizienz in der Schätzung zu erzielen werden alternative Wege zur expliziten Sammlung von Softwaremetriken aufgezeigt und analysiert. Die Anwendungsfallbeschreibungen eines Projektportfolios werden verwendet um implizit die Ähnlichkeit von Anforderungen festzustellen.<br />Alle vorgestellten Verfahren werden an echten industriellen Datensätzen und Artefakten angewendet. Die Verbesserungen der Schätzgenauigkeit und -zuverlässigkeit, die Reduktion der Modellvolatilität, und die Annäherungsqualität der grafischen Darstellung werden quantifiziert.<br />Hauptergebnisse sind: signifikant erhöhte Schätzgenauigkeit und Schätzzuverlässigkeit, eine natürliche Schranke für maximale Schätzqualität bei Analogie-basierter Schätzung, ein weniger volatiles, und damit transparenteres Modell, eine hohe Annäherungsqualität der grafischen Darstellung der Projektanalogien, und ein Kosten sparender Weg um implizit Analogien in historischen Portfoliodaten zu ermitteln.<br />

Cost estimation is a fundamental task in software project management for prominent portfolio decisions, like resource allocation or bidding. However, the estimation process is complex due to the involvement of different stakeholders, unintelligible estimate creation, influence of human experience, etc.<br />This thesis improves three main estimation quality criteria with the analogy-based estimation approach: estimation effectiveness, explicability, and efficiency. To achieve higher effectiveness, this thesis focuses on the estimate creation. The analogy-based estimation method is enhanced by taking into account the varying influence of historical project measures or features on the estimate.<br />To achieve higher explicability, both estimate creation and evaluation are addressed. The use of more appropriate feature weights causes the estimation model to be less volatile, and thus more plausible; a graphical representation of historical project analogies is used to allow for more intuitive understanding of an estimate's plausibility.<br />To achieve higher efficiency, an alternative way of explicitly collecting project measurement data is proposed and analyzed, relying on a portfolio's textual use case descriptions.<br />The thesis applies all proposed approaches to real-world data sets. It quantifies the increase in accuracy and reliability, as well as the reduction in the model's volatility, and the approximation quality of the graphical representation of the analogies.<br />Main results are: increased estimation accuracy and reliability; a barrier for analogy-based estimate quality; a significantly less volatile model; high quality of the graphical representation of project analogies; a cost-saving implicit way of determining analogies in historic project data.<br />