FOOTPRINTS:
Strategies for Non-Traditional
Program Evaluation
Edited by:
Joy A. Frechtling
Westat, Inc.
Prepared for:
Susan Gross, Program Officer
Division of Research, Evaluation and
Directorate for Education and Human
National Science Foundation
Arlington, VA
January, 1995
Table of Contents
Introduction
Daryl E. Chubin
Foreword . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .v
Joy A. Frechtling
The Search for Footprints: Nontraditional Approaches to Evaluating NSF’s Programs . . . . . . . . . .1
Susan Gross
Dear Reader . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3
The Papers and Discussants
Robert F. Boruch and Erling Boe
The Use of Science and Mathematics Education Indicators and Studies: A Briefing . . . . . . . . . . . .7
Sylvia T. Johnson
Searching Near, Far, and Wide: A Plan for Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15
Robert K. Yin
New Methods for Evaluating Programs in NSF’s Division of
Research, Evaluation, and Dissemination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25
Valena White Plisko . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37.
David Jenness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39.
Malcom Phelps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43.
Richard T. Hezel
Considerations for the Evaluation of the National Science Foundation Programs . . . . . . . . . . . . .45
Norman L. Webb
Communicating the Value of the National Science Foundation’s Contributions to Research
and Innovative Technical Applications for Mathematics and Science Education . . . . . . . . . . . . . .53
M. Christine Dwyer
Footprints on Surfaces: A Nontraditional Approach to Evaluation of
National Science Foundation Programs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .75
Robert Mac West . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.
Senta Raizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93.
Zoe A. Barley and Mark Jenness
Conceptual Underpinnings for Program Evaluations of Major Public Importance:
Collaborative Stakeholder Involvement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .97
Robert E. Stake
The Virtual Reality of Systemic Effects of NSF Programming on Education:
Its Profession, Practice, Research, and Institutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .107
Eleanor Chelimsky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127.
David B. Rymph . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129.
Concluding Comments
Michael Scriven
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .131
Laure Sharp and Joy Frechtling
Footprints: A Search For New Strategies For Evaluating EHR Programs . . . . . . . . . . . . . . . . . .139
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155.
| 