Data envelopment analysis models for performance measurement and management of public policy implementation: evidence from delivery of a social economic development program

Abstract

Public Administration is facing tremendous challenges and it is at the center of political, economic and social developments. In Greece Public Administration presents serious problems, the analysis and elimination of which requires the adoption and implementation of new organizational structures, administrative practices and governance processes. Performance measurement is a significant driver of the use of performance information in management, in particular for decision-making on the delivery of public spending programs. There is increasing recognition that performance evaluation of public spending programs should emphasize on their implementation rather than focus solely on their outcomes. This study for the first time presents a framework for comparing the delivery or administrative efficiency of public spending programs, based on a novel application of a quantitative operational technique, Data Envelopment Analysis (DEA). It is focused on the European Union context and precisely in the implementation of Greek LEADER operational program. Research on performance in public spending programs is focused mainly on their effects on target groups and areas. To the best of our knowledge, there is no a study quantifying the delivery efficiency of a public spending program. This research contributes to improve the current methods of public program delivery assessment by exploring new methodologies, based on a frontier technique, which can effectively provide enhanced managerial information to program implementers and managing authorities and recommendations to ministries towards better public policy implementation. From the alternative frontier methods available, in this study it was chosen to explore in detail the use of Data Envelopment Analysis due to the greater flexibility to incorporate the multidimensional nature of the socioeconomic development policy, the use of minimal assumptions on the shape of the best practice frontier and because it has the advantage of allowing comparisons with the best observed performance by constructing a best practice frontier based on empirical input and output data. Moreover, we apply new nonparametric estimation procedures based on DEA to estimate technical change, relative efficiency change, and productivity change in program delivery as well as the components of efficiency change. In order to evaluate the impact of contextual variables on program productivity we developed a two-stage method that uses DEA in the first stage and OLS regression in the second stage.Through the use of linear programming, DEA constructs a frontier from a subset of efficient best practice program implementers and identifies which delivery units are inefficient compared to it. Output oriented CCR and BBC DEA models provide technical efficiency scores which give the magnitude of the inefficiencies present in relation to the distance of the inefficient units to the frontier enveloping them. For each inefficient implementer, DEA gives efficient resource savings and output increases and a reference set or peer group of efficient implementers, which is most similar to it in their mix of services and resources and constitutes a realistic term of comparison.Strong evidence of operational and scale inefficiencies in mid-term of program implementation is found, suggesting that the delivery system suffers significant absorption problems due to inefficiencies in program administration. These findings emphasize the need to improve program administrative capacities in Greece and suggest adjustments in a number of program implementers charged with the delivery of rural development policy. Furthermore, the study finds significant time improvements in productivity of program delivery. The results of productivity growth and changes in its components from the pre- to post- mid-term implementation period indicate that program implementers experienced a statistically significant increase on average productivity between the two periods. In addition, it is found that the productivity gain may be primarily attributed to a change in relative efficiency rather than to technical progress. Evidence from the comparison of efficiency scores across the regions indicates that location of implementers and their programs might have influenced their delivery performance. We also confirmed the presence of economies of scale in program administration which might be a justification for selecting bigger target areas, population and programs, since economies of scale may require a larger program area than it is possible within a particular small local area.Finally, with respect to factors affecting program delivery productivity, both sizes of delivery mechanism and program budget are significant variables which have implications on program productivity. This infers that local program implementers with average administration resources and larger program budgets have higher likelihood of being efficient. Overall, the results of this study illustrate that DEA, in contrast to traditional program performance measures, is an insightful tool in revealing administrative inefficiencies in program delivery by capturing the operational and scale components of performance while taking into account the complex mix of tasks and interventions carried out by its operators and also allowing for innovation and locally designed solutions able to meet community’ needs. Moreover, the proposed technique may be easily integrated into a program evaluation exercise and may be utilized as a knowledge tool to support rational management decision-making and program improvement.

H Δημόσια Διοίκηση αντιμετωπίζει τεράστιες προκλήσεις και βρίσκεται στο επίκεντρο πολιτικών, οικονομικών και κοινωνικών εξελίξεων. Στην Ελλάδα, παρουσιάζει σοβαρά προβλήματα, η ανάλυση και η εξάλειψη των οποίων απαιτεί την υιοθέτηση και εφαρμογή νέων οργανωτικών δομών, διοικητικών πρακτικών και διεργασιών διακυβέρνησης. Η μέτρηση της απόδοσης αποτελεί ένα σημαντικό οδηγό για τη χρήση πληροφοριών για τις επιδόσεις στον τομέα της διοίκησης, ιδίως όσον αφορά τη λήψη αποφάσεων σχετικά με την εφαρμογή μιας δημόσιας πολιτικής.Η διαφαινόμενη ισχυρή τάση για επιτελικό κράτος έχει οδηγήσει σε ουσιαστική παραχώρηση και αποκέντρωση βασικών εφαρμοστικών λειτουργιών της Δημόσιας Διοίκησης. Ωστόσο, η αποκεντρωμένη διαχείριση των χρηματοδοτούμενων με δημόσιους πόρους κοινωνικο-οικονομικών προγραμμάτων, συνοδεύεται πολλές φορές από σπατάλες κατά τη διαχείριση και καθυστερήσεις στην επίτευξη των στόχων απορρόφησης με δυσμενείς συνέπειες οι οποίες περιλαμβάνουν και την απώλεια πολύτιμων οικονομικών πόρων. Στη σχετική βιβλιογραφία, τα προβλήματα στην απορρόφηση αποδίδονται σε διοικητικές ανεπάρκειες, έλλειψη κινήτρων, μειωμένη διαχειριστική ικανότητα του αποδέκτη, κλπ. Κατά συνέπεια, αποκτά ιδιαίτερο βάρος ο αποτελεσματικός έλεγχος και η αξιολόγηση του συστήματος διαχείρισης και της προόδου υλοποίησης των δημόσιων προγραμμάτων. Η εργασία αποσκοπεί να καλύψει το κενό γνώσης που απαντάται στη διεθνή και ελληνική βιβλιογραφία στην αξιολόγηση της εφαρμογής μιας δημόσιας αναπτυξιακής πολιτικής. Για πρώτη φορά στην ελληνική και διεθνή βιβλιογραφία, η εργασία παρουσιάζει ένα συνεκτικό εννοιολογικό και μεθοδολογικό πλαίσιο για την αποτίμηση και την παρακολούθηση της μεταβολής της παραγωγικότητας και της αποδοτικότητας υλοποίησης ενός δημόσιου προγράμματος στήριξης των επενδύσεων καθώς και για τον προσδιορισμό επεξηγηματικών παραγόντων της επίδοσής του. Το εμπειρικό τμήμα της εργασίας, επικεντρώνεται στο πλαίσιο της πολιτικής αγροτικής ανάπτυξης και εξετάζει την υλοποίηση του επιχειρησιακού προγράμματος LEADER+ 2000-08. Εστιάζεται στους φορείς διαχείρισης προγραμμάτων αγροτικής ανάπτυξης που αποτελούν τον κορμό του ελληνικού συστήματος άσκησης αναπτυξιακής πολιτικής στις αγροτικές περιοχές, παρέχοντας ένα ιδιαίτερα ευρύ και πολύπλοκο φάσμα υπηρεσιών διαχείρισης για ένα ιδιαίτερα ετερογενές επενδυτικό προφίλ και σε μια μεγάλης ποικιλομορφίας χωρική έκταση.Για την επίτευξη του ερευνητικού σκοπού πραγματοποιείται εκτενής ανασκόπηση της ευρύτερης βιβλιογραφίας της διοικητικής επιστήμης και του επιχειρησιακού μάνατζμεντ συμπεριλαμβάνοντας ένα ευρύ φάσμα θεωρητικών και πρακτικών αντικειμένων, με κυριότερα το εφαρμοστικό στάδιο μιας δημόσιας πολιτικής, την μέτρηση των επιδόσεων στο δημόσιο τομέα και το πεδίο της διαχείρισης και αξιολόγησης των προγραμμάτων δημόσιων δαπανών.Η διατύπωση των ερευνητικών υποθέσεων γίνεται σε διαδοχικά στάδια ενώ τα προς διερεύνηση ερευνητικά ερωτήματα είναι τα εξης: Είναι οι φορείς διαχείρισης ενός προγράμματος ενισχύσεων αποτελεσματικοί στην αποδοτική αξιοποίηση των πόρων για τη μεγιστοποίηση των υλοποιούμενων χρηματοδοτούμενων έργων και για την αύξηση της απορρόφησης του προγράμματος; Τυχόν μειωμένη αποδοτικότητα, οφείλεται σε κακή αξιοποίηση των πόρων ή σε αδυναμία λειτουργίας σε πιο παραγωγική κλίμακα μεγέθους; Κατά πόσο θα ήταν δυνατόν να αυξηθούν οι υλοποιήσεις με δεδομένη την τρέχουσα απασχόληση των πόρων, εάν οι μη αποδοτικοί φορείς λειτουργούσαν σύμφωνα με τις βέλτιστες πρακτικές; Υπάρχει βελτίωση της αποδοτικότητας και της παραγωγικότητας υλοποίησης με την πάροδο του χρόνου; Υπάρχουν οικονομίες κλίμακας στο σύστημα υλοποίησης; Υπάρχουν συγκεκριμένοι οργανωσιακοί και εξωτερικοί παράγοντες που επηρεάζουν την παραγωγικότητα υλοποίησης;Η προσέγγιση που προτείνεται και αξιοποιείται για την αποτίμηση της αποδοτικότητας ενός συστήματος υλοποίησης της πολιτικής περιλαμβάνει την ανάπτυξη και εφαρμογή υποδειγμάτων της Περιβάλλουσας Ανάλυσης Δεδομένων (ΠΑΔ-DEA: Data Envelopment Analysis) και τον στατιστικό έλεγχο των αποτελεσμάτων με παραμετρικούς και μη παραμετρικούς ελέγχους. Σημαντική επίσης πρωτοτυπία της διατριβής αποτελεί η μελέτη των προσδιοριστικών παραγόντων της αποδοτικότητας εφαρμογής των δημόσιων προγραμμάτων άσκησης κοινωνικο-οικονομικής πολιτικής με μια πρόσφατη μη-παραμετρική στοχαστική προσέγγιση της παλινδρόμισης των ελαχίστων τετραγώνων.Η εργασία προσδιορίζει τους μη αποδοτικούς φορείς διαχείρισης και τις πηγές της ανεπάρκειας καθώς και τους φορείς που εφαρμόζουν βέλτιστες πρακτικές διαχείρισης. Παρέχει εναλλακτικά κριτήρια κατανομής του αποθεματικού επίδοσης και δίνει προβλέψεις για την μέγιστη δυνατή απορρόφηση του προγράμματος και των παρεμβάσεων. Επιπρόσθετα, προσδιορίζει τις οικονομίες κλίμακας λειτουργίας του συστήματος υλοποίησης, παρέχει δείκτες παρακολούθησης της μεταβολής της παραγωγικότητας και αξιολογεί την επίδραση του μεγέθους στην παραγωγικότητα.Με βάση τα αποτελέσματα της εμπειρικής ανάλυσης, συνάγεται ότι παρουσιάζεται μεγάλη ετερογένεια στην παρατηρούμενη επίδοση των φορέων υλοποίησης του προγράμματος. Το αποκεντρωμένο σύστημα διαχείρισης πάσχει από σημαντικά προβλήματα απορρόφησης που οφείλονται κύριως σε ανεπάρκειες στη διοίκηση. Σημαντικές βελτιώσεις στις υπηρεσίες διαχείρισης του προγράμματος είναι δυνατόν να επιτευχθούν με τους υφιστάμενους πόρους. Με την υιοθέτηση της προτεινόμενης μεθόδου βελτιώνεται η αξιοπιστία και η αποτελεσματικότητα των αξιολογήσεων. Όσον αφορά τη συνεισφορά της εργασίας στο ερευνητικό επίπεδο, η εμπειρική διερεύνηση και ποσοτικοποίηση της αποδοτικότητας εφαρμογής ενός προγράμματος δημόσιων ενισχύσεων με την Περιβάλλουσα Ανάλυση Δεδομένων, δεν έχει εφαρμοστεί στο παρελθόν. Η εργασία συμπληρώνει το εμπειρικό κενό γνώσης σε θέματα αποδοτικότητας των υπηρεσιών διαχείρισης ενός δημόσιου προγράμματος ενισχύσεων. Στην εργασία αναπτύσσονται νέες προσεγγίσεις ελέγχου υποθέσεων που εκμεταλεύονται τον στατιστικό χαρακτήρα της ΠΑΔ και την απομακρύνουν από τον ντερτεμινιστικό αρχικό χαρακτήρα της. Η εργασία συνεισφέρει στο επίπεδο της πρακτικής συμπληρώνοντας την επίσημη/τυπική αξιολόγηση των επιδόσεων ενός δημόσιου προγράμματος ενισχύσεων, με τη διάσταση της υλοποίησης. Παρέχει στους υπεύθυνους ελέγχου και στους φορείς υλοποίησης ενός προγράμματος δείκτες παρακολούθησης της προόδου υλοποίησης και τεχνικές αποτίμησης της αποδοτικότητας. Παρέχει, επίσης μια πιο ρεαλιστική εικόνα για την εκτίμηση της επιτυχίας και των ρίσκων αποτυχίας του προγράμματος, έναντι του ευρέως χρησιμοποιούμενου δείκτη απορρόφησης. Προτείνει, αντικειμενικά κριτήρια, βασισμένα στην ΠΑΔ, για την κατανομή του αποθεματικού επίδοσης. Προσφέρει μια εικόνα για τους οργανωσιακούς και εξωτερικούς παράγοντες που επηρεάζουν την παραγωγικότητα του συστήματος υλοποίησης του προγράμματοςΣτο επίπεδο της πολιτικής ηγεσίας, από τα αποτελέσματα της εργασίας προκύπτει ότι οι επιπτώσεις του μεγέθους δεν μπορούν να αγνοηθούν σε αποφάσεις που αφορούν την κατάρτιση και τον επιμερισμό του προϋπολογισμού του. Υπάρχει ανάγκη ανασχεδιασμού του συστήματος υλοποίησης, στην κατεύθυνση λιγότερων και μεγαλύτερων τοπικών προγραμμάτων, σε αντιδιαστολή με τη διαχρονική πρακτική κατακερματισμού της χρηματοδότησης σε μικρές και αποσπασματικές δράσεις. Επιπρόσθετα, εξάγεται η αναγκαιότητα ενσωμάτωσης στο τυπικό σύστημα παρακολούθησης των προγραμμάτων, ενός υπο-συστήματος παρακολούθησης και αξιολόγησης των επιδόσεων και ιδιαίτερα της αποδοτικότητας.