من قبل رافائيل دوس سانتوس بيريرا *
تأملات في سياسة التقييم الوطنية وإدارة الجامعة
يتم تقييد الأطروحة في عملية محددة ، ولا تسمح خطتها وتنفيذها والخصائص النصية لعرضها دائمًا بتطوير جميع الانعكاسات التي يقترحها البحث ونتائجه التجريبية. نتفق على أن العديد من هذه الانعكاسات قد تكون نقاطًا غير مرتبطة بالخيط المشترك للبحث المقترح ، وقد تسبب تأثيرًا يتضح جيدًا من خلال عبارة "فقد الخيط". ومع ذلك ، فإن الدفاع عن الأطروحة والحوار مع اللجنة وعملية تصحيح نسختها النهائية عرضة بشكل عام لإثراء هذه الانعكاسات ، وكشف بعض الخيوط التي يمكن سحبها وتساعد على فك خيوط الواقع أكثر من ذلك بقليل. تسعى إلى الفهم.
لقد قطعنا شوطًا طويلاً حتى الآن مسترشدين بالسؤال الذي يلخص مشكلة بحثنا ، والذي يهدف إلى فهم الغرض من السياسة الوطنية لتقويم التعليم العالي ، والتي يتمثل تعبيرها الحالي في النظام الوطني لتقييم التعليم العالي ، الصين. في رحلتنا ، كانت الجامعة هي المكان والموضوع ومجال البحث. كانت إدارة الجامعة هي الخلفية عندما درسنا الوثائق التجميعية لعمليات التخطيط - خطة التطوير المؤسسي (PDI) - والتقييم - تقرير لجنة التقييم الخاصة (RCPA) - لعينة الجامعات (UFF و UnB و UFPA و UFBA و UTFPR ). كان هذا التثليث حاضرًا دائمًا في طريقنا أثناء البحث ، بحيث دفعتنا الانعكاسات التي قدمناها ، بهدف تقييم سياسة التقييم الوطنية ، إلى التفكير أيضًا في إدارة الجامعة والجامعة نفسها.
قادتنا انعكاساتنا على سياسة التقييم الوطنية وإدارة الجامعة إلى فهم نموذج الجامعة الذي يظهر ، أو بالأحرى ، يتم توحيده على "المستوى الأرضي للمؤسسة". مثل هذا النموذج مدفوع بمجموعة من السياسات التي يتم استحداثها والتحقق من صحتها من خلال سياسة التقييم الوطنية. هذا النموذج الجامعي ، الذي أطلقت عليه ماريلينا تشوي (2003 ، 1999) وميشيل فريتاغ (1996) جامعة تشغيلية ، نسميها ، بناءً على هذه الأفكار ، عن طريق الاستنتاج ، "جامعة فعالة".
نحن نفهم أنه كان هناك نوع من التطوير لمفهوم الجامعة التشغيلية ، الموصوف في سياق النزاع ، مع بعض الاتساع ، لمفهوم "الجامعة الفعالة". هذا الأخير هو تعبير عن سياق هيمنة الإدارة والإدارة العامة الجديدة ، التي تم تحديد تنظيمها الجامعي [وليس مؤسسة جامعية] التي كان من المقرر بناؤها سابقًا والمتنازع عليها ، عمليًا ، على الأقل في نطاق التوليف الرسمي الوثائق ، وهي تمثيلات للفكر المهيمن والممارسة في الجامعات.
على الرغم من أننا يجب أن ننسب الانعكاسات والفرضيات حتى لا نقع في سذاجة العلاقات العامة ، إلا أننا يجب أن نأخذ في الاعتبار أن هناك وحدة كبيرة بين الممارسات الإدارية للمؤسسات التعليمية الفيدرالية. تحدث هذه الوحدة نظرًا للطبيعة المنهجية والمركزية لتشريعات التعليم العالي البرازيلية ، فضلاً عن تنظيم الجامعات الفيدرالية في شبكة إدارة متصلة ومعبأة من قبل الرابطة الوطنية لمديري مؤسسات التعليم الفيدرالية (Anfides). لذلك ، فإن نتائج البحث التي تدعم هذا الكتاب وانعكاسات هذا المقال القاطع ، على الرغم من أنها لا يمكن ولا ينبغي تعميمها ، لا ينبغي النظر إليها بمعزل عن غيرها ، تحت طائلة الوقوع في نفس سذاجة العلاقات العامة.
في هذا المقال ، عن طريق اختتام هذا الكتاب ، نجادل بأن نموذج الجامعة في مرحلة متقدمة من التوحيد في البرازيل وقد حقق الهيمنة على إدارة الجامعة ، مدفوعة بسياسة التقييم الوطنية. نتيجة هذه الهيمنة هي ما نسميه الجامعة الفعالة. لا نهدف إلى وصف النموذج ، حيث تم ذلك بالفعل في هذا الكتاب عندما نتعامل مع الإدارة العامة الجديدة. الهدف هو إنشاء الروابط التي تحددها ، وتعزيز قراءة الجامعة بما يتجاوز الفهم المطابق ، حيث تكون الأشياء كما هي. بالنسبة لنا ، الأشياء كما هي لأنها بُنيت ، وبنفس الطريقة ، أو بطرق أخرى ، يمكن تفكيكها و / أو إعادة بنائها.
دعونا نفكر ، على سبيل المثال ، في السؤال التالي: هل يمكن لأي شخص أن يكون ضد الإدارة الفعالة في الجامعة أو المدرسة العامة أو أي هيئة عامة أخرى؟ الجواب بديهي: لا! بعد كل شيء ، الكفاءة هي مبدأ من مبادئ الإدارة العامة ، منصوص عليه في المادة 37 من الدستور الاتحادي ، وعلى هذا النحو ، لها قيمة جوهرية ، ليس فقط كقانون ، ولكن كمبدأ من مبادئ القانون البرازيلي الأعظم. إنه رمز قوي جدًا ولا يرقى إليه الشك على ما يبدو. ومع ذلك ، بعد المسار المتبع في البحث الذي دعم أطروحة الدكتوراه ودعم هذا الكتاب ، سنقوم بدور التشكيك في هذا الأمر الذي لا يرقى إليه الشك.
السؤال الأول يتعلق بالجانب الرمزي القانوني ، يدعمه حقيقة أن الكفاءة مبدأ دستوري. نحن عازمون على إضفاء الطابع النسبي على هذه القوة وإضفاء الطابع التاريخي عليها حتى لا نخاطر باتخاذ موقف ساذج ، مما يضفي كل القوة الرمزية لدستور المواطن على هذا المبدأ ، وهو "قيمة" إدارية ، كما رأينا في جميع أنحاء الكتاب ، تحديدًا في الفصل الثاني ، عندما أجرينا مناقشة حول الإدارة العامة الجديدة.
تتناول المادة 37 من دستور جمهورية البرازيل الاتحادية الذي سُن في عام 1989 الإدارة العامة المباشرة وغير المباشرة ، وهي السلطات الثلاث في أي كيان فيدرالي. ويغطي الفروع التنفيذية والتشريعية والقضائية للاتحاد والولايات والهيئات التنفيذية والتشريعية للبلديات ، وكذلك الشركات العامة والمؤسسات والسلطات المستقلة. تتناول بنودها وفقراتها وفقراتها جوانب مختلفة تتعلق بالإدارة العامة ، لكن من الصواب في رأسيتها أن تحدد مبادئ الشرعية وعدم الشخصية والأخلاق والدعاية والكفاءة.
في الأصل في المادة 37 ، لم يتم تكوين مبدأ الكفاءة ، والذي تم إدراجه في الدستور من خلال الموافقة على التعديل الدستوري رقم 19 ، في 04 يونيو 1998 ، أي بعد 10 سنوات من الموافقة عليه ، بالفعل تحت تأثير الإصلاح. جهاز الدولة منذ عام 1995. من المهم التأكيد على هذا
وأدت التغييرات الشكلية الصادرة عن المجلس التنفيذي EC-19/98 إلى التدخل في قبول الموظفين ، وفي سياسة الأجور ، وفي الاستقرار واللامركزية في وظائف الكيانات الإدارية. وفقًا لبولوس (1998) ، في انطباعاته الأولى عن الإصلاح الإداري المعني ، "تم تطبيق تقنيات الإدارة على التعديلات الدستورية ، على أساس أن مثل هذا الإجراء من شأنه تحسين كفاءة وأداء موظفي الخدمة المدنية" (ص 71).
السؤال الثاني الذي نطرحه يتناول الجانب المفاهيمي. من وجهة النظر هذه ، سيكون من السذاجة النظر إلى معنى الكلمة في القاموس ، حيث أن هذه الكلمة تمثل مفهومًا مرتبطًا بمفهوم معين ولفهمه ، نحتاج إلى النظر إليه ضمن هذا المفهوم وليس من خلال الاستخدام الاجتماعي كما هو الحال عادة يتم تعريفه في القواميس. تشير الكفاءة ، ضمن مفهوم الإدارة العامة الإدارية ، إلى حل مشكلة قد تكون في الدولة وتنشأ من أزمة جهازها ، وهي أزمة توصف بأنها أزمة مالية. وبالتالي ، تعتبر الكفاءة مفهومًا اقتصاديًا وإداريًا يرتبط ارتباطًا مباشرًا بموارد الميزانية والموارد المالية لجهاز الدولة.
من المهم أن نتذكر أن توصيف الأزمة الاقتصادية والسياسية والاجتماعية التي بدأت في السبعينيات ، كأزمة مالية ، يشير إلى انتقاد نموذج دولة الرعاية الاجتماعية ، حيث يوجد بشكل عام دولة نشطة في الاقتصاد وتحفيز التنمية والمستثمر والممول ومنفذ السياسات العامة. بالنسبة للمدافعين عن الإدارة العامة الإدارية ، أو الإدارة العامة الجديدة ، كان سبب الأزمة هو بالضبط هذا النموذج من التنمية ، حيث كانت الدولة غير فعالة ، سواء في التمويل أو في تنفيذ السياسات.
يتضمن الحل المقترح للتغلب على الأزمة المالية إدارة إدارية فعالة ، تستند إلى مبادئ وممارسات العمل. في هذا النموذج ، يتم أساس الممارسة الإدارية من خلال تعبئة العديد من الأدوات والمفاهيم الأخرى التي تكمل إطار الإدارة العامة الجديد ، مثل اللامركزية ، والتخطيط الاستراتيجي ، والتركيز على النتائج ، والأداء ، والدخل وتقييم الأداء ، وهذا الأخير هو الخط الرئيسي الذي يضمن الكثير.
من جانبها المفاهيمي ، ندرك أن الكفاءة ، في الإدارة العامة ، تتعامل بشكل أساسي مع استخدام الموارد وتخصيصها من الأموال العامة ، مما يعني بالضرورة موارد أقل للسياسات الاجتماعية واستثمارات الدولة ، حيث كانت هذه ، بشكل عام ، سبب الأزمة المالية. الحل المقترح ، كما رأينا ، هو تقليص وجود الدولة في عدة مجالات وتقليص "النفقات العامة" ، مما يولد الحاجة الفعلية لبذل المزيد وأفضل بالموارد القليلة المتبقية.
يصل السؤال الثالث والأخير إلى ما نسميه هنا الجانب الأيديولوجي للكفاءة ، حيث تصبح فيه قيمة عامة للمجتمع ، مرتبطة بشيء جيد بالضرورة ، لدرجة أننا نفترض أن هذه الكلمة مرادفة لكلمة "أحسنت". إن ترسيخ هذا الجانب لن يكون ممكناً لولا الاستعانة بوسائل الإعلام التي تضخ الفكرة الكامنة وراء المفهوم في المخيلة الشعبية. بناءً على هذا الجانب ، تمكنا من توضيح الجانبين الآخرين والتفكير في النتائج الفعالة لإدراجه كمبدأ دستوري للإدارة العامة.
تساعد الدعاية الحكومية كثيرًا في تعزيز الجانب الأيديولوجي للفعالية. على سبيل المثال ، يمكننا أن نذكر الدعاية لبرنامج الخصخصة لحكومة فرناندو كولور دي ميلو في عام 1990. في العديد من الإضافات على التلفزيون والدولة والإدارة العامة بشكل عام ، تم تصويرها على أنها فيل أزعج الكثير من الناس ، قوية وبطيئة وغير مريحة وعفا عليها الزمن. بالإضافة إلى عدم الكفاءة المرتبط بالنموذج البيروقراطي ، هناك أيضًا جمعيات للدولة والخدمة العامة ذات امتيازات ، وهي السمة الرئيسية للنموذج الوراثي.
من الشائع أن نرى مقارنات مبسطة ومعممة بين رواتب العاملين في القطاع الخاص والعاملين في الخدمة العامة ، الأمر الذي يؤدي إلى مستويات من الفهم حول الكفاءة ، بعد كل شيء ، تتضمن هذه التقارير المعنى الضمني للكفاءة الذي يشارك فيه الجمهور. الخدمة لا تقدم الكثير للسكان بتكلفة عالية والقطاع الخاص أرخص وأفضل. ترتبط المقارنات بين الأداء الأكاديمي للمدارس الخاصة والمدارس العامة أيضًا بشكل شائع بالنص الفرعي للكفاءة.
هل يمكننا أن نسأل أنفسنا ما إذا كان الهدف من السياسة العامة هو تحقيق هدفها بشكل مطلق أو نسبي؟ أو بالأحرى ، هل الهدف من السياسة العامة هو القيام بأفضل ما يمكن بموارد قليلة أو القيام بأفضل ما يمكن؟ يمكننا أن نذهب إلى أبعد من ذلك بقليل: بالنظر إلى أن هدف السياسة العامة الاجتماعية هو ضمان حق إنساني واجتماعي وقانوني ، فلن يكون من الأنسب أن يخصص المجتمع الموارد اللازمة لتحقيق أهداف السياسة بدلاً من تنظيمها. الموارد؟
في ضوء ما سبق ، قد يبدو من غير المناسب حتى أننا لا نفهم المفهوم "الصحيح" للكفاءة ، ولكن هذه الأسئلة تكون أكثر منطقية عندما نلاحظ في الوثائق التي تم تحليلها وكذلك بشكل عام التشخيص الاجتماعي لتحليل الظروف التي تم إجراؤها لتطبيق مثل هذا المفهوم. من الشائع اعتبار أننا نعيش في أوقات "الموارد الشحيحة" وأن الإدارة العامة يجب أن تكون مبتكرة لأداء وظيفتها الاجتماعية. لقد رأينا هذا في جميع الوثائق التي حللناها في بحث الدكتوراه لدينا ، وهي الوثائق التي توجه إدارة الجامعات الفيدرالية. من الضروري التشكيك في الفرضية: "نحن في أوقات شحيحة الموارد" ، على الأقل نسأل "نادرًا لمن؟"
تقودنا هذه الأسئلة إلى موقف نقدي تجاه كلمة الكفاءة ، عند استخدامها في وثائق السياسة والتقارير والخطب التي يكون هدفها الإدارة العامة والدولة. يمكننا أيضًا أن نفترض أن الكفاءة قد لا تكون دليلًا إيجابيًا عالميًا ، بالإضافة إلى ملاءمتها عند تطبيقها على الخدمة العامة. بعد كل شيء ، يرتبط بهذا المبدأ الدستوري ، وكذلك بكل التشريعات وكل السياسات ، مفهوم الدولة والإدارة العامة ، وبالتأكيد المجتمع.
ما يمكن أن نلاحظه خلال بحثنا هو أنه منذ السبعينيات كانت هناك مقترحات ومشاريع وبرامج لتقييم التعليم العالي. هذه المقترحات ليست بريئة أو "عواقب طبيعية" لعملية التحديث ، لذا فإن فهم سياسة التقييم الوطنية من منظور تاريخي ضروري لتطوير هذه المناقشة. في الفصل الأول ، نوضح كيف تم توحيد سياسة التقييم الوطنية بمرور الوقت في خضم الخلافات حول مفهوم الدولة والتعليم. نعرض في الفصل الثاني نقاط التقاطع بين مقترحات الإصلاح لحل مشاكل الأزمة وتقييم السياسات وتقييم التعليم العالي ، مما أدى إلى استبدال الدولة المقدمة بالدولة التقييمية.
وتجدر الإشارة إلى أن فكرة الكفاءة في الإدارة العامة متأصلة في نقد نموذج الدولة التنموي ، والمروج والممول للسياسات ، التي تعتبر سبب الأزمة المالية. لهذا السبب ، فإن فكرة تحسين أداء الدولة من حيث استخدام الموارد العامة "النادرة" تظهر بقوة. وهو على وجه التحديد تقييم السياسات ، وكذلك سياسة التقييم المنهجي للتعليم ، الذي سيضمن إنتاج المعلومات التي تهدف إلى صنع القرار من قبل المديرين حول السياسات العامة ، والأهم من ذلك ، حث بيروقراطية الدولة والمجتمع على تنظيم نفسها. بناء على منطق الكفاءة هذا.
يحدد التقييم المعلمات والمبادئ التوجيهية والمؤشرات والأدلة والأحكام وغالبًا ما تكون المكافآت والعقوبات ، من أجل مطابقة الكائن الذي يتم تقييمه. وهكذا ، فإن فرضية أن الأزمة مالية ، بسبب إنفاق الدولة الكثير من الموارد للحفاظ على نظام من السياسات الاجتماعية ، تصبح نظرية مبنية على الأدلة.
لكن ما الدليل؟ في سياق الإصلاح الإداري ، تلك الناتجة عن تقييمات السياسات العامة وسياسات التقييم ، في حالة التعليم العالي ، "الأدلة" التي تنتجها SINAES. إنهم يثقفون المجتمع حول ما هو "جيد" وما هو "سيئ" وما "يمكن تحسينه". هم يحددون ، بشكل أساسي ، ما لا ينبغي أن يكون ، أو المقدار الذي يجب أن يكون ، من موارد الدولة ، إما لأنها "جيدة بما فيه الكفاية" بالفعل بالموارد المتاحة ، أو لأنها سيئة للغاية لدرجة أنها تحتاج إلى نقلها إلى القطاع الخاص . لقد استخدمت علامات الاقتباس في الأحكام لتسليط الضوء على نسبتها ، لأنها تعتمد على معايير محددة مسبقًا وفقًا لمفاهيم الدولة التي توجه التقييمات.
لتوضيح ما نقوله بسرعة ، سنستخدم مثالًا موضوعيًا من الاقتصاد: سياسة تقدير الحد الأدنى للأجور التي تم تبنيها من 2004 إلى 2019 في البرازيل. هناك وجهات نظر مشار إليها في الليبرالية تدافع عن أن هذه السياسة يجب ألا تحدث أبدًا بمبادرة من الدولة ، وأنه يجب وجود حد أدنى للأجور ، مع السوق ، والسوق فقط ، المسؤول عن تنظيمه. وجهات نظر أخرى ، لا تزال في مجال الليبرالية ، ستعتبر أن السياسة كما كانت ، كانت فاشلة ، بل إنها من بين المتغيرات التي ساهمت في الأزمة الاقتصادية التي بدأت في عام 2015 على وجه التحديد لأنها كانت عدوانية مع التدخل المفرط للدولة. يميل المنظور التنموي الوطني الذي صمم السياسة ونفذها إلى اعتبار أنها كانت ناجحة وحتى أنها حالت دون ظهور الأزمة في وقت مبكر. أخيرًا ، ما زلنا نجد وجهات نظر تعتبر أن سياسة تقييم الحد الأدنى للأجور لم تكن كافية.
في التعليم العالي ، تفي سياسة التقييم الوطنية ، كما تم تطويرها في الدولة البرازيلية ، بدور تبرير تخفيضات الميزانية وإعطاء الأولوية لمجالات معينة من المعرفة ، بعد كل شيء ، تعد جودة التعليم العالي العام البرازيلي مفهومًا ذاتي المرجع ومقبولة اجتماعيا ، تختلف عن التعليم العام الأساسي. تهدف هذه الخطوة إلى تعزيز السرد القائل بأن الجامعات لديها أموال أكثر مما تحتاج إليه وأن التعليم الأساسي أقل مما يحتاج. وبهذه الطريقة ، تتم محاولة تبرير سحب موارد الدولة من التعليم العالي العام وتحويلها إلى التعليم الأساسي ، على أن تكون مخصصة للقطاع الخاص ، حيث أن المؤشرات التي تنتجها السياسة الوطنية لتقييم التعليم الأساسي ، " دليل "على أن التعليم الخاص التعليم" جيد "والتعليم العام الأساسي" سيء ".
من المهم أيضًا أن نتذكر أن مثل هذه الأحكام ، بناءً على الدرجات المنتجة بشكل أساسي على أساس الاختبارات الموحدة ، كما هو الحال في ENADE ، تتجاهل العديد من المحددات التي تؤثر على أداء الطلاب ، وبالتالي على أداء المؤسسات. لذلك ، من الجدير التساؤل ، حتى من الناحية الفنية ، عما إذا كانت أساليب التقييم المطبقة حاليًا ، في كل من التعليم العالي والتعليم الأساسي ، كافية لإنتاج المعلومات بهدف السياسات المؤسسية التصحيحية والتطوير ، أو بهدف الضغط من أجل إصلاحات إدارية للدولة.
أشار تحليل خطط التطوير المؤسسي (PDI) وتقارير لجان التقييم ، وهي الوثائق التي شكلت مجال أبحاثنا ، إلى وجود علاقة وثيقة للغاية بين سياسة التقييم الوطنية ، وخاصة ENADE ، وإدارة الجامعات المدروسة. أدى هذا الارتباط الكبير ، المرتبط باللغة الإدارية والخطاب المستخدم في كتابة الوثائق وطريقة صياغتها ، والتخطيط الاستراتيجي في المقام الأول ، إلى فهم أن إدارة الجامعة تهيمن عليها الإدارة العامة الإدارية. وهذا يعني أن عملية إصلاح جهاز الدولة ، التي بدأت في السبعينيات وأصبحت رسمية في عام 1970 ، والتي كانت محل خلاف في سياق الوضع والسياسة العامة ، أثبتت الآن أنها قوية ومتجذرة في السياسة المؤسسية ، أي في أرض الجامعة ، مدعومة بدقة بطول عمر سياسة التقييم الوطنية.
يتم تشكيل إدارة الجامعة بمساعدة لا تقدر بثمن من الطبيعة التنظيمية لسياسة التقييم الوطنية ، والتي تلزم الجامعة بتقديم PDI و RCPA ، بالإضافة إلى المشاركة في ENADE. في الوقت نفسه ، يقدم نماذج حول "كيفية القيام بذلك" كدعم تقني ، ويكافئ ممارسات الابتكار الجيدة في الإدارة العامة ، من خلال المسابقات التي تشجع المنافسة بين المؤسسات وداخلها. تكتمل الدورة بالتصنيفات التي ، على الرغم من عدم إنتاجها بواسطة سياسة التقييم ، أو حتى من قبل الحكومة المركزية ، تستخدم جميع البيانات التي تنتجها عمليات التقييم. تنظمها الصحافة أو المنظمات الدولية ، ترتبط التصنيفات ارتباطًا وثيقًا بالجودة وتعمل كجائزة للمؤسسات التي تسير في مسارات الإنتاجية بناءً على النتائج التي تظهرها المؤشرات والمؤشرات التركيبية ، مثل CGC (مفهوم الدورة العامة) ، IGC (عام فهرس الدورات) ، عوامل التأثير ، طبقات Qualis Capes والمواقع في التصنيف الدولي.
بمرور الوقت ، تولد ندرة الموازنة الناتجة عن التعديلات المالية استجابة للسياسة الاقتصادية المشار إليها في الخطاب القديم للأزمة المالية وعدم كفاءة الدولة ، التي تقوم على مفهوم الدولة المنظمة / التقييمية (الليبرالية الجديدة) ، سياسات مؤسسية تهدف إلى التعايش مع الموارد القليلة. في هذه اللحظة ، يكون الإطار الكامل للإدارة العامة الإدارية ، المدعوم بسياسة التقييم الوطنية ، "منطقيًا" ويتعمق في إدارة الجامعة ، التي تبدأ في التكيف ، وتحويل الجامعة التشغيلية إلى جامعة فعالة ، الجامعة التي لديها الجودة "الجيدة" التي تشهدها التصنيفات ، بغض النظر عن موارد الدولة المتاحة لإنتاج أدائها "الجيد".
رافائيل دوس سانتوس بيريرا وهو حاصل على درجة الدكتوراه في التربية من جامعة بارانا الفيدرالية (UFPR).
نُشر في الأصل ، عن طريق الخاتمة ، في الكتاب الجامعة الفعالة في البرازيل: تأملات في سياسة التقييم الوطنية وإدارة الجامعة (منشورات البيان ، 2020)
المراجع
تشاو ، م. "الجامعة التشغيلية". التقييم: مجلة تقويم التعليم العالي، الخامس. 4 ، لا. 3 ، 11. ص. 3-8 ، الملحق 01. 1999. متاح في: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/1063/1058.
تشاو ، ماريلينا. "الجامعة الحكومية في منظور جديد". القس. براس. تعليم. ، ريو دي جانيرو ، ن. 24 ، ص. 5-15 ديسمبر. 2003. متاح على: http://www.scielo.br/scielo.php؟script=sci_arttext&pid=S1413-24782003000300002&lng=en&nrm=iso.
بولوس ، وادي لاميجو. الإصلاح الإداري: الانطباعات الأولى. ر. دير. مسؤلريو دي جانيرو ، ص. 69-98 ، أكتوبر / ديسمبر. 1998. متاح على: http://bibliotecadigital.fgv.br/ojs/index.php/rda/article/viewFile/47267/45372.
فريتاج ، مايكل. حطام سفينة الجامعة. باريس: Editions de La Découverte ، 1996
بيريرا ، جمهورية صربسكا الجامعة الفعالة في البرازيل: تأملات في سياسة التقييم الوطنية وإدارة الجامعة. فلوريانوبوليس ، منشورات Enunciado ، 2020.
