Fundamental Statistical Inference

Marc S. Paolella, PhD, is a Professor at the Department of Banking and Finance, University of Zurich. He is also the Editor of Econometrics and an Associate Editor of the Royal Statistical Society Journal Series A.

Praxisorientiertes Fachbuch der Interferenzstatistik mit den neuesten Entwicklungen aus diesem ständig wachsenden Wissensgebiet.Dieses übersichtlich und zugängliche Fachbuch richtet sich an Studenten höherer Semester, präsentiert die Interferenzstatistik ausführlich und praxisorientiert und stellt Ergebnisableitungen sowie MATLAB-Programme umfassend dar, ergänzt um Erläuterungen. Besonderes Augenmerk liegt auf einzelnen bedeutenden Aspekten, auf einer intuitiven Herangehensweise und auf Diskussionen. Der Blick auf die Interferenzstatistik ist dabei überaus modern. Inhalte neben den klassischen Themen rund um die mathematische Statistik: intuitive Präsentation von Einfach-/Doppel-Bootstraps bei der Berechnung von Konfidenzintervallen, Schrumpfungsschätzung, Schätzung des maximalen Moments sowie eine Vielzahl vom Methoden der Punktschätzung, maximale Wahrscheinlichkeit, Anwendung von charakteristischen Funktionen und indirekte Interferenz. Zu allen Methoden gibt es praktische Beispiele. Ausführlich behandelt werden Schätzprobleme und deren Lösung in Verbindung mit der diskreten Mischung bei Normalverteilungen. Durchgängig liegt der Schwerpunkt auf nicht-Gaußschen Verteilungen, einschließlich der ausführlichen Behandlung der stabilen Pareto-Verteilung und der schnellen Berechnung von nicht-zentralen Student-t-Tests. Ein komplettes Kapitel widmet sich der Optimierung, darunter der Entwicklung von Hessian-Methoden, heuristische/genetische Algorithmen, die keine Kontinuität erfordern. Die entsprechenden MATLAB-Codes werden zur Verfügung gestellt. Der Fokus liegt auch auf Berechnungen, die das Thema greifbar und für die Studierenden zugänglich machen.

Preface xiPART I ESSENTIAL CONCEPTS IN STATISTICS1 Introducing Point and Interval Estimation 31.1 Point Estimation / 41.1.1 Bernoulli Model / 41.1.2 Geometric Model / 61.1.3 Some Remarks on Bias and Consistency / 111.2 Interval Estimation via Simulation / 121.3 Interval Estimation via the Bootstrap / 181.3.1 Computation and Comparison with Parametric Bootstrap / 181.3.2 Application to Bernoulli Model and Modification / 201.3.3 Double Bootstrap / 241.3.4 Double Bootstrap with Analytic Inner Loop / 261.4 Bootstrap Confidence Intervals in the Geometric Model / 311.5 Problems / 352 Goodness of Fit and Hypothesis Testing 372.1 Empirical Cumulative Distribution Function / 382.1.1 The Glivenko-Cantelli Theorem / 382.1.2 Proofs of the Glivenko-Cantelli Theorem / 412.1.3 Example with Continuous Data and Approximate Confidence Intervals / 452.1.4 Example with Discrete Data and Approximate Confidence Intervals / 492.2 Comparing Parametric and Nonparametric Methods / 522.3 Kolmogorov-Smirnov Distance and Hypothesis Testing / 572.3.1 The Kolmogorov-Smirnov and Anderson-Darling Statistics / 572.3.2 Significance and Hypothesis Testing / 592.3.3 Small-Sample Correction / 632.4 Testing Normality with KD and AD / 652.5 Testing Normality with W² and U² / 682.6 Testing the Stable Paretian Distributional Assumption: First Attempt / 692.7 Two-Sample Kolmogorov Test / 732.8 More on (Moron?) Hypothesis Testing / 742.8.1 Explanation / 752.8.2 Misuse of Hypothesis Testing / 772.8.3 Use and Misuse of p-Values / 792.9 Problems / 823 Likelihood 853.1 Introduction / 853.1.1 Scalar Parameter Case / 873.1.2 Vector Parameter Case / 923.1.3 Robustness and the MCD Estimator / 1003.1.4 Asymptotic Properties of the Maximum Likelihood Estimator / 1023.2 Cramér-Rao Lower Bound / 1073.2.1 Univariate Case / 1083.2.2 Multivariate Case / 1113.3 Model Selection / 1143.3.1 Model Misspecification / 1143.3.2 The Likelihood Ratio Statistic / 1173.3.3 Use of Information Criteria / 1193.4 Problems / 1204 Numerical Optimization 1234.1 Root Finding / 1234.1.1 One Parameter / 1244.1.2 Several Parameters / 1314.2 Approximating the Distribution of the Maximum Likelihood Estimator / 1354.3 General Numerical Likelihood Maximization / 1364.3.1 Newton-Raphson and Quasi-Newton Methods / 1374.3.2 Imposing Parameter Restrictions / 1404.4 Evolutionary Algorithms / 1454.4.1 Differential Evolution / 1464.4.2 Covariance Matrix Adaption Evolutionary Strategy / 1494.5 Problems / 1555 Methods of Point Estimation 1575.1 Univariate Mixed Normal Distribution / 1575.1.1 Introduction / 1575.1.2 Simulation of Univariate Mixtures / 1605.1.3 Direct Likelihood Maximization / 1615.1.4 Use of the EM Algorithm / 1695.1.5 Shrinkage-Type Estimation / 1745.1.6 Quasi-Bayesian Estimation / 1765.1.7 Confidence Intervals / 1785.2 Alternative Point Estimation Methodologies / 1845.2.1 Method of Moments Estimator / 1855.2.2 Use of Goodness-of-Fit Measures / 1905.2.3 Quantile Least Squares / 1915.2.4 Pearson Minimum Chi-Square / 1935.2.5 Empirical Moment Generating Function Estimator / 1955.2.6 Empirical Characteristic Function Estimator / 1985.3 Comparison of Methods / 1995.4 A Primer on Shrinkage Estimation / 2005.5 Problems / 202PART II FURTHER FUNDAMENTAL CONCEPTS IN STATISTICS6 Q-Q Plots and Distribution Testing 2096.1 P-P Plots and Q-Q Plots / 2096.2 Null Bands / 2116.2.1 Definition and Motivation / 2116.2.2 Pointwise Null Bands via Simulation / 2126.2.3 Asymptotic Approximation of Pointwise Null Bands / 2136.2.4 Mapping Pointwise and Simultaneous Significance Levels / 2156.3 Q-Q Test / 2176.4 Further P-P and Q-Q Type Plots / 2196.4.1 (Horizontal) Stabilized P-P Plots / 2196.4.2 Modified S-P Plots / 2206.4.3 MSP Test for Normality / 2246.4.4 Modified Percentile (Fowlkes-MP) Plots / 2286.5 Further Tests for Composite Normality / 2316.5.1 Motivation / 2326.5.2 Jarque-Bera Test / 2346.5.3 Three Powerful (and More Recent) Normality Tests / 2376.5.4 Testing Goodness of Fit via Binning: Pearson's X P² Test / 2406.6 Combining Tests and Power Envelopes / 2476.6.1 Combining Tests / 2486.6.2 Power Comparisons for Testing Composite Normality / 2526.6.3 Most Powerful Tests and Power Envelopes / 2526.7 Details of a Failed Attempt / 2556.8 Problems / 2607 Unbiased Point Estimation and Bias Reduction 2697.1 Sufficiency / 2697.1.1 Introduction / 2697.1.2 Factorization / 2727.1.3 Minimal Sufficiency / 2767.1.4 The Rao-Blackwell Theorem / 2837.2 Completeness and the Uniformly Minimum Variance Unbiased Estimator / 2867.3 An Example with i.i.d. Geometric Data / 2897.4 Methods of Bias Reduction / 2937.4.1 The Bias-Function Approach / 2937.4.2 Median-Unbiased Estimation / 2967.4.3 Mode-Adjusted Estimator / 2977.4.4 The Jackknife / 3027.5 Problems / 3058 Analytic Interval Estimation 3138.1 Definitions / 3138.2 Pivotal Method / 3158.2.1 Exact Pivots / 3158.2.2 Asymptotic Pivots / 3188.3 Intervals Associated with Normal Samples / 3198.3.1 Single Sample / 3198.3.2 Paired Sample / 3208.3.3 Two Independent Samples / 3228.3.4 Welch's Method for my1 - my2 when sigma1²