学术论文，研究报告，纵观其有各种各样的问题。作为Quant，对这些原材料的甄别、提炼及加工，本身就是工作的一部分。
研究需要有主线，策略需要有逻辑，沿着这条主线及逻辑，在不同的（甚至是不同领域的）论文去吸收新颖的方法及技巧，整合到自己的研究逻辑中。这才是Quant需要做的。
论文不可复现（甚至学术造假）是人品的问题，但赚不赚钱不是评价量化论文的标准。
只要论文中的假设及实证能对我们带来一些启发，这就是一篇有用的论文。即使前面是一滩浑水，我们Quant也唯有不断前进。
不能复现就是耍流氓
最近，杜克大学金融学杰出教授，ResearchAffiliates合伙人，ManGroup投资策略顾问CampbellR.Harvey在论文《ThePitfallsofAssetManagementResearch》里写道:
Inmy35yearsasanacademic,asanadvisortomanyassetmanagementcompanies,andasaneditorofoneofthetopacademicjournalsinfinance,Inowfullyappreciatethecrucialimportanceoftheroleincentivesplayintheproductionofresearch.
激励问题，加上统计方法的误用，导致了一个不幸的结论：即金融领域大约一半的实证研究结论可能是错误的！
CampbellR.Harvey
2020年，TheJournalofPortfolioManagement（简称：JPM）将年度Quant大奖颁发给了CampbellR.Harvey，表彰其在量化投资组合理论领域的杰出贡献。
Harvey博士提出了利率期限结构可以作为美国商业周期的领先指标的概念。此外，Harvey博士也扛起了遏制金融文献中普遍存在P-hacking（数据操纵）*行为的大旗，这个问题不能再被否认或忽视。
*我们在统计时经常用到P值，一般认为P≦0.05有统计学意义。但是现在很多统计学家并不是这样认为，对于P值的滥用和误用进行了苛刻的批评。因此出现了一个新词：P-hacking。
P-hacking按照字面的意思来看是「P值黑客]，但是实际上的意思科研动力认为是「P值篡改」或者「P值操纵」。P-hacking是科研人员不断的尝试统计计算直到p<0.05，当然有时这可能是无意识的。
回到主题。根据Harvey的统计，自20世纪60年代以来，有超过400种因子被发表在顶级期刊上，其中大约有一半是在过去10年中发现的。这些因子大概可以归类为规模、波动性或估值等应用于股票市场，并被认为能够跑赢市场。
Harvey表示，许多在paper看起来很有希望的因子在现实生活中都不起作用，有多少因子可以令人信服？
石川博士也曾写过一段话：
是的，在我们的研究中，存在着诸多人为和理论的影响因素，我们着重以下几个点进行阐述。
晋升与加薪
这里会涉及到P-hacking（数据操纵）行为，下面的内容也会讲到。
但是通过上面的骚操作，编辑、同行评审、读者和投资者很难察觉。例如，如果一个研究人员尝试了100个变量，但是最终只选择了最重要的一个，那这就是不当的研究行为。如果读者知道研究人员尝试了100个变量，他们也会知道大约5个变量纯粹是偶然出现的。
这个观点其实埃隆·马斯克也说过，那是在2013年可汗学院的一个采访上。
马斯克说：大多数学术论文都毫无价值！究竟有多少PhD论文被人真正用过？
针对这个问题。其实目前在业界与学界引起了大家的广泛讨论。
研究动机
实证研究经常为理论的发展提供基础。考虑实验物理学和理论物理学的关系。实验物理的研究人员测试并检验现有理论。理论物理学家经常利用实验物理的结果来建立更好的模型。这一过程与科学方法的概念是一致的。提出了一个假设，实证检验试图寻找与假设不一致的证据，即所谓的可证伪性。
这个假说提供了一个规则，可以减少过拟合的机会。重要的是，这个假设需要有一个逻辑基础。例如，下图中的alpha-bet多空交易策略没有任何理论基础，更不用说先验假设了。
这个策略令人难以置信！
基于数据挖掘的股票策略：基于股票代码中的字母形成投资组合。
A(1)-B(1)表示：做多所有以“A”为首字母的股票，做空所有以“B”为首字母的股票，等权。下图的策略考虑了股票代码前三个字母的所有组合，表示为S(3)-U(3)，效果却出奇的好
大家也可以尝试一下大A股，看看有没有类似的效果~
虽然这看起来很荒谬，但这在数据挖掘和机器学习中有重要的借鉴意义。
研究人员在没有事前经济假设的情况下开始实证调查，从而引发未来的问题。首先，如果没有事先的经济假设，就连考虑模型或变量都是低效的。其次，无论结果如何，如果没有一个可靠的经济含义解释，研究人员将模型应用到真实交易时，失效的可能性会很大，这是机器学习的缺点之一。
数据和样本选择
训练样本需要事先验证。研究开始后，样本不应该改变。例如，如果样本开始于1970年，假设模型有效，但如果样本开始于1960年，这种情况下，模型就不起作用了。一个极端的例子是删掉全球金融危机、科技泡沫或1987年的市场崩溃的数据，因为它们损害了模型的预测能力。研究人员不能篡改数据，使模型工作！
确保数据质量。有缺陷的数据会使研究人员误入歧途。对数据的任何统计分析都只取决于输入数据的质量，垃圾进，垃圾出！特别是在某些试图捕捉非线性的机器学习应用中。考虑到现在数据集的规模，在使用机器学习技术开发投资模型之前对数据进行清理是至关重要的！
对输入数据进行清洗（例如标准化）需要被记录下来，最好提前决定选用哪种。此外，结果是否对这些转换中的细微变化具有鲁棒性？例如，给定10个不同的volatilityscaling去选择，如果研究人员选择的是表现最好的那个，这就是一个危险信号。
不要随意排除异常值。异常值是模型的有影响力的观测值。包含或排除有影响力的观测结果可以决定模型的成败。理想的情况是，在估计模型之前，应该为排除提供一个可靠的经济理由。一般来说，任何有影响力的值都不应该被删除。假设观测是基于有效数据，模型应该解释所有的数据，而不仅仅是被选量的观测。
在建立模型之前选择Winsorization级别。经过筛选的数据在某个阈值被截断（例如，将截断异常值到1%或2%的尾部），而不是被删除。Winsorization是一个有用的工具，因为异常值可以对任何模型产生巨大的影响。但是，在构建模型之前，应该先决定是否进行筛选，以及筛选的级别。一个错误研究的明显标志是，模型在5%的Winsorization上有效，但在1%的上失败，然后选择5%。
Harvey告诫大家：“我们不是推销员。我们是科学家！”
没有假设就难受
发表一篇没有“重大”结果的论文是很困难的。如下图所示，很少有金融领域的出版物提出所谓的negative结果（即不“支持”零假设的结果）。
“支持”假设的论文比例，在金融领域的学术期刊上发表的大约占90%
多重检验和统计方法
金融领域更有可能忽略多重检验问题。其他领域已经发现，为了控制多重检验，标准误差需要被夸大。也就是说，第400个因子“发现”的t值需要高于第一个因子。所以我们要思考一下的问题：
假设研究人员从20个变量开始，并通过一些互动变量（变量1x变量2）和（变量1x变量3）进行实验。这种单一的互动不会转化为22个测试（最初的20个，加上两个额外的互动变量），而是转化为190个可能的互动。
另一种考虑这个问题的方法是假设（在一个单一的环境中）研究人员编制了一个包含20个变量的列表来测试预测能力。第一个研究人员只做了一个测试就停止了，因为他发现了第一个变量就是有效的。可运气太好了。另一个研究人员也他有相同的20个变量，却以不同的顺序进行测试，只有最后一个变量有效。在这种情况下，2sigma的发现将被丢弃，因为对于20种不同的测试，2sigma的阈值太低了。
这也回到了我们前面说的，晋升与加薪问题。不同的学术机构有不同的激励措施。最好的学校不仅仅计算教员的出版物数量。这些学校也在寻找能够产生持久影响的出版物。刚才说到，如果一个研究人员尝试了100个变量，但是最终只选择了最重要的一个，但不太可能产生持久的影响，因为结果可能只是侥幸，进一步的研究将揭示其脆弱性。然而，绝大多数的学术机构只计算出版物的数量，以便做出提升的决定。
这些情况表明了一个重要的教训：同行评议的论文比非同行评议的论文更值得信任，但对同行评议论文的怀疑也是有道理的！
金融领域的复制危机
关于金融领域的复制危机，Harvey几年前就开始了这场争论：一个新的因子需要清除一个更高的障碍，t值大于3.0。大多数声称金融经济学的研究结果可能是错误的。”
大部分原因是研究人员在发表具有统计学意义的结果之前进行了大量的试验。或者在试验过程中改变不同的参数。这就是所谓的Thegardenofforkingpaths，并不总是经过深思熟虑的。
在过去的几年里，一些金融数学领域的一些学者已经注意到困扰大家的回测过拟合问题。例如，下面这篇在2016年发表的论文阐述了这个问题：
为什么在理论上看起来不错的策略往往在实践中表现不佳，是因为回测中那些看起来牛逼轰轰的表现往往不会在实际应用中继续重现。
沿着这条线，在下面这篇论文中：
如今，随着算力与程序化技术的兴起，情况更加恶化了！
为一个策略生成千上万、数百万甚至数十亿的组合权重或参数已经变得越来越简单。正如这篇论文所提到的：
MarcosLopezdePrado、MichaelLewis在回顾了上述以及该领域其它的最新发展后，遗憾地得出结论：从业者和学者发现的大多数投资策略都是错误的！
同样，MarcosLopezdePrado在2018年《福布斯》采访BrettSteenbarger时，也从以下几个方面讨论了这种情况：
假设一家制药公司开发了1000种药物，并在1000组志愿者身上进行测试。当有几十种测试证明“显著性”的几率为0.05时，这些药物就被当作有效的治疗方法开始销售了。病人们相信这些“科学测试”，纷纷涌向这些新的药物。结果却发现，由于药物并没有带来预期的效果，他们的病情反而恶化了。一些消费者病得很厉害，有些人甚至死亡。
显然，这种欺骗行为会引起公众的强烈抗议。事实上，这正是我们有一个监管机构和法律来帮助确保药物在向公众提供之前经过了适当的测试的原因。但金融消费者却得不到这样的保护，使他们容易受到未经验证投资策略的影响。这些假阳性结果尤其具有误导性，因为它们是由一群具有专业研究背景的人所推动的，而这些研究人员并没有使用必要的科学工具来发现这些虚假的结果。
Fama将有效市场定义为：如果资产价格完全反映了可得的信息，则市场有效。而在随后的研究中，众多异常收益现象（Anomalies）被发现，即持有具有某种特征的股票在未来会获取超额收益。
为了更好地评估金融领域的可复制性状态，KeweiYou、ChenXue、LuZhang发表了一篇关于金融领域异象指标复制的论文：
在LuZhang教授的论文中，基于美国市场数据，对447种异常收益现象进行了研究（考虑到变量定义的唯一性，实际有大约220种异常收益变量）。结果表明，将T值为2作为阈值时，约64%的异常收益组合收益是不显著的；将阈值提高至3时。约85%的异常收益组合收益是不显著的。也就是说，尽管已有文献记录了众多样本期内有效的因子，但当对其进行复制时，该因子有效性或丧失、或减弱。
论文最后指出：投资者必须对研究结果自己动手进行复制与回测，所谓“信任但要验证”。对任何感兴趣的研究成果，都需要在研究团队反复独立测试验证后才相信，对学术研究结果反复测试检验是很有必要的。科学文献自我纠正的机制是有限的，一般也只会纠正最重要研究成果的偏差。
大部分基于流动性的变量基本只在微盘股有效，即使用等权重，交易摩擦因子的复制成功率也只有不到40%。因此这个类别因子的有效性值得怀疑。我们并不是说流动性、交易微观结构和其他交易摩擦变量（例如交易费）在实践中不重要，而是就驱动股票获得超额收益的因子而言，交易摩擦远远没有价值、动量、投资和盈利因子重要。
其他一些众所周知的异象指标，作者无法复制，包括：
theBhandari(1988)debt-to-market;theLakonishok-Shleifer-Vishny(1994)five-yearsalesgrowth;theLaPorta(1996)long-termanalysts’forecasts;severaloftheAbarbanell-Bushee(1998)fundamentalsignals;theO-scoreandZ-scorestudiedinDichev(1998);thePiotroski(2000)fundamentalscore;theDiether-Malloy-Scherbina(2002)dispersioninanalysts’forecasts;theGompers-Ishii-Metrick(2003)corpo-rategovernanceindex;theFrancis-LaFond-Olsson-Schipper(2004)earningsattributes,includingpersistence,smoothness,valuerelevance,andconservatism;theFrancis-LaFond-Olsson-Schipper(2005)accrualquality;theRichardson-Sloan-Soliman-Tuna(2005)totalaccruals;theCampbell-Hilscher-Szilagyi(2008)failureprobability;andtheFama-French(2015)operatingprofitability.
有人担心，尽管KeweiYou、ChenXue、LuZhang引用了一些多重检验统计数据，但考虑到他们的研究范围，可能没有完全弥补这一现象。但这意味着，如果有什么区别的话，那么他们的研究结果是相对保守的。在他们的研究中，统计上可以复制的指标甚至更少，或者仅在非常有限的统计可信度下才可复制。
更重要的是应该记住，张教授他们的数据只持续到2016年。从那时起，全球市场上基于大数据的程序化交易大幅度增加，这也很可能意味着，一些曾经有重大价值的异象指标不再有效！
2016年，Harvey、Liu、Zhu的一项研究表明：他们分析了296篇已发表的论文中的异象，发现80至158篇（高达53%）可能是错误发现。
作者认为，该领域的一种基本结构性结构偏差可能是罪魁祸首：尽管复制研究经常出现在大多数其他科学领域的顶级期刊上，但这类研究很少在金融和经济领域发表。换句话说，人们普遍倾向于发表新的结果，而不是严格地验证之前的结果。
美国金融协会前任主席CampbellR.Harvey也注意到了这类问题：
由于复制性研究和其他没有报告显著新结果的研究往往产生较少的引用，这类论文不太可能发表。另一方面，Harvey注意到研究人员也会造成发表偏见，摸清了期刊对有重大新结果的论文的套路，作者可能不会提交只有边缘结果的论文。这种偏见在其他领域被称为“filedrawereffect”。发表偏见也可能是由于作者在期刊提交的论文中精心挑选最重要的结果引起的，这是P-hacking的一种形式。
当然也有最新的一些研究表面有不一样的观点：
TheisJensen，BryanKelly和LassePedersen在2021年3月发表的一篇论文《IsThereaReplicationCrisisinFinance》，他们使用贝叶斯方法研究了论文中的因子是否能复现的问题，并得出结论:
近期，美联储高级经济学家AndrewChen及科隆大学教授TomZimmermann一篇工作论文《OpenSourceCross-SectionalAssetPricing》中，详细整理总结了过去关于资产定价的学术文献中提及的319个因子，并进行复现及测试。测试的数据及代码也在Github中开源，主要代码由Stata、R及SAS完成，他们根据原始出处的因子有效性的测试结果，作者将因子分为了以下四大类：
通过他们自己的测试，他们发现只有三个因子的测试结果与原论文不一致。对于原论文中的ClearPredictor和LikelyPredictor（共205个），作者对原文测试结果的t-value与复现后的t-value进行了回归，结果如下图，可以看出复现的结果和原论文非常接近。，t统计数据的斜率为0.90，r平方为83%：
Chen和Zimmerman还解释说，一些论文发现失败率更高的原因是他们对因子的分类错误。KeweiHou,ChenXue,andLuZhang(HXZ)在《ReplicatingAnomalies》中研究了452个因子，实际上一共只有240各因子，其中212个是这240个不同持仓期。而且在这240个因子中，只有118在统计学上显著。但实际上，Chen和Zimmerman发现在HXZ认为无效的因子中，在原论文中就没有本身就没有进行多空收益统计显著性的测试。但对于研究公布后效果衰减的问题，他们的结论与McLeanandPontiff(MP)的高度一致，特别是对于样本内效果非常优秀的因子来说，发表后效果下降的更为明显。
该项目还有一个网站，用于更新项目的最新动态：
交叉验证
一个资产管理人，如果能说自己开发除了一套可以预测市场走势的系统，那应该是非常牛x的事了，肯定可以吸引无数的投资人。想必大家都曾在追寻“如何预测市场走势”的道路上有过类似的经历。
Goyal和Welch在2008年发表的一篇论文《aComprehensiveLookattheEmpiricalPerformanceofEquityPremiumPrediction》中，测试了N多种预测股票未来超额收益的方法，最后不尽感叹道：
“Ourarticlecomprehensivelyreexaminestheperformanceofvariablesthathavebeensuggestedbytheacademicliteraturetobegoodpredictorsoftheequitypremium.Wefindthatbyandlarge,thesemodelshavepredictedpoorlybothin-sample(IS)andout-of-sample(OOS)for30yearsnow;thesemodelsseemunstable,asdiagnosedbytheirout-of-samplepredictionsandotherstatistics;andthesemodelswouldnothavehelpedaninvestorwithaccessonlytoavailableinformationtoprofitablytimethemarket.”
“...我们发现大部分的模型在样本内和样本外的表现都非常差；这些模型样本外的预测结果非不稳定了；这些模型没有办法帮助只有有限信息的投资人去预测股票市场。”
针对这个问题，我们从几个方面考虑：
上图展示了所有ETF的市场调整收益率。回测的收益率是强劲的。然而，在向美国证券交易委员会提交申请并随后推出ETF之后，该EFT收益率为零。这种结果与过拟合/P-hacking行为是一致的。
Mclean、Pontiff在16年的一篇名为《DoesAcademicResearchDestroyStockReturnPredictability》的论文说到：如果策略额外收益或者可预测性仅存于学术研究所覆盖的样本内，另一个可能的原因是统计偏差。
总之，统计偏差也会让策略在样本外的表现减弱。因此，我们需要在控制统计偏差的基础上来研究学术研究的发表效应。
但是策略发表后，收益平均下降58%，显著大于统计偏差。因为，作者认为发表效应确实显著存在。
但上图与后一种解释不一致。如果一种策略确实产生了Alpha，ETF就不太可能率先收获Alpha，而对冲基金更有可能率先介入。因此，我们可以预判在向证券交易委员会提交申请之前，ETF的回测会变得更加平坦，但这张图没有展示这一点。事实上，在向美国证券交易委员会提出申请的前一年，这个斜坡是非常陡峭的。因此，实证与回测过拟合是一致的。
因此，你可以在没有交易成本的情况下进行所有这些学术研究，然后说不存在复制危机。那么样本外如何的确认呢？在Harvey看来，这是非常有利的佐证！
假设一个模型在样本期内是成功的，但在样本期外失败了。研究人员发现，这个模型由于一个特定的原因而失败了。研究人员对初始模型进行修改，使其在样本中和样本外都能工作。这已经不再是一个样本外测试了。
我们构建策略靠的不是站在回测起点往后看的先见之明，而是站在回测终点往前看的后见之明。所有历史数据都是样本内。
1、OutofSampleisNotReallyOutofSample.
我们并不是在10年前就预见到了PE、ROE、EPS会有效并在过去的10年里使用它们；而是在已经知道市场在过去10年是如何展开的前提下，通过empiricaldataanalysis找到了PE、ROE、EPS这些好使的因子然后再去对着它们回测。扪心自问一下，如果一个因子在回测期内的表现是近似随机的，我们会用它来做因子择时吗？这当然不是说它们并没有业务依据，而只是想强调正是因为历史已经发生了，因此它不是真正的样本外。
2、IteratedOutofSampleisNotOutofSample.
在可交易特征方面，满足一个策略假设的样本其实很少。举个极端的例子，比如A股中追踪大牛市的趋势类策略。在过去20年中，也仅有三波牛市，而且它们表现出来的市场特征均不相同（比如以2007年大牛市构建的趋势追踪策略在2015年大牛市中的逃顶效果并不好）。在这种情况下，如果还把数据分成训练集和测试集会怎样呢？我们一定会把策略在测试集中的体现出来的新市场环境反馈到训练过程中，这已经违背了分训练集和测试集调参的本意；这等价于我们在整个历史数据中对策略的参数调优了。
来看一个简单的例子——针对沪深300指数使用双均线择时。
假设使用2005年1月1日到2011年12月31日作为样本内数据；使用2012年1月1日到2019年2月25日为“样本外”数据。在样本内，使用2天窗口计算快均线、40天窗口计算慢均线效果非常理想（下图），其年化收益率超过30%，夏普率高达1.3。
再来看看这组参数在“样本外”的表现。不幸的是，该策略在样本外的年化收益不到8%、最大回撤-25.95%、夏普率仅有0.51。
如果对着“样本外”搜参数，则最优的快、慢均线窗口参数是20和24，其夏普率也仅有0.70，远远差于2012年之前的表现。考虑到这种情况，很自然的想法就是添加更复杂的逻辑来提高2012年之后的表现。显然，这不是样本外测试，而是过拟合。
无论从独立性还是可交易特征而言，交易数据其实都是十分匮乏的。从构建策略的角度来说，如果要求策略能够适应不同的市场状态，那么基于历史数据不断迭代的样本外并不是真正的样本外。
不要忽视交易成本。几乎所有在顶刊的paper忽略了交易成本。即使交易成本不高，许多已发表的异象在统计学上的“显著性”也基本上消失了。对历史数据的任何研究都需要在样本内和样本外分析中考虑交易成本和现实的不足。
从业研究者的风气
一家公司的研究文化也强烈地影响着P-hacking可能性。
假设一家公司有两名高级研究员，我们称他们为A和B，他们都向CIO推销自己的想法，CIO认为这两个研究想法同样有前途。这项研究进行得非常仔细，没有P-hacking。最后，A的想法在回测中表现很好，B凉了。
OK，A的想法进入了实盘交易。
在上面的例子中，A和B都是同等级别的高级研究员。资产管理公司犯了一个很大的错误，如果A被提升或者获得额外的奖金,或者更糟糕的是，B被解雇了。这种待遇导致了一种功能失调的研究文化，在这种文化中，一项研究刚刚开始，A和B都意识到他们需要提供统计上“重要”的结果，以便在公司得到晋升，或者得到保留。他们可能通过开始数据挖掘和P-hacking来回应这些激励。
Harvey认为，在资产管理领域，P-hacking不像在学术界那么成问题，尤其是在作为产品初期的专有研究领域，这个问题更小。原因很简单：
首先，在收取绩效费的情况下，需要对资产管理公司的研究进行优化，使业绩可重复的机会最大化。这意味着资产管理公司不会选择表现最好的回测，因为这很可能是过度拟合和运气造成的。如果该基金经理推出一种回测过拟合的策略，它很可能会失败，而且不会产生业绩费。
第二个原因是声誉。如果一个资产管理公司的产品因为过拟合而表现不如人意，其投资者肯定会撤资。这种市场机制自然会最小化过拟合。资产管理公司仍然会做出大量低质量的研究。与学术研究类似，投资者也需要持怀疑态度。
如果资管行业奖励那些通过回测得出不错结果的研究，那么，我们就创造了一种不良的风气，这种风气会让一些人篡改数据，从而产生一个看似不错的策略。
Researchersshouldberewardedforgoodscience,notgoodresults！
避免P-hacking
在你自己的研究中避免P-hacking的一个好的方法是：从一开始就对自己诚实。仔细考虑并记录你想要测试的所有内容。如果你想测试20个不同的因子，请在开始测试之前指定这些因子，并在评估指标时考虑所有20个因子。
同时，对学术研究和实践研究持怀疑态度。
将股票增量输入到一个递归神经网络中就可以达到减少损失的目的，但是有了解释，你也可以将这些值拟合到一个随机数生成器中。