作者：厦门大学计算机科学系林子雨博士/副教授出版社：人民邮电出版社2022年1月第1版ISBN：978-7-115-58063-4
思政元素—创新创业案例：工匠精神：创新【思政元素引入位置】讲完第1章概述后【说明】大数据的发展是一个不断由量变到质变的过程，面对新的数据体量，对数据的处理和分析提出了新的要求，所以需要我们不但要有创新意识。南京大学历史学系教授、国家非物质文化遗产保护工作专家委员会委员—徐艺乙，研究传统手工艺42年。他翻译的《工艺之道》《民艺四十年》等书籍，成为当下工艺文化爱好者的“圣经”。
过去常说没有创造就没有创新。创新是一种非常困难的事，创新不是嘴上说，而是需要做出来的。在手工艺中，人们要充分理解材料、充分掌握技艺、能够完全把控产品的样式。有了这样的水平，加上认真的态度和精益求精的精神，最大限度地发挥产品的作用，就是中国人的手艺精神。
案例：字节跳动创始人张一鸣，4次创业失败，第五次改变6亿中国人【思政元素引入位置】讲完第1章概述后【说明】大数据技术的发展离不开敢为人先的探索者，数据处理技术的不断成熟也需要更多创新创业者的共同参与和助力。未来也会有更多新的技术推陈出新，需要同学们也要有探索精神。
字节跳动作为一家世界上最值钱的初创公司，不断地在刷新它自身的成长记录。今日头条、抖音、TikTok，字节跳动旗下的多个软件都具有着庞大的用户群体，在2021年，字节跳动旗下的产品获得了来自世界超过150个地区的19亿月活量，在中国，今日头条已经达到了3.2亿的月活用户。成就字节跳动的创始人就是来自福建龙岩的张一鸣。
张一鸣于1983年出生于福建龙岩一个相对富足的家庭，父母虽然是事业单位职工，但非常开明，在宽松的家庭氛围中造就了张一鸣有主见、有行动力的性格特点。但张一鸣的学习并没有因为父母的“放养”而落了下风，反而在2001年以优异的成绩考入了南开大学的微电子专业，之后又转入了软件工程专业。
2005年，张一鸣在南开大学毕业开始了自己的第一次创业经历。刚毕业的张一鸣和大学同学组建了一个三人小团队，一起研发了一个企业协同办公系统。但由于当时大家经验都不足，没能弄清楚产品的市场定位，导致这个系统没有推销出去，第一次创业失败。
第二次创业是在2006年，张一鸣进入酷讯，负责酷讯的搜索研发，之后于2008年离开酷讯去了微软。2008年9月，张一鸣离开微软，以技术合伙人身份加入饭否开始了第三次创业，当时张一鸣主要负责饭否的搜索、消息分发、热词挖掘、防作弊等方向。2009年10月，张一鸣第一次开始独立创业，创办了“九九房”，这是一个垂直房产搜索引擎。6个月间实现150万用户，是当时房产类应用的第一名。“九九房”取得成功后，张一鸣并没有就此满足，相反，他有了更大的梦想与野心。2011年底，张一鸣辞去了“九九房”CEO，开始了新的创业之路。
也正是“抖音”，让张一鸣身价暴涨，正式成为了互联网行业中80后第一人。2018年，字节跳动的估值达到了750亿美元，成功入选“2019福布斯中国最具创新力企业榜”。2022年3月，张一鸣以3400亿元位列《2022家大业大酒·胡润全球富豪榜》第23位，并以500亿美元位列《2022福布斯全球亿万富豪榜》第25位。
成功绝不是一件偶然的事情，想要成功的人，在机遇面前不会过多犹豫，更是拥有敢为先人的勇气，小到个人成长，大至企业发展，收获成功的道理都是一样的—需要不断努力、持之以恒，发展资源、把握机会，经受打击、快速振作，千帆历尽，终达彼岸。所以，我们要仰望星空，脚踏实地，认真学习。
思政元素—匠人精神案例：“火药雕刻师”徐立平：为国铸“箭”行走在生死边缘【思政元素引入位置】讲完第2章结束后【说明】实验环境的搭建是一个系统庞杂的工作，每一步配置和实操都需要认真谨慎，如果配置出错，一步错，步步错，后面会影响整个程序的运行和后续实验的开展，所以我们需要在每个步骤尽量保证细致无误，发扬匠人精神，不断精益求精。
自1987年入厂，徐立平一直为导弹固体燃料发动机的火药进行微整形。固体燃料发动机是战略战术导弹装备的心脏，也是发射载人飞船火箭的关键部件。它的制造有上千道工序，要求最高的工序之一就是发动机固体燃料的微整形。雕刻固体燃料，也就是火药，极其危险，稍有不慎蹭出火花，就会引起燃烧，甚至爆炸。
火药整形在全世界都是一个难题，无法完全用机器代替。下刀的力道，完全要靠工人自己判断，火药整形不可逆，一旦切多了，或者留下刀痕，药面精度与设计不符，发动机点火之后，火药不能按照预定走向燃烧，发动机就很可能偏离轨道，甚至爆炸。0.5毫米是固体发动机药面精度允许的最大误差，而经徐立平之手雕刻出的火药药面误差不超过0.2毫米，堪称完美，这让他的师傅都望尘莫及。
思政元素—社会主义价值观，民族自豪感
案例：正确的金钱观【思政元素引入位置】讲完3.1网络爬虫概述后【说明】在大数据挖掘的爬虫技术阶段，应用爬虫技术如果不当，会给国家和企业造成负面影响。
在国家发生一些重大危机的时候，人们的表现都不一样，一些人秉承救死扶伤的原则，义无反顾的救人，但还有一些人在趁此储存大量的物资，发国难财。这些人太看重金钱，从事违法和违纪的事情。在大数据挖掘的爬虫技术阶段，应用爬虫技术是一种按照一定标准制作程序流程脚本，并自动请求互联网网站并获取数据网络（仅用于发布）。但是，如果该应用程序不科学，则会带来违反法规的风险，例如：不遵循爬虫协议，以敏感的长宽比获取某些信息内容以及利用商业活动来赚钱，违反纪律。根据比较教学方法，该示例当然与网络爬虫的学习阶段有关，这是让学生掌握技术是一把双刃刀。只有正确使用它们，才能发挥更大的作用，要正确对待学生的志向并将其转化为才能。
案例：健康码背后的大数据采集技术【思政元素引入位置】讲完第3章全章【说明】在疫情阶段，利用大数据采集技术，快速制定防疫制度和措施，极大方便大家出行，国家通过各大新兴技术手段提升了治理水平和响应速度，增强了学生对国家和民族的自豪感。
思政元素—协作精神，职业使命感案例：Kafka生产者和消费者模式体现的协作精神【思政元素引入位置】讲完4.1Kafka简介
【说明】Kafka由生产者和消费者构成，二者需要相互配合才能实现大数据的高效采集与同步。Kafka利用消息队列来实现大数据的采集和同步。消息队列由消息生产者和消费者构成。生产者生产消息并将其发送到队列中，然后消息消费者从队列中取出并且消费消息。生产者生成消息的能力高于消费者处理消息的能力就会造成消息队列中消息积压和丢弃。生产者生成消息的能力低于消费者处理消息的能力就会造成消费者闲置和资源的浪费。这就要求消息队列两端的生产者和消费者处理消息协同一致。在教学过程中以此案例来培养学生的团队协作精神，教育学生在日常工作中应该善于沟通，团结协作，为团队和集体贡献自己的力量。
2004年感动中国人物颁奖词:他是一位真正的耕耘者。当他还是一个乡村教师的时候，已经具有颠覆世界权威的胆识;当他名满天下的时候，却仍然只是专注于田畴。淡薄名利，一介农夫，播撒智慧，收获富足。他毕生的梦想，就是让所有人远离饥饿。
他一辈子只做一件事，却把这件事做到了极致，他就是“杂交水稻之父”-袁隆平，他“用一粒种子改变了世界。”但你可能不知道，这粒种子是怎么找到的，14天，14万株水稻，他左手持放大镜，右手拿镊子，弯腰弓步，在湘西稻田一株一株地找，终于找到了一棵雄性不育株水稻。1961年7月的一天，袁隆平发现一株稻株结出了230多粒稻子，他推算用这个稻株做种子，水稻亩产会上千斤，而当时高产的水稻才不过五六百斤。在袁隆平的努力坚持下，他带领科研团队不断研发，接连攻破水稻超高产育种难题，水稻亩产从700公斤突破到1200公斤，袁隆平带领着他的团队一次次刷新着世界纪录。
回忆曾经缺粮的苦，他一字一句严肃地说:“一粒粮食能救一个国家，也可以绊倒一个国家。”而今天，他的所作所为，不正是一个国家的拯救者吗今天中国水稻种植面积中，约有一半是采用袁隆平培育的杂交产品，每年生产的稻谷可以多养活6000多万人。在杂交水稻研究的初期，困难重重，十分艰苦，袁隆平却乐观地说:“人生最大的幸福是能够心情舒畅地干自己想干爱干的事业，对于我来说，下田实验，这是一种想要穷极大自然奥秘的无限乐趣。”
袁隆平的事迹时时刻刻鼓舞着我们坚守岗位，专注和坚持一定会有所收获。
案例：敢于担当，主动作为—马俊飞【思政元素】职业使命感，不怕苦，不畏难【思政元素引入位置】讲完4.2Kafka在大数据生态系统中的作用【说明】kafka是一个高吞吐的分布式消息队列系统。在公司的大数据生态系统中，可以把Kafka作为数据交换枢纽，不同类型的分布式系统（关系数据库、NoSQL数据库、流处理系统、批处理系统等），可以统一接入到Kafka，实现和Hadoop各个组件之间的不同类型数据的实时高效交换，较好地满足各种企业应用需求。同时，借助于Kafka作为交换枢纽，也可以很好解决不同系统之间的数据生产/消费速率不同的问题。Kafka作为桥梁和纽带，不断接收和分发数据，保证顺序，自己不丢数据，默认7天清理数据。这种坚守岗位，就和我们每一个平凡的工作者一样，发挥自己的价值，它体现的是一种职业的使命感，一种敬业精神，一种匠人精神。
2020年因新冠疫情而变得特殊，无数民航人勇往直前、敢于担当，为保障航班正常运行贡献了力量。2月10日，马俊飞主动向所属部门领导请缨留守基地，协助保障航班安全生产运行。他深知，自己身兼乘务督导和共产党员双重身份，此时正是自己勇担重任、争做表率的时候，他要发挥标杆力量，不仅要保障航班运行，还要给乘务员带去正能量和信心。马俊飞每日认真细致做好疫情监测、预警工作，细心统计基地乘务员的体温情况，及时提示乘务员做好消毒防护工作，协调各部门有序开展工作，合力保障航班正常运行。这一次，马俊飞在基地坚守了32天，共执行航班11余次。
总结：引申出每个人都有自己的位置，小到一个班级、一个家庭，大到一个国家，每个人都应该积极响应号召、各司其职、做好自己的本职工作，为集体贡献自己的力量。就像抗击新冠疫情期间，疾控工作人员、医护人员、科技工作者、广大党员、人民群众等积极响应党的号召，坚守自己的岗位，奋力夺取抗疫斗争全面胜利。
思政元素—责任意识，爱国情怀，数据安全
案例：增强数据安全意识，共同维护国家安全【思政元素引入位置】讲完第5章后【说明】日志采集涉及数据安全，需要增强数据安全意识，共同维护国家安全。
然而，数据在体现和创造价值的同时，也面临着严峻的安全风险，一方面数据流动打破安全管理边界，导致了数据管理主体风险控制力减弱；另一方面数据资源因具有价值，引发数据安全威胁持续蔓延，数据窃取、泄露、滥用、劫持等攻击事件频发。
数据安全是一项系统工程，需要经济发展与安全管理并重，要积极发挥政府机关、行业主管部门、组织和企业、个人等多元主体作用，依据《国家安全法》《网络安全法》等法律法规要求，共同参与到我国网络与信息安全保障体系建设工作中来，做到知法守法，认真履行有关数据安全风险控制有关义务和职责，增强数据安全可控意识，共同维护国家安全秩序。
案例：数据安全关乎国家安全,已成为国家战略资源【思政元素引入位置】讲完第5章后【说明】日志采集涉及数据安全，需要增强数据安全意识，共同维护国家安全。
大数据时代模糊了涉密数据和非涉密数据的绝对界限，碎片化数据、模糊化数据等传统意义上被认为安全的数据，但在大数据时代，将海量的碎片化、模糊化数据汇聚到一起，即使这些数据在公开之前经过了精心的脱密处理，通过深入的大数据关联分析，也可以洞察到隐藏在大数据表象背后的重要情报。
2007年3月，美国海军部情报局发布了《中国海军2007》内部手册，其内容主要来自China’sMaritimeStrategy,TheGreatWallatSea:China’sNavyEnterstheTwenty-FirstCentury，《中国国防白皮书》《中国海军百科全书》《海军大辞典》等国内外出版的公开资料。与传统的美国海军作战手册相比，手册中并没有各种舰船的清单和图解，但却详细介绍了中国海军的组织体制、领导层、政治工作制度、海军军事学术，以及海军的人力系统、部队训练、对外交往、武器装备等内容。
思政元素—与时俱进，推陈出新【思政元素引入位置】讲完第6章后【说明】从传统的数据库到实时主动的数据库，从ETL到CDC,数据集成的技术根据业务场景的需要，不断与时俱进，推陈出新。
案例：“顶级”科学家又添一人！靠研究芯片而闻名，如今身价175亿在当今这个科技时代，世界各国都在竞相争夺科技领域的发展成果，人工智能也是科技领域备受瞩目的一大类别，如今这一赛道已经人满为患，但是并没有哪个国家拥有绝对领先的优势，在各国竞争水平相差不多的背景下，人工智能也成为竞争激烈的一大行业。在人工智能领域最关键的就是芯片，如今中国又新添一位顶级科学家，他靠研究芯片而名誉全球，如今身价高达175亿，此人就是陈天石。
过人的学习天赋使陈天石成了中科院计算机所的研究员和博士生导师，当陈天石意识到，在金融制造以及互联网这些行业中，传统劳动力不断面临着被淘汰的局面，很多管理者都在竞相引进大批人工智能应用，和传统劳动力相比，人工智能拥有着智能化、精准度高且性价比高的优势，可真正能够让人工智能发挥作用的地方就在于芯片支持，芯片的好坏直接决定着人工智能的发展高度。确定方向以后，果断参与到国家龙芯芯片的研究中，而他正是当年AI+芯片设计的提出者。
为了能够帮助我国开拓科学发展道路，陈天石还专门打造了深度学习处理器原型芯片，这也是整个国际社会中尚且处于空白的领域，他凭借着此举做到了“全球第一”。
但陈天石的成功则给大家带来了新希望，也让我们看到了人工智能领域发展的可能，陈天石金永利几年，就为大众亮相了一系列有价值的研究成果，还获得了世界级处理器架构领域的荣誉。此时的陈天石可谓是功成名就，但更为难得的是，陈天石一直保留着可贵的家国情怀，他并没有像其他名人大佬一样，在有所成就之后携带资产到国外生活享受，而是一直在国内谋求促进祖国的长远发展，努力推动国内芯片产业的新成果。
在他担任寒武纪的CEO期间，与我国华为公司合作，共同联合研发攻关，推出了麒麟970，这一芯片的推出更给中国芯片行业发展带来了新希望，甚至让整个行业都引发了新震荡，他们凭借着此举一改中国在芯片领域的被动之处。
思政元素—匠人精神，协作精神案例：Kettle四大组件相互协作【思政元素引入位置】讲完7.1Kettle的基本概念后【说明】从Kettle和核心组件切入，每个组件需要相互协作，共同完成数据的抽取和转换。
Kettle是一款国外开源的ETL工具，中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle：四大家族(核心组件)Chef、Kitchen、Spoon和Pan（中文：平底锅）Chef—工作(job)设计工具(GUI方式)。Kitchen—工作(job)执行器(命令行方式)。Spoon—转换(transform)设计工具(GUI方式)。pan—转换(transform)执行器(命令行方式)。
每个组件相互协作，共同完成数据的抽取和转换，每一个组件都需要有“责任意识”，团结一致，才能高效运转。
案例：蒋步星：“大数据匠人”是怎样炼成的？【思政元素引入位置】讲完7章后【说明】从Kettle的实际功能入手，通过Kettle操作，数据一种标准的格式输出，而且数据的抽取高效稳定，数据的转换。Kettle所完成的工作，既是一种标准，也是一种匠人精神的体现。
思政元素—迎难而上，坚韧不拔，笃信躬行案例：詹天佑排除万难修京张铁路【思政元素引入位置】讲完【8.5处理缺失数据】小节后【说明】缺失数据是大部分数据分析应用中都很常见的问题。在处理缺失数据的过程中，我们需要检查缺失值，清理或者填充缺失值以及处理丢失缺少的值，过程非常复杂，也会遇到各种各样问题，当我们遇到问题的时候，我们需要学习伟人或前辈“迎难而上”的精神，不屈不挠解决问题，方法总体困难多，只要我们善于思考，积极面对和处理问题，就一定会得到最优的数据分析呈现。
詹天佑主持京张铁路时，在严峻恶劣的环境下，要克服三个困难：地势险要，气候恶劣和设备缺乏。詹天佑不怕困难，也不怕嘲笑，毅然接受了任务，开始勘测线路。哪里要开山，哪里要架桥，哪里要把陡坡铲平，哪里要把弯度改小，都要经过勘测，进行周密计算。詹天佑经常勉励工作人员说:我们工作首先要精密，不能有一点儿马虎。‘大概’，‘差不多’，这类说法不应该出自工程人员之口。他亲自带着学生和工人，背着标杆、经纬仪，在峭壁上定点、构图。塞外常常是狂风怒号，黄沙满天，一不小心就有坠入深谷的危险。詹天佑不管条件怎样恶劣，始终坚持在野外工作。白天，他攀山越岭，勘测线路;晚上，他就在油灯下绘图，计算。为了寻找一条合适的线路，他还常常请教当地的农民。遇到困难，他总是想:这是中国人自己修筑的第一条铁路，一定要把它修好。否则，不但那些外国人要讥笑我们，而且会使中国工程师失掉信心。1905年至1909年，在詹天佑的带领下建设了第一条中国自主设计和建造的铁路——京张铁路，创设了“竖井开凿法”和“人”字形线路，这一创造性的成就，震惊中外。
所以，不管我们是学习还是研究，一定要笃信躬行。信书不如无书，要把知识和经验有机结合起来，通过实践印证知识，根据实践需要去积极地获取真正的知识。