大数据处理从零开始————9.MapReduce编程实践之信息过滤之学生成绩统计demo
文章浏览阅读1k次，点赞39次，收藏23次。1.1 需求概述现在我们要统计某学校学生的成绩信息，筛选出成绩在60分及以上的学生。1.2 业务分析如果我们想实现该需求，可以通过编写一个MapReduce程序，来处理包含学生信息的文本文件，每行包含【学生的姓名，科目，分数】，以逗号分隔，要求如下：分别编写一个Student类和一个Mapper类；Student 类包含以下字段：姓名(String)、科目(String)、分数(int)；需要自定义 Student 对象的序列化和反序列化方法，以便Hadoop能够正确处理它；
大数据处理从零开始————10.MapReduce编程实践之统计历年最高温度
文章浏览阅读776次，点赞24次，收藏12次。现在我们想统计历年来的最高温度，要从给定的数据中，计算每一年的最高温度是多少。_mapreduce编程实践之统计历年最高温度
大数据处理从零开始————5.HDFS的运行机制
文章浏览阅读1.1k次，点赞15次，收藏27次。Hadoop分布式文件系统（HDFS）在早期版本中，由于只有一个NameNode来管理整个集群的元数据，随着集群规模的扩大，NameNode成为了性能瓶颈。此外，单个NameNode的设计也带来了单点故障的风险，影响了集群的可用性。为了解决这些问题，Hadoop 2.0引入了Federation机制，通过使用多个独立的NameNode和命名空间来实现水平扩展。在Federation架构中，每个NameNode管理自己的命名空间，并且它们之间是相互独立的，不需要进行协调。_hdfs crc
Hadoop期末复习（完整版）
文章浏览阅读796次，点赞8次，收藏13次。复习之前我们要有目的性，明确考什么，不考什么。对于hadoop来说，首先理论方面是跑不掉的，而且还是重中之重。例如：hdfs的读写流程，hdfs副本机制等等。其次是hadoop命令,如果学习了hadoop不了解hadoop dfs …和hdfs dfs …那么你可以重修了。最后要明确那一部分会出什么题。下面背景色或者字体改变的背过就完了。
使用 Elastic 和 LM Studio 的 Herding Llama 3.1
文章浏览阅读2.7k次，点赞28次，收藏17次。最新的 LM Studio 0.3 更新使 Elastic 的安全 AI Assistant 能够更轻松、更快速地与 LM Studio 托管模型一起运行。在这篇博客中，Elastic 和 LM Studio 团队将向你展示如何在几分钟内开始使用。如果你在同一网络上或在你的机器上本地工作，则不再需要设置代理。
构建高可用和高防御力的云服务架构第一部分：深入解析DDoS高防（1/5）
文章浏览阅读4.5k次，点赞81次，收藏47次。DDoS攻击，全称为分布式拒绝服务攻击（Distributed Denial of Service），是一种通过控制大量计算机或物联网终端向目标网站发送大量请求，从而耗尽其服务器资源，导致正常用户无法访问服务的攻击方式。攻击者利用这些受控计算机、物联网终端形成一个庞大的“僵尸网络”，并向目标网站发送大量请求，如TCP/UDP连接请求、HTTP GET请求等，使目标服务器因处理这些请求而资源耗尽，无法正常为合法用户提供服务。_2024 akamai 1.3 tbps
AI大模型开发——7.百度千帆大模型调用
文章浏览阅读3k次，点赞47次，收藏26次。在 AI蓬勃发展的时代， 大模型平台作为支撑大规模数据处理和复杂模型训练的基石， 正逐渐成为推动科技创新和产业升级的重要力量。千帆大模型平台， 凭借其卓越的性能、灵活的应用和强大的生态系统，已成为众多企业和研究机构首选的大模型解决方案。千帆大模型平台是一个集数据处理、模型训练、推理部署于一体的综合性平台，它提供了丰富的算法库和工具集， 支持多种深度学习框架， 能够轻松应对各种复杂的数据处理和模型训练任务。平台采用分布式计算架构，能够充分利用多节点计算资源， 以实现高效的大规模数据训练和推理。_千帆大模型调用
作为质量部门的负责人，如何在产品发版前做好质量门控？
文章浏览阅读415次，点赞9次，收藏2次。本文讲述了作为质量管理负责人如何制定强大的质量门控计划，包括理解质量门控的概念，按阶段划分清单，确保预算、利益相关者参与、风险控制和合规性，以及与产品经理团队的协作。质量门控是提升项目成功率和保持质量的重要工具。
作为研发部门的负责人，如何助力产品在市场竞争中胜出？浅谈 CTQ
文章浏览阅读872次，点赞9次，收藏16次。在竞争日益激烈的市场环境中，研发团队要想帮助产品胜出，必须结合效率质量和创新三大要素。CTQ 作为质量管理的重要工具，能够将客户需求转化为明确的质量标准，从而帮助研发团队开发出更具竞争力的产品。无论是通过扩展附件容量的 QQ 邮箱，还是优化响应速度和准确度的智能客服系统，CTQ 都为研发团队提供了成功的路径。通过持续提升研发效能，特别是借助 CTQ 工具，企业可以在产品质量上精益求精，帮助产品在市场竞争中脱颖而出，获得持续的领先优势。_研发如何将产品做到行业第一
如何使用Privoxy将SOCKS5代理转换为HTTP代理?
文章浏览阅读796次，点赞4次，收藏5次。在这篇博客中，我将介绍如何使用Privoxy将SOCKS5代理转换为HTTP代理。我们将从下载和安装Privoxy开始，接着配置Privoxy，最后配置Windows以便浏览器使用该代理。_privoxy windows
如何使用 ChatGPT 生成万字长文？
文章浏览阅读840次，点赞13次，收藏4次。要使用ChatGPT生成万字长文，可以采用以下方法，以保证文章结构清晰，内容充实_chategpt是怎么生成超长语句的
AIGC: 从两个维度快速选择大模型开发技术路线
文章浏览阅读682次，点赞8次，收藏12次。在当今人工智能飞速发展的时代，大模型开发技术路线的选择至关重要。本文将从两个维度出发，为大家快速介绍不同的大模型开发技术路线，帮助你在开发过程中做出明智的决策。
AIGC：生成式人工智能的5个层次
文章浏览阅读1.1k次，点赞24次，收藏18次。随着人工智能技术的迅猛发展，生成式人工智能在多个领域展现出巨大的应用潜力。为了帮助大家理解生成式人工智能的进化过程，我们借鉴“真格基金”的分类方式，将其应用分为五个层次，每个层次代表了 AI 与人类合作深度的不同。在这篇文章中，我们将详细介绍这五个层次的特点，并举例说明它们的具体应用场景，最后讨论目前的研究热点——智能代理（Agent）。_ai发展进程的五个层级
举例说明 .Net Core 单元测试中 xUnit 的 [Theory] 属性的用法
文章浏览阅读572次，点赞10次，收藏3次。在这篇文章中，我们探讨了如何使用 xUnit 的 `[Theory]` 属性来运行参数化测试。通过示例展示了如何使用 `[InlineData]`、`[MemberData]` 和 `[ClassData]` 提供不同的数据源，从而简化测试代码并提高测试覆盖率。这些方法有助于在 .NET 应用程序中进行更有效的单元测试。_xunit theory
一文搞懂在 Vue + Vite 项目中，应该将图片放在 ‘public’ 文件夹还是 ‘src/assets’文件夹
文章浏览阅读484次。在 Vue + Vite 项目中，选择将图片放在 `public` 文件夹还是 `src/assets` 文件夹取决于你打算如何使用这些图片。_vue+vite 可以使用dist以外的文件夹图片吗
AIGC：AI 开发者必学，一文快速入门 LangChain
文章浏览阅读709次，点赞13次，收藏19次。在本文中，我们将通过一个完整的示例程序，介绍 LangChain 的基本结构。这个程序实现了一个简单的翻译服务，用户可以通过 HTTP 请求输入待翻译的文本和目标语言，LangChain 会使用 OpenAI 模型处理请求，并返回翻译结果。通过这个程序，我们将详细讲解 LangChain 的三大核心组件：Prompt Template、Model 和 Parser，并探讨如何通过链式调用（Chain）将它们组合在一起。_aigc langchan
解决 Jupyter Notebook 环境问题：一步一步指南
文章浏览阅读567次，点赞3次，收藏4次。在这篇指南中，我们将逐步探讨如何识别和解决 Jupyter Notebook 未在预期 Python 环境中运行的常见问题。最常见的情况是，系统使用了默认的 Python 安装，而非您设置的虚拟环境。_如何验证jupyter当前运行环境
AIGC：从‘金鱼记忆‘到‘过目不忘‘，实例解密大模型是如何记住对话的上下文的？
文章浏览阅读405次，点赞3次，收藏9次。大语言模型(LLM)在对话中表现出"记忆"能力,似乎能够记住之前的对话内容。但实际上,这种"记忆"是如何实现的呢?本文将通过三个部分来探讨这个问题。_和大模型聊天时,大模型是怎么记住上下文的
今日推荐
周排行