阿里云揭秘其数据中心设计和自研网络，用于大语言模型训练

阿里云近日公布了其专为大型语言模型 (LLM) 训练流量而设计的基于以太网的网络设计，该网络已投入生产八个月。

技术成果：

• 阿里云每个数据中心配备 15,000 个 GPU，每个主机包含 8 个 GPU 和 9 个网卡，以实现高带宽和避免单点故 障。
• 阿里云选择以太网是为了避免供应商锁定，并利用“整个以太网联盟的力量实现更快的发展”。
• 阿里云自研网络名为“高性能网络”(HPN)，旨在解决传统路由方法在 LLM 训练中遇到的问题，例如哈希极化。
• 阿里云偏爱单芯片交换机，因为它们比多芯片交换机更稳定。
• 阿里云为其交换机创建了定制的均热板散热器，以解决过热问题。
• 阿里云的数据中心设计为每个建筑容纳一个“Pod”，每个 Pod 包含 15,000 个 GPU。
• 阿里云已经在设计下一代网络架构，以支持更高容量的单芯片交换机和更大的 LLM 训练集群。

行业影响：

• 阿里云对以太网的偏好支持了 AMD、Broadcom、Cisco 等公司提出的反对 Nvidia 网络业务垄断的论点。
• 阿里云的 HPN 设计和数据中心架构展示了其对 LLM 训练基础设施的重大投入。
• 阿里云对单芯片交换机和定制散热解决方案的采用突出了其对性能、稳定性和成本效益的关注。

阿里云为支持 LLM 训练而做出的技术选择和设计决策，展示了其在人工智能 基础设施领域的雄心和实力。

来源：

https://www.theregister.com/2024/06/27/alibaba_network_datacenter_designs_revealed/

Jina AI 发布最新的神经网络重排序模型

Jina AI 发布了最新的神经网络重排序模型 Jina Reranker v2，该模型在速度、多语言支持和功能上都有显著提 升，尤其适用于检索增强生成（RAG）场景。

Jina Reranker v2 的主要优势：

• 多语言支持: 支持超过 100 种语言的检索，超越了 bge-reranker-v2-m3 的性能。
• 代理能力: 具备最先进的函数调用和文本到 SQL 转换能力，适用于代理 RAG 场景。
• 代码检索: 在代码检索任务中表现出色。
• 超快速度: 吞吐量比 bge-reranker-v2-m3 高 15 倍，比 jina-reranker-v1-base-en 高 6 倍。

Jina Reranker v2 的特性：

• 创新需求：弥补嵌入模型在检索精度上的不足。
• 多语言支持：在 MKQA、BEIR 和 AirBench 等基准测试中表现优异。
• 应用场景：在结构化数据查询、函数调用和代码检索方面的应用。
• 推理速度：模型尺寸更小、采用了 Flash Attention 2 技术。
• 训练过程：分四个阶段进行，包括使用英语数据预训练、添加跨语言数据、微调等。

Jina Reranker v2 的应用方式：

• 通过 Jina Reranker API：提供简单易用的接口，方便快速集成。
• 通过 RAG/LLM 框架：与 Haystack、LlamaIndex 和 Langchain 等框架集成。
• 通过 HuggingFace：提供预训练模型，方便研究和评估。
• 通过私有云部署：即将在 AWS 和 Azure 平台上线。

Jina Reranker v2 是一个功能强大、性能卓越的重排序模型，可以显著提升 RAG 系统的精度和效率，适用于各种多语言、多模态的检索和生成任务。

来源：

https://jina.ai/news/jina-reranker-v2-for-agentic-rag-ultra-fast-multilingual-function-calling-and-code-search

更多内容请查阅 : blog-240629

---

关注微信官方公众号 : oh my x

获取开源软件和 x-cmd 最新用法