Flink任务提交与架构模型

Flink 任务提交模式Flink分布式计算框架可以基于多种模式部署,每种部署模式下提交任务都有相应的资源管理方式,例如:Flink可以基于Standalone部署模式、基于Yarn部署模式、基于Kubernetes部署模式运行任务,以上不同的集群部署模式下提交Flink任务会涉及申请资源、各角色交互过程,不同模式申请资源涉及到的角色对象大体相同,下面我们以Flink运行时架构流程为例来总体了解下Flink任务提交后涉及到对象交互流程,以便后续学习不同任务提交模式下任务提交流程。 上图是Flink运行时架构流程,涉及集群启动、任务提交、资源申请分配整个流程,大体步骤如下: 启动Fli...

Java并发编程面试题

JDK21的特性,虚拟线程,虚拟线程与普通线程的区别?核心点虚拟线程(Virtual Threads) 是 JDK 21 正式推出的轻量级用户态线程(由 JVM 调度),而普通线程(平台线程 Platform Threads) 是操作系统内核线程的 1:1 封装。 核心区别在于:普通线程是“重型操作系统资源”,创建慢、占内存大(约1MB)、阻塞时会占用昂贵的 OS 内核;而虚拟线程是“JVM 管理的普通 Java 对象”,创建极快、占内存极小(KB级)、阻塞时会自动让出底层载体线程,从而支持百万级并发。 底层核心原理 载体线程(Carrier Thread):JVM 内部维护一个数量极少...

post

准备环境系统:rocky9 节点 IP node01 192.168.1.11 node02 192.168.1.12 node03 192.168.1.13 node04 192.168.1.14 node05 192.168.1.15

LangChain 框架面试题

什么是langchain?它的核心特点是什么,有哪些应用场景langchain的核心组件有哪些,每个组件有什么作用langchain中的模型调用有几种方式,分别适用于什么场景langchain中模型结构化输出有几种方式,分别是什么什么是langchain中的智能体(Agent),它的工作原理和执行流程是什么Agent的静态模型和动态模型有什么应用场景Agent使用@tool创建工具有几种方式,分别是什么Agent工具调用出现错误的时候应该如何处理Agent的结构化输出有几种策略 ProviderStrategy(原生结构化) 适用场景:追求极致准确率和最低延迟,且明确知道模型支持(O...

逻辑回归和多层感知机

逻辑回归逻辑回归介绍线性回归预测的是一个连续值, 逻辑回归给出的”是”和“否”的回答. 逻辑回归通过sigmoid函数把线性回归的结果规范到0到1之间. sigmoid函数是一个概率分布函数, 给定某个输入,它将输出为一个概率值. 逻辑回归损失函数平方差所惩罚的是与损失为同一数量级的情形 对于分类问题,我们最好的使用交叉熵损失函数会更有效 交叉熵会输出一个更大的“损失” 交叉熵刻画的是实际输出(概率)与期望输出(概率)的距 离,也就是交叉熵的值越小,两个概率分布就越接近。假设 概率分布p为期望输出,概率分布q为实际输出,H(p,q)为交 叉熵,则 在pytorch里,我们使用 nn.B...

pytorch入门

PyTorch概述和安装PyTorch概述 Torch是什么?一个火炬!其实跟Tensorflow中Tensor是一个意思,可以当做是能在GPU中计算的矩阵.,也可以当做是ndarray的GPU版! PyTorch正处于飞速发展时期. PyTorch可以说是现阶段主流的深度学习框架了,武林盟主之争大概是这个历史。15年底之前Caffe是老大哥,随着Tensorflow的诞生,霸占江湖数载,19年起无论从学术界还是工程界PyTorch已经霸占了半壁江山! PyTorch安装安装PyTorch使用匹配方法比较简单. 正确的安装方法是打开PyTorch官网https://pytorch.o...

Hello World

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick Start安装 hexo npm install -g hexo-cli rm -rf node_modules && npm install --force Create...