3.3.4 VO-O语法- 算子分类(二)

读取算子

读取算子用于读取和解析各类数据的结构，比如CSV读取、Json读取等。读取算子支持配置解析数据的结构并以结构化的形式输出数据。读取算子可以配置读取某个文件，但是这个文件只能是HuggingFists缺省文件系统中的文件，且每次只能读取一个文件。如果希望读取不同文件系统中的文件或者读取多个文件时，读取算子的前面需要接入对应的文件输入算子。

下面列出VO语言支持的部分读取算子，详细内容参见《5资源手册/2算子》：

文件读取：CSV、Excel、Json、XML、Protobuf、Avro、Parquet、ORC、全文读取等。

写出算子

写出算子是读取算子的逆功能算子，用于将各类数据写成指定的数据格式，比如CSV写出、Json写出等。写出算子支持配置写出数据的数据结构，将数据转换为描述的结构后写出。写出算子可以配置写出到某个文件，但是这个文件只能写出到HuggingFists缺省文件系统中。如果希望将数据写出到不同的文件系统中，则需要在写出算子的后面接入目标文件系统对应的文件输出算子，这样就可以将数据按照指定格式写出到不同文件系统了。

下面列出VO语言支持的部分写出算子，详细内容参见《5资源手册/2算子》：

文件写出：CSV、Excel、Json、XML、Protobuf、Avro、通用写出等。

控制算子

控制算子主要用于完成数据流程的控制，其属于VO语法的一部分，详见 《3.3.3 VO- O语法 - 语法算子》 以及 《3.3.5 VO-O语法 - 高级语法》。

处理算子

处理算子是目前算子分类中算子数量最庞大的一个分类，不属于其它分类的所有算子都属于这个分类。这个分类中的算子用于完成数据的各类处理。包含对列值的处理、集合的处理以及文本、图像、音频、视频等各类数据的处理。

下面列出VO语言支持的部分处理算子，详细内容参见《5资源手册/2算子》：

列值处理： Hmac哈希、Base编/解码、AES编/解码、Des编/解码、URL编/解码、值剪切、值修改、值抽取、值设置等

集合处理： 列添加、列删除、行列转换、列集拆分、过滤、采样、聚合、去重、排序、并集、交集、差集、补集、联结、特征统计、扁平化等

文本处理： 文本格式化、文本抽取、文本替换、Html转Xml、按大小拆分文本、按段落拆分文本、按章节拆分文本、语种识别、文本向量化、分词、命名实体识别、摘要、关系识别、翻译、大语言模型应用等

图像处理： 格式转换、黑白化、马赛克、浮雕、缩放、水印、人脸识别、OCR、物体识别、向量化、图像生成、图像分类等

音频处理： 音频识别、音频生成、音频分类等

视频处理：视频切分、关键帧提取、视频分类等

分析算子

分析算子主要包含了数据挖掘、机器学习以及深度学习的相关算法，用于发现数据中的规律，实现模型的训练和应用。

下面列出VO语言支持的部分分析算子，详细内容参见《5资源手册/2算子》：

特征处理： 特征哈希、卡方筛选、缺失值填充、二值化、标准归一化、分位分档离散、特征分桶、等宽分档离散等

回归： 最小二乘、Lasso、岭回归、ElasticNet、随机森林等

分类： 逻辑回归、朴素贝叶斯、决策树、支持向量机、随机森林等

聚类： K均值、X均值、G均值、KModes、DBScan等

距离： 字符串距离、向量距离、对象集合距离等

关联： Apriori、FPGrowth等

评估： 回归评估、分类评估、聚类评估等

其它： 交叉验证、预测等

资源算子

资源算子是一类用于优化流程资源占用情况的算子，比较典型的是数据库连接类算子，这些算子主要用于有大量数据库访问的数据流程场景中。例如：有一个数据流程会同时读取和写入某个数据库，如果为每个算子都独立分配一个数据连接可能会给数据库带来很大的连接访问压力。此时，可以规划让多个数据库访问算子共享同一个数据库连接，可有效降对数据库连接的访问压力。