启动外部 Hadoop MapReduce 作业并使用查询中的结果 « IQ 编程

随着Sybase被完全整合到SAP下，Sybase原来的支持网站被SAP Support Portal取代。
只有购买了SAP服务的用户才能使用账号登录SAP Support Portal进行介质下载、补丁升级、报Incident等。
目前，原Sybase所有产品（包括：Adaptive Server Enterprise、Sybase IQ、Replication Server、PowerDesigner等）的官方手册仍然可以从https://infocenter.sybase.com/help/index.jsp进行浏览或下载。暂不清楚该网站https://infocenter.sybase.com/help/index.jsp何时会被完全迁移到SAP Support上！
Sybase官方手册英文版有html和pdf两种格式，而中文版手册只有pdf一种格式。为了国内Sybase用户更方便、快捷地搜索Sybase常见产品的官方手册内容，特将中文版Sybase官方手册转为html格式！
Sybase产品官方手册中文版的html格式所有内容的版权归SAP公司所有！本博客站长是Sybase数据库的铁杆粉丝！

如有Sybase数据库技术问题需要咨询，请联系我！

QQ :289965371

Email:

以下官方手册为SAP IQ 16.0 SP03中文版：

< 上一个 | 内容 | 下一步 >

启动外部 Hadoop MapReduce 作业并使用查询中的结果‌

定义映射和缩减方法，以输入和输出按 <key, value> 对构成的数据。假定有一个目录含有两个文本文件，文本文件的内容如下：

• File1.txt ：Hello World Goodbye World

• File2.txt ：Goodbye World Hadoop

1. 在映射步骤中，将每个文件作为单独的映射作业处理，所有这些映射的输出均为以下 <key, value>：

• 作业 1：<Hello, one> <World, one> <Goodbye, one> <World, one>

• 作业 2：<Goodbye, one> <world, one> <Hadoop, one>

2. 调用仅添加映射阶段输出的 <key, value> 的缩减程序。本地缩减程序的输出为：

• 作业 1：<Hello, one> <World, two> <Goodbye, one>

• 作业 2：<Goodbye, one> <World, one> <Hadoop, one>

3. 组合起来，获得最终输出：

<Hello, one> <World, 3><Goodbye,2><Hadoop, 1>

注意：此示例代码主要用于说明目的，并非针对生产用途。尽管已尽力确保合理处理了错误，但这些示例并非处于生产级别，所以在投入生产前仍需额外的安全保护措施和测试。

public class WordCountDriver extends Configured {

public static void String HADOOP_ROOT_DIR = “hdfs://localhost: 9000”

private Text word = new Text();

private final IntWritable one = new IntWritable(1);

static class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

public void map(LongWritable key Text value, Context context) throws IOException, InterruptedException {

String line = value.toString();

StringTokenizer itr = new StringTokenizer(line.toLowerCase()); while (itr.hasMoreTokens()){

word.set(itr.next(Token)); context.write(word, one);

}

};

static class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable > {

public void reduce (Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

int sum = 0;

for (IntWritable value : values) {

sum += value.get();

}

context.write(key, new IntWrtiable(sum));

}

};

Public static void run(String input, String output, ResultSet rs[]) throws Exception {

Configuration conf = new Configuration(); conf.addResource(new Path(“/home/mymachine/hadoop/conf/core- site.xml”)); conf.set(“fs.default.name”,”hdfs://localhost:9000”); conf.set(“mapred.job.tracker”,”localhost:9000”);

// Specify output types

Job job = new Job(conf, “Word Count”);

Job.setOutputKeyClass(Text.class); Job.setOutputValueClass(IntWritable.class);

// Specify input and output locations FileInputFormat.addInputPath(job, new Path(HADOOP_ROOT_DIR+input));) FileOutputFormat.addInputPath(job, new Path(HADOOP_ROOT_DIR

+output));

// Specify a mapper job.setMapperClass(WordCountDriver.WordCountMapper.class);

// Specify a reducer job.setReducerClass(WordCountDriver.WordCountReducer.class); job.setCombinerClass(WordCountDriver.WordCountReducer.class); job.setJarByClass(WordCountDriver.class)

// Wait for MR job to complete

while (job.waitForCompletion(true) ? false : true) {

// Waiting…

}

HDFSclient hdfsc = new HDFSclient(); hdfsc.readFileByLine(file, rs);

}

< 上一个 | 内容 | 下一步 >

--------------------------------------华丽的分割线-------------------------------------------------------------------------

Sybase SQL Anywhere数据库恢复工具ReadASADB：

之前就已经研发成功了能够从Sybase SQL Anywhere的DB文件中恢复数据的工具: ReadASADB。
此工具支持ASA v5.0, v6.0, v7.0, v8.0, v9.0, v10.0, v11.0, v12.0, v16.0, v17.0等版本。
能够从损坏的SQL Anywhere数据文件(.db)和UltraLite数据文件(.udb)上提取数据的非常规恢复工具。
恢复Sybase SQL Anywhere的工具在国内处于领先水平。

Sybase SQL Anywhere数据库恢复工具ReadASADB功能
能够从损坏的SQL Anywhere数据文件(.db)和UltraLite数据文件(.udb)上提取数据的非常规恢复工具

适用于所有的SQL Anywhere版本包括：5.x,6.x,7.x,8.x,9.x,10.x,11.x,12.x,16.x,17.x
适用于所有的UltraLite版本
能够恢复出来表结构和数据
能够恢复自定义数据类型
能够恢复存储过程等对象的语法
能够导出到目标数据库
能够导出到SQL文件并生成导入脚本
支持多种字符集，包括：cp850、cp936、gb18030、utf8等
能够恢复未加密或者简单加密类型的数据
简单易用
限制：不支持AES加密的数据文件

请参考：研发成功了从Sybase SQL Anywhere的DB文件上恢复数据的工具
SQL Anywhere数据库非常规恢复工具ReadASADB使用介绍

Sybase SQL Anywhere数据库恢复工具ReadASADB适用场景

各种误操作：

误截断表(truncate table)
误删除表(drop table)
错误的where条件误删数据
误删除db或log文件
误删除表中的字段

Sybase SQL Anywhere数据库恢复工具ReadASADB的应用场景：

1.因为物理磁盘故障、操作系统、系统软件方面或者掉电等等原因导致的Sybase SQL Anywhere数据库无法打开的情况；
2.误操作，包括truncate table,drop table,不正确的where条件导致的误删除等；
Sybase SQL Anywhere无法打开时，比较常见的错误是：Assertion failed。
如：
1、Internal database error *** ERROR *** Assertion failed:201819 (8.0.1.2600) Checkpoint log: invalid bitmap page -- transaction rolled back
2、Internal database error *** ERROR *** Assertion failed:201819 (8.0.1.2600) Page number on page does not match page requested -- transaction rolled back
3、Internal database error *** ERROR *** Assertion failed:200502 (9.0.2.2451) Checksum failure on page 23 -- transaction rolled back
4、File is shorter than expected
5、Internal database error *** ERROR *** Assertion failed: 201116 Invalid free list index page found while processing checkpoint log -- transaction rolled back
6、*** ERROR *** Assertion failed: 51901 Page for requested record not a table page or record not present on page
7、*** ERROR *** Assertion failed: 201417 (7.0.4.3541) Invalid count or free space offset detected on a table page
8、Internal database error *** ERROR *** Assertion failed: 201425 (8.0.3.5594) Invalid count or free space offset detected on a free list page -- transaction rolled back.
9、Internal database error *** ERROR *** Assertion failed: 100702 (8.0.1.2600) Unable to modify indexes for a row referenced in rollback log -- transaction rolled back

-------------------------------------------------------------------------------------------

Sybase ASE数据库恢复工具READSYBDEVICE：

一个不依赖数据库管理系统、直接从Sybase数据库设备文件上提取数据的业内领先的恢复工具！
能够从损坏的Sybase ASE设备文件(.dat)上提取数据的非常规恢复工具。

Sybase ASE数据库恢复工具READSYBDEVICE的主要功能：

被勒索病毒加密数据文件及备份文件情况下的恢复；
系统崩溃只剩下数据文件的情况下的恢复，甚至数据库文件不存在而只有损坏的备份文件情况下的恢复；
因断电、硬盘坏道等造成数据库文件损坏情况下的恢复；
delete数据恢复、误update数据恢复、误删除表(drop）恢复、误truncate表恢复等；
各种Sybase内部系统表损坏、索引错误的修复；
master数据库损坏而无法正常运行情况下的恢复；
Sybase数据库被标记为可疑，不可用等情况的恢复；
Sybase数据库中数据文件内部出现坏块情况下的恢复；
Sybase数据库无数据文件但有日志文件的情况下的恢复；
Sybase数据库只有数据文件无任何日志文件的情况下的恢复；
Sybase数据文件被误删除情况下的碎片提取恢复；
磁盘阵列上的Sybase数据库被误格式化情况下的数据库恢复；
数据库sysobjects等系统表损坏无法正常应用情况下的恢复；
Sybase数据库还原数据库出现失败情况下的恢复；
Sybase数据库只剩下损坏的备份文件情况下的恢复。

Sybase ASE数据库恢复工具READSYBDEVICE支持的版本：

Sybase ASE 11.0.x，11.5.x，11.9.x，12.0.x，12.5.x，15.0.x，15.5.x，15.7.x，16.0.x

-------------------------------------------------------------------------------------------

SQL Server数据库恢复工具SQLRescue：

一个不依赖数据库管理系统、直接从SQL Server数据库文件上提取数据的业内领先的恢复工具！
能够从损坏的SQL Server数据库文件(.mdf)上提取数据的非常规恢复工具。

SQL Server数据库恢复工具SQLRescue的主要功能：

系统崩溃只剩下数据文件的情况下的恢复，即无日志文件或者日志文件损坏情况下的恢复；
断电导致数据库文件损坏情况下的恢复；
硬盘坏道造成数据库损坏情况下的恢复；
数据文件内部存在坏页情况下的恢复；
企业管理器误删除数据表记录，管理软件误删除数据表记录的恢复；
并闩锁错误、格式化、误删除后导致软件不能使用的情况；
无法读取并闩锁页sysindexes失败情况下的修复；
数据文件被误删除情况下的碎片提取恢复；
系统表损坏、索引错误、误删除数据库表、删除记录的数据找回；
master数据库损坏而无法正常运行情况下的恢复；
数据文件无法附加情况下的数据恢复；
数据库被标记为可疑，质疑，不可用等情况的恢复；
数据库sysobjects等系统表损坏情况下的恢复；
数据被误(drop、delete、truncate）删除表数据的恢复,误update后的数据恢复等；
还原时报一致性错误，错误823等情况下的数据恢复，各种错误提示的数据库文件修复；
数据库被误格式化等情况下的数据库恢复；
日志收缩造成数据库损坏情况下的恢复；
仅剩损坏的备份文件情况下的恢复。

SQL Server数据库恢复工具SQLRescue技术特点：

只要SQL Server数据库的数据文件存在，我们就有办法帮您从数据文件中找回重要数据。

从数据文件中直接恢复数据
不能附加时直接恢复数据并生成新的数据库
系统表损坏的数据库修复
快速修复SQL 823错误、连接中断错误

SQL Server数据库恢复工具SQLRescue支持的版本：

Microsoft SQL Server 7.0, 2000, 2005, 2008, 2008R2, 2012, 2014, 2016, 2017,2019。
+-------------------------------------华丽的分割线-------------------------------------------------------------------------

Sybase数据库技术,数据库恢复

如有Sybase数据库技术问题需要咨询，请联系我！