MapReduce作业的输入与输出

MapRecude计算框架是在键值对<key, value>上进行操作的。MapReduce计算框架将作业的输入视为一组<key，value>对，并生成一组<key, value>对作为其输出，可能是不同类型的。<key, value>中：

• key和value的类都要由框架实现序列化，所以都需要实现org.apache.hadoop.io.Writable接口；
• 除此之外key的类还需要实现org.apache.hadoop.io.WritableComparable接口，因为在map操作之后还需要对key进行排序操作。

MapReduce作业的输入和输出类型：

(input) <k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3> (output)

阅读全文

1。有时候调用历史命令，都是很长的那种，然后发现并不是自己想要的，需要重新输入，如何快速删除已有/已输入的命令/内容？

Ctrl + C

2。Linux/moacOS 终端命令行输入的常用快捷键。

阅读全文

SSH连接免密码登录配置

方法一：手动复制公钥至服务器

1. ssh-keygen -t rsa 在客户端生成密钥对
2. 把公钥拷贝给要登录的目标主机，手动复制粘贴
3. 目标主机上将这个公钥加入到授权列表 cat id_rsa.pub >>authorized_keys
4. 目标主机还要将这个授权列表文件权限修改为 600 , chmod 600 authorized_keys
5. 在用户目录下即 ~ 执行以下步骤：
   1. rm -rf .ssh/ # 会删除已有的密钥，谨慎删除
   2. ssh-keygen -t rsa
   3. cat .ssh/id_rsa.pub >> .ssh/authorized_keys
   4. chmod 700 .ssh
   5. chmod 600 .ssh/authorized_keys

这种方法容易出错，推荐使用方法二

阅读全文

在当前仓库 hexobackup 配置以下工作流，实现向当前仓库提交更新时，触发 GitPages 自动编译。

graph TD;
    1(手动执行 hexo g 和 hexo d 部署命令)-->自动推送GiteePages仓库-->2(已推送至 Gitee Pages 仓库)-->官方自动部署GiteePages要钱;
    1-->自动推送GithubPages仓库-->已推送至GithubPages仓库-->官方自动部署GithubPages-->完成同步更新;
    2-->3;
    手动推送更新至hexobackup仓库触发Actions-->3(Actions等待工作流中配置的部署GiteePages作业被触发执行)-->自动部署GiteePages-->完成同步更新;
    完成_config.yml文件的deploy配置-->1;

Something about Continuously Integrity / Continuously Deploy…

Github Actions.

.github/workflows/main.yml文件代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

name: Sync

on:
  push:
    branches: [master]
  workflow_dispatch:

jobs:
  build:
    runs-on: ubuntu-latest
    steps:
      - name: Build Gitee Pages
        uses: yanglbme/gitee-pages-action@main
        with:
          # 注意替换为你的 Gitee 用户名
          gitee-username: xy94
          # 注意在 Settings->Secrets 配置 GITEE_PASSWORD
          gitee-password: ${{ secrets.GITEE_PASSWORD }}
          # 注意替换为你的 Gitee 仓库，仓库名严格区分大小写，请准确填写，否则会出错
          gitee-repo: xy94/xy94
          # 要部署的分支，默认是 master，若是其他分支，则需要指定（指定的分支必须存在）
          branch: master

SSH

CI 持续集成

Windows Git Bash 主题美化和字体设置

ssh远程连接至服务器，终端命令提示符等乱码

问题描述：

远程服务器上我使用的是oh-my-zsh终端并且使用了agnoster主题以及Meslo LG L DZ Regular for Powerline字体，在Windows上使用ssh远程连接至服务器时由于Windows没有Powerline字体，终端命令提示符有些非ASCII字符会乱码。

解决方法：

1. 下载并安装字体
   在Windows上安装上述字体，点击 Meslo LG L DZ Regular for Powerline 下载字体至本地，双击下载的字体文件，安装字体。
2. 修改Git Bash配置文件使用安装好的字体
   在Git Bash的Option中的Text选项卡也能设置字体，但是它的字体列表显示的不完全，很多Windows上已有的和上述新安装的Powerline字体在Git bash的设置里面都找不到。解决方法是直接修改Git Bash的配置文件，一般这个配置文件都是用户目录下的.minttyrc文件，即~/.minttyrc，如果没有这个文件也不影响下面的操作，会自动创建。在~/.minttyrc文件中填写以下配置：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

Font=Meslo LG L DZ Regular for Powerline
FontHeight=14
ForegroundColour=131,148,150
BackgroundColour=0,43,54
CursorColour=222,222,0

Black=7,54,66
BoldBlack=0,43,54
Red=220,50,47
BoldRed=203,75,22
Green=133,153,0
BoldGreen=88,110,117
Yellow=181,137,0
BoldYellow=101,123,131
Blue=38,139,210
BoldBlue=131,148,150
Magenta=211,54,130
BoldMagenta=108,113,196
Cyan=42,161,152
BoldCyan=147,161,161
White=238,232,213
BoldWhite=253,246,227
Locale=zh_CN 
Charset=UTF-8
CursorType=block

主题配色和隐藏用户主机名

1. 主题美化：
   主题美化很简单，事实上已经配置完成了。以上配置文件中已经配置了字体Font和字体大小FontHeight，同时也配置了MinGW的主题配色为mintty-colors-solarized。重启Git Bash就能看到新的主题配色和字体。
2. 隐藏命令提示符前的 ‘用户名@主机名’：
   打开Git Bash，输入命令vi ~/.profile打开.profile文件，按i进入INSERT模式，在文件末尾添加一行export PS1="\W\[\033[32m\]\$(parse_git_branch)\[\033[00m\] $ " ，按ESC，输入:wq保存退出。再次重启Git Bash，用户名和主机名都不会显示啦。如果想只显示用户名而不显示电脑主机名，就把输入的那一行改为改成啥来着，忘了，百度一下吧。

使用ssh远程连接时中文乱码

问题描述：
在本地Windows系统的Git Bash上使用ssh连接至远程的macOS服务器（Linux同理），中文还是乱码。

解决方法:

1. 在Windows上编辑~/.minttyrc文件，填入Locale=zh_CN和Charset=UTF-8这两行（上面修改主题部分给出的配置中已经有了这两行，没有就添加）以修改字符集为UTF-8；
2. 在ssh username@host连接上远程服务器之后，输入export LANG="zh_CN.UTF-8"，中文即可显示正常。
3. 第2点的命令只对本次连接有效，下次使用ssh重新连接远程服务器时还是会出现中文乱码。为使之永久生效，可以将上述export命令添加到远程主机（macOS/Linux）的环境变量中。

写完才发现我远程oh-my-zsh（macOS上）使用的字体是 Menlo-for-Powerline ，虽然Windows本地的Git Bash上配置的字体和远程终端不一样，但是也不影响，因为两者都是支持非ASCII字符显示的Powerline字体。

链接：macOS终端iTerm2及其主题美化：

1. macOS使用oh-my-zsh美化Terminal,iTerm2,VSCode命令行终端配置教程
2. Mac OS 終端機美化(Mac OS Terminal)
3. 【vscode】windows中使用zsh美化vscode终端
4. 一款基于 Electron 的跨平台终端 Terminal Emulator: Hyper

回到顶部

Linux/macOS终端命令，如何从包含完整路径的文件名 获取 不包含文件夹路径只包含文件名的 基本名称

一个简单的提示，如果你正在编写一个 Linux shell 脚本，并且需要从一个完整的(规范的)目录 / 文件路径中获取文件名，你可以像这样使用 Linux basename 命令:

1
2

$ basename /foo/bar/baz/foo.txt
foo.txt

阅读全文

查找命令

YARN全称：Yet Another Resource Negotiator。

一个Cluster Resource Management

阅读全文

1. 环境搭建

• IntelliJ IDEA 新建 Maven 项目
  • 勾选 Create from archetype
  • 选择 org.apache.maven.archetypes:maven-archetype-quickstart,点击Next
  • Maven home directory可以默认，也可以选择自己安装的Maven目录
  • User settings file勾选Override，选择用户自定义的~/.m2/settings.xml文件
• pom.xml 配置

阅读全文

1. 安装环境

• 操作系统：Ubuntu 18.04 64位
• Hadoop版本：hadoop-2.6.0-cdh5.7.0.tar.gz
• JDK版本：jdk-8u241-linux-x64.tar.gz

2. Hadoop伪分布式安装

操作环境：macOS终端 ssh 远程连接Ubuntu

2.1. 下载地址

1
2

wget https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz #Hadoop安装包
wget http://enos.itcollege.ee/~jpoial/allalaadimised/jdk8/jdk-8u241-linux-x64.tar.gz #JDK安装包

阅读全文