Le projet utilise phoenix pour utiliser SQL pour faire fonctionner la base de données Hbase, mais une rencontre est que la vitesse de requête SQL dans Dbeaver est correcte, mais après avoir utilisé phoenix + ibatis, le volume de données de l'ensemble de résultats est de 20 w, ce qui est très lent. Envisagez d'abord d'utiliser redis en cache, mais la mémoire est limitée, je pense que c'est à utiliser, connexion directe hbase, testez-la pour la résoudre,
Un: Introduction
hbase-client est une API de niveau relativement bas fournie par HBase. Elle doit être encapsulée en utilisation réelle pour fournir aux utilisateurs de meilleures API.
Il existe plusieurs façons de faire fonctionner le client hbase:
hbase-client est plus bas niveau, vous devez encapsuler davantage l'api par vous-même, et le numéro de version et l'hbase installé doivent également correspondre, sinon il rapportera une erreur
spring-data-hadoop 5 avril 2019 arrêter de maintenir
Apache Phoenix Utiliser SQL pour faire fonctionner HBase
- Ce qui suit est la méthode springboot + hbase-client
Remarque! Besoin de supprimer le jar slf4j et log4j, sinon l'erreur correspondante sera signalée: import pom.xml
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>2.1.3</version>
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
<exclusion>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
</exclusion>
</exclusions>
</dependency>Remarque! Paramètres hbase application.yml: hbase.zookeeper.znode corrigé en hbase.zookeeper.parent
hbase:
config:
hbase.zookeeper.quorum: 127.0.0.1
hbase.zookeeper.port: 2181
hbase.zookeeper.parent: /hbase
hbase.client.keyvalue.maxsize: 1572864000
Le rôle de hbase.zookeeper.parent:
Le rôle de Zookeeper est:
1. Hbase regionserver s'enregistre auprès de zookeeper et fournit des informations sur l'état du serveur de régions hbase (s'il est en ligne).
2. Lorsque hmaster démarre, la table système hbase -ROOT- sera chargée dans le cluster zookeeper, et les informations regionserver correspondant au stockage de la table système actuelle .META peuvent être obtenues via le cluster zookeeper.
Zookeeper est le " coordinateur " du cluster hbase . En raison de la nature légère de zookeeper, nous pouvons partager un cluster de zookeeper avec plusieurs clusters hbase pour économiser de nombreux serveurs. La méthode de plusieurs clusters de Hbase pour partager le cluster de Zookeeper est d'utiliser le même ensemble d'IP et de modifier la « zookeeper.znode.parent propriété » des différents groupes de Hbase utiliser différents répertoires racine. Par exemple, cluster1 utilise / hbase-c1, cluster2 utilise / hbase-c2, etc.
La fonction principale de HMaster est de gérer les tables système -ROOT-, .META via HMaster et d'enregistrer les informations de changement de région correspondant au serveur de régions. En outre, il est également responsable de la surveillance et du traitement des informations de changement d'état du serveur de régions dans le cluster hbase actuel.
Le serveur de régions Hbase est utilisé pour des régions de maintenance multiples / uniques.
La région correspond à la maintenance des données de partition de table de la table de données hbase.
Référence: https://www.cnblogs.com/cxzdy/p/5369187.html
https://www.jianshu.com/p/67a817a157ee
La référence de construction du projet est la suivante:
https://blog.csdn.net/vbirdbest/article/details/88410954
3. Référence recommandée de l'API hbase:
https://www.cnblogs.com/frankdeng/p/9310209.html
4. Manipulation et filtrage des données hbase basic JavaApi (filtre)
https://www.cnblogs.com/frankdeng/p/9310262.html
https://www.cnblogs.com/asker009/p/10626508.html