OpenCVのfindContoursを利用した文字切り出し | GROUP DEV BLOG

2017.06.19

プログラミング

OpenCVのfindContoursを利用した文字切り出し

はじめまして、新卒のKMです
私は卒業研究で文字認識の研究をしていました。
その方法が、輪郭検出を利用して文字切り出し=>文字認識をする。という流れでやってました。
では文字切り出し方法を紹介します。

今回文字切り出しする画像はこちら。

輪郭検出にはopencvのfindContoursを使用します。

findContoursは二値化画像の輪郭を検出します。また、白を文字として認識するため、事前準備として入力画像を二値化処理をした後白黒反転させます。

//画像読み込み
cv::Mat image = cv::imread("./sample.png");
// グレースケール画像に変換
cv::Mat grayImage;
cv::cvtColor(image, grayImage, CV_BGR2GRAY);
// 二値画像に変換
cv::Mat binaryImage;
const double threshold = 100.0;
const double maxValue = 255.0;
cv::threshold(grayImage, binaryImage, threshold, maxValue, cv::THRESH_BINARY);
//白黒反転
binaryImage = ~binaryImage;

//画像読み込み

cv::Mat image = cv::imread("./sample.png");

// グレースケール画像に変換

cv::Mat grayImage;

cv::cvtColor(image, grayImage, CV_BGR2GRAY);

// 二値画像に変換

cv::Mat binaryImage;

const double threshold = 100.0;

const double maxValue = 255.0;

cv::threshold(grayImage, binaryImage, threshold, maxValue, cv::THRESH_BINARY);

//白黒反転

binaryImage = ~binaryImage;

次に、輪郭検出します。

vector< vector<cv::Point> > contours;
vector<cv::Vec4i> hierarchy;
cv::findContours(binaryImage, contours, hierarchy, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_SIMPLE);

vector< vector<cv::Point> > contours;

vector<cv::Vec4i> hierarchy;

cv::findContours(binaryImage, contours, hierarchy, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_SIMPLE);

binaryImageから検出された輪郭の点座標は2次元配列のcontoursに格納されます。各輪郭の左上と右下の座標を求めます。

//各輪郭の最大最小座標を求める
for(int i=0;i<contours.size(); i++){
  cv::Point minP = minPoint(contours.at(i) );
  cv::Point maxP = maxPoint(contours.at(i) );
  cv::Rect rect(minP, maxP);
  //矩形を描く
  cv::rectangle(image, rect, cv::Scalar(0, 255, 0), 2, 8);
}

//各輪郭の最大最小座標を求める

for(int i=0;i<contours.size(); i++){

cv::Point minP = minPoint(contours.at(i) );

cv::Point maxP = maxPoint(contours.at(i) );

cv::Rect rect(minP, maxP);

//矩形を描く

cv::rectangle(image, rect, cv::Scalar(0, 255, 0), 2, 8);

}

//最小座標を求める
cv::Point minPoint(vector<cv::Point> contours){
  double minx = contours.at(0).x;
  double miny = contours.at(0).y;
  for(int i=1;i<contours.size(); i++){
    if(minx > contours.at(i).x){
      minx = contours.at(i).x;
    }
    if(miny > contours.at(i).y){
      miny = contours.at(i).y;
    }
  }
  return cv::Point(minx, miny);
}
//最大座標を求める
cv::Point maxPoint(vector<cv::Point> contours){
  double maxx = contours.at(0).x;
  double maxy = contours.at(0).y;
  for(int i=1;i<contours.size(); i++){
    if(maxx < contours.at(i).x){
      maxx = contours.at(i).x;
    }
    if(maxy < contours.at(i).y){
      maxy = contours.at(i).y;
    }
  }
  return cv::Point(maxx, maxy);
}

//最小座標を求める

cv::Point minPoint(vector<cv::Point> contours){

double minx = contours.at(0).x;

double miny = contours.at(0).y;

for(int i=1;i<contours.size(); i++){

if(minx > contours.at(i).x){

minx = contours.at(i).x;

}

if(miny > contours.at(i).y){

miny = contours.at(i).y;

}

return cv::Point(minx, miny);

}

//最大座標を求める

cv::Point maxPoint(vector<cv::Point> contours){

double maxx = contours.at(0).x;

double maxy = contours.at(0).y;

for(int i=1;i<contours.size(); i++){

if(maxx < contours.at(i).x){

maxx = contours.at(i).x;

}

if(maxy < contours.at(i).y){

maxy = contours.at(i).y;

}

return cv::Point(maxx, maxy);

}

これを実行するとこうなります↓↓。

…ご覧のとおり、この方法だと”い”のように線が離れている文字は別々に矩形選択されてしまいます。
私の場合は隣接する矩形の間隔が近い場合は矩形を統合するという方法でごまかしていましたが、一文字かどうかきちんと判定する場合、ディープラーニングの範囲になるらしく、私にはわからないのでここまでとします。

ありがとうございました。

参考サイト:
OpenCVドキュメント
 OpenCV画像解析入門

【記事への感想募集中！】

記事への感想・ご意見がありましたら、ぜひフォームからご投稿ください！

こんな記事が読んでみたい、こんなことが知りたい、調べてほしい！という意見も募集中！
いただいた感想は今後の記事に活かしたいと思います！

感想フォームはこちら

【テクノデジタルではエンジニア/デザイナーを積極採用中です！】

下記項目に1つでも当てはまる方は是非、詳細ページへ！

自分でアプリを作ってみたい
ITで世の中にワクワクを生み出したい
使いやすさ、デザインにこだわったWebサイトを開発したい

採用情報の詳細はこちら

Qangaroo（カンガルー）

徹底した見やすさと優れた操作性で、テストの「見える化」を実現。
テストの進捗が見える。開発がスマートに進む。
クラウド型テスト管理ツール『Qangaroo（カンガルー）』

https://qangaroo.jp/

【テクノデジタルのインフラサービス】

当社では、多数のサービスの開発実績を活かし、
アプリケーションのパフォーマンスを最大限に引き出すインフラ設計・構築を行います。
AWSなどへのクラウド移行、既存インフラの監視・運用保守も承りますので、ぜひご相談ください。
詳細は下記ページをご覧ください。

https://www.tcdigital.jp/infrastructure/