Hi every body, I am a junior DS that work for a digital marketing company in Tokyo. I always struggle for writing report in weekly meeting with my boss. I think that i have to improve my communication and writing skill. That is why i summarize some blog to create a template for my report.

To write a report, there are 3 steps that we have to do:

• Preparing
• Writing
• Review

Preparing

Know your audiences: TODO

Gather and analyze first: TODO

Organize & Visualize: TODO

Writing

Introduction

• Summarize the purpose of the report and summarize the data / subject.
• Include important contextual information about the reason for the report.
• Summarize your analysis questions, your conclusions, and briefly outline the report.

Body — Four Sections

• Data Section — Include written descriptions of data and follow with relevant spreadsheets.
• Methods Section — Explain how you gathered and analyzed data.
• Analysis Section — Explain what you analyzed. Include any charts here.
• Results — Describe the results of your analysis.

Conclusions

• Restate the questions from your introduction.
• Restate important results.
• Include any recommendations for additional data as needed.

Appendix

• Include the details of your data and process here.
• Include any secondary data, including references.

Review

Before you send off your newly finished data analysis report, make sure it has these two important qualities:

• It’s organized — It’s easy for different audiences to quickly read and find information of interest in your report.
• It’s clearly written — The writing is style is concise, professional, and direct. This makes your content the focus, and not the writing. To achieve a clear writing style, avoid the following: extra sentences, formal prose, casual language; spelling and grammatical errors; setting too broad or too narrow of a context for your audience and your questions; failing to report procedures and outcomes.

Ref

Data Science Reports

Khi báo cáo kết quả nghiên cứu của một vấn đề gì đó, ta có outline sau:

提案内容

論理展開

実験設計

結果

考察

参考情報

Giải thích từng bước:

提案内容： phân tích yêu cầu của người dùng từ đó nhận ra vấn đề cần giải quyết là gì, đánh giá lợi ích của vấn đề đó và khả năng có thể hoàn thành.

論理展開： nêu ra giả thiết về cách làm cũng như kết quả có thể có được , cách đánh giá kết quả đấy

実験設計： mô tả thí nghiệm thực hiện

結果： đưa ra kết quả và đánh giá kết quả đấy

考察: kết luận

参考情報： các tài liệu tham khảo. Paper tham khảo, tool tham khảo, schedule, các chỉnh sửa ở mỗi version khác nhau của report

BtoBマーケティングスタートアップガイドを無料ダウンロードする

「営業」と「売上」について

本題の前に、まずは「営業」と「売上」について説明させていただきます。

「営業」と「売上」を公式的に表すと、それぞれ次のような式で説明することができます。

この2つの式からは、様々なことが見えてきます。
例えば、以下のようなことが重要であると推測することができます。

・営業ボリュームを上げるには、やりきる力、徹底度の高さが必要。
・営業の質を上げるには、お客様の状況、自社商品のことを熟知すること。
・リピートや引合いの量を向上させるには、お客様からの信頼を獲得すること。
・社外、社内的にも納期を守れていること。

などです。

上記に挙げたようなことができているか、できていないか。これが売上の高い営業マンと売り上げの低い営業マンの大きな違いとなるのです。

売上の低い営業マンに共通する要因と対策

では、売上の低い営業マンに共通するその要因と対策についてまとめていきます。

売上の低い営業マンは時間に追われている

容易に想像がつくと思いますが、時間に追われている営業マンのパフォーマンスは低いです。納期を守れずに信頼を失くしたり、ギリギリなのでケアレスミスも発生します。

どのようにすれば対処できるのでしょうか？私の経験からお話すると大きく２つあります。

1．タスクとして処理する

１つは、タスク的な仕事の処理方法です。

具体的には、メールの返信、お客様の依頼事（見積りや質問の回答）、社内の仕事（入力作業や集計）などです。
これらには、まずざっと目を通し、今やるものと後からやるものを判別します。

ポイントは、「19時までに○○を完了する」 など、何時までに何をやるかを決めて実行することです。人間は期限を決められると集中力が増します。

2．納期より早めに処理する

もう１つの対処法は、納期の１日前に提出するということです。優秀な人ほど、これを実践していると思います。またこれができていると社内的にも社外的にも、評価がかなり高くなります。お客様からすると、自分のことを優先して大事にしてくれていると感じますし、社内的には仕事が速く「デキル人」の印象が持たれます。

もう１つ付け加えますと、仕事の処理の順番に気をつけることです。

優先順としては、お客様の仕事→社内で複数人関わっている仕事→自分の仕事の順です。重々承知されていると思いますが、後回しにしても結局、仕事は終わりません。仕事はゲームのテトリスのように常に降ってきます。どうせやるなら早くやって良い印象と信頼を獲得しましょう。

売上の低い営業マンはお客様に愛されていない

売上の高い営業マンは、お客様から信頼され、愛されているので引合いも多くなります。

リピートや引合いは、営業効率が最も良いので是非増やすべきです。信頼を得て、愛されるには知識や経験も必要です。お客様との約束事を守るのも当然必要です。
そしてこれらを築くには時間もかかります。しかし、新卒の営業マンからベテランの営業マンまで、すぐに実践できて、お客様に愛してもらう「魔法の技」があります。

精神論的に聞こえるかもしれませんが、効果は絶大だと思います。

それは、 『お客さんのことを意識して好きになること』 です。

スティーブン・R・コヴィー博士著の「７つの習慣」という有名な本に書いてありますが、「愛」とは日本語では名詞ですが、英語では「love」、動詞です。つまり自分の意識次第で動かせるということです。

どの営業マンにも１人は苦手なお客様や、ややこしく関わりたくないお客様がいると思います。またそういったお客様に限って売上を握っていたりします。
そのお客様を、騙されたと思って一度好きになってみてください。相手も人なので、自分を嫌がっている、腫れ物にさわるように接しているというのは気づいています。しかし逆にいうと、自分のことを好いてくれた人に対して突っ撥ねる態度は取りにくいものです。

競合の営業マンに対する態度や社内でもそういった態度が変わらない方だったら諦めてもよいと思いますが、しばらく続けると違いを実感できると思います。

これを私は営業の究極技だと感じています。

売上の低い営業マンは決めたことを実行できない

いくら素晴らしい会議をして、目標ややることを決めても、実行できなかったら良し悪しの判断ができません。

例えば売上目標を達成するために、電話を1日50件を行うと決めたとします。しかし、1日30件しか電話できなかったのであれば、ボリュームが少なかったから悪かったのか、当たり先が良くなかったのか、はたまた電話の話す内容が悪かったのかと、どこが悪かったのかが判断できません。

まずは決めたことを実行することが大切です。そうして初めて、スタートに立ったと言えます。

売上の高い営業マンになるには行動と実践が何より重要

最終的にはやはり、行動・実践するしかないという話にはなりますが、これらのことは特別な能力が必要なことではなく、誰にでもできることです。少しの差が大きな結果を生むと思いますので、是非一度実践してみてください。そしてどうせなら売上の高い営業マンになって自信を獲得することを目指しましょう。

Originally published at https://www.onemarketing.jp.

Hẳn các bạn đã có nhiều trường hợp cần phải di chuyển dữ liệu từ một máy này sang một máy khác nhỉ. Thông thường chúng ta có thể sử dụng usb, upload lên cloud rồi tải xuống. Tuy nhiên với những dữ liệu có kích thước vài trăm GB cho đến hàng TB thì sẽ thế nào nhỉ. Hôm nay giới thiệu một cách hiệu quả cho các trường hợp đấy, đó là sử dụng sshfs.

Giới thiệu về scp

Phần lớn các lập trình viên đều sử dụng ssh để truy nhập vào một server. Thường thì sẽ tạo một folder là .ssh, tạo một file config có ghi hostname, user, identifyFile, .. Sau đó chỉ cần ssh ‘hostname’ thần thánh là xong nhỉ. Bên cạnh đó chúng ta còn được hỗ trợ một phương thức là scp, dùng để copy file từ server này sang server kia. Câu lệnh của scp là:

scp [OPTION] [user@]SRC_HOST:]file1 [user@]DEST_HOST:]file2

Tuy nhiên scp chỉ hỗ trợ chúng ta chuyển từng file một, chuyện gì sẽ xảy ra khi bạn có hàng tỉ file trong folder cần di chuyển nhỉ? Nén folder lại và scp nó? Không, ở đây chúng ta không làm thế, thay vì scp cho từng file, chúng ta sẽ sử dụng sshfs để mount cả folder đấy về một thiên đường khác ✌️

Giới thiệu về sshfs

Trước tiên bạn tạo một folder ở nơi mà bạn muốn chuyển dữ liệu tới, gọi là folder2 trên máy destination nhé.

Bạn chỉ cần chạy câu lệnh sau

sshfs [OPTION] [user@]SRC_HOST:]folder1 [user@]DEST_HOST:]folder2

Là mọi thứ đã được thực thi. Đơn giản đúng không nào.

Lưu ý nho nhỏ là dữ liệu trên hai folder này đồng bộ với nhau. Nên nếu bạn xóa dữ liệu trên folder 2 thì nó cũng sẽ biến mất ở folder1 đấy nhé!!!

Thông thường chúng ta sẽ sử dụng câu lệnh sau để mount dữ liệu về máy của mình.

sshfs -o IdentityFile=path_to_file_key_ssh [user@]SRC_HOST:]folder1 [user@]DEST_HOST:]folder2

Cảm ơn các bạn đã đọc những lời xàm xí của mình ✌️

YYYY-MM-DD: tiêu đề

— — — — —

(1) [key point] tiêu đề

①tiêu đề

mô tả 1(gạch chân)

● điều 1

● điều 2

mô tả 2(gạch chân)

● điều 1

● điều 2

②tiêu đề

mô tả

● điều 1

● điều 2

(2) [key point] tiêu đề

①tiêu đề

mô tả(gạch chân)

● điều 1

● điều 2

②tiêu đề

mô tả(gạch chân)

● điều 1

● điều 2

Instead of predicting class values directly for a classification problem, it can be convenient to predict the probability of an observation belonging to each possible class.

Predicting probabilities allows some flexibility including deciding how to interpret the probabilities, presenting predictions with uncertainty, and providing more nuanced ways to evaluate the skill of the model.

Predicted probabilities that match the expected distribution of probabilities for each class are referred to as calibrated. The problem is, not all machine learning models are capable of predicting calibrated probabilities.

There are methods to both diagnose how calibrated predicted probabilities are and to better calibrate the predicted probabilities with the observed distribution of each class. Often, this can lead to better quality predictions, depending on how the skill of the model is evaluated.

In this tutorial, you will discover the importance of calibrating predicted probabilities and how to diagnose and improve the calibration of models used for probabilistic classification.

After completing this tutorial, you will know:

• Nonlinear machine learning algorithms often predict uncalibrated class probabilities.
• Reliability diagrams can be used to diagnose the calibration of a model, and methods can be used to better calibrate predictions for a problem.
• How to develop reliability diagrams and calibrate classification models in Python with scikit-learn.

Discover bayes opimization, naive bayes, maximum likelihood, distributions, cross entropy, and much more in my new book, with 28 step-by-step tutorials and full Python source code.

Let’s get started.

Tutorial Overview

This tutorial is divided into four parts; they are:

1. Predicting Probabilities
2. Calibration of Predictions
3. How to Calibrate Probabilities in Python
4. Worked Example of Calibrating SVM Probabilities

1. Predicting Probabilities

A classification predictive modeling problem requires predicting or forecasting a label for a given observation.

An alternative to predicting the label directly, a model may predict the probability of an observation belonging to each possible class label.

This provides some flexibility both in the way predictions are interpreted and presented (choice of threshold and prediction uncertainty) and in the way the model is evaluated.

Although a model may be able to predict probabilities, the distribution and behavior of the probabilities may not match the expected distribution of observed probabilities in the training data.

This is especially common with complex nonlinear machine learning algorithms that do not directly make probabilistic predictions and instead use approximations.

The distribution of the probabilities can be adjusted to better match the expected distribution observed in the data. This adjustment is referred to as calibration, as in the calibration of the model or the calibration of the distribution of class probabilities.

[…] we desire that the estimated class probabilities are reflective of the true underlying probability of the sample. That is, the predicted class probability (or probability-like value) needs to be well-calibrated. To be well-calibrated, the probabilities must effectively reflect the true likelihood of the event of interest.

- Page 249, Applied Predictive Modeling, 2013.

2. Calibration of Predictions

There are two concerns in calibrating probabilities; they are diagnosing the calibration of predicted probabilities and the calibration process itself.

Reliability Diagrams (Calibration Curves)

A reliability diagram is a line plot of the relative frequency of what was observed (y-axis) versus the predicted probability frequency (x-axis).

Reliability diagrams are common aids for illustrating the properties of probabilistic forecast systems. They consist of a plot of the observed relative frequency against the predicted probability, providing a quick visual intercomparison when tuning probabilistic forecast systems, as well as documenting the performance of the final product

- Increasing the Reliability of Reliability Diagrams, 2007.

Specifically, the predicted probabilities are divided up into a fixed number of buckets along the x-axis. The number of events (class=1) are then counted for each bin (e.g. the relative observed frequency). Finally, the counts are normalized. The results are then plotted as a line plot.

These plots are commonly referred to as ‘ reliability’ diagrams in forecast literature, although may also be called ‘ calibration ‘ plots or curves as they summarize how well the forecast probabilities are calibrated.

The better calibrated or more reliable a forecast, the closer the points will appear along the main diagonal from the bottom left to the top right of the plot.

The position of the points or the curve relative to the diagonal can help to interpret the probabilities; for example:

• Below the diagonal: The model has over-forecast; the probabilities are too large.
• Above the diagonal: The model has under-forecast; the probabilities are too small.

Probabilities, by definition, are continuous, so we expect some separation from the line, often shown as an S-shaped curve showing pessimistic tendencies over-forecasting low probabilities and under-forecasting high probabilities.

Reliability diagrams provide a diagnostic to check whether the forecast value Xi is reliable. Roughly speaking, a probability forecast is reliable if the event actually happens with an observed relative frequency consistent with the forecast value.

- Increasing the Reliability of Reliability Diagrams, 2007.

The reliability diagram can help to understand the relative calibration of the forecasts from different predictive models.

Probability Calibration

The predictions made by a predictive model can be calibrated.

Calibrated predictions may (or may not) result in an improved calibration on a reliability diagram.

Some algorithms are fit in such a way that their predicted probabilities are already calibrated. Without going into details why, logistic regression is one such example.

Other algorithms do not directly produce predictions of probabilities, and instead a prediction of probabilities must be approximated. Some examples include neural networks, support vector machines, and decision trees.

The predicted probabilities from these methods will likely be uncalibrated and may benefit from being modified via calibration.

Calibration of prediction probabilities is a rescaling operation that is applied after the predictions have been made by a predictive model.

There are two popular approaches to calibrating probabilities; they are the Platt Scaling and Isotonic Regression.

Platt Scaling is simpler and is suitable for reliability diagrams with the S-shape. Isotonic Regression is more complex, requires a lot more data (otherwise it may overfit), but can support reliability diagrams with different shapes (is nonparametric).

Platt Scaling is most effective when the distortion in the predicted probabilities is sigmoid-shaped. Isotonic Regression is a more powerful calibration method that can correct any monotonic distortion. Unfortunately, this extra power comes at a price. A learning curve analysis shows that Isotonic Regression is more prone to overfitting, and thus performs worse than Platt Scaling, when data is scarce.

- Predicting Good Probabilities With Supervised Learning, 2005.

Note, and this is really important: better calibrated probabilities may or may not lead to better class-based or probability-based predictions. It really depends on the specific metric used to evaluate predictions.

In fact, some empirical results suggest that the algorithms that can benefit the more from calibrating predicted probabilities include SVMs, bagged decision trees, and random forests.

[…] after calibration the best methods are boosted trees, random forests and SVMs

- Predicting Good Probabilities With Supervised Learning, 2005.

3. How to Calibrate Probabilities in Python

The scikit-learn machine learning library allows you to both diagnose the probability calibration of a classifier and calibrate a classifier that can predict probabilities.

Diagnose Calibration

You can diagnose the calibration of a classifier by creating a reliability diagram of the actual probabilities versus the predicted probabilities on a test set.

In scikit-learn, this is called a calibration curve.

This can be implemented by first calculating the calibration_curve() function. This function takes the true class values for a dataset and the predicted probabilities for the main class (class=1). The function returns the true probabilities for each bin and the predicted probabilities for each bin. The number of bins can be specified via the n_bins argument and default to 5.

For example, below is a code snippet showing the API usage:

Calibrate Classifier

A classifier can be calibrated in scikit-learn using the CalibratedClassifierCV class.

There are two ways to use this class: prefit and cross-validation.

You can fit a model on a training dataset and calibrate this prefit model using a hold out validation dataset.

For example, below is a code snippet showing the API usage:

Alternately, the CalibratedClassifierCV can fit multiple copies of the model using k-fold cross-validation and calibrate the probabilities predicted by these models using the hold out set. Predictions are made using each of the trained models.

For example, below is a code snippet showing the API usage:

The CalibratedClassifierCV class supports two types of probability calibration; specifically, the parametric ‘ sigmoid’ method (Platt’s method) and the nonparametric ‘ isotonic’ method which can be specified via the ‘ method ‘ argument.

4. Worked Example of Calibrating SVM Probabilities

We can make the discussion of calibration concrete with some worked examples.

In these examples, we will fit a support vector machine (SVM) to a noisy binary classification problem and use the model to predict probabilities, then review the calibration using a reliability diagram and calibrate the classifier and review the result.

SVM is a good candidate model to calibrate because it does not natively predict probabilities, meaning the probabilities are often uncalibrated.

A note on SVM: probabilities can be predicted by calling the decision_function() function on the fit model instead of the usual predict_proba() function. The probabilities are not normalized, but can be normalized when calling the calibration_curve() function by setting the ‘ normalize’ argument to ‘ True ‘.

The example below fits an SVM model on the test problem, predicted probabilities, and plots the calibration of the probabilities as a reliability diagram,

Running the example creates a reliability diagram showing the calibration of the SVMs predicted probabilities (solid line) compared to a perfectly calibrated model along the diagonal of the plot (dashed line.)

We can see the expected S-shaped curve of a conservative forecast.

We can update the example to fit the SVM via the CalibratedClassifierCV class using 5-fold cross-validation, using the holdout sets to calibrate the predicted probabilities.

The complete example is listed below.

Running the example creates a reliability diagram for the calibrated probabilities.

The shape of the calibrated probabilities is different, hugging the diagonal line much better, although still under-forecasting in the upper quadrant.

Visually, the plot suggests a better calibrated model.

We can make the contrast between the two models more obvious by including both reliability diagrams on the same plot.

The complete example is listed below.

Running the example creates a single reliability diagram showing both the calibrated (orange) and uncalibrated (blue) probabilities.

It is not really an apples-to-apples comparison as the predictions made by the calibrated model are in fact a combination of five submodels.

Nevertheless, we do see a marked difference in the reliability of the calibrated probabilities (very likely caused by the calibration process).

Further Reading

This section provides more resources on the topic if you are looking to go deeper.

Summary

In this tutorial, you discovered the importance of calibrating predicted probabilities and how to diagnose and improve the calibration of models used for probabilistic classification.

Specifically, you learned:

• Nonlinear machine learning algorithms often predict uncalibrated class probabilities.
• Reliability diagrams can be used to diagnose the calibration of a model, and methods can be used to better calibrate predictions for a problem.
• How to develop reliability diagrams and calibrate classification models in Python with scikit-learn.

Originally published at https://machinelearningmastery.com on September 2, 2018.

ちゃお・・・†

舞い降り・・・†

先日、前処理大全という本を読んで自分なりに何か書きたいなと思ったので、今回は 自然言語処理の前処理とそのついでに素性の作り方を Python コードとともに列挙したいと思います。必ずしも全部やる必要はないので目的に合わせて適宜使ってください。

余分な改行やスペースなどを除去

アルファベットの小文字化

text = text.lower()

正規化 (半角/全角変換などなど)

GitHub — ikegami-yukino/neologdn: Japanese text normalizer for mecab-neologd

import MeCab mecab_wakati = MeCab.Tagger('-Owakati') words = mecab_wakati.parse(text).strip().split()

SentencePiece

sentencepiece/README.md at master · google/sentencepiece · GitHub

NLTK

絵文字の除去

Slackなどのテキスト処理用です。

>> import emoji >> print(emoji.emojize('Python is :thumbs_up:')) Python is 👍 >> print(emoji.emojize('Python is :thumbsup:', use_aliases=True)) Python is 👍 >> print(emoji.demojize('Python is 👍')) Python is :thumbs_up:

from emoji · PyPI

短縮表現を元に戻す

don’t を do not に、won’t をwill not みたいにする処理。

Hiroshi Manabe on Twitter: “こんな感じでどう？ https://t.co/eXj35AOPdl... “

HTMLタグの除去

import nltk raw = nltk.clean_html(html)

日本語

SlothLib ストップワードリストなどを使って ストップワード を除外する

英語

from nltk.corpus 
import stopwords 
stop_words = frozenset(stopwords.words('english')) 
words = list(filter(lambda x: x in stop_words, words))

特定の品詞だけを抽出

Stemming

from nltk.stem.porter import PorterStemmer 
stemmer = PorterStemmer() 
words = list(map(stemmer.stem, words))

Lemmatization

英語

from nltk.stem.wordnet import WordNetLemmatizer 
wnl = WordNetLemmatizer() 
words = list(map(wnl.lemmatize, words))

日本語

以下は英語の typo を直す処理です

import pytypo 
words = list(map(pytypo.correct, words))

<BOS>や<EOS>をつける

文の始まりを表すBOS (Beginning of Sentence) と文の終わりを表すEOS (End of Sentence) をつける

単語のID化

from collections import defaultdict 
word_to_id = defaultdict(lambda: len(word_to_id))

sklearnなどでやってくれるので自前で n-gram 化の処理を書くことは少ないです

Bag-of-Words

from sklearn.feature_extraction.text 
import CountVectorizer 
vectorizer = CountVectorizer() 
corpus = [ 'This is the first document.', 'This is the second second document.', 'And the third one.', 'Is this the first document?', ] 
X = vectorizer.fit_transform(corpus)

6.2. Feature extraction — scikit-learn 0.23.0 documentation

TF-IDF

from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer() 
X = vectorizer.fit_transform(corpus)

6.2. Feature extraction — scikit-learn 0.23.0 documentation

絵文字の有無

import emoji 
ALL_EMOJI = set(emoji.EMOJI_UNICODE.values()) 
def has_emoji(text): 
   return any(x in text for x in ALL_EMOJI)

パディング

固定長の行列に可変長データを入れる処理

from keras.preprocessing import sequence 
X = sequence.pad_sequences(X, maxlen=MAX_LEN)

単語の分散表現

word2vec

import os 
from gensim.models.word2vec import Word2Vec, PathLineSentences sentences = PathLineSentences(os.path.join(os.getcwd(), 'corpus')) model = Word2Vec(sentences, size=100, window=5, min_count=5, workers=4) model.wv['computer']

gensim: models.word2vec — Word2vec embeddings

FastText

from gensim.models import FastText 
sentences = [['cat', 'say', 'meow'], ['dog', 'say', 'woof']] 
model = FastText(sentences) 
say_vector = model.wv['say'] 
of_vector = model.wv['of']

gensim: models.fasttext — FastText model

文書の分散表現

gensim: models.doc2vec — Doc2vec paragraph embeddings

極大部分文字列

import pykwic 
kwic = pykwic.EKwic() 
kwic.add_line('うなぎうなうなうなぎなう') 
kwic.add_line('うらにはにわにわとりがいる') 
kwic.build() 
maxsubsts = [] 
for maxsubst in kwic.maxmal_substring():     maxsubsts.append(maxsubst[0])

はてなグループの終了日を2020年1月31日(金)に決定しました — はてなの告知

文字種による抽象化

TinySegmenter などで使われている素性です

語の接尾

固有表現抽出や、名前から性別を推定するタスクなどに用いられることがあります

WordNetなどの オントロジー を使って同義語に置き換えたり上位概念に抽象化したりする

WordNet Interface

分散表現での類似語による言い換え

from gensim.models.word2vec import Word2Vec model = Word2Vec.load('w2v.model') word = '雨' sentence = '雨に唄えば' sentences = [] for (similar_word, score) in model.wv.most_similar([model.wv[word]], [], 5): if word == similar_word: continue sentences.append(sentence.replace(word, similar_word))

gensim: models.word2vec — Word2vec embeddings

トピックモデル・クラスタリングによる文書の抽象化

NLP ではないタスクですが、こんな素性を使うことがありました

Latent Dirichlet Allocation

import joblib lda = joblib.load('lda.model') lda.transform(X).argmax(axis=1)

sklearn.decomposition.LatentDirichletAllocation — scikit-learn 0.23.0 documentation

KMeans

import joblib kmeans = joblib.load('kmeans.model') kmeans.predict(X)

sklearn.cluster.KMeans — scikit-learn 0.23.0 documentation

文字列同士の距離

word2vec

from gensim.models.word2vec import Word2Vec model = Word2Vec.load('w2v.model') model.wv.similarity(word1, word2)

gensim: models.word2vec — Word2vec embeddings

FastText

from gensim.models import FastText model = FastText.load('fasttext.model') model.wv.similarity(word1, word2)

gensim: models.fasttext — FastText model

レーベンシュタイン編集距離やハミング距離など

GitHub — doukremt/distance: Levenshtein and Hamming distance computation

発音に着目した文字列間の距離

import fuzzy soundex = fuzzy.Soundex(4) soundex('fuzzy') dmeta = fuzzy.DMetaphone() dmeta('fuzzy') fuzzy.nysiis('fuzzy')

文書同士の距離

Doc2Vec

from gensim.models.doc2vec import Doc2Vec model = Doc2Vec.load('doc2vec.model') model.docvecs.similarity(doc1, doc2) model.docvecs.similarity_unseen_docs(model, doc1, doc2)

gensim: models.doc2vec — Doc2vec paragraph embeddings

Normalized compression distance

Tech Tips: Normalized compression distanceとNormalized Google distance

Lexical Density

日本語テキストのLexical density測って遊んでみた — Debug me

Originally published at https://yukinoi.hatenablog.com on May 29, 2018.

command that will update the commit

command that will delete the file from work tree

リスティング広告を運用しているクライアントからよく質問される
「わざわざ広告費をかけて指名キーワードを配信する理由はありますか？」

みなさんはどう答えていますか？

指名キーワードの4つのメリット＆デメリット
中～上級者向けの2つの活用術事例を紹介します。

指名キーワードの向き合い方について掘り下げてみましょう。

自社のサイト名・サービス名・商品名・会社名がいわゆる指名キーワードと呼ばれるものになります。

指名キーワードは、ユーザーニーズが顕在化されているため、一般キーワードと比べると下記のような特徴があります。

• クリック単価が安い
• コンバージョン数が多い
• クリック率（CTR）が高い
• コンバージョン率（CVR）が高い
• コンバージョン単価（CPA）が低い
• 品質スコアが高く評価されやすい
• 広告表示オプションが表示されやすい
• 掲載順位上位を取りやすい

一言でまとめると指名キーワードは
一般キーワードと比べてパフォーマンス（性能）が良いキーワード と言えるでしょう。

指名キーワードの4つのメリット

【メリット1】既存顧客の取りこぼしを防ぐ

下記の3つの事例では、指名キーワードで検索したユーザーが自社サイトに辿り着きにくいため、ユーザーの流入が阻害されやすい状況にあります。
取りこぼしを防ぐ意味で、指名キーワードは配信すべきでしょう。

◎機会損失が発生している３つの事例

1.指名キーワードの広告枠に競合の広告が配信されている
→自社の既存顧客が競合に流出するリスク

2.自社サイトのオーガニック検索順位が1位でない
→指名検索なのに自社サイトに辿り着けないリスク

3.指名キーワードが表記ゆれキーワードで頻繁に検索される形跡がある
→表記ゆれキーワードで検索した場合、自社サイトに辿り着けないリスク

【メリット2】ユーザビリティが向上する

検索順位1位を確保していても、サービスや製品の多さから、ユーザーが目的のページに辿り着けていない場合があります。
そこで広告配信で利用できる広告表示オプションを活用することでユーザーが求めている目的のページに簡単にアクセスすることが可能になります。

大手パソコンメーカーDELLの例を見てみましょう。
サイトリンク表示オプションで「個人と法人」「ノートPCとデスクトップPC」でリンク先URLが分かれています。
目的のページにスムーズに辿り着けます。

【メリット3】キャンペーン情報を伝える

セールやキャンペーンなど既存顧客に対しても伝えたい情報がある場合、広告文や広告表示オプションのテキストにて記載すると良いでしょう。

設定一つで伝えたい情報をコントロールできるのは非常に便利です。
キャンペーン情報を伝える意図で期間中のみ指名キーワードを配信し、コンバージョン率を上げるのも良いでしょう。

【メリット4】ブランド認知や好感度を高める

特に検索順位1位が取れている場合、指名キーワードを配信することは無意味だと考えられがちです。
そのような状況下でも広告を配信することで好感、概要理解、購入意向が高まるブランド認知、形成効果はあります。
※詳細は下記URLを参照

目先のコンバージョン数だけではなく、ブランディングや長期的目標を見据えて判断しましょう。

http://adwords-ja.blogspot.jp/2009/06/blog-post_30.html
Google AdWords 公式ブログより（検索日2016年12月20日）

指名キーワードの4つのデメリット

【デメリット1】無駄なクリックコストが発生してしまう

自社社員による間違いクリックも少なからず発生してしまいます。
自社社員によるクリックは自社IPを除外設定に入れてリスクを軽減をする手もありますが、
こういった明らかに無駄なクリックであっても、厳密な切り分けが難しいのが現状です。

【デメリット2】ネガティブな理由で指名キーワードからの流入が増加する

ニュースやテレビ番組で取り上げられると瞬間的に指名キーワードの検索数が増加します。
事件やトラブルが原因でニュースで取り上げられてしまった場合、多くはビジネスの目標に繋がることはありません。注意が必要です。

日々のニュースに目を配り、アカウントの異変をいち早く察知して、一時的に配信を停止するなど迅速かつ適切な対応が非常に重要です。

【デメリット3】指名キーワードのコンバージョン数が多く成果の判断が難しい

仮数値を設定して、よく見かけるモデルケースを見てみましょう。

このように指名キーワードからのコンバージョン数が多い場合、指名＆一般キーワードの合計CPAは1,818円です。

しかし一般キーワードはCPA10,000円と高く、ここに課題があることを見落としがちです。
そこで指名キーワードと一般キーワードそれぞれに役割を持たせて運用して

指名キーワードと一般キーワードはそれぞれ分けて目標設定する必要があります。

例えば、指名キーワードはインプレッション数やクリック数、一般キーワードはコンバージョン数やコンバージョン単価で目標設定する。
といった個別の目標設定が重要です。

【デメリット4】指名キーワードが「一意でない」為、間違いクリックが発生してしまう。

指名キーワードが必ずしも一意である（ユニークである）とは限りません。
同名の会社が300社以上存在すると言われる「佐藤工務店」を例に挙げてみましょう。

同名他社が非常に多いため、ユーザーが「佐藤工務店」で検索していても、必ずしも自社の「佐藤工務店」を探しているとは限りません。

同名他社との間違いクリックを完全に避けることは難しいでしょう。
いくつか同名他社と混同されるリスクを軽減させる対策例を紹介しましょう。

◎広告文で所在地を記載して絞り込む
→広告文で「○○県△△市の佐藤工務店」と会社の所在地を明記する
→住所表示オプションを設定して住所を記載する

◎エリアターゲティングを活用して絞り込む
→キャンペーンの配信ターゲティング設定で○○県にのみ配信をする
→自社の住所を中心に半径10キロメートルにのみ配信をする

◎除外キーワードで絞り込む
→検索クエリから自社が取り扱っていないサービスなどのキーワードを除外する
→検索クエリから地名キーワードを除外する

◎検索広告向けリマーケティングを活用する
→タグマネージャー等で滞在時間が長いユーザーや、直帰ユーザーを除いたユーザーリストを作成して、確度が高いユーザーへのリマーケティングを強化する。
※リマーケティングリストから見込み顧客以外を除外する。

指名キーワードの活用事例

ここまで指名キーワードを配信することのメリット、デメリットをまとめました。
更に発展させて、成果に繋がる指名キーワードの活用事例を紹介します。
ここから先の内容は、中～上級者向けの最新の内容になります。

【活用事例1】類似ユーザーリストに活用する

類似ユーザーリストは、元となるユーザーのリスト内の共通の興味関心や特徴を元に、類似する見込み顧客のユーザーリストを自動生成する仕組みです。

指名キーワードは類似ユーザーリスト機能と相性が非常に良いです。

というのも、指名キーワードからコンバージョンしたユーザーを元に作成された類似ユーザーリストは、以下の理由から通常の類似ユーザーリストと比べて、より高いパフォーマンスを発揮することが期待されます。

• 元となるサンプル数（コンバージョン数）が多くなるため精度が高い
• 顕在層ユーザーの関心事や特徴を元にリスト作成できる

さらに指名キーワードからのコンバージョン数獲得が多く狙える場合
【コンバージョンに至ったユーザーを元にした類似ユーザーリスト】を早い段階で容易に生成できるのが最大のメリットです。

【活用事例2】DFSAと組み合わせて戦略的な運用を行う

AdWordsのDFSA（Demographic for Search Ads）を活用することで、検索広告におけるユーザー属性（年齢、性別）のデータを抽出することが可能です。

指名キーワードにおけるDFSAデータは、指名キーワードであるが故にロイヤル顧客のデータが垣間見ることが出来るため非常に価値の高い情報です。

仮に、指名キーワードのDFSAからコンバージョン数が多いユーザー属性が【30代の女性】と判明した場合は、例えば以下のような施策に横展開することが可能です。
ターゲットへのアプローチの幅が広がります。

• 30代女性に響く広告文を意識して作成する
• 30代女性への配信を強化する（検索広告やディスプレイ広告全般）
• SNS広告（Twitter広告、Facebook広告）などの入札戦略に活かす
• ランディングぺージ制作時のペルソナ作成に役立てる

またコンバージョン数の比率が【30代の女性】から【40代の女性】にシフトしたケースでは、ロイヤル顧客の年齢層が変化した可能性が考えられます。
リスティング広告のデータを土台にして、商品開発やサービス見直し、プロモーションなど様々な改善に繋げることが可能です。

参考：DFSAとは Google Inside AdWords （検索日2016年12月20日）
http://adwords-ja.blogspot.jp/2009/06/blog-post_30.html

「広告費をかけて指名キーワードを配信する理由はありますか？」という疑問に対して、一概に指名キーワードを配信すべきかどうか断言することは難しいです。
そこで重要なことは、何を目的として指名キーワードを配信したいのか？どう活かしていくのか？を明確にして考え抜くことだと思います。
目的を具体化して1件でも多くの成果を上げる為に、日々様々なアプローチにチャレンジしていきましょう。

Originally published at https://listing.gaprise.com on February 9, 2018.