วันศุกร์ที่ 26 กุมภาพันธ์ พ.ศ. 2553

Confessions of a Trained Observer

By Wolcott, H.
- Wonder one Three-unit course was adequate for doing Ethnographic fieldwork
- To gain experience in participant observation & Interviewing
- What to do / to help become better observer (become oriented to observing and reporting)
- Nexus (ความสัมพันธ์ การเชื่อมโยง) between How to look & What to look for
- Observer skills : note taking, writing, storytelling
- ในบทนี้จะให้ความสำคัญกับ data collection (process of observation)
- Studies in reverse order: how transformation of data can also inform the collection of data
Ethnographic Observation p.153
- Began class by reading excerpt from biography of Nathaniel Shaler “I Become Agassiz’s Pupil” ….Great teachers
- Study small fish
- Caution about damaging the specimen
- Confine attention to the specimen rather than to consult printed sources or converse with others
- Agassiz covertly watching pupil
- Skills of observation & comparison – the self as instrument
Six general issues (in which observation skills are implied) p.155
1. Instead of discussing the observer dimension, we digressed(ออกนอกเรื่อง) to discuss how much one should participate or how participation might unduly (เกินไป ไม่เหมาะสม)
- We glib with nuances that diff. participant-as-observers from observers-as – participant
- Forgetting that in formal education settings investigators seldom are unable to overcome prevailing institutional norms that turn every visitors to passive observer
- ถกเถียงเรื่องจะบอกวัตถุประสงค์ของการวิจัยแก่กลุ่มตัวอย่างหรือไม่ จน Lost sight of basic questions about what and how one actually observes
2. Talk about note-taking แต่ก็มักจะเน้นแต่ mechanical aspects เช่น
- where and when to record
- how to overcome the tediousness (น่าเบื่อ ยาวนาน) of the process
- how to break note into manageable units & how to sort
- But we never address What to put in them
- Field note are only mnemonic devices (เครื่องมือช่วยในการจำ) for fuller details
- We did not turn attention to why our notes could not consist of a few well-chosen words rather detailed and lengthy journals
3. Focus & periphery : concern for context p.156
- Not narrowing research focus too much or too soon
- Need to attend alternative explanations or concomitant events (help understand a setting)
- Big Picture
4. Observer lenses, observer perspectives, observer bias (Personal, Theoretical, Undetected / influence)
- Bias need to be explicated (examine our prejudices)
- แต่ เราจะเริ่มต้นการวิจัยโดยปราศจากอคติได้อย่างไร
- How do we measure quality? …too little too thin thick / rich description
5. Objectivity p. 157
- Pure observing / Objective reporting
- Seeming to accept without reflection
- How involvement or detachment might affect the quality of the observation
- Scientific & humanistic
6. Internal consistency or face validity
- Hard to know precisely what they were observing
- Using intuitive of judgment (เหมาะสมหรือไม่)
- Loss to explain why trust one observer not another (การเยินยอ ยึดติดกับชื่อเสียงของนักวิจัยบางคน คิดว่า นักวิจัยคนหนึ่งน่าเชื่อถือมากกว่าอีกคน แต่บอกไม่ได้เพราะอะไร)
Problems about how to teach skills
1. การเล็คเชอร์แค่ครั้งสองครั้ง ไม่ได้ทำให้เป็น trained observer ได้
2. ไม่มีโปรแกรมการเรียนที่ให้ความสำคัญกับการฝึกฝนการเป็นนักสังเกต และคำพูดที่ให้กับนักวิจัยมือใหม่ ก็คือ keep in touch
- In natural laboratory เรามักจะพูดกันแต่ what we observing not How
- Attention was on results not Process
- Never discuss what we felt we were doing or thinking or recording
- How and when to trained observer
3. Uncertainty in actual field setting p. 159
- ยังมีสิ่งที่เราไม่พบอีกหรือไม่ และสิ่งที่เราไม่พบ มีความสำคัญแค่ไหน
4. การสรุป/เข้าใจผิดของนักวิจัย อาจจะยังมีบางสิ่งที่เรายังไม่รู้ แต่เราก็ไปสรุปเพียงจากข้อมูลที่มีอยู่ ซึ่งอาจจะคลาดเคลื่อนได้ เช่น สรุปว่าครูใหญ่เป็นคนไม่ดื่มเหล้า แต่มารู้ภายหลังว่า งานสังคมบางอย่าง ครูใหญ่ก็ดื่มบ้าง
- Inattentiveness to details, conversations, events, social cues
- Powers of observation or recall
- คุณสมบัติ / ความสามารถในการสังเกตและความจำของแต่ละคนก็อาจจะไม่เท่ากัน หรือเสื่อมถอยได้ เช่น จดโน้ตไว้มากมาย ไม่ต้องพูดว่าจดอะไรไว้ แต่บางครั้ง แค่เก็บโน้ตไว้ที่ไหนก็นึกไม่ออก
5. การจัดอบรมการเป็นนักสังเกต / การแนะนำเทคนิค (given specific instruction about what to look for) มันเป็นประโยชน์จริงหรือไม่
- Diff. people attend to diff. things
- Ur observe, Ur senses or Ur System …Not me
Strategies for Ethnographic Observers p. 160
- ความเชื่อมโยงระหว่างการสังเกตกับวิชาชีพที่เรียนรู้มา แต่ก็ไม่ได้ช่วยให้คำถาม/ปัญหา what do you look at หมดไปได้ทุกสาขาวิชาชีพ
- Each occupation or professional group (Marxist, behaviorist, revisionist, poststructuralist, anthropologist ..) has both customary ways of looking and foci of concern
- Special things about ethnography is its wide scope: commitment to context and holistic approach
- Problem-centered fieldwork VS concern foe context
- ดูเพิ่มเติม อ.ชาย p. 335 – 336 และ อ.สุภางค์ p. 54-55
1. Observe and record everything p. 161
2. Observe and look for nothing- nothing in particular
- Watch for bumps
- Helpful in too-familiar settings and in too-complex
3. Look for paradoxes
4. Identify the key problem confronting a group
- Focus on something rather than everything
Context as an Observer Guide p. 164
- Ethnographers hold context in high regard
- Context give a push (what should do)
1. Past influences
- Talking & reading about who have looked at setting similar to those we are bserving
- Reflect immediate experience & long tradition
- At ease at conceptualizing in terms of institutions, power and status allocation of scare resources …
- Social science and subtraditions or schools: There are disciplines and traditions to guide ex Freudian interpretations
- แต่ต้องตระหนักว่า ready-made glasses: No pair suits everybody
- การใช้คำศัพท์ทางวิชาการอาจจะช่วยให้งานวิจัยดูดีขึ้น แต่ก็อาจจะไม่ได้ช่วยให้เข้าใจได้ดีขึ้นก็ได้
2. Present Influences: to accomplish in a given time, with given resources, under specific conditions
- Observation derive from assignment
- Limitations such as
- Funding
- Time available
- การไม่สามารถอยู่สองที่ได้ในเวลาเดียวกัน
- เวลาที่ต้องใช้ในการเขียนรายงาน
- ความยากในการเข้าถึงแหล่งข้อมูล
- Ethical fads
3. Case in point: สิ่งที่เกิดขึ้น/ปัญหาระหว่างที่กำลังทำการวิจัย เช่น ห้ามเปิดเผยข้อมูลที่ได้แก่คนอื่น
4. Future Influences
- Pose another set of limitations that help guide decision about what to look at
- Structuring both fieldwork and deskwork is to decide as early as possible the form in which you intend to report your research and to develop a tentative outline or table of contents
- Cliffoed Geertz: it is not necessary to know everything to understand something
- แล้วถ้าบางสิ่งที่เราไม่รู้ จะมีผลให้ความเป็นจริง (การตีความ)คลาดเคลื่อนหรือเปล่า ? สงสัยคร้าบ
On observing better p. 166
- What to look at is central and critical
- Recounting : Agassiz’s students (ที่มีการ instruct exactly what to look at, imposes not only ground rules, condition about protection of specimens
- แต่ในความเป็นจริง เวลาทำงานภาคสนาม เราแทบจะไม่ได้รับการแนะนำมากนัก (seldom receive as much guidance or instruction)
- You will have to rely on yourself to raise doubts that you are not quite getting it right
- Meaning of the story is not precisely clear
- Observing human social behavior : actions and their meaning (แต่ละคนก็อาจจะให้ความหมายต่างกัน)
- ปัญหาอาจจะไม่ได้อยู่ตรงที่เราไม่รู้ว่า เขาให้ความหมายอย่างไร แต่อาจจะเป็นที่เรามักจะเคยชินกับการให้ความหมายเองเสียมากกว่า
- สิ่งที่เข้าใจ อาจจะไม่ได้เป็นอย่างนั้นจริงๆ ก็ได้
- Better observer: sense of seeing more detail or recognizing what most warrants seeing
- Try looking at something else for change
- Genuine cross-cultural perspective
- Careful watching: for obstacles…..good eyes
- Other people see thing to which you do not ordinarily attend (คนอื่นอาจจะดู/สังเกตในสิ่งที่เราไม่สนใจก็ได้)
- Awareness that there is more going on than you are ordinarily aware of (มีหลายสิ่งหลายอย่างที่ดำเนินไปมากกว่าที่เรารู้)
- อะไรบ้างที่นักวิจัยคนอื่นอาจจะสังเกตเห็นในสถานที่เดียวกัน
- Human assign meaning to what going on around us..problem of meaning and interpretations
- แต่ละคนก็มี personal judgment อย่าไปขัดขวาง แต่ให้ตระหนักและรับรู้
- ถ้าไม่มีความหมาย สิ่งที่สังเกตได้ ก็แข็งทื่อ เวิ้งว้าง และสับสน
- Picture of observed behavior + attendants meaning

step 1 Description

step 2 Analysis

step 3 Interpretation

step 4 To see and understand

- Broaden their gaze and recognize distinction between what they see and what they make of it

Strategy for listening in Field Research

by Leonard Schatzman and Anselm L. Strauss

- Observing without listening is quite impossible
- Researcher’s sense (or analysis) must take into account the way that the actors themselves understand what they are doing.
- Require the meaning of human activities (not merely the motion of objects)
- Listen to (or read) the symbolic sounds
- Create social science on what hear and see
Listening without Watching p.68
- ถ้าไม่รู้ background และบริบท ก็อาจจะไม่เข้าใจ ไม่สามารถตีความได้อย่างลึกซึ้ง และการ check คำพูดของผู้ให้ข้อมูล
- Advantage to Watching and listening simultaneous …capable of generating ideas…better for exploring
- การตอบคำถามแบบเอาใจ เพราะรู้ว่าเป็นนักวิจัย / บางคนหลบเลี่ยง
- Reality and authenticity from perspective of the actors
- Believe everything and nothing simultaneous
- May nod but nod is a sign of understanding not necessarily agreement
- May pretend disagreement or skepticism in order to elicit additional or more candid statement
- Is reveal designation of the thing / because reveal presumed relation among all the designations
- Listening require getting all of the you know
- Assume that some aspects of numerous realities will reflect the speaker’s uniqueness or idiosyncrasies
- Attend to the host
- Researcher must be a good role- taker
- The role-taking process
(1) Understanding requiring systematic listening without applying one own analytic categories
(2) Comparative analysis what he is hearing against what other(in like or diff. position)
(3) Applying his own initial and developing framework
Forms of Listening p. 70
- Listen to …symbolic sound …to supplement and correct observation
1. Eavesdropping (การลอบฟังความลับ ลอบฟังการสนทนา)
- Actors-constructed information
- Elicit information both with and without awareness of his presence
- Overhearing (การได้ยินโดยบังเอิญ ก็อาจจะทำให้พบสิ่งสำคัญก็ได้)
- Listening to unsolicited sound is equivalent to watching the ongoing existential scenceof activity
- Include causal conversation
2. Situational conversation or incidental questions
- Brief questioning p. 71
- Resort to on-the-spot questioning when unsolicited verbal confound (งง สับสน ปะปน)
- More controlled and less time-consuming than Eavesdropping
3. Interviewing
- Lengthier interview for detail, clarity, explanation
- Economical for data gathering
- Question-answer form : interviewer can control the flow of information
- Innumerable occasions-on or off the scene
- Lengthier interview relatively private or confidential (less public setting, can record by agreement
- ที่ผ่านมา craft of conversation was transformed into formal interview เพราะอิทธิพลของ survey research ที่มีการกำหนดหัวข้อ คำถามที่เป็นมาตรฐาน เพื่อเก็บข้อมูลจากคนจำนวนมาก
- แต่ก็อาจจะไม่มีประโยชน์สำหรับการวิจัยสนาม
- การสนทนา ผู้ตอบสามารถอธิบายได้ว่า ทำไมถึงเลือกสิ่งนี้ มากกว่าอีกสิ่ง
- Prearrangement
- การสังเกต gestures and signal ex intended humor, stupid utter, body movement, facial expression
- Interviewer does not use a specific, ordered list of questions because this amount of formality would destroy conversation
- Should: list in mind, flexible to order
- Tug o war การเล่นชักเย่อระหว่างผู้สัมภาษณ์กับผู้ถูกสัมภาษณ์ อย่าให้ใครครอบงำการสนทนา
- การสังเกต และการใช้ท่าทางต่างๆ อาทิ การใช้มือเพื่อดึงดูดความสนใจ จังหวะการหายใจ-การพูด เพื่อหาจังหวะแทรกที่เหมาะสม
Interview Tactics p. 73
1. Converstion
- relationships
- capable of continuity
- ไม่จบการสนทนาด้วยการ good bye เพราะเมื่อไปย่อยข้อมูลแล้ว อาจจะมีบางประเด็นกลับมาถามเพิ่ม
- suspended than terminated
- properties of continuity: pleased, eager to be herd again
Content comparability p. 75
- Comparability in content to interviews with other members of the same class of informant
- Make intraclass and interclass comparison on attitudes, commitment, roles and the like
- Time to discover the significant classes and time to form relationships
- Developed hypotheses and propositions
- Key points: (1) systematically (2) when necessary for checking important propositions during the research

Health Professional Interview p. 77
- Direct observe = heart
- Interview = provide context or meaning

Additional Interviewing Tactics p. 80
: As relationships between researcher and host change, alterations in interview approach will change
At first:
- researcher has been naïve
- most of questions consisted of reportorial type – who what where when why and how of events
Later stages
- increasing sophistication and interpersonal familiarity
- questions can be more aggressive to elicit new kind of informations
1. The Devil’s advocate Question : taking the role of informant’s opponent
2. The hypothetical Question
3. Posing the Ideal: ให้ผู้ให้ข้อมูลพูด หรือ ผู้สัมภาษณ์พูด แล้วเปรียบเทียบ
4. Offering Interpretations or Testing Propositions on Informants: ask informants how the idea square with his understanding of some situation, condition, process or relationship
5. Group Interview (multiple-respondent interview) for revealing variations in perspective and attitude
6. Tracing : following a single person on his normal tour of activities throughout a given period of time BUT costly in expenditure of time

Interviews: Contingencies and Forms p. 83
- No cookbook recipes for Interviewing
- Essential to think in terms of an array of contingencies that may affect the content of a given interview
Expected duration
- Longer interviews allow interviewer to ease slowly and sociably into he heart of interview
Single interviews versus series
- Building good relationships and getting good informations
- จะทำอย่างไรไม่ให้ มีการ violating the spirit and the forms of previous conversations

- การสนทนาที่เหมาะในสถานที่หนึ่ง อาจจะไม่เหมาะในอีกสถานที่ก็ได้
- Appropriate conversation
(1) proper topics
(2) proper style of speech
(3) gesture
(4) modes of address
(5) types of interplay
Identities p. 85
(1) outsider
(2) Identity dimension: sex, ages, social class positions….
(3) Mute that diff. and underline similarities of identity
(4) Respondents regards himself as expert, just ordinary, leader or marginal
- Interviewer may maneuver the conversation from one dimension to another depending on purpose

Respondent style p. 86
- Attribute of persons (ทั้งผู้ให้ข้อมูล และผู้สัมภาษณ์) will give shape to the process or the interview
- ผู้สัมภาษณ์ที่มีประสบการณ์จะสังเกตพฤติกรรม การแสดงออก และทำไมจึงมี character นั้นออกมา

Reverse analytic process :
- from understanding the field to understanding the interview

The Host as Strategic Informant
Researcher as
- an active seeker
- initiator of interaction
- utilize a variety of tactics
- work consists in comprehending us including me and work
- messages given by insiders provide diff. data or finer distinctions among event than outsider
- but : frequently interviewer is too intent upon getting what he wants rather than what the respondent most want to talk about

The Interviewer as Strategic Informant p. 88
- good social relations are major instrument in work

Begging off
- simply begs off…honestly indicates does not know enough…just begining to understand
- Begging off tactic works well early in the research

Forestalling (กีดกัน ขัดขวาง ดำเนินการ ชิงทำก่อน)
- Making comment appropriate to what he is watching or listening to
- Ask questions that tell where his interests lie

Giving bits of information p. 90
- Prepare a number of disposable items
- Comment about people and activities that satisfy the requirement of sociability
- Avoid revealing sensitive or unsupported materials
- Support for unhappy, sympathetic explanation, praising statement
- Sometime may not satisfy but can elicit countercomment

- Concern with cogency (ความน่าเชื่อถือ) significance, validity
- บางครั้งการพูดแต่สิ่งที่ดี ก็อาจจะถูกตั้งคำถามได้ (ความซื่อสัตย์ ศักดิ์ศรี ความเฉลียวฉลาด)
- Not narrowly judgmental nor critical
- Interpretation of the hosts’ world and their activities is judicious (สมเหตุสมผล)
- Research will have provided his hosts with a kind of mirror

Mixed Methods Procedures in Research Design

By John W. Cresswell

Mixing quantitative and qualitative data in single study
- Inclusion of multiple method of data
- Multiple form of analysis
- Call for explicit procedure
- Focused on understanding a problem of using two methods
- Rationale for using multiple forms of data collection and analysis
Components of mixed methods procedures p. 209
1. Visual model
2. Specific procedures of data collection and analysis
3. Researcher’s role
4. Structure for presenting final report
Nature of mixed method research
- Evolution in psychology and in the multitrait-multimethod in converging or triangulation
- Reasons
(1) To expand understanding (from one method to another)
(2) To converge r confirm finding (from diff. data source)
- Challenges …Need for
(1) Extensive data collect
(2) Time intensive of analysis both text and numeric data
(3) Familiar with both quan and qual
Types of mixed methods strategies p. 210
- Criteria for choosing a strategy
1. What is the implementation sequence of quan. and qual. data collection
2. What priority will be given to quan. and qual. data collection and analysis
3. What stage in research project will quan. and qual. data and finding integrated
4. Theoretical perspective be used in the study
Implementation p. 211
- Collect data in phase (sequential) or gather at the same time (concurrently)
- จะเก็บข้อมูลเชิงคุณภาพ หรือเชิงปริมาณก่อน ขึ้นอยู่กับนักวิจัย
- Qual data –first: to explore the topic
Priority for one type depends on p. 212
- Interest of researcher
- Audience for the study
- What seek to emphasize in the study
- Extent of treatment of data
- Use of theory (Inductive or deductive)
Integration of two types of data
- Occur at several stages เช่น data collection, data analysis, interpretation, some combination of places
- Alternative strategies and visual models Example
(1) Data collection: combining open-ended and close-ended questions
(2) Data analysis / interpretation เช่น transform qual. themes or codes into quan.
A theoretical perspective
- Whether theoretical perspective guides the entire design
- Perspective may be one from social science or from advocacy/participatory lens (gender, race, class)
Proposal contain
1. Description of strategy
2. Visual model
3. Basic procedures (that use in implementing strategy
Six major strategies
1. Sequential Explanatory
2. Sequential Exploratory
3. Sequential Transformative
4. Concurrent Triangulation
5. Concurrent Nested
6. Concurrent Transformative
1. Sequential Explanatory p. 215
- Priority to quan
- เก็บ และวิเคราะห์ข้อมูลแบบ quan ก่อน แล้วจึงเก็บ/วิเคราะห์แบบ qual
- Integrated in interpretation
- Purpose: ใช้ คุณภาพ ช่วยในการอธิบายและตีความข้อค้นพบจากปริมาณ เช่น unexpected result หรือ อธิบาย more detail
- เหมาะกับการ explaining and interpreting relationships
- จุดอ่อน: ใช้เวลานาน (การเก็บข้อมูล) และการแยกเป็นสองช่วง (two separate phases)จะมีปัญหา ถ้าทั้งสองช่วงมีความสำคัญเท่าๆกัน
2. Sequential Exploratory
- Many features similar to the Sequential Explanatory
- Conducted in two phases
- Initial of qual. Follow by quan.
- Priority to qual.
- Integrated in interpretation
- Use quan. Data and results to assist in interpretation of qual. Findings
- Purpose:
(1) to explore phenomenon
(2) testing elements of emergent theory
(3) generalize qual finding to diff. samples
(4) develop and test instrument
- advantages
(1) expand on qual. Findings
(2) building a new instrument
(3) make qual. Study ให้เป็นที่ยอมรับมากขึ้น
- จุดอ่อน: ใช้เวลานาน (ในการเก็บข้อมูล) และค่อนข้างยากในการเปลี่ยนจากการวิเคราะห์เชิงคุณภาพไปสู่การเก็บข้อมูลเชิงปริมาณ
3. Sequential Transformative p. 216
- Two distinct data collection phases
- ใช้คุณภาพ / ปริมาณ นำก่อนก็ได้ หรือจะให้ความสำคัญเท่าๆกันก็ได้ ถ้ามีทรัพยากรเพียงพอ
- Integrated in interpretation
- Has theoretical perspective guide the study
- Purpose: employ the method that will best serve theoretical perspective / for better understand phenomenon or process
- มีจุดอ่อนที่คล้ายกับสองวิธีก่อนหน้า
- Has little guidance on how to use
- Unclear how to move between analysis
4. Concurrent Triangulation p. 217
- Use diff. method to
(1) Confirm
(2) Cross-validate
(3) Corroborate findings
- Method
(1) Use separate quan & qual.
(2) Offset weakness with strength of other method
(3) Quan / qual. Data collect concurrent (Equal priority)
(4) Integrate results during interpretation
(5) ใช้เวลาในการเก็บข้อมูลน้อยกว่า แบบ sequence
- ข้อจำกัด
(1) Require ความพยายาม, ความเชี่ยวชาญในการศึกษาปรากฏการณ์โดยอาศัยทั้ง 2 วิธีการ
(2) ยากในการเปรียบเทียบข้อมูล
(3) Unclear how to resolve discrepancy (ความไม่ลงรอยกัน / ความขัดแย้งในผลการศึกษา)

5. Concurrent Nested (multilevel design) p. 218
- Quan. / qual. Data collect simultaneous
- แต่มีวิธีการหนึ่งเป็น predominant ที่guide project โดยมีอีกวิธีแฝงอยู่
- Mixed data at analysis phase
- May or may not have guiding theoretical perspective
- Purpose:
(1) Broader perspective than using one method alone
(2) Use to describe aspect ที่ไม่สามารถนับเชิงปริมาณได้
(3) Utilize diff. method to study diff. groups or levels เช่น ลูกจ้างเก็บข้อมูลโดยใช้วีการเชิงปริมาณ ส่วนนายจ้าง / ผู้จัดการใช้วิธีการเชิงคุณภาพ
(4) Study each of treatment condition
- ข้อจำกัด
(1) ปัญหาเรื่อง discrepancy
(2) Unequal evidence
6. Concurrent Transformative p. 219
- Guided by theoretical perspective
- Base on ideologies: critical theory, advocacy, participatory research or conceptual framework
- สามารถใช้วีการทั้งของ nested…divert participants ..change process / triangulation…converge information to provide evidence for …
- Collect data same time
- May have equal / unequal priority
- Integrate at analysis phase
Data collection procedure
1. Discuss the specific types of data to be collected
- differ in terms of open-ended VS close-ended
- some form of data (interview / observation) can be either quan. or qual.
- reducing information to numbers use in quan. and qual.
2. Identify sampling strategies
2.1 Quan.
- involve random sampling
- equal probability of being selected
- can be generalized to large pop.
2.2 qual.
- purposeful sampling - selected because have experienced in phenomenon
3. Establish validity of data

Data analysis and validation procedures p. 220
- Data analysis in mixed method relates to types of research strategy chosen
- Procedures need to be identified within the design
- Analysis occurs both quan (descriptive and inferential numeric analysis) and qual. (description and thematic text or image analysis)
1. Data transformation…
1.1 creating codes & theme
1.2 counting the number of times they occur (in text data or talk)
1.3 quantify the qualitative data…enable to compare quan results with qual. Data
1.4 qualify quantitative data
by factors analysis..
- create factors or themes
- and compare with theme from qual. data
2. Explore outliers
2.1 extreme or outlier cases
2.2 why they diverged
3. Instrument development
3.1 initial qual
- obtain themes
- specific statement
3.2 use statement and theme for scales
- create survey instrument
3.3 validate instrument with large sample
4. Examine multiple levels (concurrent nested model)

- check validity both quan. and accuracy of qual.
- Triangulation:
(1) data source
(2) member-checking
(3) detailed description
(4) other approach
Report Presentation Structure (some guidance) p. 222
1. Sequential Study
1.1 quan. followed by qual.
- comments on how qual. Findings help elaborate on / extend quan results
1.2 qual. Followed by quan.
- present as two distinct phases
- separate headings for each phases
2. Concurrent Study
2.1 quan / qual may be presented in separate sections
2.2 analysis / interpret combine two forms to seek convergence among results
3. Transformative Study
3.1 structure involve advancing the advocacy issue (in beginning of study)
3.2 then use sequential or concurrent as a means of organizing the content
3.3 In the end: separate section may advance an agenda for change or reform (as a result of research)